Feb
12
2018.2.12 20：47工作日倒数第2天，忙碌一年终于平静下来了。
Jan
3
安装 && 介绍：http://blog.puppeter.com/read.php?7
github: https://github.com/puppeter/clip/tree/master/clip.0.02
新增功能：
clip ssh && clip scp && clip lt 支持ssh打通关系信任执行系统命令与同步文件；
clip ssh && clip scp && clip lt 支持多线程并发执行系统命令与同步文件；
clip ssh && clip scan 支持json格式返回执行命令结果；
clip scp && clip lt 支持rsync同步文件；
clip scp && clip lt 支持反向下载服务器文件；
修复程序bug && 优化功能；
clip version 增加版本功能。
Clip SDK使用
Clip SDK 功能用于获取Server上的IP关系，并在Client上重新组织编排IP关系。(注：目前clip也支持将IP存放到本地文件中管理)。目前Clip 提供8个子命令，以下Clip子命令的参数解释与演示(更多案例参考：Clip SDK 案例)：
clip scan （用于对String对应的IP进行端口存活状态扫描）
--query_string（-q）# 根据String扫描IP的端口
--ip (-i) # 扫描指定IP的端口
--query_string (-q) *-test-*-*,*-docker-*-* # 多String扫描用逗号分隔
--append (-a) # 在原有String基础上，追加IP，追加多个(192.168.0.1,192.168.0.2)IP用逗号分隔
--remove_ip (-r) # 删除String原有IP列表的IP
--limit（-l）# 扫描String中指定范围的IP范围
--port (-P) # 指定自定义扫描端口（注：默认为80端口）
--log_disable（-o）# 默认日志会上报服务器，并通过history命令查看历史，通过此命令可以关闭日志上报,建议频繁使用clip关闭clip
--json (-j) # 一次性输出json格式（{ip:status} 其中0位成功，1为失败）
clip scan 使用演示：
扫描*-puppet-*-* 对应开放的端口
clip cstring(正解与反解String对应IP关系)
--query_string（-q）# 解析String对应的IP列表
--ip (-i) # 解析IP对应的String
--query_string (-q) *-test-*-*,*-docker-*-* # 解析多个String对应IP列表，多String用逗号分隔
--limit（-l）# 解析String中指定范围的IP范围
--append (-a) #在原有String基础上，追加IP，追加多个(192.168.0.1,192.168.0.2)IP用逗号分隔
--remove_ip (-r) # 删除String原有IP列表的IP
--join (-j) # 指定输出的格式，支持(“|” “,” “\n”,space) 4种格式输出
--log_disable（-o）# 默认日志会上报服务器，并通过history命令查看历史，通过此命令可以关闭日志上报,建议频繁使用clip关闭clip
--count (-c) # 统计输出IP个数
--dryrun (-d) # 输出调用接口用例
clip cstring演示:
解析*-qq-*-* 对应的IP关系。
解析192.168.0.7 对应的String。
clip ssh (远程命令执行工具)
--password (-p) # 密码 （如果打通了机器信任关系，密码字段请使用null）
--append (-a) # 在原有String基础上，追加IP，追加多个(192.168.0.1,192.168.0.2)IP用逗号分隔
--remove_ip (-r) # 删除String原有IP列表的IP
--limit（-l）# 解析String中指定范围的IP范围
--port (-P) #指定自定义端口（注：默认为22端口）
--dryrun (-d) # 输出调用接口用例
--log_disable（-o）# 默认日志会上报服务器，并通过history命令查看历史，通过此命令可以关闭日志上报,建议频繁使用clip关闭clip
--worker (-w) 以worker形式并发启动（限200并发）
--json (-j) 一次性输出json格式
clip ssh演示:
查看string(sh-docker-base_v1-*) 对应机器上负载.
查看string(sh-docker-base_v1-*)的第一台服务器对应负载
clip scp (远程命令执行工具)
--password (-p) # 密码（如果打通了机器信任关系，密码字段请使用null）
--append (-a) # 在原有String基础上，追加IP，追加多个(192.168.0.1,192.168.0.2)IP用逗号分隔
--remove_ip (-r) # 删除cstring原有IP列表的IP
--limit（-l）# 解析String中指定范围的IP范围
--port (-P) # 指定自定义端口（注：默认为22端口）
--dryrun (-d) # 输出调用接口用例
--log_disable（-o）# 默认日志会上报服务器，并通过history命令查看历史，通过此命令可以关闭日志上报,建议频繁使用clip关闭clip
--worker 以worker形式并发启动（限200并发）
--json (-j) 一次性输出json格式
--rsync (-R) 通过rsync方式做增量文件传输
--download (-D) 反向从远程服务器下载文件
clip scp演示:
将ip文件推送到string(sh-docker-base_v1-*)对应机器的/tmp目录上。
tree(String关系遍历工具)
--query_string(-p) # 密码
--json (-j) # 指定输出的格式
--dryrun (-d) # 输出调用接口用例
--log_disable（-o）# 默认日志会上报服务器，并通过history命令查看历史，通过此命令可以关闭日志上报,建议频繁使用clip关闭clip
clip tree 演示：
遍历*-*-*-* 下的节点
import(IP关系导入工具)
--insert (-i) # 将文件内的clip对应关系导入数据库
--bulid (-b) # 创建clip导入数据库，关系模板文件
--list_struct (-l) # 显示clip数据库结构
clip import 演示：
clip import -b 创建导入string与关系模板
lt(Local tools 本地获取IP关系管理工具)
--password (-p) # 密码
--append (-a) # 追加IP，多个IP用逗号分隔
--remove (-r) # # 删除原有IP列表的IP
--port (-P) # 指定自定义端口（注：默认为22端口）
--worker (-w) #以worker形式并发启动（限200并发）
--json (-j) #一次性输出json格式
clip import 演示：
clip lt 根据本地文件IP文件，进行远程ssh command，其中root@“本地IP关系文件名”
Clip 使用案例
最近有同学发现在使用clip过程中不能远程执行awk命令。说一下这里的原因，因为clip最终是将命令通过ssh方式进行远程调用，这里涉及到特殊字符的转义。在使用clip ssh 时 命令部分建议用单引号（''）引起，awk 命令通过双引号，另外注意awk中的($)符号是特殊字符需要转义，最终使用方式（clip ssh -p null root@*-qq-*-* 'ps -ef|grep ssh | awk "{print \$2}" ' ）这样就可以方便的使用ssh执行远程awk命令了见截图。
未转义前
转义后
github: https://github.com/puppeter/clip/tree/master/clip.0.02
新增功能：
clip ssh && clip scp && clip lt 支持ssh打通关系信任执行系统命令与同步文件；
clip ssh && clip scp && clip lt 支持多线程并发执行系统命令与同步文件；
clip ssh && clip scan 支持json格式返回执行命令结果；
clip scp && clip lt 支持rsync同步文件；
clip scp && clip lt 支持反向下载服务器文件；
修复程序bug && 优化功能；
clip version 增加版本功能。
Clip SDK使用
Clip SDK 功能用于获取Server上的IP关系，并在Client上重新组织编排IP关系。(注：目前clip也支持将IP存放到本地文件中管理)。目前Clip 提供8个子命令，以下Clip子命令的参数解释与演示(更多案例参考：Clip SDK 案例)：
clip scan （用于对String对应的IP进行端口存活状态扫描）
--query_string（-q）# 根据String扫描IP的端口
--ip (-i) # 扫描指定IP的端口
--query_string (-q) *-test-*-*,*-docker-*-* # 多String扫描用逗号分隔
--append (-a) # 在原有String基础上，追加IP，追加多个(192.168.0.1,192.168.0.2)IP用逗号分隔
--remove_ip (-r) # 删除String原有IP列表的IP
--limit（-l）# 扫描String中指定范围的IP范围
--port (-P) # 指定自定义扫描端口（注：默认为80端口）
--log_disable（-o）# 默认日志会上报服务器，并通过history命令查看历史，通过此命令可以关闭日志上报,建议频繁使用clip关闭clip
--json (-j) # 一次性输出json格式（{ip:status} 其中0位成功，1为失败）
clip scan 使用演示：
扫描*-puppet-*-* 对应开放的端口
clip cstring(正解与反解String对应IP关系)
--query_string（-q）# 解析String对应的IP列表
--ip (-i) # 解析IP对应的String
--query_string (-q) *-test-*-*,*-docker-*-* # 解析多个String对应IP列表，多String用逗号分隔
--limit（-l）# 解析String中指定范围的IP范围
--append (-a) #在原有String基础上，追加IP，追加多个(192.168.0.1,192.168.0.2)IP用逗号分隔
--remove_ip (-r) # 删除String原有IP列表的IP
--join (-j) # 指定输出的格式，支持(“|” “,” “\n”,space) 4种格式输出
--log_disable（-o）# 默认日志会上报服务器，并通过history命令查看历史，通过此命令可以关闭日志上报,建议频繁使用clip关闭clip
--count (-c) # 统计输出IP个数
--dryrun (-d) # 输出调用接口用例
clip cstring演示:
解析*-qq-*-* 对应的IP关系。
解析192.168.0.7 对应的String。
clip ssh (远程命令执行工具)
--password (-p) # 密码 （如果打通了机器信任关系，密码字段请使用null）
--append (-a) # 在原有String基础上，追加IP，追加多个(192.168.0.1,192.168.0.2)IP用逗号分隔
--remove_ip (-r) # 删除String原有IP列表的IP
--limit（-l）# 解析String中指定范围的IP范围
--port (-P) #指定自定义端口（注：默认为22端口）
--dryrun (-d) # 输出调用接口用例
--log_disable（-o）# 默认日志会上报服务器，并通过history命令查看历史，通过此命令可以关闭日志上报,建议频繁使用clip关闭clip
--worker (-w) 以worker形式并发启动（限200并发）
--json (-j) 一次性输出json格式
clip ssh演示:
查看string(sh-docker-base_v1-*) 对应机器上负载.
查看string(sh-docker-base_v1-*)的第一台服务器对应负载
clip scp (远程命令执行工具)
--password (-p) # 密码（如果打通了机器信任关系，密码字段请使用null）
--append (-a) # 在原有String基础上，追加IP，追加多个(192.168.0.1,192.168.0.2)IP用逗号分隔
--remove_ip (-r) # 删除cstring原有IP列表的IP
--limit（-l）# 解析String中指定范围的IP范围
--port (-P) # 指定自定义端口（注：默认为22端口）
--dryrun (-d) # 输出调用接口用例
--log_disable（-o）# 默认日志会上报服务器，并通过history命令查看历史，通过此命令可以关闭日志上报,建议频繁使用clip关闭clip
--worker 以worker形式并发启动（限200并发）
--json (-j) 一次性输出json格式
--rsync (-R) 通过rsync方式做增量文件传输
--download (-D) 反向从远程服务器下载文件
clip scp演示:
将ip文件推送到string(sh-docker-base_v1-*)对应机器的/tmp目录上。
tree(String关系遍历工具)
--query_string(-p) # 密码
--json (-j) # 指定输出的格式
--dryrun (-d) # 输出调用接口用例
--log_disable（-o）# 默认日志会上报服务器，并通过history命令查看历史，通过此命令可以关闭日志上报,建议频繁使用clip关闭clip
clip tree 演示：
遍历*-*-*-* 下的节点
import(IP关系导入工具)
--insert (-i) # 将文件内的clip对应关系导入数据库
--bulid (-b) # 创建clip导入数据库，关系模板文件
--list_struct (-l) # 显示clip数据库结构
clip import 演示：
clip import -b 创建导入string与关系模板
lt(Local tools 本地获取IP关系管理工具)
--password (-p) # 密码
--append (-a) # 追加IP，多个IP用逗号分隔
--remove (-r) # # 删除原有IP列表的IP
--port (-P) # 指定自定义端口（注：默认为22端口）
--worker (-w) #以worker形式并发启动（限200并发）
--json (-j) #一次性输出json格式
clip import 演示：
clip lt 根据本地文件IP文件，进行远程ssh command，其中root@“本地IP关系文件名”
Clip 使用案例
最近有同学发现在使用clip过程中不能远程执行awk命令。说一下这里的原因，因为clip最终是将命令通过ssh方式进行远程调用，这里涉及到特殊字符的转义。在使用clip ssh 时 命令部分建议用单引号（''）引起，awk 命令通过双引号，另外注意awk中的($)符号是特殊字符需要转义，最终使用方式（clip ssh -p null root@*-qq-*-* 'ps -ef|grep ssh | awk "{print \$2}" ' ）这样就可以方便的使用ssh执行远程awk命令了见截图。
未转义前
转义后
Dec
19
最近调研了一下开源的监控系统，最终选择了open-falcon。从以下列表可以了解到各监控系统都有他在特定场景下的优势，如果以时间进行分类可以了解到新起之秀譬如open-falcon和prometheus设计思路都很像。 但最终选择open-falcon的原因主要还是在当前笔者所在的场景下解决了一些痛点、譬如大量数据上报页面展示渲染速度很快、模块化开发、有丰富的插件和中文文档等。
关于open-falcon的安装与使用文档见（http://book.open-falcon.org/zh_0_2/api/）
关于open-falcon的安装与使用文档见（http://book.open-falcon.org/zh_0_2/api/）
Nov
6
今天在一些机器上批量执行命令，将10多个ip追加到指定文件中（ip）通过以下shell方式来批量执行。
#!/bin/bash
while read line
do
ssh $line "command"
done < ip
奇怪的是每次执行1行就退出。 网上google以下原因，while read 会从标准输入读取1行数据赋值给line变量，在while中循环嵌套ssh，ssh命令就会截取所有标准输入的数据这就导致read再次读数据时数据已经被ssh读取，line变量获取为空值最终导致循环结束。
解决方式：
1. ssh -n ,其中-n参数含义如下：
2. ssh "command" < /dev/null
3. 或者循环时使用for
#!/bin/bash
while read line
do
ssh $line "command"
done < ip
奇怪的是每次执行1行就退出。 网上google以下原因，while read 会从标准输入读取1行数据赋值给line变量，在while中循环嵌套ssh，ssh命令就会截取所有标准输入的数据这就导致read再次读数据时数据已经被ssh读取，line变量获取为空值最终导致循环结束。
解决方式：
1. ssh -n ,其中-n参数含义如下：
-n 把 stdin 重定向到 /dev/null (实际上防止从 stdin 读取数据). 在后台运行时一定会用到这个选项. 它的常用技巧是远程运行 X11 程序. 例如, ssh -n shadows.cs.hut.fi emacs 将会在 shadows.cs.hut.fi 上启动 emacs, 同时自动在加密通道中转发 X11 连接. 在后台运行. (但是如果 要求口令或密语, 这种方式就无法工作; 参见 -f 选项.)
2. ssh "command" < /dev/null
3. 或者循环时使用for
