Dec 19
最近调研了一下开源的监控系统,最终选择了open-falcon。从以下列表可以了解到各监控系统都有他在特定场景下的优势,如果以时间进行分类可以了解到新起之秀譬如open-falcon和prometheus设计思路都很像。 但最终选择open-falcon的原因主要还是在当前笔者所在的场景下解决了一些痛点、譬如大量数据上报页面展示渲染速度很快、模块化开发、有丰富的插件和中文文档等。

点击在新窗口中浏览此图片

关于open-falcon的安装与使用文档见(http://book.open-falcon.org/zh_0_2/api/)
Nov 6
今天在一些机器上批量执行命令,将10多个ip追加到指定文件中(ip)通过以下shell方式来批量执行。


#!/bin/bash
while read line
do
         ssh $line "command"
done < ip


奇怪的是每次执行1行就退出。 网上google以下原因,while read 会从标准输入读取1行数据赋值给line变量,在while中循环嵌套ssh,ssh命令就会截取所有标准输入的数据这就导致read再次读数据时数据已经被ssh读取,line变量获取为空值最终导致循环结束。

解决方式:
1. ssh -n ,其中-n参数含义如下:
-n 把 stdin 重定向到 /dev/null (实际上防止从 stdin 读取数据). 在后台运行时一定会用到这个选项. 它的常用技巧是远程运行 X11 程序. 例如, ssh -n shadows.cs.hut.fi emacs 将会在 shadows.cs.hut.fi 上启动 emacs, 同时自动在加密通道中转发 X11 连接. 在后台运行. (但是如果 要求口令或密语, 这种方式就无法工作; 参见 -f 选项.)

2. ssh "command" < /dev/null
3. 或者循环时使用for
Sep 30
点击在新窗口中浏览此图片

点击在新窗口中浏览此图片
Aug 23
开篇

这篇文章是对之前几篇文章的一个续,主要介绍项目开发过程中发生的问题并以案例的方式介绍。

前两篇文章
Docker2.0 项目过程总结  http://blog.puppeter.com/read.php?52
Docker3.0 项目过程总结 http://blog.puppeter.com/read.php?56

你真的了解你的用户么?
一个项目能够成功需要看是否了解用户的真实的需求,但很多时候与用户沟通发现用户是不知道自己想要什么的,所以这里就要收集很多数据帮用户来排序与选择并最终给他一个选择题。以下是一个未了解用户真实需求的案例。
年中公司团建内部小鲜肉(kanesong)组织了一个泰国团,我个人是非常想去泰国的因为确实没有去过也很感兴趣泰国的美食,但从以往经历上看这团并不好组织所以也协助小鲜肉在拉人。 这里我提前设想了一下尽量的让泰国团能够真的筹集到人数成团的方法。
首先私下问了一些比较熟悉的朋友筹集首批用户而首批用户以女生为重点用户,因为女的多了男的才会有去的心思即便不去也可能会帮我们吆喝。人数很快筹到了13个人差2个人就可以成团了,但心里知道很多已经入团的人仍然处于犹豫期的未必会去,所以要了解大家真实的需求是什么好趁热打铁,我们收集了大家的想法与需求后经过汇总分类后如下:
1. 我想去泰国,但之前去过所以只想去指定的地点与路线,譬如芭提雅;
2. 我想去泰国,但是需要了解最终的团费是多少。而最终的团费和出团时间出团人数都是有关系的没有最终成团前这问题很难回答;
3. 我想去泰国,但只在6月中旬有时间;
4. 我想去泰国,去哪无所谓,主要是能吃到地道泰国美食,看到真正的泰国人妖;
5. 只要泰国能在短时间成团我就去;
6. 没说肯定去,也没说肯定不去。
从需求看上去真的是众口难调,但仔细思考问题也不大我想如果能满足这类人群中的大多数的需求那少数部分也就不成为问题了。我们边收集想法边推广,以以上需求的角度,以团内都是美女的角度,通过秘书与大家口口相传希望能筹集到最后的最少两个人,不过随着时间的渡过发现很多已经入团的同学没有了耐心已经有开始有退群的打算了,我都是先说等有新人进来再退但很无奈人就是凑不齐。 一天同组同学老司机(brinkmai)组织了一个休闲的广东省内团(http://blog.puppeter.com/read.php?59)开始我并不太看好,因为我觉得大家都是年轻人年轻的时候就应该能走多远就走多远多看一下外面的世界, 而吃惊的是两周后听说人数已经筹够达到出团的要求。 brinkmai也在邀请我来这团,其实我本想的是如果泰国不成团我就参加数据组同事组的台湾团,不过发现很多组内的同学都参与了,从更多与组内同学沟通的机会上看最终我还是选择了这个团,当我进入这团的RTX群后人数慢慢攀升到了30人这也给我了很大的触动,为什么泰国团组建就这么难而广东省内肇庆团就这样容易,分析后发现团内老员工占比比较多,大家主要还是借此机会能够得到充分的休息,所以用户最真是的需求是实惠休闲,当能聚类出这类用户的需求的情况下组织一个团成功率就会高很多,虽然不能满足每一位团友的需求但已经抓住了主体用户的需求组织起来也就没那么了。




Docker3.0的过去、现在和将来
开篇中提到的是一个生活的案例,可以看到在组团前我们是有意识通过历史经验来提升组团的成功概率的,工作中做项目也一样如何让做的项目能够成功? 这就需要考虑的维度更多一些。下面来介绍一下Docker3.0项目(Docker3.0是我们开发的一个内部系统版本代号)我主要通过时间维度来介绍一下此项目的过去、现在和将来,并介绍在每个环节中遇到的问题与思考。

“过去”
1. SNG运维场景;
2. 容器在场景下的需求分析。

1. SNG运维场景:
我个人觉得我们运维了业界最复杂的系统,复杂的原因产品线多、产品历史悠久譬如qq、qzone,腾讯成立于1998.11.11到2018.11.11日正好20周年,qq也从花季雨季步入小青年,qq和qzone是我们业务的主干为了不断满足用户的需求我们在主干上也不断迭代新的产品特性,但也有很多产品特性随着时间被主流的用户遗忘而变为了长尾业务,而这些业务都在我们的服务范畴内复杂程度可想而知。我们在运维这样复杂的系统同时也需要与时俱进不断跟上技术的革新,譬如Docker容器很火在公司内部其他BG如游戏王者荣耀都在应用,容器在技术上实现了弹性伸缩节约我们的成本也统一了“交付物”,在业务层面助力了王者荣耀的快速发展,所以我们有理由相信我们SNG也是可以用的。经过与同事的讨论与之前的运维经验,我们分析出玩容器在SNG可以分为4个场景,以下是4个场景的优缺点:
点击在新窗口中浏览此图片      

2. 容器在场景下的需求分析
容器应用场景已经分析出来了,如果站在我的角度出发,我可能先做离线再做在线业务与离线的混部,同时在开发系统过程中我们肯定会发现很多问题通过发现的问题在来迭代下一版本的需求,但主线依然是以上所提的SNG运维场景,所以假如我对SNG运维场景做一个排序的话,我的优先级排序是 1 3 2 4 这样做的方式优点是风险比较低相对容易出成果。但实际执行过程并没有想象的这样简单要综合很多人的意见权衡利弊,以下是前期与中期收集了大家的想法。
大老板: 我们要做容器、 不追求上量但能力一定要达到,希望我们做的不要比其他BG差;
中老板: 支持容器机器,底线是稳定与易用可推广,建议与织云体验融合可以无感知的推广与上量;
小老板: 系统一定要做出亮点。通过实现弹性伸缩,解决效率问题的同时也解决了我们成本问题。
经过各种权衡最终我们选择了在线业务的弹性伸缩(4)是四个场景中最难的一个场景,有时老板思路占比重会大一些。
确认应用场景后内部对开发形式又有一些争论:
开发同学1(t3): 建议使用lighthouse(内部开发系统代号),因为lxc(全称Linux Container)通过lighthouse管理对它做简单的改造就可以支持Docker的管理,无需重复照轮子。
开发同学2(t2): 是否使用lighthouse无所谓,但没有使用过python心里没底,希望开发同学1更多支持与帮助, 不过经过最终的权衡选择了重新开发。
我个人观点: 开发1与2的同学观点都对我们在做系统的时候要尽量避免的重复造轮子,但也要尊重每个人的选择让每个人在项目中得到收获与成长,而后者的权重通常要高于前者。

“现在”
时间到了年中,现状我们已经开发出了弹性扩容的系统灰度了很少一部分业务但并没有上量,从技术角度看此系统是成功的达到了预期效果,但从上量角度看还短期达不到还需要很多细节打磨。 一天坐公交偶遇一个老同事目前已经是一家创业公司的技术骨干,我们聊起了我做的Docker3.0项目,他其中一句话印象令我十分深刻,他说在腾讯内部开发的系统没有规模上量是有问题的。实际上从KPI角度看在年中没有上量也是有问题的,我复盘了一下整个过程个人总结有以下几点:

1. 缺少对用户需求的理解:
从“过去”这环节中大家可以看到我们前期分析了SNG的容器应用场景,在分析的过程中也与负责业务与开发天天打交道的业务运维进行了沟通分析了痛点这里要说一下强调一下“痛点“这词,在聊得过程中我个人感觉有时确实用户是不知道自己想要什么的,只能描述出业务特性比较复杂开发与运维“交付物”不明确等,如果可以通过镜像来实现开发与运维的“交付物”,通过容器来实现弹性伸缩是可以解决我们的效率问题降低运营的成本。而我们忽略了最真实的使用用户是开发,同时也没有一套简易的UI来描述开发后的用户体验而开始开工建设系统,最后导致系统建设出来但最终的使用用户反馈新系统学习成本比较高推动困难。 所以最开始如果我们做的是离线系统,通过此目标建设系统在后续做在线与离线系统混部的环节能给开发提前演示效果,有可能会比当前状态推动会更容易一些。

2. 没有遵循目标最小化原则:
其中目标最小化原则是以最小的代价来满足用户需求,再通过用户的反馈不断的迭代新的需求;以下这张截图很形象的说明了目标或产品最小化原则,这思路也是来自《精益创业》 一书中提出了“精益创业”(Lean Startup)的理念。

点击在新窗口中浏览此图片

而现状是(如截图no like this)确实初期定的目标有些高,短时间推动上量很多细节需要打磨,譬如页面的用户体验、对用户无感知和与旧运营系统融合等等。而目标较高在KPI的背景下短期没有过多收益会有很多流言蜚语影响大家的心态;

3. 没有推动上量的手段:
通常在内部开发的系统推动上量有几种方式:
1. 确实解决用户痛点,对整体(成本、质量、效率和安全)有明显受益;
2. 至高向下推,由leader或者更高职位的领导帮推动。 举个例子譬如安全,如果服务器不做安全加固短期可能没事,但万一出现安全漏洞服务器又没有加固就会导致数据泄露风险。而在没有安全漏洞的情况下,推动别人去做一些安全加固没有至高向下推是比较难推进的;
3. 通过其他手段譬如卡资源来推动本项目。 这里我们也没有做到,虽然我们组名叫计算资源组,但资源并不归我们负责用户上下线也不走计算资源组。2015年是节约成本年,很多产品业务快速发展拿不到资源,通过资源来卡业务是一个没有办法的办法,因为当时运营系统效率达不到弹性伸缩。但目前是17年业务手中不缺少资源,所以很难推动。
而目前1-3情况都不具备,没有一个很好的推动上量手段。

“将来”
0.  邮件记录每一个环节:
前期的需求分析、规划、里程碑、短期目标、中长期目标、参与人员和每次例会的内容都要记录邮件并定期输出,防止沟通不清楚和信息不对称导致项目出现的风险。

1. 不断的复盘与总结过程中发现的问题:
在“现在”这环节中,我们对项目的过往进行分析与总结,做项目还是要充分了解用户的需求,如果在用户说不清楚需求的情况下要拆分场景用产品最小化原则来建设系统,通过建设系统是否解决用户的痛点或是系统运营中的过程数据发现的细节问题来不断迭代下一版本,并在之前拆分的主线上慢慢前行同时还要不断的复盘过程中发现的问题并一一解决才做出一个好的系统。

2. 别迷信权威:
在项目开发很多思路来源于书本上的方法论,但书本上的知识方法论在项目过程中应用并落地还真不容易,所以不能不学这些方法论但又不能过于相信所有的方法论。

3. 尽量发现每个人的长处:
在项目过程中确实发现每个人性格是不一样的,所以在做项目的过程中根据性格特征每个人也有着自己的长处,有的同学不善于沟通但写代码很强,有的同学文档写的不错,有的同学推动能力很强,在做相同项目过程中发现每个人的长处可以让大家有成就感的同时推动最终项目的成功。



总结
本文标题是如何做一个项目,从本文第一个案例与第二个案例中看做的项目都不是十分的完美,大家看完可能觉得有些标题党的感觉所以这里介绍的并不是如何做一个成功的项目,而是在做项目过程中通过案例方式如如何将风险降到最低同时又能权衡利弊让大家受益最大化。当然在做项目过程中也有很多拿不准的东西以下留了一些过程中遇到的问题,如果是你应该如何应对也欢迎与我沟通讨论邮箱:8851970@qq.com 。 最后,引用爱迪生的一句话  "天才都是百分之九十九的汗水加百分之一的灵感。后面是那百分之一要比百分之九十九重要的多" 。

讨论的问题
0. 如果根据自己历史的项目经验觉得当前的方案是对的而老板又不这样认为应该怎么处理?
1. 项目开发过程中肯定会遇到很多细节的问题,当遇到细节问题争执不下时(在方案没有最终落地前,两方争执结论都是无懈可击的)这时找leader又两面为难不给最终建议,这时你应该怎么做?
2. 项目过程一但版本封板不准许增加需求,而产品为应对市场需求又怎需要增加一些需求导致版本期限延期,应该怎么处理?

Aug 4

肇庆团建 不指定

djangowang , 09:29 , 生活相关 , 评论(0) , 引用(0) , 阅读(442) , Via 本站原创
今年参加了公司的肇庆团建(2017.7.25-2017-7.28)4天3夜与以往不同是纯休闲团所以能写的也不是很多,整片文章围绕以下三个方面来介绍:


  ●  行程与景色
  ●  住宿与饮食
  ●  民俗文化与整体感受


1. 行程与景色
第一天
从深圳万利达大厦出发到肇庆大约3个小时时间其实这里主要看虎门大桥是否堵车,如果不堵车3个小时内到是没有问题。我们比较幸运周二没有遇到堵车早上9:00出发大约在中午12:00左右到肇庆市,肇庆市位于广东省中西部,西江干流中下游,东部和东南部与佛山市、江门市接壤,西南与云浮市相连,西及西北与广西壮族自治区梧州市和贺州市交界,北部和东北部与清远市相邻。秦始皇三十三年(公元前214年)境域内设置的四会县,是广东省4个最早建制县之一。

点击在新窗口中浏览此图片

我们大约在中午12点多点抵达肇庆市用过饭后再驱车两小时左右到盘龙峡生态旅游区景区,内有茂密的原始森林。

点击在新窗口中浏览此图片

当天的天气比较热但是进入山里还是非常凉爽的,山下有车可以接送游客到山上游客到山上再从上往下爬可以省不少力气,汽车大约开了10分钟到达山顶感觉山不是很高。或者景区远离市区的原因,或者是周二大家都上班的原因景区里人不是很多,在原生态的山里里闭上眼睛深吸一口气感觉非常不错。 下山大约需要步行40分钟整个沿着小河走时不时可以看到瀑布川流不息,茂密的深林偶尔洒下一片阳光凉爽中带着一丝暖意,这是后开发的风景区不然古代的文人墨客在此环境下一定会更多的灵感留下更多的美妙的诗篇与足迹。 途中会有漂流大约100元1人没有团购也没有打折,导游说这里都是村民集资修建的周围的村落靠此维持生计,漂流的船从上游到下游后需要放气再由人工搬运到山上再次使用,这也导致了效率的底下和人工的重复。下山后吃饭晚上旅店提供温泉和游泳池,其中泉水肯定是真的但是当地并没有地热应该是加热后的泉水水很干净,沐浴在源生态环境中的热水温泉中,静静的享受惬意的生活。

第三天
第二天上午从盘龙峡生态旅游区返回肇庆市内,下午主要在酒店休息,酒店在当地市中心4星级提供健身房与游泳馆,这里没有太多讲的我们直接跳到第三天的景区。第三天景区在肇庆市内附近鼎湖山风景区,据导游说科学家考证负离子达10万多个,景点包括有:岭南名刹庆云寺、飞水潭、中山泳池、荣睿碑亭和蝶趣园等风景区。 以下是途径景区的一个大鼎很大的那种,游客可以往鼎里仍许愿球,我们猜里面应该有很多那种许愿球。

点击在新窗口中浏览此图片

目测鼎湖山最高的地方应该有1000+米。

点击在新窗口中浏览此图片

第四天
第四天上午来到行程地方比较近七星岩风景区,下午返回深圳呢,其实整个肇庆市区是围着这风景区修建的。园内自然风光还是非常美的。特别石头上留下了很多文人墨客的字迹,让我们可以追忆往昔的岁月。

点击在新窗口中浏览此图片

图二不是蛇,是长的像蛇的一种爬行动物,有点壁虎的感觉。

点击在新窗口中浏览此图片

住宿与饮食

第一天
我们住在盘龙峡生态旅游区景山下的目录,木屋内环境还不错设备一应俱全,打开窗户远处是山

点击在新窗口中浏览此图片

晚上睡觉时也很安静,打开窗户可以看到繁星点点,听一首歌享受这宁静的夜晚。
第二天到第三天我们住在星湖大酒店,星湖酒店是肇庆的4星级老牌酒店,我们住在25楼比较巧的是我住的房间是2508与我家门牌号一样吃饭在29楼站在高处可以看到整个肇庆的市区,酒店环境很不错。


关于这几天的饮食,以下为出团说明书中的每日菜单。可以看到每天都有鸡吃,肇庆的美食比骄清淡,所以口重的朋友去一定要带上“老干妈”。

7月26日  中餐  新世纪渔港     500元/桌
菜单:淮杞炖水鸭、豉油皇游水虾、飘香葱油鸡、潮式卤水拼盘、红烧西江钳鱼、风味焖草鹅、清蒸西江边鱼、什菇浸生打鱼丸、时令时蔬、肇庆果蒸粽

7月25日   晚餐  盘龙峡山菜馆   500元/桌
菜单:鸡骨草煲竹丝鸡汤,葱油白切鸡,红炆石头猪,大茨炆排骨,酿花生麸豆腐,贡皮炆假狗,山螺炆山鸭,子苏蒸山坑鱼仔,姜葱爆牛肉,绿豆酿莲藕,德庆竹篙粉,上汤野菜,紫心番薯焗饭。

7月26日  中餐  盘龙峡天幕餐厅  500元/桌
菜单:虫草花煲脊骨、农家一锅出、佛手瓜小炒皇、巴戟焖猪手、首乌焖牛腩、葱烧猪嘴蘑、菜脯肉碎煎蛋、豉汁蒸河钳、皮蛋煮时蔬

7月26日  晚餐  快活林    500元/桌
菜单:蜜汁叉烧、招牌原味鸡、剑花煨猪骨汤、清蒸西江边鱼、蒜茸粉丝蒸扇贝、笋干焖烧腩、梅菜蒸肉丸、客家泉水酿豆腐煲、鲍叶珍菌鱼肚

7月27日  中餐   金鼎龙湖酒店  500元/桌
菜单:木棉花炖瘦肉、笼仔蒸沙虾、客家焖石头猪、金鼎葱油鸡、广利头菜蒸大鱼头、姜葱焖文庆鲤、金奖南瓜扣、罗卜焖西江大鲩、鼎湖山水豆腐、郊外油菜、肇城果蒸、丝苗白饭、水果拼盘

7月27日   晚餐   竹满园     500元/桌
菜单:花旗参竹丝鸡炖汤、白灼西江河虾、白切封开杏花鸡、农家碌鹅、豉汁盘龙蒸西江钳鱼、农家鱼干蒸家乡腊肉、风味田螺猪头骨煲、椰汁香芋南瓜肇实煲、雪菜家乡豆腐煲、上汤怀集时蔬

7月28日   中餐    山东老家     500元/桌
菜单:老火靓汤、梨木炭烧脆皮鸡1只、卤水双拼、特色韭菜炒河虾、肇庆肇实煮鱼饺、鸡油肉酱蒸茄子、蜜豆炒龙利鱼柳、山水腐竹焖火腩、尖椒木耳丝炒鸡蛋、清蒸加州鲈鱼、上汤时蔬菜、香糯肇庆粽、山东小米粥、丝苗米饭、时令水果


民俗文化与整体感受
肇庆市要比深圳大很多人口400多万基本全说粤语,这里的历史也比较悠久,市内有保留完好的宋城墙。还有包青天(包拯)也曾在1041年调任端州(今广东肇庆)任知府。整个城市围绕湖而建,熟话说靠山吃山靠水吃水,这里简直就是完美了有山有水有历史有文化。



出团说明书:
Tags: ,
分页: 3/11 第一页 上页 1 2 3 4 5 6 7 8 9 10 下页 最后页 [ 显示模式: 摘要 | 列表 ]