作者介绍田逸,某互联网上市公司IT运维负责人,开源软件的拥护者及推广者,负载均衡软件Keepalived官方中文文档贡献者。
系统出了故障,第一个挨板子的就是运维人员:“不管任何原因,先找运维,给他一口好锅。”
不得不说,运维好苦啊……
稳定运行时,似乎是多余的存在;一旦有问题,就要献身背锅。与其被动苦逼,不如主动一点,砸了锅,不做背锅侠!
怎么砸锅呢?先看几个例子,基本从亲身经历得来。
砸锅例一
这个事情是当时有一个支付系统,前端负载均衡,中间Tomcat应用,后端Memcached加Oracle 11G rac两节点集群。遇上好的时机,公司的业务增长很快,但人手有限,跟不上业务的发展,只好尽可能的先上线,发现问题再修正。
某天,在西四环帮人排查宾馆wifi故障,楼里手机信号极差。还没查出什么原因,技术就打电话来质问:“你配的Oracle最大连接数,真有3000个么?怎么到300就卡死了?”。
于是我赶紧跑到室外,坐在地上用手机打开wifi热点,用笔记本连数据库,Load确实很高。没等查出原因,老板也来电话催促,说业务无法交易。我想,反正无法交易,不如把Tomcat停一下,看数据库负载是不是会降下来。在征得同意以后,就关掉killall -9 java,关闭Tomcat,片刻Oracle负载下降明显;再启动时,负载狂飙,最高达600多。
对Oracle的一些配置进行了检查,性能未能得到任何改善。于是就跟开发人员进行沟通,问他们近期是否做了项目更新?答复是肯定的,但无法确定是哪里的问题引起了性能上的问题,所以我建议在应用服务器上安装某性能监控探针。获得许可,很快就部署完毕,这样又等待了10来分钟,数据就出来了。
说明:本图不是事发时截取的,仅仅是为了方便读者了解。
然后一帮人赶紧紧急召集到一块,从性能探针的管理页面找出最耗资源的SQL语句进行代码还原(程序员来查这个代码是什么功能)。一番动作之后,被告知是后台管理操作——运营人员及代理商查询当日交易数据,由于产品设计上的缺陷,只要数十人同时进行此项操作,数据库就会直接挂起。
这个后台设计上的缺陷主要有以下几点:
负责技术的老总坦承,其实大部分管理最关心的是总额,很少去挨个查看详情。如果是需要查看,再按一定条件去执行这个操作。
弄清了问题,程序员马上去落实,更新代码以后,问题得以彻底的解决。
砸锅例二
第二个事情发生在夏初的时候,我们上线了一个区块链媒体项目。预估到流量会比较可观,不仅采购的云主机配置高,而且还是多台,并且购买了负载均衡服务。
可万万没想到,项目一上线,还没做任何宣传,集群中所有服务器的负载都飚得老高,Load接近1000,还好没死机,还能远程SSH登陆。
这不,一有问题,一口锅就飞来了,非说是系统配置上的问题。好吧,先把锅背上,忍辱负重检查各种配置:
问题得不到有效的缓解,只好跟相关人员进行沟通,要了app的下载地址,然后在手机上进行安装。安装好以后,打开app,底部有三个菜单项“快讯、行情、我的”。其中“快讯”菜单有四个栏目。
我试着往上滑,信息倒是一直能显示出来,而且看不到那种正在加载的转圈存在。结合web访问日志,我大致可以判断,应该是因为一次性把所有的信息都从数据库里进行抓取,不管这样是否合理(一般只看前1-2屏);另外,也可推断其它菜单或者栏目的内容,很可能也是一下子全抓取出来,管它需不需要展示。
有了这个发现,就立即联系开发人员,询问是不是数据抓取一抓到底,而且是一秒钟抓好多次(好多个板块一起抓)?答复:“确实如此,因为急着上线,没做太多考虑”。
这中间,我也曾对Nginx的并发数做限制,每秒限制5次;负载是降低了不少,但app却基本不能访问。结合访问日志及这次限制,可以肯定同一个app同一秒钟要抓二十几次,逻辑上肯定不合理。
至此,终于可以把这口锅扔给开发,让他们改进,问题得以最终解决。
砸锅例三
第三个事情发生在昨天夜里,天气凉爽,想着能睡个好觉。到了晚上10点左右,有哥们突然呼叫,说某个项目又罢工了。这个项目是一个在线租赁服务,由Nginx + Tomcat构成,运行了两个Tomcat实例。一直以来,经常出现502故障,公司花了钱做推广,老出问题影响不好,所以之前曾经登上系统,做过如下处理:
在做了这些处理以后,稳定了好一阵。
听到项目又罢工,心里一惊。赶紧登上去,手工重启Tomcat,进程是存在了,但系统日志catalina.out却抛出异常,用浏览器访问,仍然是502错误。
执行w指令,发现还有别的人登陆到系统,就在微信群问是不是有人在干活。有人回答:“正在发新版”。
……
你发版提前打个招呼啊!出问题了,不吱声,让我在那里白费劲。
接下来,因为怀疑新发的包有问题,重复传了几次,问题依然存在。于是开发扔一句话:“可能Tomcat坏了”。这判断有点武断,Tomcat没人乱动,一般不会坏的。
我耐着性子,进入到项目的目录webapps,下边有三个目录,程序员说他上传的文件在ROOT下:
既然如此,我试着把除ROOT外的两个目录移走,打算这样万一有问题,再恢复回来也是可以的。
重启Tomcat,恢复正常,Tomcat日志也不抛出异常。
我仔细检查目录ROOT及yzuqin-m目录里边的配置,特别是应用连接数据库的字串,发现两个项目连接的数据库各不相同,就询问程序员哪个是正确的。得到答案之后,再分析日志,可知每次启动,关联的项目却不是ROOT目录下的。
经验总结
看完这三个忍辱负重的砸锅案例,不知大家是否有些感觉?我思考的结果是,干运维的不仅要对系统、应用有较好的把控,而且还需要了解业务。
曾经有很长一段时间,我自己也是不喜欢关注业务,连服务器上运行的是什么都不知道(最多知道是网站而已,具体是什么性质的,一概不关心)。但其实如果花时间了解一下业务逻辑,再结合系统,从几个方面进行排查,处理故障的效率会高很多。而且很多情况下,把那口不属于自己的锅给砸碎,变成咱们去帮助其它技术人员解决问题,且不快哉?
相关下载 |
正所谓一代版本一代神,每个版本都有强势的英雄,当然你的技术足以碾压任何人就当我没说,就连职业选手也是会苦练版本强势的英雄的,不然背锅了怎么办呢?那么如果你没详情>>
大话西游手游公测至今,神兽已经不再罕见,但是大部分神兽都是玩家自己合成出来自用的,很少有玩家会摆摊,更不要说是珍稀神兽了。而今天小编发现竟然有玩家出手白泽,... 详情>>
原标题:王者荣耀:胜率最高的五个英雄,上手快神仙操作,砸锅卖铁也要买!王者荣耀一共有80多名英雄,在这众多英雄当中分六种职业,分别是;坦克丶战士丶法师丶刺客丶辅助详情>>
在王者荣耀里面现如今是有八十多位英雄,其中皮肤的数量已经超过了200款,小编也是看了一下,发现皮肤的总数详情>>
大家好,我是学长!近日王者荣耀上线了几个给力的活动,一个是永久英雄活动,想必不少小伙伴们都获得了永久英雄详情>>
hello~大家好,我是荣耀王者小仙女。王者荣耀在排位中阵容搭配是非常的重要,一般来说,一个正常的阵容必详情>>
这三大称号,如果曾经“砸锅卖铁”囤的话,现在估计早就买车买房!当初的时候,这些称号的价格,并没有很昂贵,随着时间的流逝,逐渐的成为稀世珍宝。主要是因为,他们都已经绝版,详情>>
大家好,很开心能遇到你,我是唐唐。在王者荣耀中,皮肤已经成了很多玩家必备的一种道具,只要是老玩家都是几十详情>>
在王者荣耀中,使用英雄皮肤已经是很平常的事情,几乎在游戏中不用皮肤的才觉得另类。而每一位英雄皮肤也是有分层次的,比如一些试试皮肤,传说皮肤,还有限定皮肤以及情侣皮肤等,而在这些详情>>
在王者荣耀中,使用英雄皮肤已经是很平常的事情,几乎在游戏中不用皮肤的才觉得另类。而每一位英雄皮肤也是有分层次的,比如一些试试皮肤,传说皮肤,还有限定... 详情>>
王者荣耀这个游戏已经是进行了12个赛季了,最近也是很快的就要迎来第13个赛季了,一些加强的英雄,也是接二详情>>
众所周知,前段时间韩服版本更新了95版本,新出了许多新的更为强力的武器和装备,于是国服已经有玩家开始分解详情>>
妲己首先妲己小宝宝是官方认定的瞬间爆发伤害最高的英雄!作为“草丛3姐妹”的代表妲己伤害那叫一个高,尤其详情>>
hello~大家好,我是荣耀王者小仙女。在王者荣耀中,使用英雄皮肤已经是很平常的事情,几乎在游戏中不用皮详情>>
关键词: 神武 元宵礼包!分享到: 上一篇: 《神武》最新游戏截图 下一篇: 神武宝宝:资质碉堡的舍身幽魂... 详情>>
CSOL砸锅卖铁 收藏+6普通系列详情>>
炉石传说那些传说卡牌令你心动,当年砸锅卖铁都要合出来?1.火车王火车王当时奇迹贼核心卡牌,三进三出火车王详情>>
我的世界:回复血量的方法,第四太厉害了,砸锅卖铁也要建一个!详情>>
汤圆混了半年的团,加上我的中等欧气,89级就翻到了荒古光。今天刚好又凑齐了10颗豆子了,本来想开两发罐子详情>>
在王者荣耀中,很多英雄还是有强弱之分的,这是个人技术难以弥补的,毕竟定位自己英雄的调整对他们的表现影响太详情>>
在王者荣耀游戏里,战士英雄是必不可少的类角色,他们可以扛伤还可以输出,在团战里可以顶着大批量的伤害,对敌人造成很大的杀伤,因此不少玩家都喜欢用战士英雄来打排位赛上分。随详情>>
大家好,很开心能遇到你,我是唐唐。在王者荣耀中,很多玩家都相信没有垃圾英雄只有垃圾玩家的说法,毕竟英雄的强弱还是还是取决于玩家的操作,但是英雄的调整就已经推翻了这个说法详情>>
CF王者轮回:柚子一心求枪砸锅卖铁,枪娘闪转腾挪避之若浼视频如下:详情>>
2018年8月3日在上海的新国际博览中心ChinaJoy已经正式举行了,不少科技巨头前来现场并发布游戏新详情>>
hello~大家好,我是荣耀王者小仙女。王者荣耀在萌新的玩家里,可能值18888金币英雄是最厉害的。其实,小仙女同意他们的观点,毕竟目前值18888金币英雄,还没有让玩家们吐槽过,虽然他们并不是最强详情>>
奇迹暖暖三周年庆,为女儿砸锅卖铁详情>>
DNF:非酋小奶妈坎坷深渊之路,砸锅卖铁500票,内容舒适请点赞!详情>>
快乐大本营,观众要求换游戏位置,易烊千玺当场愣住,最后被砸锅详情>>
CF手游 砸锅卖铁买了30张幻影卡,最后哭着回家找妈妈了!详情>>
目标60w之 砸锅卖铁开服装包详情>>
王者荣耀:天魔缭乱终于返场了!玩家:这次就算砸锅卖铁也要买!详情>>
CF手游帅天:开了几百个宝箱,砸锅卖铁就为了这把武器!值吗?详情>>
刘大香,炉石传说/啥节目名,砸锅卖铁自爆贼详情>>
九大职业对应的九大英雄,一起来看看他们的技能效果吧。“给希尔瓦娜斯。永远爱着你的姐姐,奥蕾莉亚。”“把王冠放在我头上,提里奥,这个诅咒将永远由我来看守!&rdquo详情>>
第1、典韦:在当前版本中绝对是最强势的英雄之一,所以说本赛季无论如何都要买来上分,不然你就等着后悔吧!典详情>>
这坐骑的作用就显现出来。邮箱我倒不在意,反正旅馆老板的数量比拍卖师多得多。 队长:都嗑合剂吃食物速战速决。A:我的吃完了。B:我的也吃完了。C:我坐骑有卖... 详情>>