这个故障已经过去好多天了,但是还是要记在这里以供别的兄弟参考。
现象:
应用服务器正常服务期间,load突然飙高,但是看访问日志却发现不了异常,应用支持的架构师说访问量没有任何异常。
分析:
load突然飙高,要么瞬间访问量突然加大,要么原来的事务中依赖的资源突然耗时导致事务处理时间突然加大。
我们的应用集群下服务器的性能还是有把握的,正常的有交易性事务的服务能力也在500万/日以上。而服务器在正常服务器间
没有做任何改动,所以首先不考虑参数优化和代码性能造成的原因。
先分析所有事务的处理时间,根本accesslog分析基本排除每次请求处理超时,也就排除请求处理中访问其它资源耗时的情况。
于是再次想到访问量,应用支持架构师说该时段内访问量正常,但是..........
我们的服务能力在高峰期有几十万/时,从整个时段内看不了异常,但如果在某几分钟内突然发生十万请求,对于整个时段是看不出来
异常的,但对于这几分钟可以有就是饱和式访问。所以我把访问量先分每十分钟一段,基本已经看出问题了,其中某十分钟的请求数是
平时的3倍,再把这十分钟按每分钟分段,结果在其中一分钟内请求超过原来的15倍。
原来基本定位了,分析一下这个时段内访问的ip看到大量的同一ip段在访问,其ua带有明显的特征,就是百度的爬虫在大量并发访问。
于是先暂时封锁这个ip的访问,服务器慢慢恢复正常。
这个故障分析过程其实就是细致,细致,再细致。应用支持架构师一直声明访问量正常,但是当排除其它可能时,我还是再次对访问量
做了分析,别看一个时段总量正常,哪怕是某几秒饱和式访问也可能引起load突然飙高。所以细致的分析是必要的。
分享到:
相关推荐
Linux内核分析:页回收导致的cpu load瞬间飙高的问题分析与思考.pdf
mysql调优; mysql服务器LOAD突然飙高,可能的5种情况, 以及解决办法;
用Load方法在窗体上添加一个文本程序(VB6.0源代码编写),每点击一次就增加一个Text控件. Load Text1(i) Text1(i).Width = 800 Text1(i).Height = 300 Text1(i).Top = 200 Text1(i).Left = Text1(i - 1).Left + ...
本文档在虚拟机环境下,针对Load.exe病毒进行处理,在不清除他的情况下,进行病毒修改操作。 所用工具:InCtrl5、冰刃。
在 DB2 数据库的日常使用中,很重要的一项工作就是移动数据,那么在此时就经常会用到 LOAD 工具。DB2 的 LOAD 工具的功能非常强大,而且在很多方面与其他工具比较起来有着突出的优点,这使得 LOAD 工具在 DB2 数据...
使用TE过程数据进行了主元分析,利用T2统计量和Q统计量进行检测。 clear all clc %% 加载数据 X=load('E:\matlab\TE\d00.dat')'; Z=load ('E:\matlab\TE\d01_te.dat'); %标准化处理 [X_row,X_col]=size(X); X_mean...
微服务生态组件之Spring Cloud LoadBalancer详解和源码分析.doc
st-load可以识别推流,清晰度比较高st-load可以识别推流,清晰度比较高st-load可以识别推流,清晰度比较高十五分钟的文件,高清,码率1.3Mbps
整理出了dataload导入过程中键盘操作的命令集合,很方便,很实用。
OpenGL Load3DS OpenGL Load3DS OpenGL Load3DS
load图片,网页页面的load图片!load图片-28个
如何TroubleShooting Jload
[root@localhost st-load]# ./configure [root@localhost st-load]# make [root@localhost st-load]# ls objs/ http-parser-2.1 src st_hls_load st_rtmp_load st_rtmp_publish Makefile st-1.9 st_http_load st_...
性能测试load3
dataload导入工具的导入原理类似于软件档案的录入界面与EXCEL格式同时打开,两边做不断的复制、粘贴。 dataload工具可以进行数据的导入,其有几大优点: 1、 安全性:由于静态档案是从软件的界面进行导入的,所以在...
赠送jar包:spring-cloud-loadbalancer-3.1.1.jar; 赠送原API文档:spring-cloud-loadbalancer-3.1.1-javadoc.jar; 赠送源代码:spring-cloud-loadbalancer-3.1.1-sources.jar; 赠送Maven依赖信息文件:spring-...
load testing for dotnet
装柜专家LoadExpert是一个解决集装箱装柜问题的专业软件。“装柜专家”采用先进的数学模型,集合优秀的程序算法,紧密联系实际应用需求。它能智能优化集装箱内货物空间布局,提高集装箱的空间利用率,得出明确清晰的...
性能测试load9
性能压力测试load5