Weblogic宕机事件定位分析

《Weblogic宕机事件定位分析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Weblogic宕机事件定位分析段常飞Weblogic宕机,是很多运维人员的噩梦，时不时的系统挂了，而且总是找不到源头，开发说程序没有大的变动，一直很平稳呀，客户反馈，系统硬件配置已经相当高了，足以支持系统运行呀。又把问题抛给了运维人员，必须得找出原因了。可是怎么下手呢？下面我以郑州为例来演示如何定位程序问题。郑州市20160505、20160509宕机事件日志错误类型：<2016-5-9上午11时22分13秒CST><[STUCK]ExecuteThread:'1'forqueue:'weblogic.kern

2、el.Default(self-tuning)'hasbeenbusyfor"3,708"secondsworkingontherequest"Workmanager:default,Version:0,Scheduled=true,Started=true,Startedtime:3708125ms[Cookie:JSESSIONID=yGn2XvYC6yV3nDLJHCQFyxVQLSBcpL1WmRxkhQl78nyZTpq13J8v!-154976378;BIGipServerPool-zhongxinduan=1348708544.37919.0000]",whichis

3、morethantheconfiguredtime(StuckThreadMaxTime)of"3,600"seconds.Stacktrace:com.neusoft.udolink.OPSysManager.start(OPSysManager.java:361)2016/05/09-11:24:21>>INFO>>Timer-3>>com.neusoft.unieap.comp.cacheSynchronize.CacheTask.run(CacheTask.java:34)>>检查内存更新...<2016-5-9上午11时24分21秒CST>

4、><2016-5-9上午11时26分28秒CST><2016-5-9上午11时26分28秒CST>

5、EA-000449>分析原因：weblogic的线程阻塞，进而导致批量等待阻塞，最纵引起weblogic挂起现象Weblogic线程处理的默认时间为3600s，StuckThreadMaxTime:3600。在运行一些将长时间的程序时经常会由于请求时间过长，导至超时。报出morethantheconfiguredtime(StuckThreadMaxTime)of"3600"seconds错误。或是由

6、于发送该请求较多（业务重复办理，后台并没有中断），达到很有可能会导致weblogic的线程阻塞，无法释放系统资源，严重引起weblogic挂起现象。解决方法通常可以如下：      1:优化报错执行的程式，检查是个执行3600s的程式是否可优化或是可拆分，此种解决方法较佳，这是解决问题的根本。      2:调整StuckThreadMaxTime时间，将3600s调成更大。此方法虽然可以解决线程请求时间，但容易至使等待线程过多，或致使线程阻塞，严重会引起weblogic挂起致使Down机。目前已经相当长了，通过weblogic监控到，目前平均每个服务等待的线程占一半还多。这个值不

7、建议再增加。      3:增大线程数，防止线程阻塞问题。但前提条件是硬件需要支持。现在系统线程数量由weblogic11自动调节已经够大，不是瓶颈。不建议调整。通过上述分析，最好的还是从根本上解决问题，就是找出应用程序中长时间调用等待的action，通过日志及监控系统运行分析查找；1、查看服务器健康情况：服务器健康状况:Warning 原因:ThreadPoolhasstuckthreads提示已经有阻塞的线程。2、查找阻塞的线程：从线程中去查找。Workmanag