疑难网络故障分析、解决方案

《疑难网络故障分析、解决方案》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、疑难网络故障分析借助网络分析工具排查门户网站访问失败原因1.1.故障现象描述1•故障现彖描述某运营商为3G用户提供访问的webportal系统，在每天业务窩峰（22:30至23:30）时段都会接到人量的用户投诉：网站访问不了！在故障时间段，web服务器和各网络设备的进程、资源开销与平时相比并无异常；爭后查看各设备的日志，也找不到故障的原因。2.基木环境描述用户基本网络拓扑如下图所示，3G手机用户经过无线网络后，通过3G核心网访问webportal系统,webportal系统内部山多台服务器上联到一台交换机，通过Redware做负载均衡，再通过出口路山器和防火墙上联到3G核心网：Web

2、portal系统系统管理员一直尝试通过监控服务器和网络设备本身的状态、进程和口志的手段來解决问题，但这种传统的网管方式存在以下几个难点：系统结构复杂：系统管理员没有3G核心网的管理权限，而webportal系统内部需耍监控的设备很多，工作量大，无法迅速定位是webportal系统内部还是3G核心网端的问题；无法关联分析：不同设备的监控数据无法进行有效的关联分析，无法拿出一个整体解决方案；缺乏故障回溯数据：各设备的口志系统内容冇限，无法对故障进行回溯；监控网络设备时无法获取应用信息，监控应用服务器时无法获取网络信息。1-2.分析方案设计1.分析目标借助网络协议分析工具，能够从网络的角度

3、分析到应用信息，实现webportal系统端到端的性能监控，分析webportal系统在故障时间段与平时相比有何异常，最终定位到有问题的设备节点。2.分析设备部署在webportal的出口路由器上抓包分析，能够迅速的定位到吋webportal内部问题还是3G核心网端的问题。Webportal系统1・3・分析情况1.基本流量分析■流量负载分析：由下图可见，webportal系统的平均流量为8.060Mbps,与平时相比并无异常，也没冇发现界常爆发的广播和组播流量；平均包长为718.507字节，并无异常。a计字节数敌利用率詡位Wfe敌641.477MB936,1600506%8.060M

4、bps1,406广擢謔402B70.000%0bps00B00.000%0bps0平均包长718S7字节■流量突发分析：由下图可见，在故障时间段，并未发现明显的流量突发。■包尺寸分析：未发现异常二SJgfe大小分布孚节数和用率等秒位<=641.473MB27,0910.135%13.520Kbps3065-12732.178MB411㈣4133%413320Kbps627128-2552.537MB15z5010322%32.232Kbps23256-51112.781MB36,5131.492%149.184Kbps51512402391.528MB111,37612162%121

5、6Mbps1761024-1517441.915MB317,17455.021%5.502Mbps471>=151859.066MB17,4127337%733.736Kbps

6、28■小结：通过流量的负载和突发分析，没有发现界常现彖，对以排除网络界常流量原因，町进一步分析网络层以上的信息2.TCP连接分析如下图所示，通过TCP统计信息我们发现：在故障时间段，总共冇135个用户访问了该web服务器，建立的TCP连接数为5235个，而可疑的是这5235个连接，有2213次是通过TCP复位发送（RST）來结束连接.而不是通过正常的4次握乎来结束连接。日sag做计物理会话14ip会话135T

7、CP会话5.235UDP会话3STCP»计TCP同步发送5.263]TCP同步it认发送5,257]TCP结束连接发送J734J1.通过三次握手分析网络时延技巧业界通过三次握手分析网络时延的技巧如下图所示:客户端捕获点SYN包SYN/ACK^ACK包服务器端•T2-T1可以看作服务器端到捕获点的RTT•T3-T2可以看作客户端到捕获点的RTT我们可以利用网络时延分析的技巧，为正常的TCP连接建立模型，以便在对异常连接分析时能够提供对比。2.成功连接的分析模型某对成功连接的TCP连接时序图如下所示:由上图可见，该客户端通过三次握手与服务器建立连接，再进行数据传输：其中，第二个数据包“S

8、YN,ACK”与第一个数据包“SYN”的时间差T1=0.032^秒，可视为webportal系统内部网络时延，第三个数据包“ACK”与第二个数据包“SYN,ACK”的时间差T2=102.036毫秒，可视为手机用户到webportal系统的网络时延，包括了出口路由器、3G核心网端的网络时延。通过以上分析分析，我们可以得出这样的结论：正常悄况下，webportal系统内部网络时延大致在1亳秒以内，而3G核心网端（包含出口路山器）的时延为100亳秒左右。1.失败