XXX单位EMC双机热备维护事件

《XXX单位EMC双机热备维护事件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、8月23日xxx双机热备维护事件23日上午接公司任务，要求去XXX单位在双机热备上将E分区也加入双机热备共享盘，受EMC热备软件控制管理，实现E分区上的数据和软件双机热备。到达XXX单位机房后打开双机热备软件查看，发现主机2图标为红色，表示主机2已掉线无法和主机1心跳同步，但是此时任然是主机2在对外提供应运系统服务。经过检查各项设置，以及网络通信情况，没有发现任何故障，随后询问单位相关管理人员，可否重启服务器2，装在服务器2的OA系统是否要退出才可关闭系统重启，得到答复说OA不用退出，万维系统可暂时中断，可直接重启服务器，随即重启服务器2，重启后发现两台服务器双机热备连接正常，随

2、后配置将E盘加入双机热备共享盘，再次重启服务器2，重启进入系统时，发现OA自启动时已报错，提示大意为找不到文件路径，进入EMC热备软件发现E分区共享盘已经开始同步，还有之前的共享D分区也开始同步，此时知道，OA启动时提示找不到文件路径的原因就是因为E分区已经被热备软件控制接管，OA系统无法访问读取E分区。由于OA系统没有在双机上安装，没有加入双机热备，所以E分区是不应该加入双机热备共享盘的。此时立刻将资源组脱机，删除加入资源组的E分区，在数据源里删除加入的E共享盘，再次重启服务器2,启动后E分区已经不在热备软件共享盘资源里，E分区已经变为普通分区。但是此时发现OA依然在启动时报错

3、，中断无法登陆使用。此时原来的D共享盘又再次从头开始同步，在终端测试万维系统也无法登陆使用。现在服务器上的两个应运系统全部不能使用。万维系统不能使用的原因是当数据共享盘在完全同步时，类似于ghost镜像，此时应运服务停止对外服务。在双机热备两台服务器通信正常情况下是不会进行完全同步的，而是实时在后台同步数据，此时应运系统对数据共享盘读写正常，对外应运服务不受影响。双机热备软件只有在两种情况下才会进行完全数据同步工作，第一种情况是在新安装热备软件时，第一次数据完全同步；第二种情况是在双机热备正常运行过程中，由于其中一台服务器掉线，导致掉线的服务器共享盘和对外服务的服务器对应的共享盘

4、数据差别太大而必须进行完全同步。此次共享盘完全同步就是服务器2掉线造成，掉线的原因可能是因为在21日机房停电导致。虽然已经将加入共享盘的E分区重新变为普通分区，但是安装在E分区的OA系统还是无法正常运行，咨询OA系统运维人员，运维人员的解答是因为我们在重启服务器时没有正常退出OA系统，退出的方法是在OA“DOS”界面命令提示符后输入”Q”回车即可，如果没有正常退出就关闭系统，在下次启动操作系统时，OA系统启动时就要重新扫描数据库，查找数据，时间大致需要15分钟后OA才能正常运行。但是过了15分钟之后在终端测试，发现OA系统还是无法正常访问，再次咨询OA运维人员，OA运维人员说在他

5、们那端发现有一个服务没有启动，启动服务后OA系统访问正常。在下午2点多后，双机热备共享盘同步完毕，双机热备软件界面里一切显示绿色正常，但是万维系统还是无法正常使用，此时联系万维公司，万维公司工程师上门后检查发现万维系统已损坏，共享盘有大量损坏文件无法读取，经过运行磁盘扫描修复程序后，损坏的文件可以删除重建，当万维系统故障处理完成可以登录后，发现7月29日之后大约500份文件已经丢失。此时分析这一系列故障，万维系统文件损坏混乱的原因是，当双机热备掉线的服务器正常上线后在共享盘在完全同步过程中服务器多次重启，因为共享盘在同步未完成时重启服务器后同步工作会自动从零开始同步，就像分区在做

6、GHOS镜像过程中强制终止一样，会导致分区上的文件丢失和损坏及混乱。而7月29日之后的文件丢失是因为热备软件在自动同步共享盘时同步方向搞错，本应该是将数据较新的数据向数据少的另一台服务器共享盘同步，却把数据少的共享盘数据同步到数据新的服务器共享盘上。丢失的文件在24日已经通过我方维护人员扫描后全部导入万维系统。此次事件总结如下：关于OA系统，首先是OA系统及数据全部在第二台服务器的E分区。并没有在第一台服务器上安装，OA系统服务也没有加入双机热备管理软件，受热备软件管理控制，所以E分区是不可以加入双机热备共享盘的，由于OA系统相应服务没有加入热备软件控制管理。E分区加入热备共享盘

7、后会导致OA系统无法正常访问读写数据，导致OA系统故障。第二，根据在XXX单位日常服务的同事反应，当双机热备的对外提供应运的服务器切换到第一台服务器时，OA系统也无法正常运行。据此推测有两种情况，首先是第二台服务器E分区上安装的OA系统可能是和服务器上SQL数据库有关联，当承担对外服务的服务器切换到第一台服务器时，第二台服务器的数据库服务会被EMC热备软件关闭而导致OA系统故障，第二就是OA系统在安装时可能使用了EMC热备软件设定的虚拟映射IP地址，当双机热备的对外提供应运的服务