案例：余杭劳动和社会保障局双活中心建设

　　1、建设背景

　　杭州市余杭区劳动和社会保障局2002年率先在国内开发了“五险合一、统一征收”社会保险信息系统，完成了全区参保人员的“同库、同表”工作，2007又将当时由卫生部门管理的58万新型合作医疗人员纳入社会保险信息系统中，实现医疗系统资源共享。

　　目前全区参加各类保险人员达110万人，各类医保参保人数近90万，每天医保刷卡2万人次，已与杭州市区和余杭区内186家定点医疗机构、88家定点零售药店实现联网结算。

　　社保网上实时结算系统则开通了建设银行、工商银行、中国银行、余杭合作银行，分布全区的二百多个网点为参保者提供了一个安全快速的缴费通道。2009年全年，通过银行实时缴费7万人次，全年收缴各类保险基金近8亿，当日最高收缴2000余万。这一切离不开快速运算的信息系统、安全稳定的网络系统。

　　社保作为一个准金融系统确保数据安全必须放在工作的首要位置。医疗网络安全稳定运行、参保人员的信息安全、时刻关系到参保人员的切身利益，一旦数据丢失、网络中断，就会造成巨大的社会影响，这一点对于从事社保信息化工作者是深有体会、教训深刻。

　　余杭社保由于原有设备比较陈旧、机房狭小、外部网络故障等原因，时常机房温度超标、网络中断等故障，造成医疗保险系统运行中断，导致参保人员的就医受到影响，群众怨声载道；为此有的医院专门做好了一块写好“余杭医保系统故障”的牌子，每当系统故障时立在医院门口，这一切都给余杭社保带来了巨大压力。

　　为解决存在的安全隐患，余杭区劳动和社会保障局积极争取资金，对现有系统进行升级改造，同时建立异地容灾中心，确保基础信息安全，医保网络畅通。

　　2、解决方案选择

　　医疗保险的业务特点是7*24小时不间断运行，因此，在硬件平台升级和异地容灾系统建设中，重点考虑以下几点：

　　1)单个硬件或生产中心故障，医疗保险系统零数据丢失、业务零中断；

　　2)单中心出现任何故障或灾难，切换和接管工作全自动完成，不需要任何人工干预；

　　3)保护投资，充分利用原有设备和新购置设备；

　　4)容灾中心可以承担生产业务，所有的投资用于生产，而不是为了“某一时刻”可能出现的灾难，

　　5)达到国信办容灾等级6级要求，即零数据丢失和远程集群。

　　基于以上几点，余杭区劳动和社会保障局提出了“零停机零中断，双活中心建设”的建设目标，在此目标基础上，对现有技术进行评估和选择，最后选定了“Symantec Storage Foundation解决方案”。

　　Symantec Storage Foundation解决方案，支撑余杭社保实现建设目标：

　　·通过Storage Foundation的跨阵列卷镜像技术，实现双中心阵列双写，无论是生产中心还是容灾中心的磁盘阵列发生问题，都不会导致应用停顿，零停机时间、业务不中断。

　　·发生灾难时，IO暂时被Hold住，HBA卡会等待故障阵列的响应，等待几十秒钟，故障阵列无响应，HBA卡将故障阵列踢出镜像，整个过程无需人工干预自动完成，应用会无缝的继续进行，从而也不会造成人为的错误发生；

　　·由于应用不会中断，数据的一致性也没有任何风险，不会像其他的容灾方案，在容灾切换后，数据库仍然有启动不成功的可能性；

　　·Storage Foundation 跨磁盘阵列镜像一旦发生灾难，正常工作的阵列会记录从中断开始的所有操作日志，修复后数据从正常阵列增量同步到故障阵列，而不需要重新同步所有数据，对系统的影响极小；

　　·Storage Foundation 通过DMP多路径软件，支持在不同品牌阵列之间进行跨阵列镜像，可以最大限度的保护投资，把阵列的选择权一直控制在用户手中；

　　·Storage Foundation 跨磁盘阵列镜像可以设置读优先，通过调整读写机制，提高系统的读写性能；

　　·Storage Foundation镜像技术是基于SAN的容灾技术，容灾距离在80公里以内可以得到很好的性能保障；

　　·Storage Foundation提供在线的卷、文件的扩展、回收、数据迁移、维护、碎片整理等一系列在线管理功能，能有效的降低由于管理维护需求所带来的停机时间；

　　·Storage Foundation 提供动态分级存储，在不影响业务运行的情况下，根据需要可以将数据转移到二级存储上。在数据大量增长的形势下，不影响系统整体性能，大量降低高端存储的采购需求；

　　·Storage Foundation 提供了多种快照技术，支持跨阵列快照、文件系统快照，快速恢复逻辑错误，如误删除，误操作等。

　　3、双活中心建设

　　采用Symantec数据中心标准化解决方案，利用Symantec业界领先的卷管理和集群技术，实现数据中心、容灾中心数据双写和统一集群；实现单台设备（网络设备、主机、存储、SAN交换机）和单个站点故障，业务不停、数据不丢。

　　双活中心建设示意图如下：

技术实现描述如下：

　　1)租用运营商机房和一对裸光纤链路，通过CWDM设备进行波分复用，实现生产中心和容灾中心的IP网络、SAN网络的互联；

　　2)采用CWDM技术，最大化节省线路资源，最高可提供8路复用链路（每路带宽大于2GB），可同时提供对SAN和IP通讯的使用数据同步通过SAN网络，效率远远高于TCP/IP网络链路（如HACMP/XD技术）；

　　3)中间件建立了多节点群，然后使用硬件负载均衡器实现会话级别的调度及冗余保护；负载均衡器采用旁路接入，连接到生产中心交换机，通过负载均衡器实现应用业务对主机及数据库的访问和应用层自动切换和接管；

　　4)采用Symantec SF For RAC，数据库改造成RAC结构，双中心同时在线，通过在中间件端部署TAF等技术，可保证数据库访问无中断；

　　5)通过Storage Foundation for Oracle RAC 中的卷镜像技术实现数据跨阵列远程镜像，任何一台生产中心或容灾中心存储出现故障，另一台存储都能无缝接替工作，不会导致业务出现中断，实现数据级容灾的RPO、RTO为零；

　　6)采用Symantec的VxVM对本地和远端逻辑卷的高效率镜像，同步链路失败修复后的镜像卷可在线快速重新同步（Symantec VxVM Fast Resync专利技术）；

　　7)双中心三台服务器通过Storage Foundation for Oracle RAC的VCS远程集群，构建三节点Oracle RAC；生产中心、容灾中心任意两台主机出现故障，业务都不会中断，第三台主机无缝接管业务；

　　8)群软件可实现“零—宕机”升级，集群系统可轻松实现新的服务器节点的扩展，可以无缝处理硬件环境变化(无需停止应用)。

　　4、项目总结

　　“零停机零中断、双活中心建设”，打破了原有的容灾中心和生产中心的概念，创新地使用了双业务中心的设计，容灾中心和生产中心的服务器可以同时对外服务，保证了系统资源的最大化利用；容灾级别达到国信办6级。

　　采用Symantec Storage Foundation解决方案，给杭州市余杭区劳动和社会保障局余杭带来了如下价值：

　　1）提高资源利用率、节省投资：通过Symantec集群软件和Oracle RAC技术，实现跨双中心三节点RAC，三台服务器同时对外提供服务，大大提升系统服务能力；打破了传统的容灾中心，只为了灾难发生的那一刻使用的建设模式，所有灾备中心的投资全部用于为正常的业务服务，同时提供了容灾能力；

　　a)2008年，余杭社保采用Symantec解决方案实现应用级容灾系统建设，项目于2009年3月份完成验收，交付使用后，由于外部道路施工，光纤被挖断，双中心之间的链路出现过3次故障，导致数据中心无法访问；故障发生后，医保业务全部由容灾中心服务器承担，各医院和用户没有任何感觉，得到了用户和相关单位的一致好评；

　　b)在使用Symantec解决方案之后，余杭社保成功摘掉了一直压在身上的“医保系统故障”的牌子，树立了良好的政府形象。

　　2）减少计划内和计划外停机：通过Symantec卷管理技术，实现双中心两台阵列数据同时写入，数据绝对零丢失；通过三节点集群，实现双活中心建设；主机、存储、站点故障业务不中断，系统维护、软件升级、硬件更换等都不需要申请停机时间，可以平滑升级；

　　a)通过阵列双写，实现数据容灾，任何一台存储故障，零切换；通过集群软件结合RAC技术，实现主机系统高可用，任何一台主机故障，业务零中断，大大减少了计划外停机；

　　b)操作系统软件需要升级，集群软件需要升级，可以先停止一台主机，由其他主机承担所有业务，进行循环升级，减少计划内停机；采用Symantec卷管理软件，支持对存储空间的在线调整，减少计划内停机；余杭社保业务发展较快，多次存储空间调整全部是在线完成；大大减少了计划内停机时间；

　　3）灾难发生、无需人工干预：采用Symantec数据中心标准化解决方案，由于双中心设备同时对外提供服务，灾难发生后无需任何人工干预，由正常的设备承担所有业务。

　　a)在出现的几次故障中，所有的切换和接管工作全自动完成，不需要任何人工干预；

　　b)系统提供了简单的图形化操作界面，现余杭社保维护人员已经具备系统的维护和故障处理能力；

　　5、后记

　　回顾整个容灾项目的建设，选择Symantec Storage Foundation解决方案是项目成功的最主要原因。

　　2010年9月份余杭社保拟搬迁到新大楼，同时将购置一台高性能存储设备，由于采用了Symantec Storage Foundation，设备搬迁和数据迁移全过程零中断零停机，业务正常运行。

　　注：作者沈利国现为杭州市余杭区劳动和社会保障局信息科科长。