2023年12月23日发(作者：)
VMAX10K容灾SRDF管理手册
易安信电脑系统（中国）有限公司
2014年09月23日
文档版本号：
生成日期：
审核日期：
1.0
文档信息
项目名称：
文档作者：
文档审核者：
文档维护记录
版本号
1.0
维护日期
2014年9月23日
作者/维护人
张亮
描述
创建
版权说明
本文件中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容，除另有特别注明，版权均属外汇管理局公司和EMC公司所有，受到有关产权及版权法保护。任何个人、机构未经外汇管理局公司和EMC公司的书面授权许可，不得复制、引用或传播本文件的任何片断，无论通过电子形式或非电子形式。
第 1 页
目 录
第一章
EMC SRDF技术介绍 ........................................................................................................ 4
1.1
SRDF/S ........................................................................................................................................ 4
1.2
SRDF/A ........................................................................................................................................ 4
第二章
2.1
2.2
环境描述 ......................................................................................................................... 6
整体架构 ............................................................................................................................... 6
存储信息 ............................................................................................................................... 7
2.3
DG信息与RDFG信息 .................................................................................................................. 7
2.3.1
2.3.2
2.3.3
第三章
dg介绍 ............................................................................................................................. 7
rdfg介绍 ........................................................................................................................... 7
dg与rdfg 列表 ................................................................................................................ 8
SRDF操作 ........................................................................................................................ 9
3.1
LUN状态对应表 ........................................................................................................................ 9
3.2
SRDF状态查询 .......................................................................................................................... 9
3.2.1
3.2.2
查询同城SRDF/S状态 ..................................................................................................... 9
查询异地SRDF/A状态 .................................................................................................... 9
3.3
SRDF分离与恢复流程............................................................................................................. 10
3.3.1
3.3.2
3.3.3
3.3.4
3.3.5
3.3.6
3.4
3.4.1
3.4.2
3.5
3.5.1
停止SRDF/A一致性保护命令....................................................................................... 12
分离命令 ........................................................................................................................ 12
更改为自适应拷贝模式命令 ........................................................................................ 12
恢复增量拷贝命令 ........................................................................................................ 13
更改为SRDF/A或SRDF/S模式命令 ............................................................................. 13
启用SRDF/A一致性保护命令....................................................................................... 13
分离与恢复操作示例脚本 ................................................................................................. 13
货物贸易同城SRDF/S分离与恢复 ............................................................................... 14
货物贸易异地SRDF/A分离与恢复 ............................................................................... 14
现有业务扩盘加入容灾 ..................................................................................................... 14
扩容盘加入容灾流程 .................................................................................................... 14
第 2 页
3.5.2
扩容盘加入容灾示例脚本 ............................................................................................ 15
3.5.2.1 创建临时pair ............................................................................................................................. 15
3.5.2.2 临时pair完成同步 .................................................................................................................... 16
3.5.2.3 SRDF/S move pair ......................................................................................................................... 16
3.5.2.4 SRDF/A move pair ......................................................................................................................... 16
3.5.2.5 将扩容盘加入dg ........................................................................................................................ 17
3.5.2.6 检查 ............................................................................................................................................ 17
第四章
故障与维护 ................................................................................................................... 18
4.1
SRDF链路中断 ........................................................................................................................ 18
4.2
4.3
生产中心灾难切换 ............................................................................................................. 18
生产中心恢复回切 ............................................................................................................. 18
第 3 页
第一章 EMC SRDF技术介绍
SRDF(Symmetrix Remote Data Facility)运用EMC Symmetrix数据存储系统实现灾难恢复和业务连续性。
SRDF提供了从一个到一个、一个到多个物理上分离的Symmetrix系统的数据复制技术，尤其在多点容灾技术方面， SRDF远程数据复制技术在中间站点容量需求、扩展性等方面有一定优势。
在外汇管理局的环境中，涉及SRDF技术的三个主要的类型：
1.1 SRDF/S
同步方式的SRDF，是将本地生产数据以完全同步的方式复制到异地，每一个本地的I/O 处理均需等待远程复制的完成，从而实现主/备中心磁盘阵列同步地进行数据更新。
1.2 SRDF/A
异步方式的SRDF，是将本地生产数据以后台处理的方式复制到异地的方式，每一个本地的I/O 处理后，无需等待远程复制的完成就正常释放，也就是在应用系统的I/O写入主磁盘阵列后，主磁盘阵列立即返回给主机应用系统“写完成”信息，主机应用可以继续进行读、写I/O的操作。
第 4 页
第 5 页
第二章 环境描述
2.1 整体架构
外汇管理局目前的EMC存储系统，由3台EMC Symmetrix高端存储组成。构成“并发型SRDF”容灾结构，即concurrent SRDF.
后续文档中，采用“型号-序列号末3位”的方式标示存储。
北京机房为生产中心，有1台VMAX10K-213和1台DMX3-223；
上海机房为异地灾备中心，有一台VMAX10K-214。
北京机房的VMAX10K-213和DMX3-223之间采用EMC SRDF/S技术实现背靠背同城数据保护;
北京机房的VMAX10K-213和上海机房的VMAX10K-214之间采用EMC SRDF/A技术实现异地数据保护;
逻辑拓扑如下：
第 6 页
2.2 存储信息
存储名称
存储序列号
SRDF属性
控制主机
以上设备在使用中有任何问题，请联系EMC24小时支持热线：
固话拨打：800-819-0009
手机拨打：400-670-0009
请提供故障设备的序列号，并记录case号码。
DMX3-223
CK290300223
R2
北京
VMAX10K_213
CN498700213
R1
100.1.193.98
上海
VMAX10K_214
CN498700214
R2
100.8.192.96
2.3 dg信息与rdfg信息
2.3.1 dg介绍
SRDF技术基于LUN级别进行复制，同一个业务的LUN可建立Device
Group，即dg，通过该业务的SRDF group (rdfg)形成配对关系，进行统一管理操作。
dg信息保存在管理机上，如果主机重装操作系统，需要先将dg信息导出备份，之后重新安装SE软件并且导入dg信息。
2.3.2 rdfg介绍
SRDF/A要求每一个业务建立独自的rdfg，相当于复制的逻辑通道。
对于每一个业务来说，从生产存储出发，都有2个rdfg，一个去往同城容灾的DMX3-223，另一个去往异地容灾的VMAX10K-214.
在指定dg进行SRDF操作时，要通过指定rdfg来确定操作的是同城容灾还第 7 页
symrdf –g DG_NAME –rdfg 同城rdfg split
(断开同城容灾)
symrdf –g DG_NAME –rdfg 异地rdfg split
(断开异地容灾)
是异地容灾。例如，断开SRDF：
2.3.3 dg与rdfg 列表
可以用如下命令查看某一台管理机上的dg：
/usr/symcli/bin/symdg list
同城系统名称
货物贸易
资本项目
ASONE
国际收支
国际收支
表单系统（银行网和内网）
表单（分局报表）
货物贸易（海关前置）
政府网站
stage group
异地rdfg
10
13
16
19
22
25
28
31
34
2
11
14
17
20
23
26
29
32
35
8
DG
29_tradedb_dg
32_cfadb_dg
46_asonedb_dg
47_bizdb_dg
48_bopdb_dg
21_interdb_dg
20_bdfjbbdb_dg
28_chkinportdb_dg
35_zfwzdb_dg
LUN数量
74
45
5
11
16
9
9
7
14
rdfg
第 8 页
第三章 SRDF操作
下面的所有操作，以”货物贸易”即29_tradedb_dg来做示例。
3.1 LUN状态对应表
SRDF pair状态 R1 lun状态
Split
Suspend
Synchronized
Consistent
syncInProg
partition
failedover
RW
RW
RW
RW
RW
RW
WD
R2 lun状态
RW
RW
WD
WD
WD
RW
RW
RW - 磁盘处于read/write状态，主机可以使用
WD - 磁盘处于write disable状态，主机不可使用
注意：
在使用SRDF操作使LUN变成WD之前，需要先停止业务，umount文件系统，并varyoff vg。
3.2 SRDF状态查询
3.2.1 查询同城SRDF/S状态
/usr/symcli/bin/symrdf –g
29_tradedb_dg –rdfg 10 query
3.2.2 查询异地SRDF/A状态
/usr/symcli/bin/symrdf –g
29_tradedb_dg –rdfg 11 query -rdfa
在正常保护状态下，查看点：
a. RDF pair state
同城SRDF/S （北京VMAX10K-北京DMX3）应为synctronized
异地SRDF/A（北京VMAX10K-上海VMAX10K）应为consistent
第 9 页
b. Invalid track
应为0.
输出结果示例：
3.3 SRDF分离与恢复流程
在保护状态下，R1的LUN为RW状态，主机可使用；R2的LUN为WD状态，主机不可使用。
经过SRDF的分离操作，R2的LUN状态变为RW状态，主机可以进行读写操作。
SRDF中最常用的就是分离和恢复操作，其流程步骤如下：
同城SRDF/S的分离与恢复流程
第 10 页
分离操作只需要split一条命令即成功。
在需要恢复时，如果分离时间较长，数据差异大，建议先修改成自适应拷贝模式，此时只更改状态，未发起同步。
恢复增量同步后，数据开始增量拷贝，待接近追平时，重新修改为同步状态。
异地SRDF/A的分离与恢复流程
分离操作只需要disable（停止一致性保护）和split两条命令即。
在需要恢复时，如果分离时间较长，数据差异大，建议先修改成自适应拷贝模式，此时只更改状态，未发起同步。
恢复增量同步后，数据开始增量拷贝，待接近追平时，重新修改为异步状态。
最后启用一致性保护。
第 11 页
具体步骤命令如下：
3.3.1 停止SRDF/A一致性保护命令
（仅适用异地SRDF/A操作，同城SRDF/S不需操作此步骤）
/usr/symcli/bin/symrdf –g DG_NAME disable
示例：
3.3.2 分离命令
/usr/symcli/bin/symrdf –g DG_NAME split
示例：
3.3.3 更改为自适应拷贝模式命令
(如果分离时间较长，可更改为自适应拷贝模式，这种模式数据拷贝速度较快，且不对R1的读写时间造成影响)
/usr/symcli/bin/symrdf –g DG_NAME set mode acp_disk
第 12 页
3.3.4 恢复增量拷贝命令
/usr/symcli/bin/symrdf –g DG_NAME establish
3.3.5 更改为SRDF/A或SRDF/S模式命令
/usr/symcli/bin/symrdf –g DG_NAME set mode async
/usr/symcli/bin/symrdf –g DG_NAME set mode sync
3.3.6 启用SRDF/A一致性保护命令
（仅适用异地SRDF/A操作，同城SRDF/S不需操作此步骤）
/usr/symcli/bin/symrdf –g DG_NAME enable
3.4 分离与恢复操作示例脚本
第 13 页
3.4.1 货物贸易同城SRDF/S分离与恢复
分离操作
/usr/symcli/bin/symrdf –g
29_tradedb_dg –rdfg 10 split
恢复操-1 修改自适应拷贝模式
/usr/symcli/bin/symrdf –g
29_tradedb_dg –rdfg 10 set mode acp_disk
恢复操-2 恢复增量拷贝
/usr/symcli/bin/symrdf –g
29_tradedb_dg –rdfg 10 est
恢复操-3 修改同步模式
/usr/symcli/bin/symrdf –g
29_tradedb_dg –rdfg 10 set mode sync
3.4.2 货物贸易异地SRDF/A分离与恢复
分离操作-1 停止一致性保护
/usr/symcli/bin/symrdf –g
29_tradedb_dg –rdfg 11 disable
分离操作-2 分离
/usr/symcli/bin/symrdf –g
29_tradedb_dg –rdfg 11 split
恢复操-1 修改自适应拷贝模式
/usr/symcli/bin/symrdf –g
29_tradedb_dg –rdfg 11 set mode acp_disk
恢复操-2 恢复增量拷贝
/usr/symcli/bin/symrdf –g
29_tradedb_dg –rdfg 11 est
恢复操-3 修改同步模式
/usr/symcli/bin/symrdf –g
29_tradedb_dg –rdfg 11 set mode async
恢复操-4 启用一致性保护
/usr/symcli/bin/symrdf –g
29_tradedb_dg –rdfg 11 enable
3.5 现有业务扩盘加入容灾
3.5.1 扩容盘加入容灾流程
第 14 页
现有业务如果扩盘，需要加入容灾，在完成两端主机认盘后，首先要在stage
rdfg中创建扩容盘的临时SRDF pair，完成北京到上海的数据拷贝（由于生产存储上所有盘都已经预先做了SRDF到DMX3，所以不需要重新做生产VMAX到DMX3的临时pair同步）；
然后把同城和异地的SRDF pair分别从stage rdfg移动到表格的规划rdfg中，movepair的操作需要在split状态下完成；
最后将生产的扩容盘加入dg，实现统一检查和管理。
流程图如下：
3.5.2 扩容盘加入容灾示例脚本
模拟场景：”货物贸易”扩容2个LUN，示例列表如下：
生产LUN ID
AA1
AA2
对于生产扩容的LUN，对应的异地LUN ID与生产的一样；对应的同城LUN ID可以查询之前总结的盘号excel文件。
3.5.2.1 创建临时pair
同城LUN ID
BB1
BB2
异地LUN ID
CC1
CC2
第 15 页
在控制路径下vi两个pair文件：
s_用于SRDF/S的操作，其中第一列是生产LUN，第二列是同城LUN；
aaa_用于SRDF/A的操作，其中第一列是生产LUN，第二列是异地LUN。
vi s_
AA1 BB1
AA2 BB2
vi aaa_
AA1 CC1
AA2 CC2
3.5.2.2 临时pair完成同步
在本步骤中，先要将异地R2的目标LUN置成write disable，然后用上一步的pair文件建立起同步对，并发起数据拷贝直到拷贝完成。
symdev –sid 214 write_disable CC1
symdev –sid 214 write_disable CC2
/usr/symcli/bin/symrdf createpair -sid 213 -file aaa_ -rdfg 8 -type rdf1
-invalidate r2 -rdf_mode acp_disk
(此命令为2行)
/usr/symcli/bin/symrdf -sid 213 -file aaa_ -rdfg 8 est
/usr/symcli/bin/symrdf -sid 213 -file aaa_ -rdfg 8 set mode async
3.5.2.3 SRDF/S move pair
此操作需要在把扩容lun和原有lun的pair都置成split
/usr/symcli/bin/symrdf -sid 213 -file s_ -rdfg 2 split
/usr/symcli/bin/symrdf -g 29_tradedb_dg -rdfg 10 split
/usr/symcli/bin/symrdf -sid 213 -file s_ -rdfg 2 movepair -new_rdfg 10
3.5.2.4 SRDF/A move pair
/usr/symcli/bin/symrdf -sid 213 -file aaa_ -rdfg 8 split
/usr/symcli/bin/symrdf -g 29_tradedb_dg -rdfg 11 split
第 16 页
/usr/symcli/bin/symrdf -sid 213 -file s_ -rdfg 8 movepair -new_rdfg 11
3.5.2.5 将扩容盘加入dg
由于在movepair的操作需要在split状态下做，在movepair做完且加入dg后，可以使用dg一起将扩容后的合集拉起同步
symdg –g 29_tradedb_dg –sid 213 add dev AA1
symdg –g 29_tradedb_dg –sid 213 add dev AA2
symrdf –g 29_tradedb_dg –rdfg 10 est
symrdf –g 29_tradedb_dg –rdfg 11 est
3.5.2.6 检查
symrdf –g 29_tradedb_dg –rdfg 10 que
symrdf –g 29_tradedb_dg –rdfg 11 que -rdfa
第 17 页
第四章 故障与维护
4.1 SRDF链路中断
SRDF状态可能由于链路故障，SRDF pair states变为suspend或partition。
在排查链路故障后，进行相应的手工恢复，步骤如下：
设置自适应拷贝模式
该模式可提高数据复制速度，且不对生产读写产生压力。
/usr/symcli/bin/symrdf –g DG_NAME set mode acp_disk
恢复数据同步
/usr/symcli/bin/symrdf –g DG_NAME establish
设置同步或异步模式
/usr/symcli/bin/symrdf –g DG_NAME set mode sync/async
4.2 生产中心灾难切换
由于SRDF切换动作会改变lun读写权限，所以计划内演练需按照如下步骤进行：
生产业务停止
生产数据库停止
生产端主机卸载文件系统
生产端主机去激活vg
SRDF failover操作
/usr/symcli/bin/symrdf –g DG_NAME –rdfg 同城rdfg failover
容灾端主机激活vg
容灾端主机挂载文件系统
容灾端主机启动数据库
容灾端主机恢复业务运行
4.3 生产中心恢复回切
第 18 页
容灾端主机业务停止
容灾端主机数据库停止
容灾端主机卸载文件系统
容灾端主机去激活vg
SRDF failback操作
/usr/symcli/bin/symrdf –g DG_NAME –rdfg 同城rdfg failback
生产端主机激活vg
生产端主机挂载文件系统
生产端主机启动数据库
生产端主机恢复业务运行
待生产端故障恢复，下达回切指令后，应按照如下步骤进行回切：
第 19 页
发布评论