2023年11月27日发(作者:)
Focus|IPv6实践
2021年·第3期
栏目编辑:梁春丽E-mail:********************
广发银行IPv6改造工作实践
■ 广发银行 徐 徽 吴基科 张佳温 阮冠锋
摘要:广发银行采用NAT64和双栈改造相结合的方式开展IPv6改造工作,通过向CNNIC申请IPv6地址、IPv6
互联网线路与运营商使用BGP动态路由协议对接的方案,实现所有面向公众服务的互联网应用系统支持IPv6连接访
问,完成3个互联网应用系统的IPv4/IPv6双栈改造工作,按计划顺利完成2020年IPv6改造工作任务。本文从广发银
行IPv6改造的技术路线、技术方案、成效、经验等方面进行探讨分享。
关键词:IPv6;NAT64;双栈
一、前言
广发银行作为银行业16家IPv6改造行业示范机
构之一,根据中国人民银行、中国银行保险监督管
理委员会、中国证券监督管理委员会联合发布的《关
于金融行业贯彻〈推进互联网协议第六版(IPv6)规
模部署行动计划〉的实施意见》(以下简称《实施意
见》)的要求,于2020年11月完成IPv6改造第二阶段
实施工作。截至目前,面向公众服务的互联网应用和
IPv6网络安全稳定运行,整体达到预期目标,满足监
管部门2020年IPv6规模部署工作的相关要求。
足规模部署的要求,又要降低IPv6改造工作对业务连
续性的影响。
首先,广发银行与主流网络设备/网络安全厂商、
三大运营商、CDN服务商、基础软件和应用厂商,以及
银行同业开展IPv6改造技术交流,研究IPv6改造工作
的重点和难点,确定IPv6改造工作的技术路线。
其次,为指导后续IPv6改造工作,广发银行同步启
动IPv6规划设计项目,结合本行科技发展规划,加强
顶层设计,统筹谋划,制定IPv6演进规划及具体设计方
案,实现网络、应用、安全的协同,稳步推进IPv6规模
部署。保证IPv6改造与运维保障、网络安全工作同步规
二、技术路线调研
IPv6规模部署工作周期较长,期间存在IPv4、
IPv4/IPv6、IPv6三种场景共存的情况,涉及网络、系
统、应用和安全等多技术领域,需要选择合适的技术
实现IPv4到IPv4/IPv6,再到IPv6的平滑过渡,既要满
划、同步建设、同步运行,使应用系统改造与软硬件基
础设施升级相结合,确保在IPv6规模部署实施过程中
网络和系统安全稳定运行,对现网IPv4业务无影响。
(一)IPv6改造技术
IPv6改造演进技术有网络地址协议转换
作者简介: 徐 徽(1970-),女,广东湛江人,供职于广发银行总行数据中心,总经理,研究方向:金融科技;
吴基科(1979-),男,广东英德人,供职于广发银行总行数据中心,副总经理,研究方向:金融科技;
张佳温(1979-),男,福建厦门人,供职于广发银行总行数据中心,高级经理,研究方向:网络基础架构;
阮冠锋(1977-),男,广东清远人,供职于广发银行总行数据中心,高级主管,研究方向:网络基础架构。
10
2021年·第3期
栏目编辑:梁春丽E-mail:********************
(NAT64)、双栈和隧道3种,其中NAT64和双栈在技
术层面均可满足互联网应用系统发布IPv6访问的需
求。NAT64具有改造实施成本和难度较低的优点,能
快速实现应用系统支持IPv6连接访问。在满足监管要
求的前提下,广发银行重点考虑如何规避IPv6改造工
作对原有系统网络运行造成的影响以及确保后续逐
步平滑演进。
经综合评估,广发银行选用NAT64和双栈改造
相结合的方式开展IPv6改造工作,大部分面向公众服
务的互联网应用系统通过NAT64改造后支持IPv6连
接访问,其他互联网应用系统通过双栈改造后支持
IPv6连接访问。
(二)IPv6地址申请
用户既可以向运营商申请IPv6地址,也可以向
中国互联网络信息中心(CNNIC)申请。如果选择向
CNNIC申请IPv6地址,需要与运营商确认是否允许
自带IPv6地址接入。
向运营商申请IPv6地址的组网方案要与运营商
采用静态路由对接,需部署链路负载均衡器和智能
DNS引导用户访问。由于部分用户上网配置的DNS服
务器与用户所接入的运营商不一致,导致用户跨运营
商访问体验差。在这种组网模式下,如果互联网线路
发生故障,其依赖DNS收敛会使切换时间变长。目前
广发银行IPv4互联网采用向运营商申请IPv4地址的方
式搭建,也存在类似向运营商申请IPv6地址组网模式
的问题。
向CNNIC申请IPv6地址的组网方案与运营商采
用BGP动态路由协议对接,不同运营商都有到该IPv6
地址段的最佳路由,不存在跨运营商访问的状况,不
同运营商用户的访问体验均较优。另外,互联网线路
故障通过BGP路由收敛可实现秒级自动切换到其他
线路,切换速度快。
由于向CNNIC申请IPv6地址的组网方案在互联
互通、互联网线路切换等关键点明显优于向运营商申
Focus|IPv6实践
请IPv6地址的组网方案,在IPv6改造工作中,广发银
行希望采用新技术、新架构解决IPv4互联网的不足。
经广泛调研评估和详细论证,并与CNNIC及三大运
营商沟通达成一致意见后,决定选用向CNNIC申请
IPv6地址的组网方案。
三、技术方案
(一)改造原则
按照“分阶段、分网络域”的方式,基于业务连续
性和方案平滑演进的考虑,广发银行IPv6改造技术方
案应遵循以下原则。
网络先行:网络作为支撑应用系统的基础设施,
需先行支持IPv6。
多场景兼容:支持应用系统在IPv4、IPv4/IPv6、
IPv6多场景共存模式下的互联互通。
平滑演进:IPv4→IPv4/IPv6→IPv6演进过程不
影响应用系统的正常服务,或应用系统服务中断时间
尽可能短。
安全性:IPv6网络既能有效防范IPv6安全风险,
又不低于现有IPv4网络同等防护能力。
根据上述原则,广发银行制定了IPv6改造技术方
案,整体架构及技术要点如图1所示。
(二)改造方案
1. 新建互联网IPv4/IPv6双栈接入区
(1)新建互联网双栈接入区,所有网络设备均启
用双栈协议,现有互联网IPv4业务区保持不变。
(2)向CNNIC申请IPv6地址和AS号,新增不同
运营商的双栈互联网线路,与运营商采用BGP动态路
由协议对接。
(3)新增NAT64设备,支持IPv6用户透明访问
IPv4源站。
2. 新建IPv4/IPv6双栈DMZ区
(1)新建互联网双栈DMZ区,部署防火墙、负载
均衡、WAF及IDS等网络设备及安全设备。
11
Focus|IPv6实践
2021年·第3期
栏目编辑:梁春丽E-mail:********************
IPv4/IPv6
CDN节点
静态路由
互联网
IPv4接入区
GTM
IPv4/IPv6
互联网
BGP
静态路由
互联网
双栈接入区
NAT64
5. 安全防护
(1)NAT64模式下复用现
有IPv4网络防火墙、WAF,IDS
等网络安全设备,安全策略保持
不变。
(2)双栈模式下双栈DMZ
IPv4 DMZ区
双栈DMZ区
区的网络安全设备参照IPv4
DMZ区配置IPv6安全策略。
DNS
IDS
WAF
LTMLTMWAFIDS
WEB
双栈
WEB
DNS
四、工作成效
广发银行于2020年11月完成
IPv6改造第二阶段实施工作,改
图例
Pv4访问
Pv6访问
IPv4 APP区IPv4 DB区
造实施完成至今,所有面向公众
服务的互联网应用和IPv6网络
安全稳定运行。其中B/S类应用
图1 技术方案
(2)新增双栈Web服务器,App及DB服务器保持
不变,双栈Web服务器通过IPv4协议访问App服务器。
(3)运维支撑类应用与双栈设备、系统、应用之
间通过IPv4协议互访,支持对与IPv6相关的指标、阀
值、告警等的监控管理。
3. 应用IPv6改造
(1)双栈应用系统的程序函数/API,Socket等支
持双栈协议。
(2)移动App客户端、PC客户端和SDK支持
IPv6。
(3)IP地址检验函数、IP地址变量、IP地址字段
长度支持IPv6。
(4)应用支持获取IPv6,日志打印支持IPv6。
4. DNS和CDN
(1)互联网DNS设备同时发布A记录和4A记录。
(2)CDN节点支持IPv4/IPv6访问和回源,IPv4
CDN节点回源至IPv4源站,IPv6 CDN节点回源至
IPv6源站。
IPv4和IPv6的访问流量占比约为
5:1,移动App类应用IPv4和IPv6的访问流量占比约为
3:2。该行在金融行业IPv6发展监测平台上的总评分名
列前茅。
广发银行在同业中率先基于IPv4网络成熟技术在
IPv6进行大胆创新尝试,采用向CNNIC申请IPv6地
址,IPv6互联网线路与运营商通过BGP动态路由协议
对接的技术方案,提高了IPv6互联网的可用性和访问质
量。IPv6互联网线路故障切换时间由IPv4互联网线路
故障切换时间的分钟级提升为秒级,不同运营商均有
到IPv6地址段的最优路由,解决了目前IPv4互联网环境
下部分用户跨运营商访问体验不佳的问题。
在改造实施过程中,为保障IPv6规模部署工作有
序平稳推进,广发银行同步制定了2020-2025年的全
行网络架构、业务应用系统、运维支撑系统、网络安全
等IPv6演进原则、演进策略、演进路线,明确应用系统
IPv4/IPv6双栈改造标准,并发布全行IPv6地址规范。
IPv6改造工作与运维、开发团队密切相关,广发
银行通过组织IPv6改造技术交流、举办IPv6知识普
12
2021年·第3期
栏目编辑:梁春丽E-mail:********************
及讲座、邀请厂商IPv6专家现场培训等方式,并结合
IPv6改造测试实施工作,不断积累IPv6改造建设及
运维的理论和经验,逐步培养一支业务强、技术精的
IPv6人才队伍。
五、经验分享
(一)全行上下高度重视
收到《实施意见》的通知后,广发银行高度重视,
立即成立以主管科技行领导为组长的IPv6规模部署
领导小组,将IPv6改造工作纳入年度重点工作执行,
提前编制IPv6改造预算资金并纳入年度财务预决算,
落实资金保障,同时制定各项工作机制及计划,确保
IPv6改造工作有序平稳推进。
IPv6改造实施前,该行制定并采取了多项有效的
保障措施,包括开展IPv6改造技术交流调研,组织技
术方案、实施步骤论证,组织验证测试,提前评估实
施影响,制定技术和业务应急预案,制定变更应急回
退方案等,有效地保障了IPv6改造工作的顺利实施。
(二)选择合适的IPv6互联网接入方案
IPv6互联网线路一般向电信、联通、移动三大运营
商申请,而IPv6地址既可以向三大运营商申请,也可以
向CNNIC申请。如果选择向CNNIC申请地址,需与运
营商确认是否允许自带IPv6地址接入。
小型金融机构由于规模较小,运营商同意自带
IPv6地址接入的可能性较低,建议采用向运营商申请
IPv6地址的组网方案。而运营商同意大中型金融机构
自带IPv6地址接入的可能性较高,大中型金融机构可
利用IPv6改造机会,采用向CNNIC申请IPv6地址的
新架构建设IPv6互联网接入,弥补目前IPv4互联网存
在互联互通及线路故障切换速度慢的不足。
(三)为BGP对接实施预留充足时间
用户自带IP地址使用BGP接入属于运营商高
度严管业务,要经运营商集团公司多个部门审批同
意,审批时间长达一个多月,而且运营商需用户提供
Focus|IPv6实践
CNNIC IP地址分配联盟成员证书后才能开展审批
手续,建议为运营商BGP接入审批预留充足时间。另
外,运营商对于使用BGP动态路由对接有以下限制:
同一用户广播的路由条目数不超过64条;每条广播路
由的IP地址空间不小于48;用户IP地址可选择全穿透
广播服务,保证在国内、国际范围内互联互通,或部
分穿透广播服务只在国内互联互通。
(四)开展现网IPv6支持情况排查评估
为更好地推进IPv6改造工作,广发银行结合IPv6
规划设计项目排查各类软硬件基础设施和应用系统
对IPv6协议的支持情况,根据排查评估结果,对不支
持IPv6协议的软硬件基础设施制定软件升级或硬件
替换计划。应用系统主要依据以下功能点开展排查
评估,并根据评估结果制定相应的改造方案:是否记
录互联网用户IP地址;用户IP地址存储方式(日志/数
据库/文件);数据库记录IP地址的字段长度(如果存
在多个字段,选取最小字段长度);记录的IP地址是
否传递给关联系统;程序中是否存在对IP地址格式
进行校验;程序代码中是否固化了IP地址;配置文件
是否存储IP地址;是否向行内及行外互联网应用提供
SDK,提供的SDK是否与外部系统通信;是否支持Web
访问、是否有独立App客户端、是否有PC客户端。
(五)对应用系统进行充分测试验证
广发银行存在多个互联网应用复用域名的情况,
根据DNS工作原理,某一域名是否开启4A记录(域名
解析为IPv6地址)解析功能属于全局配置,无法支持
针对某个特定应用需要单独开启或关闭4A记录,导致
复用同一域名的所有应用全部完成IPv6改造后才能发
布该域名的4A记录。因此,某个互联网应用完成IPv6
改造后,需采用直接访问IPv6地址、绑定hosts表、发
布定制版App等方式进行全面技术检查和业务测试,
才能确认单个应用改造成功。对于手机和平板电脑等
难以修改hosts表的移动设备,可通过在root的安卓手
机修改hosts表并作为IPv6热点,供移动设备接入进行
13
Focus|IPv6实践
2021年·第3期
栏目编辑:梁春丽E-mail:********************
IPv6访问测试。
为避免复用域名带来的问题,建议新建应用系统
使用独立域名,后续再完善应用系统域名使用规范,
明确应用系统复用现有域名的标准。
(六)IPv6地址溯源及安全防护
在NAT64的组网方案中,通过复用现有IPv4网络
防火墙、WAF,IDS等网络安全设备实现安全防护,需
重点关注IPv6地址的溯源问题。NAT64设备支持记
录IPv6到IPv4的地址转换信息,并将IPv6源地址插入
X-Forwarded-For字段,NAT64设备后端的IPv4网络
安全设备和应用系统通过读取该字段信息进行安全
管控及审计。
由于IPv4网络防火墙位于NAT64设备后面,无法
在IPv4网络防火墙封禁可疑IPv6地址,可通过手动或
网络安全平台联动NAT64设备封禁可疑IPv6地址,同
时WAF支持实时监控、拦截NAT64后的访问流量,确
保IPv6网络安全防护能力不低于现有IPv4网络。
六、后续计划
加快推进IPv6规模部署工作,是金融机构近几年
一项重要的工作任务。广发银行将不断积累IPv6改造
和运维经验,提升IPv6环境下系统建设运维和安全
保障能力,确保按监管要求持续开展网络、应用、终
端的IPv6升级改造工作。
FTT
参考文献:
[1]董杨林,任红兵. 农业银行门户网站IPv6改造
经验分享[J]. 金融电子化,2020(2):15-16.
[2]黄锐,居宏伟. 推进IPv6规模部署,保障金融网
络安全[J]. 金融电子化,2020(2):20-21.
征稿启事
《金融科技时代》是国内金融信息化主导期刊之一,创刊以来一直致力于推动国内金融信息化建设,主要刊登金融信息化理念、技
术、应用、管理、经验、动态等方面的文章,并组织业界的交流活动等。
为了充分展现金融信息化的现状与成就,加强金融机构之间的信息化建设交流与合作,推动金融信息化建设,《金融科技时代》
特向全国各金融机构征集有关文章。相关的征稿事项如下:
一、近期组稿重点
(一)新技术、新热点在金融行业的应用及其对金融业的影响,如RPA,区块链,大数据,人工智能,“互联网+”,移动支付,物联
网,生物识别,云计算,5G,虚拟技术等;
(二)金融科技创新与金融监管;
(三)数据中心机房建设、异地灾难备份及数据存储;
(四)金融信息化建设经验和运维管理(结合相关实践);
(五)金融IT标准化建设;
(六)安全防范及信息科技风险管理;
(七)新形势下(数据大集中后及客户对金融服务的更高要求)信息科技建设存在的问题、对策与建议;
(八)科技与金融业务融合发展;
(九)金融科技体系建设、科技文化建设等;
(十)金融业电子渠道建设及渠道整合;
(十一)新的支付手段及支付清算的发展;
(十二)金融科技自主创新与IT外包,等等。
二、来稿要求
(一)来稿字数在3 000字以上,务必观点鲜明、数据准确,力求图文并茂,以实际工作经验探讨为佳;
(二)文末附上单位全称、姓名、联系方式及通信地址,以便告知录用情况(初审周期约为15个工作日)和邮寄样刊;
(三)来稿务必未经正式发表,切勿一稿多投,若论文受到省、部级以上基金项目支持,请注明基金名称和项目编号;
(四)来稿统一发至*************。
联系人:None
金融科技时代杂志社
14
发布评论