数据中心Spine-leaf网络规划设计方案

2024年5月31日发(作者：)

数据中心Spine-leaf网络规划设计方案

第1页

目录

第1章网络总体架构设计 ................................................................................................................. 4

1.1

总体网络架构 .......................................................................................................................................... 4

1.1.1二层网络架构设计 ................................................................................................................................ 4

1.1.2功能分区模块化设计 ............................................................................................................................ 5

1.1.3总体网络架构 ........................................................................................................................................ 6

第2章

网络核心层设计 ................................................................................................................... 7

2.1

组网设计 ......................................................................................................................................................... 7

2.2

可靠性设计 ..................................................................................................................................................... 8

第3章

存储网络设计 ....................................................................................................................... 8

第4章

网络功能区设计 ................................................................................................................... 9

4.1

外联区设计 ................................................................................................................................................. 9

4.1.1

Internet接入区设计 .............................................................................................................................. 9

4.1.2公共信息服务DMZ区设计 ................................................................................................................. 10

4.1.3外网出口链路负载均衡 ...................................................................................................................... 11

4.1.4IPSec/SSL接入设计 ............................................................................................................................... 13

4.1.5远程接入区设计 .................................................................................................................................. 14

4.1.6内网接入区设计 .................................................................................................................................. 15

4.2

网络服务区设计............................................................................................................................................ 15

4.2.1

4.2.2

4.2.3

应用场景 ........................................................................................................................................ 15

网络架构 ........................................................................................................................................ 15

数据流............................................................................................................................................ 16

4.3业务服务及运行管理区设计 ........................................................................................................................ 17

4.3.1

网络架构............................................................................................................................................ 17

4.3.2

分平面设计........................................................................................................................................ 18

4.3.3

VPN（MCE方式）设计 .................................................................................................................. 19

第2页

第5章多数据中心互联设计 ........................................................................................................... 21

5.1

5.2

业务需求 ................................................................................................................................................... 21

多数据中心互联 ........................................................................................................................................ 21

5.3 主备双中心容灾网络 ............................................................................................................................... 24

5.4

主备站点业务切换 .................................................................................................................................... 25

第3页

第1章 网络总体架构设计

1.1 总体网络架构

1.1.1 二层网络架构设计

传统数据中心的网络架构采用核心层、汇聚层和接入层的三层网络架构，存在以下几个方面的问题：

 网络的层次较多，导致数据处理效率低，增加了处理时延和线路时延，同时也增加了部署成本

和设备故障的几率；

 由于汇聚层面设备一般存在处理性能和上行带宽的收敛比，在数据中心规模不断扩大的情况

下，汇聚设备会成为整个网络的瓶颈，导致出现拥塞、丢包等问题；

 网络设备之间的STP、LAG、路由处理、安全等相互之间的交互信息，随着设备数量的增加，会

成几何级数激增；

 随着数据中心虚拟化的部署，新的数据中心流量模型中，大多数的流量是在内部服务器之间进

行通信，甚至能够达到整体流量的75%，这种部署架构会导致服务器之间流量需要通过汇聚层甚至

核心层设备转发，效率低下，且性能很差。

为了解决上述存在的问题，数据中心核心网络建议采用核心层和接入层的的二层扁平化网络架构，二层扁

平化的网络架构可以实现：

 简化网络管理，降低投资成本，降低维护管理成本；

 简化网络拓扑，降低网络复杂度，提高网络的性能，支撑高性能的服务器流量；

 提高网络利用率，支撑云计算技术的资源池动态调度；

 提高网络可靠性。二层网络结构，可以结合虚拟集群和堆叠技术，解决链路环路问题，减少网

络的故障收敛时间，从而提高网络可靠性；

 绿色环保。 简化二层网络还能降低电力和冷却需求，这对数据中心网络尤为重要。

数据中心的二层网络结构示意图如0所示：

二层网络架构设计图

第4页

1.1.2 功能分区模块化设计

考虑到数据中心的高安全性、高扩展能力和可管理性的业务需求，数据中心网络架构的总体规划遵循

区域化、层次化和模块化的设计理念，实现网络层次更加清楚、功能更加明确，提高承载的业务系统的可

扩展性、安全性和可管理能力。

 层次化设计。数据中心的核心网络采用核心层、接入层的网络架构；层次化结构也利于网络的

扩展和维护。

 功能分区和模块化设计。网络架构按照功能，分为外联区（包括Internet接入区和远程接入

区）、核心区及内网接入区；核心区包括网络服务区、等保三级业务区、等保二级业务区、开发测试

区及运行管理区等功能模块。

数据中心的网络功能分区架构如0所示。

数据中心网络功能分区架构图

第5页

1.1.3 总体网络架构

数据中心整体网络拓扑如0所示：包括外联区、核心区及内网接入区等。

总体网络架构图示意图

 外联区

➢ 远程接入区

提供给各级政府部门访问的数据中心区域。政府部门一般通过国家云外网采用

MPLS-VPN方式进行接入；另外，远程接入区也可用于容灾数据中心互联。

➢ Internet接入区

提供给互联网用户访问的数据中心区域。Internet接入区的DMZ区，部署外部服务

第6页

器群（如：外部DNS/FTP/Web服务器），用于互联网用户访问；为了提高互联网出

口的可靠性，出口路由器一般接入到2个不同的运营商。国内一般会选择中国电信

和中国联通两个运营商。

 内网接入区

用于接入内网的数据中心区域，外网数据中心与内网互联需要通过网闸实现物理安

全隔离。

 核心区

核心区对外部网络不可见，主要为政府各部门用户提供业务服务。该区域包括：网

络服务区、等保二级业务区、等保三级业务区、开发测试区及运行管理区。

第2章 网络核心层设计

2.1 组网设计

数据中心的网络核心层采用的是核心层、接入层的扁平化二层网络架构；扁平化网络设计降低了网络复杂

度，简化了网络拓扑，提高了转发性能。

数据中心网络核心层的规划图如0所示。

二层网络架构设计图

 核心层：2台核心交换机采用CSS虚拟集群技术，下行链路选择10G链路捆绑技术与接入交换机

互联，增加带宽的同时也提高了网络链路的可靠性。

 接入层：2台接入交换机采用堆叠技术，下行链路根据服务器的物理端口选择GE或10GE链

路，上行链路选择10G或10G链路捆绑技术，上联到2台核心交换机，增加带宽的同时也提高了网

络链路的可靠性。接入层设备可以根据业务需求，选择机架式、刀片内置式等不同的接入交换机类

型和不同规格的配置。

第7页

 核心交换机和接入交换机之间的四条跨框链路捆绑为一个Eth-Trunk组，网络架构变成树型模

式，不需要启用STP协议，从根本上解决环路和spanning-tree收敛问题。

2.2 可靠性设计

网络核心层的可靠性设计从设备级冗余和链路级冗余两方面来实现：从设备冗余角度考虑，2台核心

交换机之间采用CSS虚拟集群技术，每组的2台接入交换机之间采用堆叠技术；从链路的冗余角度考虑，

核心交换机与接入交换机间的链路进行链路捆绑，大大提高网络高可靠性。

接入交换机只运行L2层交换功能，核心交换机运行L3+L2层路由交换功能，这样就需要解决核心交换

机和接入交换机之间二层网络环路问题。

本方案中采用“集群+堆叠+链路捆绑”的二层网络无环络解决方案，如0所示：

“集群+堆叠+链路捆绑”的二层网络无环路解决方案示意图

核心交换机采用CSS虚拟集群技术，接入交换机采用堆叠技术；核心交换机与接入交换机间的链路进

行链路捆绑，大大提高了网络的可靠性能。

第3章 存储网络设计

数据中心存储网络规划示意图如0所示。

存储网络规划示意图

第8页

服务器存储网络主要包括IP SAN存储网和FC SAN存储网。服务器存储网络与业务网络是物理隔离的，

服务器的业务网卡和存储网卡是分别上联到业务网络和存储网络的对应TOR接入交换机上。由于虚拟化的

需求，极大的增进了服务器与存储的数据交换，对于IP SAN存储网络，至少要保证接入交换机采用10G的

链路接入。

当采用IP SAN存储网络时：业务服务区服务器和IP SAN存储的存储网卡一般采用GE端口上联到TOR

接入以太网交换机，各TOR接入交换机通过10GE链路或10GE链路捆绑上联到IP SAN存储汇聚交换机。

当采用FC SAN存储网络时：业务服务区服务器的HBA卡和FC SAN存储的FC接口通过光纤链路上联到FC

交换机。

第4章 网络功能区设计

4.1 外联区设计

4.1.1 Internet接入区设计

Internet接入区的网络架构示意图如0所示。

Internet接入区网络架构图

第9页

Internet接入区包括出口路由器、链路负载均衡LLB、防火墙、IPSec/SSL VPN接入网关、应用负载均衡、接

入交换机等网络设备。

 出口路由器：部署2台设备实现冗余，并分别上联到2个不同的运营商；出口路由器与运营商

之间一般采用静态路由或BGP路由协议。

 链路负载均衡LLB：部署2台设备实现冗余，2台LLB设备串接在出口路由器与出口防火墙之间

上，每台LLB分别通过2条电路与出口路由器进行冗余连接；2台LLB采用双机热备的方式进行部

署，并与出口路由器运行静态路由协议。LLB可以按照相应的策略，实现多互联网出口链路之间的智

能选择，实现负载均衡和冗余备份。

 防火墙：在网络层面，通过防火墙设备NAT技术隐藏内网拓扑，是Internet接入区的第一道网

络安全屏障。2台防火墙采用双机热备的方式进行部署，提高可靠性；防火墙采用路由模式，并与

LLB设备之间运行静态路由协议。

 IPSec/SSL VPN安全网关设备：采用1台IPSec/SSL VPN安全网关设备，同时支持IPSec VPN和SSL

VPN业务的接入；IPSec/SSL VPN安全网关设备旁挂在出口防火墙上，并通过GE端口同时与2台防火

墙进行冗余连接。

4.1.2 公共信息服务DMZ区设计

公共信息服务DMZ区部署在Internet接入区，用于部署提供政府公共服务的Web、DNS、FTP等应用；

对于提供公共信息服务的应用及数据库主机一般部署在核心内网的公共服务区。

第10页

云数据中心的公共信息服务DMZ区的服务器数量较多，一般需要部署应用负载均衡设备和接入交换机设

备，实现公共信息服务器进行接入和应用的负载均衡。接入交换机部署2台，分别与2台出口防火墙进行

互联，连接在出口防火墙的DMZ接口；2台应用负载均衡设备采用旁挂的方式，分别通过2个GE端口与

接入交换机进行互联。

4.1.3 外网出口链路负载均衡

应用场景

数据中心一般承载着关键的业务系统，互联网的对外出口非常重要，如果只通过1条链路与运营商进

行互联，意味着可能会出现的单点故障和脆弱的网络可靠性。为了提高数据中心的冗余性和可靠性，数据

中心的互联网出口一般需要与2个不同运营商进行互联，提高Internet网络出口的冗余性，并减轻网络出

口的传输瓶颈问题。

当数据中心的互联网出口与2个不同的运营商互联时，可以部署链路负载均衡设备LLB，实现数据中

心2个互联网出口链路的智能选择，可以提高出口链路的利用率，实现出口链路的负载均衡和冗余备份。

方案说明

LLB实时监控2条链路的负载状况及其健康状况来保证链路的高可用性。LLB可以根据链路状况和链路

负载情况进行链路选择；可以根据互联网用户的所在的运营商的位置静态选择相应的出口链路，比如中国

联通的互联网用户，会从与中国联通的互联链路进行互访；也可以根据用户的IP地址（本地DNS）进行路

径就近性判断，动态进行链路选择，指引用户从最快的、最好的、最近的路径访问。

数据中心的LLB多出口链路选择可以从两个方面进行分析：一方面是互联网用户访问数据中心的

inbound流量；另一方面是数据中心访问互联网业务的outbound流量。以数据中心与中国联通和中国电信

两个运营商互联为例对采用LLB设备进行方案说明。

LLB业务数据流如0所示。

链路负载均衡设备的数据流示意图

第11页

1）OUTBOUND流量设计

Outbound流量，LLB提供智能的链路选择，国内用户的Outbound流量策略：

 网内用户访问属于联通网地址段的服务器，首选联通的出口链路；

 网内用户访问属于电信地址段的服务器，首选电信的出口链路；

 网内用户访问其它地址段的服务器，由负载均衡器基于动态就近性判断结果，自动的选择联通

或电信链路。

2）INBOUND流量设计

Inbound访问的智能性，一般通过LLB提供的智能DNS解析功能实现。建议采用静态负载和动态负载相结

合的方式：当用户是来自国内的用户，根据用户的IP地址所属的运营商，采用静态的算法给用户端一条最

快的链路；对于来自国外的用户，将采用动态算法，根据路径的传输时间等指标，计算出来一个最佳路径

并提供给用户。

国内用户的Inbound流量：

 属于联通地址段的用户访问服务器，首选联通的出口链路；

 属于电信地址段的用户访问服务器，首选电信的出口链路；

 其他地址段的用户访问服务器，由负载均衡器基于动态就近性判断结果，自动的选择链路。

第12页