2024年6月3日发(作者：)
数据库技术
Database Technology
电子技术与软件工程
Electronic Technology & Software Engineering
基于EVPN和VXLAN的云数据中心设计与实现
李东
(上海海勃物流软件有限公司上海市200080)
摘要.•本文通过
EVPN
+
VXLAN
分布式
IP
Overlay
虚拟局域网设计，以其部署灵活、无环路、抑制广播地址泛洪、收敛快速，虚拟
化和高效转发的特点，满足了云
IDC
高度虚拟化、资源松耦合，快速部署的需求，尤其是在跨
IDC
的数据和应用迁移和系统高效协同方面
优势明显，成为了云
IDC
网络架构设计的首选，得到了广泛的应用。
关键词：云计算中心；
EVPN
;
VXLAN
;
OSPF
BGP
随着时代的发展，数据中心的规模和功能也在不断的演进，
租户业务高冗余的要求催生了跨区域的双活云数据中心，然而，投
入巨大的跨区域双活数据中心也面临着众多，首先租户的服务应用
呈现量级膨胀，并且要求实现负载均衡、无感快速迁移和自由伸
缩延展，这些需求，传统的基于
Underlay
网络架构的设计已经难
以为继，在此背景下，基于
NV
03的丨
P
Overlay
的逻辑大二层网络
设计虚拟网络架构逐渐成为了业界主流，
NV
03主要有
VXLAN
、
NVGRE
和
STT
•:种，其中
VXLAN
以其部署灵活、兼容性好、快
速收敛、高效转发、环路比较少、对虚拟资源管理更加便利的特
点得到了更广泛的应用，从
VXLAN
的控制层面考虑，分布式的
EVPN
+
VXLAN
更有利于控制流量泛洪，同时
VTEP
发现和主机信
息学习从数据平面转移到控制平面，对数据资源池的管理更加高效
可靠。
1网络架构设计
跨区域数据中心通常由丨
DC
(主）和丨
DC
(冗余）组成，同时运营，
互为备份。
IDC
要满足租户应用可以自动切换，业务零中断，数据
零丢失的需求，实现网络、应用、数据资源层面的双活，传统的数
据中心的网络架构有
STP
、
CSS
、
TR
丨
LL
等几种，都是基于以太网
成灾难性的影响，网络的自愈能力差，容易造成全局故障；
(4) 网络基于物理实体机，没有虚拟机，设备性能不足后只
能更新，造成成本浪费；
(5) 二层只到接入和汇聚的交换机，
VM
的迁移局限在-个
二层域，跨二层的服务器迁移必须要更换
IP
地址，造成租户业务
中断，造成跨中心的负载均衡的部署也很困难；
针对这些问题，新一代的
IDC
的网络架构设计不断演进，开始
逐步走向网络虚拟化和网络资源池化的云设计，主要有
multi
pod
、
underlay
、
Overlay、OSPF
和
BGP
路由、
ECMP
、
M-LAG
等技术，
业界推崇的是
EVPN
+
VXLAN
分布式解决方案，该设计的基本思路
如下：传统的三层网络作为
underlay
,在其上利用
EVPN+VXLAN
技术构建虚拟二
M
网络
Overlay
，
Underlay
和
Overlay
网络逻辑分离，
Underlay
与业务脱耦，主要负责进行三层转发，实现不同站点传递，
Overlay
网络面向业务，通过一对多的的随道封装，把
Underlay
的
物理网络虚拟成逻辑上的“大二层交换机”，进行网络二层跨三层
的延展，解决
VM
应用灵活的部署和迁移。
VXLAN
是丨
ETF
定义的
NV
03技术，从根本上讲，是-种
Overlay
的隧道技术，采用
MAC
-
in
-
UDP
的报文封装格式，通过
VTEP
的
NVE
对进行封装和解封，利用
VXLAN
TUNNEL
在大二
设计，强调即插即用，数据面向学习，主要存在以下几个方面的问题
层域（
BD
)内进行传输，
BD
通过
VN
丨区分，
VNI
可支持1600万
(1) 由于
VLAN
的丨
D
只有12
bit
,因此
VLAN
的管理虚拟机
VXLAN
，解决了
VM
设备的大规模部署问题
，VXLAN
TUNNE
的
的规模最大为4
K
，扩展性差：
设计可以让
VXLAN
报文在二层和三层网络上透传，解决了
VM
迁
(2) 链路的利用率比较低，无
TTL
设计，容易产生广播风暴
移时的应用中断问题。集中式
VXLAN
的三层网关部署在
Spine
上，
和网络环路，网络隔离能力差，存在安全隐患；
很容易产生流量泛洪，所以在
VXLAN
设计时首选分布式
EVPN
技
(3) 业务和网络的耦合性高，网络出现故障后往往对业务做
术，
EVPN
把
VXLAN
的
L
2和
L
3网关部署在
Leaf
上，
Spine
专注
图1:网络架构图
148
电子技术与软件工程
Electronic Technology & Software Engineering
数据库技术
Database Technology
Spinel Spiac2
备，外连出口防火墙及和边界路由器，此
ServerLeaf
节为业务节点。
关键配置如下：
bridge-domain
216
vxlan
vni
216
evpn
route-distinguisher
1:5216
vpn-target
0:5216
import-exteommunity
vpn-target
0:5216
export-exteommunity
vpn-target
0:5000
export-exteommunity
interface
Nvel
vni
216
head-end
peer-list
protocol
bgp
interface
vbdif
216
ip
binding
vpn-instance
I
DC
ip
address
10.100.1.254 24
mac-address
000()-5
e
10-0126
vxlan
anycast-gateway
enable
arp
collect
host
enable
interface
Eth
-
trunkl.l
mode
12
encapsulation
dotlq
vid
216
bridge-domain
216
图2:
VXLAN
分布式网关结构图
HP
的高速转发，根本上解决了广播风暴等问题，传输效率更高，
资源消耗显著降低，丨
DC
的路由选择
OSPF
+
BGPEVPN
协议，实现
等价路由（
ECMP
)，
OSPF
不发布和学习业务路由，仅用于建立
BGP
及搭建
VXLAN
架构
，Overlay
运行
BGP
EVPN
，用于
VXLAN
Tunne
丨的建立和
VM
路由的传递。丨
DC
的
Spine
作为
RR
设备（路
山反射器），和
LEAF
的
NVE
节点建立
iBGP
邻居关系，实现路
由可达。网络架构图如图丨所示。
2核心层设计
每个丨
DC
需要2台三层核心交换机（
Spine
)，同时核心交换
机作为
VXLAN
的
RR
路由反射器，主要负责把
BGP
学到的
MAC
衣反射给
NVE
client
,丨
DC
卜行和
Leaf
交叉连接，丨
DC
之间通过
Spine
交叉互联，实现双活全互联冗余。
5路由设计
IDC
路由选择
OSPF+BGP
EVPN
路由协议，
Under
丨
ay
运行
OSPF
，用
f
•建立
BGP
，承载
Overlay
、搭建
VXLAN
架构，保障内
网互联和
VTEP
地址可达、构建等价路由（
ECMP
)网络进行业务
流量透传。
OSPF
设计如下：丨
DC
(主）在
AREAUDC
(容灾）
在
AREA
2，通过
Spine
的
AREA
0相连，形成完整的
OSPF
链式全
局路由；
Overlay
运行
BGP
EVPN
，用于建立
VXLAN
Tunnel
和传递
VM
路由，每个丨
DC
部署两个
Spine
作为路由反射器
CRR
) .
RR
和
Leaf
、
NVE
处在同一个
AS
中，建立丨
BGP
邻居，两个1
DC
通
过
Spine
丨丨:联建立
iBGP
EVPN
邻居，处在同•
t
VXLAN
域
，Leaf
启动后，
VTEP
间通过
BGP
通告
EVPN
的集成多播路由
（Inclusive
Multicast
Route
)来发现各个
peer
，而
peer
Router
id
的丨
P
地址通常
为
underlay
丨
oopback
地址
，N
Leaf
F
的业务访，通过本地路由
转发，不
M
Leaf
卜' 的业务互访，通过
Spine
转到对端
Leaf
路[4!转发。
6结束语
随着
a
IDC
的发展和成熟，网络架构设计也得到了长足的进步，
基于
EVPN
+
VXLAN
的
Overlay
设计己经成为跨区域云1
DC
的典型
解决方案，为丨
DC
提供了高效、稳定、灵活的
N
络环境。
参考文献
[1] .
Juniper
Networks
Inc
.;
Patent
Issued
for
Multicast
Load
Balancing
In
Multihoming
EVPN
Networks
(
USPT
0 10, 193,812) [
J
].
Computers
,
Networks
&
Communicat
ions
, 2019.
3接入层设计
接入层交换机（
Leaf
)采用
M-LAG
协议，引入
EVPN
的控制
T
•台设计，2台逻辑成组，作为
VXLAN
的
VTEP
，担任
VXLAN
L
3/
L
2网关，
EVPN
设计的
VTEP
网关
L
2/
L
3都在本地完成，有
效降低了网络延时，节约了链路带宽，作为
L
2网关，与
VM
和
DBSERVER
对接，用于租户应用接入
VXLAN
，负贵同
VXLAN
虚拟网络的通信；作为
L
3网关，用于
VXLAN
的
VTEP
报
文封装和解封，实现虚拟网络的跨
f
网通信和外部
N
络的访问。
通过£乂？的8〇?，触发乂£丁卩建立乂1^1^丁1111此丨，扩散乂1
路由、
MAC
表项，指导流量转发；作为
VXLAN
的
NVE
，实现
N
络虚拟化功能，
Leaf
上行与
Spine
全互联，卜行接入
VM
和
DBSERVER
。
EVPN
分布式网关的架构如下阁所示：典型的“
Spine
-
Leaf
”
组网结构，
Leaf
'是
VXLAN
Tunne
丨的端点
VTEP
， •方面作为
VXLAN
的
L
3
M
关，
Spine
只作为转发点，不感知
VXLAN
Tunnel
倍息，不在同一网段的
server
丨和
serverl
通讯只通过
Leafl
即可;
另-方面，作为
VXLAN
的
L
2网关，与
VM
连接，
Leaf
只学习
A
：
连
VM
的
ARP
衣项，不需要学习所有
VM
的
ARP
表项，避免了数
据流量泛洪，规模扩展能力更强。
EVPN
主要丨:作流程如下：
(1)
L
2网关工作流程：收到
vxlan
报文后，通过
vxlan
Tunnel
衣检查
VXLAN
UDP
D
PORT
、
D
1
P
SIP
、
VNI
:获取.层广播域，
解封后获得.
U
•报文，^
mac
表后发送报文。
(2)
L
3
M
XM
:作流程收到
vxlan
报文后解封装获取二层报文，
对
r
非本机
MAC
,根据目的
IP
地址杏路由表获取卜•跳丨
P
地址，
汽找
ARP
表，然后进行
vxlan
封装后完成三层转发。如图2所示：
4分布式网关设计
分布式网
Xi
丨:要有•:个
NVE
P
点：
Borderleaf、Serverlea
丨'
I
:、
Serverleaf
冗
L
2/
L
3 在
ServerLeaf
1
•，BorderLeaf
是丨
DC
的边界设
[2]
Pu
Ileping
,
Wang
Yijun
,
An
Xinke
.
Safety
Protection
Design
of
Virtual
Machine
Drift
Flow
in
Cloud
Data
Center
Based
on
VXLAN
Technology
[
J
].
Journa
1
of
Computer
and
Communicat
ions
, 2020, 08 (08).
[3] 钟耿辉，唐加山.基于
VXLAN
的
EVPN
技木研究与实现[
J
].计
算机技术与发展，27. 005(2017): 46-50.
[4] 孙剑平.基于
VXLAN
的数据传输方法，控制方法及控制器，网
关，中间网元和系统[
P
】.
Cm
〇9218158
A
. 2019.
作者简介
李东（1971-)，男，上海市人。研究生学历，工程师。研究方向
为信息技术
149
发布评论