2024年4月24日发(作者：)

ｄｏｉ：１０　３９６９４　ｉｓｓｎ　１０００－１２４７　２０１８　０４　００２　

ＣＭＮ　ＥＴ多核心省网流量控制与优化研究　

郑仁富　

中国移动通信集团福建有限公司　

介绍ＣＭＮＥＴ多核心省网的常见组网结构，并研究利用８ＧＰ特性和层次化虚拟下一跳技术进行省网流量控制　

与优化的方法，有效解决多核心多链路的负载均衡，保障传输链路资源的高效率。　

流量优化ＢＧＰ多核心省网虚拟下一跳　

日引言　

随着“宽带中国”战略的深入推进，高覆盖下用户数　

的增长和提速降费下接入带宽的提升，以及４Ｋ高清视频、　

虚拟现实（ＶＲ）、５Ｇ网络等大流量内容资源的不断丰富，　

ＣＭＮＥＴ的流最呈现出爆发式的增长。流量的增长与带宽紧　

张、成本昂贵的网络资源之间的矛盾愈加突出。因此，研究　

如何通过有效的流量控制与优化，提升在一定带宽资源和多　

的流量不均衡，并且易受业务使用影响。ＩＰ地址段产生的流　

量变化很大，需要频繁地人工调整流量。　

第二，省网各核心ＰＢ设备之间的互联链路上的流量居　

高不下，需要不断扩容；并且存在次优路由，宝贵的传输资　

源没有得到合理的利用。　

目省网流量的控制与优化　

３．１　ＢＧＰ和虚拟下一跳技术　

边界网关协议（ＢＧＰ）是一种运行于ＴＣＰ上的自治系　

业务环境下传输资源的使用效率，具有重要意义。　

目Ｉ￣ＮＥｒ多核心省网的组网　

２．１常见组网架构　

根据各省的业务量情况，ＣＭＮＥＴ省网一般有双核心、　

四核心、八核　Ｌ，３种组网架构，经典拓扑结构如图１所示，省　

网核　ｔ￣，ＰＢ（Ｐｒｏｖｉｎｃｅ　Ｂａｃｋｂｏｎｅ）设备基本上是成对互相备份　

部署的，以口字型上联ＣＭＮＥＴ骨干网。为了提高业务的可　

统路由协议。ＢＧＰ用于在不同的自治系统（ＡＳ）之间交换路　

由信息。ＢＧＰ属于外部网关路由协议，可以实现自治系统问　

无环路的域间路由。ＢＧＰ是沟通ＩｎｔｅｒｎｅｔＪ￣域网的主要路由协　

议，例如不同省份、不同同家之间的路由大多要依靠ＢＧＰ。　

由于可能与多个不同的ＡＳ相连，在一个ＡＳ内部可能存在多个　

运￣３－ＢＧＰ的边界路由器。在同一个ＡＳ中的两个或多个对等实　

体之间运行的ＢＧＰ被称为ＩＢＧＰ（Ｉｎｔｅｒｎａｌ／Ｉｎｔｅｒｉｏｒ　ＢＧＰ）；归　

属不同ＡＳ的对等实体之间运行的ＢＧＰ被称为ＥＢＧＰ（Ｅｘｔｅｒｎａｌ／　

ＥｘｔｅｒｉｏｒＢＧＰ）。　

靠性和传输资源的利用率，四核心架构以口字型组网为主，　

八核心架构以长方体组网为主。　

协议部署上，ＣＭＮＥＴ省网选用边界网关协议（ＢＧＰ）　

＋中间系统到中间系统的路由选择协议（ＩＳＩＳ）的路由结　

构。其中使用ＩＳＩｓ路由协议作为内部网关协议（ＩＧＰ），主　

要承载ｌｏｏｐｂａｃｋ￣链路地址路南，确保网络的连通性；使用　

ＢＧＰ承载业务路南。　

虚拟下一跳技术（ＶＮＨ）是为了解决ＢＧＰ　ｒ￣只选择最优　

路由给自已使用的问题，采用现网中没有使用的任意虚拟ＩＰ　

地址，以引导实现多条链路场景中的负载均衡技术。　

３．２省际流量的控制与优化　

２．２存在的问题　

第一，国干下行到省网和省网下行到地市城域网的流量　

在多链路上的负载分担调整，基本上只能按ＩＰ地址段凭经验　

３．２．１常见的流量调整方案　

省际路由器之间采用ＥＢＧＰ邻居传递业务路由，但是存　

在多条路径时，ＢＧＰ路由器只选取最优路南使用，并且只把　

利用ＢＧＰ的属性做手工调整，没有可靠的依据，导致各链路　自己使用的路由通告给相邻体，这一特点将导致多条链路之　

固　·４　

电信技　

ＰＢ０１　

双核心　四核心　

图１　ＣＭＮＥＴ＇ｉ￣网经典拓扑结构　

问负载不均衡。因此，经常使刚ＢＧＰ的路由属性进行流量的　

调整和优化。　

流晕，类似Ｂ市的组网，这里假设ＰＢ］；￣ｌＰＢ２下挂业务对应的　

虚拟Ｉ　Ｐ地址为１　０．１）．．．１（）．２，假设ＰＢ３；￣ｒｌＰＢ４下挂业务对应的虚　

拟ＩＰ地址为１（１．１０．１０．３。　

对于省网出口，主要是阀省流量较人，容易出现带宽利Ｈｊ　

率的瓶颈，所以本节以四核心出口为例，讨论回省流臣模型。　

回省流最也叫入省流量，为了保证同省流最在多条链　

路上的负载均衡，以及尽可能减少辽回横穿的流镑，最常　

朋的调整方案就是ＰＢ在给ＢＢ／ＢＣ（以下以ＢＣ为代表）发布　

ＢＧＰ路南时配置不同的ＭＥＤ属性值。例如，ＰＢ１在发布业务　

网段１９２．１６８　１００．ｏ／２４（ｔ￣；路由时，ＭＥＤ值设为５（）；在发布业　

务网段１９２．１６８．２００．０／２４的路南时，ＭＥＤ值设为１Ｏ０。ＰＢ３则　

相反，在发布业务网段１９２．１６８．１Ｏｆ）．０／２４的路南时，ＭＥＤ值　

设为１Ｏ０，在发布业务网段１９２．１６８．２００．０／２４的路　时，ＭＥＤ　

值没为５０。当然．技术上也可以通过ＢＧＰ的ＡＳ－ＰＡＴＨ、　

Ｌｏｃａｌ—Ｐ　ｒｅｆｅｒｅｎｃｅ等属性来调整。但每个网段的流’垦是不等　

的．会随时间产生波动，所以该方案的缺点是：需要人工频　

繁调整，维护非常繁琐。　

另外，如果Ａ市下挂１９２．１６８．１Ｏｆ）．０／２４业务路南，省网内　

ＢＧＰ优选的为ＰＣ１，则骨干网流话进入省网后，将通过ＰＢ之间　

或ＰＣ之间的链路横穿，无形巾浪费了传输链路的带宽资源。　

然后在所有与本省ＰＢ连接的１３Ｃ设备上，配置静态路冉　

（文中的配置脚本均以华为厂商的命令为例）。　

ｉｐ　ｒｏｕｔｅ—ｓｔａｔｉｃ　１０．１０．１０．１　２５５．２５５．２５５．２５５×．Ｘ．×　×　

ｐｒｅｆｅｒｅｎｃｅ　１（）　

ｉｐ　ｒｏｕｔｅ—ｓｔａｔｉｃ　１０．１０．１（）２　２５５．２５５．２５５　２５５×．×．×．×　

ｐｒｅｆｅｒｅｎｃｅ　１０　

ｉｐ　ｒｏＬ１ｔｅ—Ｓｔａｔｉｃ　１０．１０．１０．３　２５５．２５５．２５５　２５５×．×××　

ｐｒｅｆｅｒｅｎｃｅ　１０　

其中，×．×．×．×为ＢＣ与ＰＢ互联链路的具体接口地　

址。由于骨干网ＩＧＰ使胴ＩＳＩＳ（引入静态路由的默认优先级　

为１５），为了避免路　学习异常，静态路ｍ的优先级配置应　

低于１５，文中选用ｌ（）。　

第二步，在ＢＣ网元上的ＩＧＰ中引入静态路Ｆｈ（一般需要　

通过路南策略引入），配置如下。　

ｌ＇Ｏｔｌｔｅ—ｐｏｌｉｃｙ　ｖｎｈ　ｐｅｒｍｉｔ　ｎｏｄｅ　１（）　

ｉｆ－ｍａｔｃｈ　ｉｐ～ｐｒｅｆｉｘ　ｖｎｈ　

３．２．２层式化的ｖＮＨ技术方案　

文中采用两级的虚拟下一跳技术（ＶＮＨ），实现骨干　

ｉｐ　ｉｐ—ｐｒｅｆｉｘ　ｖｎｈ　ｉｎｄｅｘ　１０　ｐｅｒｍｉｔ　１０．１（）．１０．１　３２　

ｉｐ　ｉｐ—ｐｒｅｆｉｘ　ｖｎｈ　ｉｎｄｅｘ　１（）ｐｅｒｍｉｔ　１０．１０．１（】２　３２　

ｊｐ　ｉｐ—ｐｒｅｆｉｘ　ｖｎｈ　ｉｎｄｅｘ　１０　ｐｅｒｒｒｉｆｔ　１０．１０．１０．３　３２　

ｉｓｉｓ　１０　

网流量到地市的灵活负载均衡，并走最优路径。第一级是骨　

干网到省网的流量，也就是Ｂｃ￣ｔｊｐ］３的流迢；第二级是省网　

到各地市的流量，也就是ＰＢ到Ｐｃ的流量。下面以第一级为　

例，介绍具体的实现方法。　

第一步，首先根据省网多核心路甫器下挂业务的情况，　

ｉｍｐｏｒｔ——ｒｏｕｔｅ　ｓｔａｔｉｃ　ｒＯｉｌｔｅ——ｐｏｌｉｃｙ　ｖｎｈ　

第三步，在ＰＢ网元上根据实际需求，通过路ｍ策略把　

发给骨干网的ＢＧＰ路由下一跳改为虚拟ＩＰ地址。如，针对Ａ　

确认需要的虚拟ＩＰ地址个数（这里的虚拟ＩＰ地址为现网中　

没有使用，也就是没有路由的任何地址）。以图２为例，一　

般需要３个ＩＰ地址：用于引导同时下挂在省网的４台核心路　

器的业务回省流量，类似Ａ市的组网，这里假设ＩＰ地址为　

市组网的业务路由，将下一跳改为１０．１０．１（）　１；针对Ｂ市，　

将下一跳改为１ｆ１、１０．１（１．３。针对Ａ市的实现配置如下，其中　

×

．

×

．

×

．

×为骨干网路南器的ｌｏｏｐｂａｃｋ地址。　

ｒｏｌｌｔｅ——ｐｏｌｉｃｙ　ｖｎｈ——ｂｇｐ　ｐｅｒｍｉｔ　ｎｏｄｅ　１　０　

ａｐｐｌｙ　ｉｐ—ａｄｄｒｅｓｓ　ｎｅｘｔ—ｈｏｐ　１｛）．１０．１ｆ）１　

１（０）　１０．＿１０．１；用于引导只下挂在省网的一对核心路南器的回省　

ｗｗｗ．ｔｔｍ　ｃｏｍ．ｃｒｌ　９　

：　

照发展趋势，省内流蕈的占比将会快　

速增加，所以省内流量的调优是当前　

的重要工作之一。　

本节介绍的省内流吊　要是指　

本省的互联网数据中心（１ＤＣ）业务　

（包｝舌ＩＤＣ　１入资源、内容分发网络　

（ＣＤＮ）、Ｃａｃｈｅ．￣ｌ各种业务平台等）　

、＼　

＼　

与省内各地市客户业务之间需要经过省　

网核心网元转发的流量。　

ＩＤＣ业务的流晕瓶颈十要在于出流　

１９２　１６８２ＯＯ０／２４　

最，所以最常见的做法是调整多条出口　

链路的流量负载均衡，如网３所示。一　

图２省网多核心路由器下挂业务示意　

股是控制成ＰＣ３、ＰＣ４￣Ｉ］ＰＢ的４条链路的　

流最负载均衡．然后根据省网Ｉ￣ＢＧＰ路　

南和ＩＧＰ路南的迭代，进行数据流星的　

转发。最后，通过ＢＧＰ的ＭＥＤ值和ＩＧＰ　

的ｃｏｓｔ｛￣．来调整省网内部８条链路的（正　

０１２４　方形的８条边）流巨。如果利用率依然　

超过闯值，则进行链路扩容　、这样的　

办案看似合理．其实流晕的路径存在冗　

余，传输资源使用效率低下。　

以ＩＤＣ业务到ｃ市的流鼠为例，　

图３多出　

如果ｃ市未部署虚拟下一跳技术，对于　

Ｃ市的１９２．１６８，２（）１．０／２４业务路Ｊｈ，在　

ｂｇｐ　２０｛）　

省网内假没ＢＧＰ优选的是ＰＢ３￣－＇Ｉ］Ｐｃｌｆｎ互联接ｆＩ地址为下一　

跳，则可能出现的流鼠路径有１　１条　，　

ｐｅｅｒ×．×．×．ｘ　ａｓ－ｎｕｎｌｂｅｒ　１（）（）　

ｐｅｅｒ　ｘ．ｘ　ｘ．ｘ　ｃｏｎｎｅｃｔ—ｉｎｔｅｒｆａｃｅ　ＬｏｏｐＢａｃｋ０　

·ＩＤＣ＞［ｋ务流量到达ＰＢ７后存　１条等值路　（ＩＧＰｆｌ＜ｊＣＯＳｔ　

ｉｐｖ４——ｆａｍｉｌｙ　ｕｎｉｃａｓｔ　

ｐｅｅｒ×．××．×ｅｎａｂｌｅ　

ｐｅｅｒ×．×．ｘ．×ｒｏｕｔｅ—ｐｏｌｉｃｙ　ｖｎｈ—ｂｇｐ　ｅｘｐｏＫ　

值为５（））：①ＰＢ７－＋ＰＢ３－＋ＰＣ１。　

·ＩＤＣ业务流量到达ＰＢ８后仔在２条等值路　（ＩＧＰ的ｍｓ啦　

为８０）：②ＰＢ８—，ＰＢ４一　ＰＨ：卜÷Ｐｃ１；③Ｉ】Ｂ８—＋ＰＢ７—　ｐＢ３．－－￣ＰＣ１。　

·ＩＤＣ）［Ｉ＜务流量到达ＰＢ５后存在２条等值路径（１　ＧＰ的ｍｓ　直　

为１００）：④ＰＢ５＿＋ＰＢ１一Ｉ）ｕ，－十Ｐｃ１；⑤ＰＢ５一ＰＢ７一ＰＢ３＿＋ｐｃ１。　

·ＩＤｃ：ｌ　务流量到达ＰＢ６后存征６条等值路　（Ｉ（　Ｐ　

置完成后，在骨十网的所有网元（除了直连的ＢＣ没　

备）做数据转发时．先查路　，虽然优先查询其中一条，但　

足下一跳地址是虚拟ＩＰ地址，然后通过路｝韵迭代查询虚拟ＩＰ　

地址的路南，下一跳将　ＩＧＰ中多个下一跳进行负载分报。　

第二级虚拟下一跳技术同第一级一样，只不过是在ＰＢ与ＰＣ　

没箭之间。通过现网的测试，在完成两级的虚拟下一跳技术部　

的ｃＯ　ｓｔ值为１３０）：⑥ＰＢ６＿＿＋ＰＢ５　ＰＢ１＿＿＋ＰＢ３一＋Ｐｃ１：　

（＝ｚ）ＰＢ６　ＰＢ　＿＋ＰＢ７　ｐＢ３＿—’Ｐｃ１；　

（９）ＰＢ（＿广巾Ｂ｝｝－＋Ｐ　卜呻Ｂ３—　ｃ１；　

ｅｒ斗Ｐ廿　—　／—　量ＪＢ　｝　１。　

Ｂ（厂｝＿ＰＢ８—÷ＰＢ牛—｝Ｉ　Ｂ，＿＋Ｐｃ１：　

Ｂ６—＋ＰＢ＝｝一十ＰＢ１—　ｐＢ３—　Ｐｃ１：　

署后，可以实现流量在多链路的负责均衡和走最优路径。部署　

后Ａ市的业务流鼠路径为：Ｂｃ１一ＰＢ１—岬ｃ１；Ｂｃ１　Ｂ　Ｐｃ１：　

Ｂｃ２一ＰＢ２一Ｐｃ２；Ｂｃ２一ｐＢ　Ｐｃ２。ＢＴｉ　的业务流鼍路径为：　

ＢＣ１—＋ｐＢ＝卜—ＰＣ３；ＢＣ２￣ＰＢ４－＋ＰＣ４　

其中只有路径①为最优路径，其他１０条路　均为次优　

路径。　

基于以上分析，可以看出为了保￣ｉ］｛ＩＤＣ出［１流　的负载　

均衡，到达Ｃ市的流量将会　现１１条路径。根据ＩＧＰ—ｓｔ值的　

３．３省内流量的控制与优化　

掘统￣＿＿，捋竹的肯．上】流　已经超过　际的流针．而Ｈ按　

不同，主要分成４种情况。因此，提　在ＰＢ给ＩＤ（　¨ｊ【］的ＰＣ　

１ｏ　ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳＴＥＣＨＮｏｌ　ｏＧＹ／２０１　８·　４　

缆割接到归属区域内的分纤点。　具备布放分拆光缆的管道路由时，优化方案无法实施。从实　

施效果来看，一个接入主干光缆环拆分为两个接入主干光缆　

环后，纤芯容量提升一倍，对于接入主干光缆环纤芯资源紧　

张、所经路由的管道资源紧张且无法新建接入主干光缆的情　

况，分拆接入主干光缆环的优化方式是一个比较好的提升纤　

芯容量的方案，不但提升了接入主干光缆环的纤芯容量．同　

时调整了业务点的归属，达到相得益彰的效果。　

（２）将业务从原上连的ｏＬＴ设备割接到归属区域内的　

ＯＬＴ设备，并做好相关信息资料的更新工作。　

整个优化流程实施比较简单，对业务的影响比较小，但　

需要做好业务点屙性核实、原有接入光缆核实、归属区域内　

ＯＬＴ设备资源准备等工作，保证整个优化流程顺利实施。由　

于接入层优化方式的实施工程量比较小，可以采用分区域集　

中实施或者结合新建业务点的工程建设同步实施的方式。　

口结束语　

目接入主干光缆优化解决方案　

当接入主干光缆环跨区域敷设、接入主干光缆环内有管　

道路南满足接入主干光缆环分拆的情况时，采用接入主干光　

缆优化方式。该优化方式如图７所示。　

通过业务归属区域优化，一方面理顺了网络资源的归属　

关系，有利于网络维护，均衡网络负载，避免出现超大汇聚　

点而带来的其他网络、安全问题；另一方面，通过业务归属　

区域优化，对现有网络资源进行整理、再利用，提高了网络　

资源的利用效率。　接入主干光缆优化方式的整个优化流程如下。　

（１）将需要分拆的接入主干光缆全进全出接入主干光缆　

到需要割接业务点所归属区域的机房。　

参考文献　

［１］刘佳兴，王月定，储浩然．关于中国移动“一张光缆网”船合蓑略　

的研究【Ｊ】．中国新通信，２０１　４（１　２）　

（２）将业务割接到归属区域的ＯＬＴ设备，为接入主干光　

缆环的分拆做好准备。　

（３）在接入主干光缆环分拆的位置，布放接入主干光　

缆，为了满足分拆后接入光缆成环，新布放的接入主干光缆　

芯数为原接入主干光缆芯数的两倍，或者布放两条同芯数的　

接入主干光缆。　

（４）完成接入主干光缆环的割接，将接入主干光缆环拆　

ｆ２Ｊ何培鹏，程东洋．一张光缆网规划建设策略【Ｊ】ｌ中国新通信，２ｏｌｓＯｏｌｉｉ　

如对本文内容有任何观点或评论．请发Ｅ—ｍａｉｌ￣－ｔｔｍ＠ｂｊｘｉｎｔｏｎｇ　ｃｏｒｌｔ　ｃＮ。　

欧洁云　

分为两个，分别汇聚区域内的业务。　

整个优化流程的实施比较复杂，涉及较多业务的割接　

调整工作，并且存在比较大的局限性，当接入光缆主干环不　

（Ｊ＝￣ｌＯ页）　

硕士，电子工程师、高级技师（通信网络管理员）．主要研　

究方向为本地传输网、宽带接入网、ＩＰ城域网。　

发布路南时，通过策略把ＩＧＰ的ＣＯＳｔ值作为业务路由的ＭＥＤ　

值，并在各地市出口部署虚拟下一跳技术。调优后的流量路　

径为：①ＰＢ７一ＰＢ３一Ｐｃ１；②ＰＢ８一ＰＢ４一Ｐｃ２，保证了最　

优路径，传输链路资源得到最优利用，并经过现网的部署测　

试，省网流量将下降至少３０％。　

量至少下／￣３ｏ％，有效提高传输资源的使用效率　　，

参考文献　

…Ｗｉｋｉｐｅｄｉａ．Ｂｏｒｄｅｒ　Ｇａｔｅｗａｙ　Ｐｒｏｔｏｃｏｌ［ＥＢ／ＯＬ］ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ　ｏｒｇ／　

ｗｋｉ／Ｂｏｒｃｉｅｒ＿Ｇａｔｅｗａｙ＿Ｐｍｔ￣ｏｌ，２０　１　８　

【２】邓炜，赵武，范春湘．利用ＢＧＰ虚拟下一跳技术实现ＩＰ骨干网流量负　

载均衡［Ｊ］．电信工程技术与标准化，２０Ｏ９（８糨　

口结束语　

在网络流量爆发式增长的时代，流量的控制和优化是一项　

如对本文内容有任何观点或评论．请发Ｅ—ｍａｌｌ至ｔｔｍ＠ｂ　ｎｔｏｎｇ　ｃｏｍ　ｃ　ｒｌ　、　

长期性的工作。文中总结多核心省网流量控制中存在的问题，　

提出采用层次化的虚拟下一跳技术和灵活调整ＢＧＰ路由属性的方　

法，实现多链路的负载均衡和流量路由的最优路径，使省网流　

郑仁富　

硕士，工程师，主要研究方向为ＩＰ网络技术。　

１４　·４