运营商网络架构

02 运营商网络架构_哔哩哔哩_bilibili

https://zhuanlan.zhihu/p/398889627

https://zhuanlan.zhihu/p/434080369

光猫：将光信号转换成以太网电信号的设备

移动网（MBB）和固定网（FBB）

接入网-承载网/传送网/城域网-核心网/骨干网

  • 接入网：将众多终端接入到网络，使用尽可能低的成本接入尽可能多的设备。接入网需要通过用户名和密码验证用户的身份，然后由网络运营商向用户分配公有地址。
  • 骨干网：如电信的ChinaNet、CN2、CN2-DCI，骨干网具有对应的自治系统编号

中国电信互联网ChinaNet骨干网结构概述

全球95%以上的国际通信流量都是通过海底光缆进行传输的。

NAT444

运营商级NAT（Carrier-grade NAT，简称CGNAT）

  • NAT444：用户到公网的访问将经历两次NAT，源地址由用户的私有网段先转换至运营商的私有网段，再转换至运营商的公网IPv4地址。
  • 100.64.0.0/10也用于内网，是运营商的私有网段。
  • 以前通过PPPoE拨号获取的是随机分配的公网IP地址，但现在通过拨号获取的只是一个运营商提供的内网地址（100.64.0.0/10）。

  • 每个用户家中都有自己独一无二的用户端设备 (CPE)
  • 没有CGNAT，运营商要为每个CPE的外部接口分配一个唯一的公共 IPv4 地址
  • 增加CGNAT设备后，由CPE执行第一次 NAT，由CGNAT 使用预留的公网IP池执行第二次 NAT 

NAT444简介

CGNAT：解决IPv4枯竭的替代方案 [2025]

https://zh.wikipedia/wiki/%E7%94%B5%E4%BF%A1%E7%BA%A7NAT

数据链路层

以太网

以太网是局域网中最常用的通信协议标准。

  • 共享式以太网：传统以太网中，多个主机共享链路带宽，无法同时发送数据，争用链路的使用权，采用CSMA/CD机制解决冲突。
  • 交换式以太网：引入交换机隔离冲突域，一个接口连接一台主机。

交换机不会将数据帧从其入端口转发，对广播帧以及查不到目的MAC地址的单播帧进行泛洪操作。

以太帧的格式有两个标准：Ethernet_II格式和IEEE 802.3格式。

MAC地址构成：

MAC地址分类：

VLAN

虚拟局域网VLAN的实现机制

介绍
  • VLAN（虚拟局域网）：将一个物理的LAN在逻辑上划分成多个广播域的通信技术。
  • 每个VLAN内的主机间可以直接通信，而VLAN间则不能直接互通。这样，广播报文就被限制在一个VLAN内。
  • 连接在同一交换机上的多个站点可以属于不同的VLAN，而属于同一VLAN的多个站点可以连接在不同的交换机上。

报文格式

IEEE 802.1Q协议规定，在以太网数据帧中加入4个字节的VLAN标签，用以标识VLAN信息。

  • 优先级PRI：当网络阻塞时，设备优先发送优先级高的802.1Q帧。
  • 虚拟局域网标识符VID：取值范围是0-4095，其中0和4095保留不使用。VID是数据帧所属VLAN的编号，设备利用VID来识别帧所属的VLAN。
实现机制

由以太网交换机实现VLAN标签的操作：

  • 打标签：当交换机收到普通的以太网MAC帧时，会给其插入4字节的VLAN标签使之成为802.1Q帧。
  • 去标签：当交换机转发802.1Q帧时，可能会删除其4字节的VLAN标签使之成为普通的以太网MAC帧。

交换机转发8021Q帧时，是否进行去标签处理取决于交换机的接口类型。

接口类型

交换机初次启动，各接口的类型默认为Access。交换机的每个接口有且仅有一个PVID，各接口的缺省PVID(Port VLAN ID)为1，即各接口默认属于VLAN 1。

例子

在一个交换机上划分两个不同的VLAN：

两个交换机通过Trunk类型的接口互连：

PPP

广域网络设备

  • CE：用户端连接服务提供商的边缘设备。CE连接一个或多个PE，实现用户接入。
  • PE：服务提供商连接CE的边缘设备。PE同时连接CE和P设备，是重要的网络节点。
  • P：服务提供商不连接任何CE的设备。

缩写

英文名

中文名

CE

Customer Edge

用户边缘设备

PE

Provider Edge

运营商边缘路由器

P

Provider

运营商路由器

PPP链路的建立
  • 链路层协商：通过LCP报文进行链路参数协商，如最大接收单元，认证模式等，建立链路层连接。
  • 认证协商（可选）：通过链路建立阶段协商的认证方式（PAP/CHAP）进行链路认证。
  • 网络层协商 ：通过NCP协商使用的网络层协议、IP地址等。
PPP报文格式

由Protocol字段标识不同类型的PPP报文，例如，Protocol字段为0xC021代表LCP报文，又由Code字段标识不同类型LCP报文。

PAP认证双方有两次握手，协商报文以明文的形式在链路上传输，过程如下：

  • 被认证方将配置的用户名和密码信息使用Authenticate-Request报文以明文方式发送给认证方。
  • 认证方收到被认证方发送的用户名和密码信息之后，根据本地配置的用户名和密码数据库检查用户名和密码信息是否匹配；如果匹配，则返回Authenticate-Ack报文，表示认证成功。否则，返回Authenticate-Nak报文，表示认证失败。

CHAP认证双方有三次握手，协商报文被加密后再在链路上传输，因此比PAP安全。过程如下：

  • 认证方主动发起认证请求，向被认证方发送Challenge报文，报文内包含随机数。
  • 被认证方收到此Challenge报文之后，进行一次加密运算，运算公式为MD5{ ID＋随机数＋密码}，将得到的MD5摘要信息和端口上配置的CHAP用户名一起封装在Response报文中发回认证方。
  • 认证方接收到被认证方发送的Response报文之后，按照其中的用户名在本地查找相应的密码信息，得到密码信息之后，进行一次加密运算，运算方式和被认证方的加密运算方式相同；将加密运算得到的摘要信息和Response报文中封装的摘要信息做比较，相同则认证成功，不相同则认证失败。

网络层

IP

路由获取分类：

BGP

AS出现背景：随着网络规模的扩大，网络中路由数量不断增长，路由收敛变慢，设备性能消耗加大。

AS之间使用BGP协议进行路由传递。

对等体

运行BGP的路由器被称为BGP发言者，两个建立BGP会话的路由器互为对等体，BGP对等体之间交换BGP路由表。BGP的会话是基于TCP建立的，建立BGP对等体关系的两台路由器并不要求必须直连。

BGP存在两种对等体关系类型：

  • EBGP：位于不同自治系统的BGP路由器之间的BGP对等体关系。
  • IBGP（Internal BGP）：位于相同自治系统的BGP路由器之间的BGP邻接关系。
Loopback

Loopback接口是是一种纯软件性质的虚拟接口，虚拟接口不会像物理接口那样因为各种因素的影响而导致接口被关闭，任何送到该接口的网络数据报文都会被认为是送往设备自身的。

  • Loopback接口创建后将一直保持UP状态，并具有环回特性。
  • 在一台网络设备上可创建一个或多个环回接口，并且可以和配置物理接口一样，配置环回接口的IP地址和掩码，环回接口的掩码一般为全1，即255.255.255.255。
报文类型

报文名称

作用

发送时刻

Open

协商BGP对等体参数，建立对等体关系

BGP TCP连接建立成功之后

Update

发送BGP路由更新

BGP对等体关系建立之后有路由需要发送或路由变化时向对等体发送Update报文

Notification

报告错误信息，中止对等体关系

当BGP在运行中发现错误时，发送Notification报文将错误通告给BGP对等体

Keepalive

标志对等体建立，维持BGP对等体关系

BGP路由器收到对端发送的Keepalive报文，将对等体状态置为已建立，同时后续定期发送keepalive报文用于保持连接

Route-refresh

用于在改变路由策略后请求对等体重新发送路由信息。只有支持路由刷新能力的BGP设备会发送和响应此报文

当路由策略发生变化时，触发请求对等体重新通告路由

对等体表：包含邻居对等体的IP地址、版本号、自治系统、状态等。

路由表： 包括目的网络地址/网络掩码、下一跳地址等。

注入路由

BGP并不会发现并计算产生路由，而是将IGP路由表中的路由注入到BGP路由表中，并通过Update报文传递给BGP对等体。

  • Network：手工注入指定目的网络的路由。
  • import-route：根据协议的不同（直连路由、静态路由、OSPF路由、IS-IS路由），批量注入路由。
路由通告原则
  1. 只发布最优且有效的路由。
  2. 从EBGP对等体获取的路由，会发布给所有对等体。
  3. IBGP水平分割：从IBGP对等体获取的BGP路由，不会再发送给其他IBGP对等体。

解决问题：避免形成路由环路。

引入问题：R2将路由传递给R1时，由于第三条原则限制，R1无法将路由传递给R3，R3将无法学习到路由。解决方法：1. IBGP两两之间建立逻辑上的全互联，从而学习到全网的路由。 2. 路由反射器。

路由反射器

IBGP全互联的问题：路由器需维护大量的TCP及BGP连接，尤其在路由器数量较多时。

包含网络设备：

  • 路由反射器RR（Route Reflector）
  • RR客户端（需和RR在同一自治系统）
  • 非客户端对等体

  • 反射规则：只有RR从非客户端学习到的路由不能传给非客户端IBGP对等体，其他路由都可以传递给任意对等体。
  • 非客户端R3发送路由更新给RR，RR将路由传给R4（RR客户端）和R1（EBGP），但不传给R5（非客户端对等体）

RR的设定使得IBGP水平分割原则失效，可能导致路由环路的产生，为此RR在BGP路由中添加两个特殊的路径属性来避免出现环路：

  • Originator_ID
  • Cluster_List
BGP EVPN

用BGP来传递MAC地址的二层VPN技术，MAC 学习不在数据平面中完成，而是在控制平面中实现。

  • BGP EVPN是一种用于实现EVPN概念的协议，通过MP-BGP来实现EVPN，引入新的BGP路由类型和属性，用于在数据中心网络中传递EVPN相关信息。
  • EVPN 实现了控制平面与数据平面的分离。其中，控制平面负责发布路由信息，数据平面负责报文转发。
  • 在 EVPN 网络中，将 MP-BGP 作为控制平面发布 MAC 地址和路由信息；将 VXLAN 作为数据平面，VTEP 既能进行 L2 转发，又能进行 L3 路由。如此既可以保证流量经最优路径转发，还能有效地减少网络中的广播流量。

Leaf设备作为 VTEP 对报文做 EVPN 相关处理； Spine设备则根据目的 IP 地址来转发报文。

将 Spine 设备作为 RR，VTEP 设备作为客户机，避免了所有 VTEP 之间的全连接，同时 RR 只需接收并发布 EVPN 路由无需做EVPN 相关处理，可以大大减轻网络部署的难度。

VXLAN使用EVPN作为控制平面，通过在VTEP之间交换BGP EVPN路由实现VTEP的自动发现、主机信息相互通告等特性，从而避免了不必要的数据流量泛洪。

通过 MP-BGP 同时发布二层 MAC地址和三层路由信息，使得 VTEP 既能够执行二层数据帧的转发，同时也可进行三层路由操作。

NAT

出现背景：缓解IPv4公有地址短缺问题。

作用：实现内部网络的主机访问外部网络，让外网无法直接与使用私有地址的内网进行通信，提升了内网的安全性。

私有地址：

  • A类：10.0.0.0 ~ 10.255.255.255（10.0.0.0/8）
  • B类：172.16.0.0 ~ 172.31.255.255（172.16.0.0/12）
  • C类：192.168.0.0 ~ 192.168.255.255（192.168.0.0/16）
NAT分类
  • 静态NAT：每个私有地址都有一个与之对应并且固定的公有地址，一对一映射。
  • 动态NAT：将所有可用的公有地址组成地址池，当内部主机访问外部网络时临时分配一个地址池中未使用的地址，并将该地址标记为“In Use”；当该主机不再访问外部网络时回收分配的地址，重新标记为“Not Use”。
NAT技术

NAPT：从地址池中选择地址进行地址转换时不仅转换IP地址，同时也会对端口号进行转换，从而实现公有地址与私有地址的1 : n映射，可以有效提高公有地址利用率。

Easy IP实现原理和NAPT相同，区别在于Easy IP没有地址池的概念，使用接口地址作为NAT转换的公有地址。Easy IP适用于不具备固定公网IP地址的场景：如通过DHCP、PPPoE拨号获取地址的私有网络出口，可以直接使用获取到的动态地址进行转换。

其他

ACL

ACL可根据报文的源地址、目的地址、端口号等对报文进行过滤，由应用ACL的业务模块决定允许或阻止报文的通过。通过ACL可以实现对网络中报文流的精确识别和控制，达到控制网络访问行为、防止网络攻击和提高网络带宽利用率的目的。

ACL由若干条permit或deny语句组成，每条语句构成ACL的一条规则，每条语句中的permit或deny是与这条规则相对应的处理动作。

ACL按照编号从小到大的顺序进行报文匹配，一旦命中即停止匹配，规则编号越小越容易被匹配。

通配符
  • 0.0.0.255为通配符，与网络掩码的表示类似，但含义相反。
  • “0”表示严格匹配；“1”表示任意匹配。
  • 与子网掩码不同，通配符中的1或者0可以不连续。

特殊的通配符

  • 精确匹配192.168.1.1这个IP地址

192.168.1.1 0.0.0.0 = 192.168.1.1 0

  • 匹配所有IP地址

0.0.0.0 255.255.255 = any

应用举例

  • 某企业为保证财务数据安全，禁止研发部门访问财务服务器，但总裁办公室不受限制。

实现方式：在Interface 1的入方向上部署ACL，禁止研发部门访问财务服务器的报文通过。Interface 2上无需部署ACL，总裁办公室访问财务服务器的报文默认允许通过。

  • 保护企业内网环境安全，防止Internet病毒入侵。

实现方式：在Interface 3的入方向上部署ACL，将病毒经常使用的端口予以封堵。

AAA

AAA是Authentication（认证）、Authorization（授权）和Accounting（计费）的简称。

  • 认证：验证用户是否可以获得访问权，确定哪些用户可以访问网络。
  • 授权：授权用户可以使用哪些服务。
  • 计费：记录用户使用网络资源的情况。
网络架构

  • NAS（Network Access Server）负责集中收集和管理用户的访问请求。
  • 在NAS上会创建多个域来管理用户，每个域都可以配置不同的认证、授权和计费方案。
  • NAS根据用户名判断用户所在的域，例如，用户名为User1@Domain1，则用户属于Domain1域。
认证和授权可在本地或远端进行
  • 本地：使NAS充当AAA服务器的功能。
  • 远端：通过RADIUS协议与AAA服务器进行认证和授权。
RADIUS

AAA可以用多种协议来实现，最常用的是RADIUS协议。

由NAS作为RADIUS客户端，负责传输用户信息到指定的RADIUS服务器，然后根据从服务器返回的信息进行相应处理（如接受/拒绝用户接入、下发权限）。RADIUS使用UDP作为传输协议，并规定1812和1813分别作为认证、计费端口，具有良好的实时性。

应用场景

网络运营商需要验证家庭宽带用户的账号密码之后才允许其上网，并记录用户的上网时长或上网流量等内容，这就是AAA技术最常见的应用场景。

  • 通过在NAS上配置AAA方案，实现NAS与RADIUS服务器的对接。
  • 用户在客户端上输入用户名和密码后，NAS可以将这些信息发送至RADIUS服务器进行认证。
  • 如果认证通过，则授予用户访问Internet的权限。
  • 在用户访问过程中，RADIUS服务器还可以记录用户使用网络资源的情况。

密码学

加密
对称加密
  • 概念：加密算法公开，依靠秘钥加密数据。使用一个秘钥加密，必须使用相同的秘钥才解密。
  • 优点：算法公开、计算量小、加密速度快、加密效率高。
  • 缺点：在数据传送前，发送方和接收方必须商定好秘钥和保存秘钥。
  • 常见算法：DES、AES
非对称加密
  • 概念：

1、消息接收方准备好公钥和私钥

2、私钥接收方自己留存、公钥发布给消息发送方

3、发送方使用接收方公钥对消息进行加密

4、接收方用自己的私钥对消息解密

  • 优点：安全，即使密文被拦截、公钥被获取，但是无法获取到私钥，也就无法破译密文。
  • 缺点：加密算法及其复杂，安全性依赖算法与密钥，加密和解密效率低。
  • 常见算法：RSA、ECC
数字签名

使用数字签名证明网络报文的真实来源，采用公钥密码算法实现数字签名

VPN技术

VPN（虚拟专用网）是一种在公用网络上建立专用网络的技术，根据使用的加密协议不同，VPN连接主要有IPsec VPN和SSL VPN两种连接方式。VPN

共同点
  1. 在不可信的网络通路上通过双方握手协商以建立可信的通信通路，业务数据在可信通信通路内加密传送
  2. 提供认证、加密、数据完整性和可靠性等安全服务
不同点
IPSec
  1. 工作在网络层，在IP层对数据包进行加密和认证，所有的流量都走隧道
  2. 需安装特定客户端
SSL/TLS
  1. 用于应用层协议，能对应用做到精细化管控，如HTTPS，SSL位于和HTTP和TCP之间。
  2. 使用浏览器既可，浏览器内置SSL协议

SSL证书包含一个密钥对，用户端公钥加密，Web服务器使用私钥解密。

MPLS

IP技术：基于最长匹配算法，需遍历整个路由表。与传统IP路由方式相比，MPLS在数据转发时，只在网络边缘分析IP报文头，而不用在每一跳都分析IP报文头，从而节约了处理时间。

  • MPLS将具有相同转发处理方式的分组归为一类，称为转发等价类FEC
  • MPLS利用标签label进行数据转发，标签用于唯一标识一个分组所属FEC
  • 一个转发等价类在MPLS网络中经过的路径称为标签交换路径LSP
  • 一系列连续的运行MPLS的网络设备构成了一个MPLS域

标签是一个只具有本地意义的标识符，每台路由器的标签空间是相互独立的，都可以使用完整的标签空间。

数据传输过程

LSR（标签交换路由器）是指支持MPLS的路由器，分为LER（标签边缘路由器）和Core LSR（核心标签交换路由器）。

  1. 数据包从标签边缘路由器（LER）进入MPLS网络，LER检查数据包并为其分配FEC。根据 FEC，在数据包上添加标签，以确定其在MPLS网络中的行进方向
  2. 数据包会传输到多个标签交换机路由器（LSR）。每次，系统都会根据网络的标签信息库（LIB）将新标签交换到数据包上。该过程将一直持续到数据包到达出口 LER。
  3. LER 弹出标签，并将数据包转发到新的IP网络。

边缘计算

概念：将从终端采集到的数据，直接在靠近数据产生的本地设备或网络中进行分析，无需再将数据传输至云端数据处理中心。

产生背景：云计算面对物联网数据量爆发的时代，无法满足爆发式的海量数据处理诉求，不能满足数据实时处理的诉求。边缘计算相较于云计算更加高效和安全

PON

详解PON基础知识：OLT、ONU、ONT和ODN，建议收藏_pon_Ethereal_InfoQ写作社区

无源光网络（PON）介绍及其应用_combo pon-CSDN博客

PON：无源光网络

AON：有源光网络

PON和AON构成FTTH宽带连接的两大系统，但PON在FTTH部署中更为普遍，两种PON标准

  • 千兆无源光网络 (GPON)
  • 以太网无源光网络 (EPON)

PON不包含任何有源电子器件，全部由无源光器件组成。这就避免了外部设备的电磁干扰和雷电影响，减少了线路和外部设备的故障率，是目前固定网络接入的主流技术。

PON系统由三部分组成，分别为光线路终端OLT、光分配网络ODN和光网络单元ONU。

  • ONU：用户端设备，具有光猫和交换机的功能，提供ODN侧的光接口与用户侧的电接口，并实现光电信号的转换。
  • ODN：物理层设备，通过光分路器(SPL)实现，分发下行数据，并集中上行数据。
  • OLT
    • 运营商侧的局端设备，一般部署于运营商机房，是外网入口和内网出入口的设备
    • 除了能实现光电信号的转换，还具备流量调度、分配带宽等控制功能
    • OLT以广播方式向ONU设备发送以太网数据

缩略语

缩写

英文全称

中文名称

ACL

Access Control List

访问控制列表

ADSL

Asymmetric Digital Subscriber Line

非对称数字用户线路

DCSW

Data Center SWitches

数据中心交换机

ECGW

Edge Cloud Gateway

边缘云网关

FTTH

Fibre To The Home

光纤到户

IDC

Internet Data Center

互联网数据中心

MPLS

Multi-Protocol Label Switching

多协议标签交换

NAT

Network Address Translation

网络地址转换

NAPT

Network Address and Port Translation

网络地址端口转换

NOC

Network Operation Center

网络运营中心

ODN

Optical Distribution Network

光分配网络

OLT

Optical Line Terminal

光线路终端

ONU

Optical Network Unit

光网络单元

PoP

接入点

QoS

Quality of Service

网络服务质量