2024年6月2日发(作者：)

维普资讯

第３７卷第２期　

航空计算技术　

Ａｅｒｏｎａｕｔｉｃａｌ　Ｃｏｍｐｕｔｉｎｇ　Ｔｅｃｈｎｉｑｕｅ　

Ｖｏ１．３７　Ｎｏ．２　

Ｍａｒ．２ｏｏ７　

２００７年３月　

千兆光纤先锋网通信协议及其在网卡中的实现　

赵威特，冯萍　

（西北工业大学计算机学院，陕西西安７１００７２）　

摘

—

要：根据航空电子综合系统的特点，对ＦＣ标准簇进行简化，设计了先锋交换网的通信协议（ＦＣ　

Ｐｉｏ（Ｆｉｂｒｅ　Ｃｈａｎｎｅｌ—Ｐｉｏｎｅｅｒ　Ｎｅｔ）协议）。重点介绍其在网卡（ＮＩＣ）中的实现。由于简化了通信　

协议，软硬件的合理分工，使全部控制电路集成在一片ＦＰＧＡ之中，用双面ＰＣＢ板实现。采用ＦＣ—　

Ｐｉｏ精简协议，也有效地降低了软件通信开销，提高了数据通信效率。　

关键词：光纤通道；交换网；网络接１：２卡；信令；ＦＰＧＡ　

中图分类号：ＴＰ３９３．Ｏ５　文献标识码：Ａ　文章编号：１６７１－６５４Ｘ（２００７）０２－０１１６－０４　

引言　

当前的航电系统正向光纤交换网络的方向发展。　

光纤网络具有传输速度快，安全性好和可靠性高等特　

点，已得到广泛应用。新出现的交叉点开关器件，如美　

国ＭＩＮＤＳＰＥＥＤ公司的推出了１７Ｘ１７，７２Ｘ７２，１４４Ｘ１４４　

左半所示。　

表１通信协议结构　

ＦＣ　

ＦＣ一４　ＵｐＬｅｖｅｌＰｒｏｔｏｃｏｌＭａｐｐｉｎｇ　

ＦＣ—Ｐｉｏ　

ＭＰＩ（提供网卡的上层应　

用接口）　

（ＩＰ，ＳＣＳＩ，ｅｔｃ．）　

ＦＣ一３　Ｌｉｎｋ　Ｓｅｒｖｉｃｅｓ　

等不同规模的交叉点开关器件，可以实现各个节点之　

间的任意互连。光纤交换网络应用于航电系统的条件　

已经具备。这种交叉点开关器件的一个特点是用端口　

号寻址。我们曾申请过一个适合于端口号寻址的国家　

发明专利（“先锋寻径式计算机网络”，证书号：　

１６４２４２），其特点是先用先锋信令按端口号寻址接通信　

道，然后发送数据帧，从而可大大简化交换机的结构。　

我们将该技术应用于光纤交换网，研制一个成本低、效　

由申请信道、撤销信道等　

信令实现　

ＦＣ一２　Ｓｉｇｎａｌｉｎｇ　Ｐｒｏｔｏｃｏｌ　

ＦＣ一１　Ｔｒａｎｓｍｉｓｓｉｏｎ　Ｐｒｏｔｏｃｏｌ　

ＦＣ一０　Ｔｒａｎｓｍｉｔｔｅｒｓ　ａｎｄ　Ｒｅｃｅｉｖｅｒｓ　

网卡硬件实现　

网卡硬件实现　

网卡硬件实现　

＆Ｍｅｄｉａ（Ｆｉｂｒｅ）　

光纤通道（ＦＣ）各层之间技术相对独立。ＦＣ一０　

层定义连接的物理特性；ＦＣ一１层定义了传输协议，包　

括传输速率、８Ｂ／１０Ｂ编解码以及ＣＲＣ差错控制等；　

ＦＣ—Ｐｉｏ与此完全相同。ＦＣ一２层主要是信号协议，　

如ＩＤＬＥ，Ｒ—ＲＤＹ等１７种信号，ＦＣ—Ｐｉｏ只采用其中　

的ＩＤＬＥ，Ｒ—ＲＤＹ少数几种信号。ＦＣ一３层是链路服　

务，通常用３个字节的Ｄ＿ＩＤ来寻址。ＦＣ—Ｐｉｏ采用　

若干信令来实现。ＦＣ一４层实现到现有上层协议（如　

ＩＰ，ＳＣＳＩ等）的映射。ＦＣ—Ｐｉｏ采用并行计算常用的　

ＭＰＩ作为上层映射。　

ＦＣ协议有统一的帧格式，如下所示：　

ＳＯＦ　ＩＨＥＡＤＥＲ（２４ｂｙｔｅ）Ｊ　ＰＡＹＩ　ＯＡＤ　Ｉ　ＣＲＣ　Ｉ　ＥＯＦ　

率高的“千兆光纤先锋交换网”。光纤通信通常采用　

美国ＡＮＳＩ颁布的光纤通道（Ｆｉｂｒｅ　ｃｈａｎｎｅｌ，ＦＣ）标准　

簇。我们根据航空电子综合系统的特点，对ＦＣ标准　

簇进行简化，设计了先锋交换网的通信协议（ＦＣ—Ｐｉｏ　

（Ｐｉｏｎｅｅｒ—Ｆｉｂｒｅ　Ｃｈａｎｎｅ１）协议）。由于篇幅有限，本文　

将重点介绍其在网卡（ＮＩＣ）中的实现。　

ｌ　ＦＣ—Ｐｉｏ通信协议结构　

美国ＡＮＳＩ颁布的ＦＣ标准簇是面向广泛应用的，　

具有较复杂的协议集。航电系统对实时性和应用环境　

有特殊的要求。因此，我们对ＦＣ协议…进行了简化，　

从中选出合适的子集，并结合我们先锋网的思想，构成　

一

ＳＯＦ为帧起始定界符，有多种类型；ＨＥＡＤＥＲ为帧　

头，有２４字节，内容包括帧类型，Ｓ＿ＩＤ，Ｄ＿ＩＤ等各种参　

个实时性强的ＦＣ—Ｐｉｏ协议。ＦＣ的结构层次如表１　

收稿日期：２００６．１２－２７　修订日期：２００７－０３－２８　

作者简介：赵威特（１９８２－），男，湖南泪罗人，硕士研究生，研究方向为高性能计算与群机系统。　

维普资讯

２００７年３月　赵威特等：千兆光纤先锋网通信协议及其在网卡中的实现　

数；ＰＡＹＬＯＡＤ为有效负载，是要传输的数据；ＣＲＣ是　

校验码；ＥＯＦ为帧结束定界符，也有若干种类型。　

我们帧格式做了简化，增加了一种简单的“信令　

帧”，从而简化了“数据帧”，前者用于交换和链路的控　

存器等。ＤＭＡ引擎用于网卡与主机的数据交换。包括　

发送数据时由内存到网卡发送ＦＩＦＯ（ＴｘＦＩＦＯ）的数据　

传输和接收数据时由网卡接收ＦＩＦＯ（ＲｘＦＩＦＯ）到内存　

的数据传输。发送引擎用于将ＴｘＦＩＦＯ中的内容封装　

制，后者传送正常数据。这两种帧格式如下所示：　

１）“信令帧”格式　

２）“数据帧”格式　

ＳＯＦｎ１　ｌＨＥＡＤＥＲ（２４ｂｙｔｅ）Ｊ　ＰＡＹＬ０ＡＤ（数据）ｆ　ＣＲＣ　ｆ　ＥＯＦｎｌ　

信令帧采用１类连接的ＳＯＦｃｌ作为帧起始；数据　

帧则采用ＳＯＦｎｌ作为帧起始。由于不需要Ｄ

＿

ＩＤ等路　

径信息，ＨＥＡＤＥＲ只需４字节便足够了，其格式如下：　

通过信令帧来对整个通信过程进行控制。信令帧由网　

卡发１ｔｉ，由交换机负责解释，以完成交换控制。为了满　

足实时性的要求，我们对信令进行优化，常用的信令仅　

使用几个字节，使得控制信令具有结构简单

、

通信速度　

快和控制灵活等特点。通过信令可建立任意两个节点　

之间的通信链路，实现数据帧在信道上的高效传输

。　

帧级通信协议如图１所示，其实现将在后文予以介绍

。　

Ｎ　Ｐｏｒｔ（Ｌ—ＩＤ）ＦＡＢＩＣ　Ｎ

Ｐｏｒｔ（Ｄ—ＩＤ）　

图１帧级通信协议　

２　ＦＣ—Ｐｉｏ协议在网卡中的实现　

２．１网卡的结构　

ＮＩＣ是实现Ｆｃ—Ｐｉｏ通信协议的底层通信层。Ｆｃ　

—

Ｐｉｏ　ＮＩＣ结构如图２所示。　

ＰＣＩ接口实现了与主机的接Ｅｌ电路。寄存器组包　

括ＰＣＩ配置寄存器、状态字寄存器以及通信描述符寄　

成帧后发送到链路上。接收引擎用于将收到的信号解　

析出来，将收到的数据帧放入ＲｘＦＩＦＯ，识别各种信号　

（如Ｒ—ＲＤＹ，ＩＤＬＥ等），设置与收到的信号相关的状态　

位等。ＣＲＣ校验电路在数据发送时生成的ＣＲＣ码附　

在数据帧末尾一起发送，在数据接收时用于数据检验。　

８Ｂ／１０Ｂ编解码器用于数据发送和接收时对数据各个　

字节的编解码。８Ｂ／１０Ｂ编码的根本目的是基于“直　

流平衡（Ｄｃ　Ｂａｌａｎｃｅ）”，以及保证高速串行流有足够多　

的电平跳变，以便接收端提取时钟。ＦＣ—Ｐｉｏ协议集　

处理与协议相关的内容，如帧封装及帧解析，链路控制　

等。以上电路均集中在一片ＦＰＧＡ中，通过硬件描述　

语言ＶＨＤＬ描述实现，这使得控制集中，各个模块问的　

交互变得更简单直接，且代码具有很大的可重用性

，

便　

于移植和添加新功能。　

存器组　

ＤＭＡ引擎　

ＰＣＩ　

发送引擎及　

ＣＲＣ　

８　

接　

Ｔｘ肿　

１０Ｂ　

口　

校验　

编解　

发Ｉ』袁Ｈ袭　发　

接收引擎及　

码器　

器Ｈ器　

ＲｘＦ１ＦＤ　

Ｆ℃一Ｐｉｏ协议集　

图２　ＦＣ—Ｐｉｏ—ＮＩＣ结构　

２．２网卡命令和状态字　

表２　ＦＣ—Ｐｉｏ网卡的偏移地址分配　

恭　写　助记词　作　用　

为实现网卡硬件与其驱动程序及上层应用软件的　

交互，网卡提供了相应的网卡控制命令（简称网卡命　

令）和状态字。网卡通过设备偏移地址来识别不同的　

维普资讯

航空计算技术　第３７卷　第２期　

网卡命令。　

主要的网卡命令如表２所示。　

发送网卡命令前，往往需要了解网卡的当前状态，　

这由状态字来表示，如表３所示。网卡命令与状态字　

的功能将在帧级通信协议的执行过程中予以说明。　

表３　ＦＣ—Ｐｉｏ网卡的状态位　

：　

据的长度信息。然后调用网卡命令ＤＭＡＴＸ通知网卡　

启动ＤＭＡ引擎，从内存读取一帧数据，传到网卡的　

ＴｘＦＩＦＯ中，形成一个完整的数据帧，随即自动启动发　

送引擎，经８Ｂ／１０Ｂ转换一一串行化一一光收发器一　

一

光纤传送出去。　

当要发送的数据长度较短时，用ＤＭＡ方式效率较　

低，因此我们采用ＳＥＮＤ—ＷＯＲＤ发送方式，用ＳＥＮＤ—　

ＷＯＲＤ命令逐字将数据帧写入ＴｘＦＩＦＯ中，然后用　

ＳＴＡＲＴ

＿

查查　查璺（　垦　２　

中断延迟　

接收缓冲区满　

ＳＥＮＤ命令启动发送引擎，其工作过程同上。　

网卡接收的工作过程如下：网卡预先调用网卡命　

接收缓冲区非空　

接收电路忙　

发送电路忙　

渤枷瑚　∞∞加ｍ　４　２。　

令ＤｍａＲｘ—ＡＤＤＲ—ＬＯＡＤ加载接收缓冲区的起始物理　

地址到网卡，光收发器收到帧时，经串并转换一一　

１０Ｂ／８Ｂ解码一一字同步后，由接收引擎做帧解析，若　

为Ｒ—ＲＤＹ，则将对应的Ｒ—ＲＤＹ状态位置为‘１’；若为　

信令帧，则将对应的状态位置为‘１’；若为数据帧，则　

将数据写入ＲｘＦＩＦＯ中，接收完一帧数据并ＣＲＣ校验　

无误后，启动ＤＭＡ引擎将ＲｘＦＩＦＯ中的数据传到内存　

的接收缓冲区。　

开中断　

数据ＣＲＣ校验错　

保留　

控制字校验错　

硬件标志ＺＡＣＫ　

确认标志ＣＲＣＥＲＲ　

收到重发信令　

收到广播信令　

收到消息尾信令　

收到确认信令　

发送方发完一帧后，等待接收方的Ｒ—ＲＤＹ应答，　

同时通过ＤＭＡ将下一帧长度的数据预取到网卡　

ＴｘＦＩＦＯ，若收到应答且下一帧准备好，则将下一帧数据　

发出。接收方每收到一帧数据并ＣＲＣ校验无误，则回　

个Ｒ—ＲＤＹ应答。　

２．３　ＦＣ—Ｐｉｏ帧级通信协议的实现　

一

为了说明网卡如何支持通信协议，下面介绍一下　

ＦＣ—Ｐｉｏ的帧级通信协议。　

通信之前，首先要申请建立信道，这通过发送申请　

为了加快数据的传输速率，我们提供网卡自动连　

发５Ｏ帧的功能。收方收到一帧回一个Ｒ—ＲＤＹ应答。　

发方网卡收到Ｒ—ＲＤＹ后，自动发送下一个数据帧，直　

到５Ｏ帧通信完毕。然后，收方驱动程序发一个ＡＣＫ　

帧的命令。　

信道信令帧（ＳＨＱ）来实现。交换机收到该信令后，检　

查目标节点的“ＢＺ”忙位，如果ＢＺ为‘０’，就接通信　

道，并将对应的ＢＺ位置为‘１’；如果ＢＺ为‘１’，则向　

发送节点返回一个Ｆ—ＲＪＴ帧，向其通知目标节点的忙　

状态，发送方稍后再重发申请。通信结束后发撤销信　

道信令帧，交换机收到该信今后，断开相应的信道，并　

将对应的ＢＺ位置为‘０’。　

３性能测试　

两台ＰＣ机通过１．０６２５Ｇｂｐｓ的ＦＣ—Ｐｉｏ交换机进　

行互连，通过ＭＰＩ的ｐｉｎｇｐｏｎｇ基准测试程序，测试ＦＣ　

—

建立信道后便可发送数据帧。对数据帧，根据其　

ＰＡＹＬＯＡＤ的长度，分为两种发送方式：ＤＭＡ发送方式　

和ＳＥＮＤ—ＷＯＲＤ发送方式。ＤＭＡ发送方式时：驱动程　

Ｐｉｏ的通信性能。ＰＣ机的配置为：ＰＩＩＩ　８００　ＣＰＵ、　

１３３ＭＨｚ系统总线、２５６ＭＢ内存，节点中运行Ｌｉｎｕｘ７．３　

操作系统。性能测试结果如表４所示，表中以太网性　

序先调用网卡命令ＤｍａＴｘ—ＡＤＤＲ—ＬＯＡＤ，将要发送的　

数据所在内存的起始物理地址加载到网卡中。再调用　

ＳＥＮＤ

—

能数据来自于文献［４］。　

性能测试结果表明：该网络提供给ＭＰＩ用户的通　

信延迟为４—４５微秒。其中４微秒是由于５Ｏ帧连发　

ＷＯＲＤ命令先后发送数据帧的头两个字ＳＯＦ　

和ＨＥＡＤＥＲ到网卡的ＴｘＦＩＦＯ中。ＨＥＡＤＥＲ中包含数　

时由网卡硬件直接来控制收发的应答，延迟由５Ｏ帧　

表４各种网络的通信性能　

维普资讯

２００７年３月　赵威特等：千兆光纤先锋网通信协议及其在网卡中的实现　・１１９・　

平均分配来计算的。因此，远小于千兆以太网　

了软件通信开销，提高了数据通信效率。　

（ＭＰＩＣＨ）的通信延迟（６０微秒）。用户带宽　

（４２０Ｍｂｐｓ）稍高于千兆以太网（ＭＰＩＣＨ）的　

参考文献：　

（４２０Ｍｂｐｓ），但低于千兆以太网（Ｍ—ＶＩＡ）的　

ＦＩＢＲＥ　ＣＨＡＮＮＥＬ　Ｐｈｙｓｉｃａｌ　ａｎｄ　Ｓｉｇｎａｌｉｎｇ　Ｉｎｔｅｒｆａｃｅ（ＦＣ—　

（４８０Ｍｂｐｓ）。这是由于本网卡还没有实现ＶＩＡ零拷贝　

ＰＨ），ＲＥＶ　４．３．　

的缘故，有进一步改进的空间。　

［２］　

ＦＩＢＲＥ　ＣＨＡＮＮＥＬ　Ａｖｉｏｎｉｃｓ　Ｅｎｖｉｒｏｎｍｅｎｔ（ＦＣ—ＡＥ）Ｔｅｃｈｎｉ．　

ｃａｌ　Ｐｍｐｏｓａｌｓ，ＲＥＶ　０．４．　

４　结论　

［３］　黄永葵．光纤通道标准及其在航空电子中的应用［Ｊ］．　

航空电子技术，２００３（１２）．　

目前，千兆光纤网卡多采用进口产品，市场上尚未　

［４］　

Ｄｒ．Ｌａｒｓ，Ｅ．Ｊｏｎｓｓｏｎ，Ｄｒ．Ｗｉｌｌｉａｍ，Ｒ、Ｍａｇｒｏ，Ｃｏｍｐ￣ａｔｉｖｅ　Ｐｅｒ－　

见有国产的商品。我们通过简化通信协议，软硬件的　

ｆｏｒｍａｎｃｅ　ｏｆ　ＩｎｆｉｎｉＢａｎｄ　Ａｒｃｈｉｔｅｃｔｕｒｅ　ａｎｄ　Ｇｉｇａｂｉｔ　Ｅｔｈｅｒｎｅｔ　Ｉｎ．　

合理分工，简化了逻辑，全部控制电路集成在一片Ａ１．　

ｔｅｒｃｏｎｎｅｃｔｓ　ｏｎ　Ｉｎｔｅｌ　Ｉｔａｎｉｕｍ　２　Ｍｉｃｒｏａｒｃｈｉｔｅｃｔｕｒｅ—ｂａｓｅｄ　

ｔｅｒａ　ＦＰＧＡ　ＥＰ１Ｃ６Ｑ２４０Ｃ８之中，而且用双面ＰＣＢ板实　

Ｃｌｕｓｔｅｒｓ［Ａ］．ｉｎ　４ｔｈ　Ｅｕｒｏｐｅａｎ　ＬＳ—ＤＹＮＡ　Ｕｓｅｒｓ　Ｃｏｎｆｅｒｅｎｃｅ　

现，成本较低。采用ＦＣ—Ｐｉｏ精简协议，也有效地降低　

『Ｃ］．２ｏ０３．　

Ｐｉｏｎｅｅｒ－Ｆｉｂｒｅ　Ｇｂｐｓ　Ｎｅｔｗｏｒｋ　Ｓ　Ｐｒｏｔｏｃｏｌ　ａｎｄ　ｉｔｓ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｉｎ　ＮＩＣ　

ＺＨＡＯ　Ｗｅｉ－ｔｅ，ＦＥＮＧ　Ｐｉｎｇ　

（Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｎｏｔｒｈｗｅｓｔ　Ｐｏｌｙｔｅｃｈｎｉｃａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ　ａｎ　７１００７２，ｃ　）　

Ａｂｓｔｒａｃｔ：Ａｃｃｏｒｄｉｎｇ　ｔｏ　ｔｈｅ　ｓｐｅｃｉａｌ　ｒｅｑｕｉｒｅｍｅｎｔｓ　ｏｆ　Ａｖｉｏｎｉｃｓ　Ｉｎｔｅｇｒａｔｅｄ　Ｓｙｓｔｅｍ（ＡＩＳ），ｔｈｅ　Ｓｔａｎｄａｒｄ　Ｐｒｏｔｏｃｏ１　ｏｆ　Ｆｉ—　

ｂｅｒ　Ｃｈａｎｎｅｌ　ｈａｓ　ｂｅｅｎ　ｓｉｍｐｌｉｉｆｅｄ　ｔｏ　ｂｅ　ａ　ｎｅｗ　ｐｒｏｔｏｃｏｌ，ＦＣ－Ｐｉｏ（Ｆｉｂｅｒ　Ｃｈａｎｎｅｌ－Ｐｉｏｎｅｅｒ　Ｎｅｔ）．Ｔｈｅ　ｉｍｐｌｅｍｅｎｔａｔｉ０ｎ　０ｆ　ｔｈｅ　

ｎｅｗ　ｐｒｏｔｏｃｏｌ　ｉｎ　Ｎｅｔ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ（ＮＩＣ）ｉｓ　ｄｅｓｃｒｉｂｅｄ　ｓｐｅｃｉｉｆｃａｌｌｙ．Ｄｕｅ　ｔｏ　ｔｈｅ　ｓｉｍｐｌｉｉｆｃａｔｉｏｎ　ｏｆ　ＦＣ－Ｐｉｏ　ａｎｄ　ｔｈｅ　ｒｅａｓｏｎａ—　

ｂｌｅ　ａｓｓｉｇｎｍｅｎｔ　ｂｅｔｗｅｅｎ　ｔｈｅ　ｈａｒｄｗａｒｅ　ａｎｄ　ｔｈｅ　ｓｏｆｔｗａｒｅ

，

ｔｈｅ　ｗｈｏｌｅ　ｃｉｒｃｕｉｔ　ｏｆ　ｃｏｎｔｒｏｌ　ｉｓ　ｉｎｔｅｇｒａｔｅｄ　ｉｎ　ｏｎｌｙ　ｏｎｅ　ＦＰＧＡ　ｃｈｉｐ

，　

ｊｕｓｔ　ｗｉｔｈ　ａ　ｄｏｕｂｌｅ－ｆａｃｅｄ　ＰＣＢ　ｂｏａｒｄ．　Ｗｉｔｈ　ｔｈｅ　ＦＣ－Ｐｉｏ　Ｐｒｏｔｏｃｏｌ，ｔｈｅ　ｓｏｆｔｗａｒｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎ　ｏｖｅｒｈｅａｄ　ｉｓ　ａｌｓｏ　ｇｒｅａｔｌｙ　ｒｅ．　

ｄｕｃｅｄ．Ａｓ　ａ　ｒｅｓｕｌｔ，ｔｈｅ　ｈｉｇｈ　ｐｅｒｆｏｒｍａｎｃｅ／ｃｏｓｔ　ｒａｔｉｏ　ｉｓ　ａｃｈｉｅｖｅｄ．　

Ｋｅｙ　ｗｏｒｄｓ：ｆｉｂｅｒ　ｃｈａｎｎｅｌ；ｓｗｉｔｃｈ－ｎｅｔｗｏｒｋ；ＮＩＣ；ｔｏｋｅｎ；ＦＰＧＡ