三种先进串行互连标准的核心结构特性分析

设计者要给某一特定应用选择一种合适的标准互连结构,必须对需要执行的数据封包、服务种类区分、拥塞管理、事件处理、结构初始化及管理需求等核心结构特性进行彻底分析。作者讨论的三种串行互连标准,在特性选择及简单与灵活性之间的折衷方面各有不同。

随着互联网继续呈指数增长,人们正从各个层面上感觉到这种惊人的发展速度。但如果想继续保持这种增长速度,芯片、电路板及系统机架间的互连速度就变得非常关键,以顺应互联网支持系统相应地成比例增长的趋势。

很简单,将重要的CPU周期花在数据处理及转发上不再能被接受。为有效解决此问题,人们将计算能力从中央处理器转移至卸载引擎及I/O器件上。系统架构中的这种转移已使互连技术的选择成为更重要的设计考虑事项,以便能以一种经济的方式来达到所期望的系统性能。

由于每个器件引脚数越来越多、总线上偏斜余量愈发紧张以及板布局复杂性不断提高,故使互连变得更宽及更快已不再可行。因此,转移到更窄、更可靠的高速互连便成为一个自然而然的步骤。

过去,业界开发出多种专有高速互连技术来消除内部系统瓶颈。为缓解高成本、长引脚延迟以及缺乏互操作性等问题,几个行业论坛已开发出多项新型串行高速互连标准和协议。所有这些标准与协议都拥有一个共同的问题,即:它们都基于长期确立的技术。这主要是考虑到软件再利用、易于接受以及后向兼容性等因素。Infiniband、快速结构(Rapid Fabric)以及高级交换互连(ASI)成为在该市场中拼杀的领先标准。正如过去所发生的,促使新互连标准被广泛接受的催化剂将是整体系统性能而不仅仅是技术优点。

交换结构互连—高层次目标

交换结构互连的主要目标是:为原始连接提供高性能、保持一个比系统中所有线卡合计带宽更宽的带宽(以补偿分段与协议开销),以及在构成系统的不同实体间传输控制与数据信息等。数据传输中的相关延时与抖动是决定系统性能高低的重要指标。

交换结构的流控制特性提供必要的QoS参数来确保每个流的预定特征。QoS参数只能通过部署拥塞管理策略与机制来得到保证,以防止该交换结构中链路与组件容量过载。使这些特性保持适当的平衡,对于既支持各种应用又不会使器件复杂性增加(以不使成本过高而阻碍其被广泛采纳)非常关键。

提供一组平衡特性以避免增加不必要的成本与复杂性非常关键。器件寻址、数据包路由以及互连支持的数据包格式等,都是能帮助了解系统性能的重要参数。详细分析流控制与拥塞管理的核心互连特性,再加上错误检测与处理,可清晰地显示出该架构的实力。通过评估由互连提供的软件接口及结构初始化服务来分析软件复杂性也非常重要。

图1:Infiniband结构系统。

Infiniband架构

Infiniband架构(IBA)正在朝集群等高端计算应用领域发展,这些应用要求有故障恢复、高可用性、可靠性及耐用性等特性。IBA支持模块至模块以及机箱至机箱互连、可以X1、X4及X12三种形式应用并采用2.5GHz时钟。所支持的吞吐量为2、8或24Gbps,占用8B10B编码开销。为提供必要的QoS,该标准还提供了16级可映射到16个服务层的虚拟通道。基于信用的流控制及注入速率控制机制,被用来提供必要的拥塞管理。其结构管理则支持简单的网管协议(SNMP)。

它定义了用于可靠消息传送(发/收以及DMA)的硬件协议,但未定义消息内容。硬件协议允许从操作系统的内核及用户空间来传送数据。

Infiniband支持诸如配置与资产管理、错误报告、性能指标收集以及拓扑管理等结构服务。它天生就使用IPv6包头来在IBA结构与互联网之间有效地交换数据。该架构具有更高的可扩展性、可用性、隔离度以及更少的CPU使用率,而且还支持互联网技术。它以单独控制与存储器接口来控制数据进出节点的存储器。

Infiniband是一种可满足存储区域网、高端计算集群及局域网需求的全新互连标准。但以此种方式来创建这项标准以及为达其目标所带来的复杂性,却极大地限制了人们对它的采用与接受。

图2:RapidIO结构系统。

快速结构

快速结构(Rapid Fabric)是串行快速IO(sRIO,Serial Rapid IO)互连的扩展。sRIO是一种瞄准处理器互连应用并已被一些DSP器件所采用的芯片至芯片串行互连。其基本规范增加了组播、流控制及数据流等特性,以将其转换成流量管理通信结构。

快速结构以1.25/2.5/3.125GHz时钟速度支持X1及X4。在X4上,它所支持的最大带宽(占用8B10B编码开销)在3.125GHz时钟速度上为10Gbps。其架构被组织成由逻辑、传输及物理层组成的三层协议栈。逻辑层定义了被端点用来执行互连服务的协议；传输层定义了用于传输的寻址方案；广播与组播功能则通过操作传输信息来实现；物理层定义了数据包传输机制、流控制与电气特征。它总计能支持多达三路传输流及四个虚拟通道。该标准委员会目前正在努力工作以进一步支持流控制与拥塞管理等特性,以满足背板要求。

由快速结构连接的器件使用基于器件地址的路由,这要求在交换机上保持路由表。流控制基于信用或遵循反应途径(其中接收方发送一个控制符号给发送方以便其进行数据包再发送)。拥塞管理则是基于简单的每流源XON与XOFF消息传送。

sRIO采用分组(数据包)交换、非相干、基于存储器以及消息通过编程模型,支持分布式I/O处理。它支持从很小到很大的各种网络规模。在基于sRIO的系统中,器件ID并不取决于其位置。协议与数据包格式为拓扑不可知。协议能处理乱序数据包发送与接收。

高级交换互连(ASI)

ASI对PCI Express进行了扩展,以提供一种旨在覆盖计算与通信互连的可扩展互连。它可从行业对PCI标准的广泛接受度上受益。ASI采用由物理、数据链路及传输层组成的三层协议栈来实现。它复用了PCI Express的物理及数据链路层,只进行了少许增强。但传输层被完全改写以满足背板互连的目标要求。

图3:高级交换互连结构系统。

ASI是一种高度可伸缩架构,支持X1、X2、X4、X8、X12、X16及X32路,可提供高达64Gbps的吞吐量,并能在2.5Gbps时钟速度上工作。尽管可通过使用本地SARing能力来支持无限长度数据包,但最大数据包长度为2,176字节。它采用基于路径的路由以及可靠传输机制,可选择非可靠提交。这种寻址方案由于不需要在交换机上支持查找表而能简化整个解决方案。数据包封包方案只有很少的包头开销,并能在任何协议上开隧道。它通过低延时及良好的抖动控制来提供确定性行为。

ASI标准可提供多达20条虚拟通道,分成以下三组:8条可旁路通道(用于传输载荷存储协议)、8条有序通道以及4条组播虚拟通道,可支持几乎所有应用类型。在逻辑层,它支持每虚拟通道8种流量类型,以提供QoS及流量区分。它采用基于信用的链路层流控制方案。对于拥塞管理,它支持基于状态的流控制、注入速率控制、最小带宽或由供应商定义的输出调度等。

该规范还定义了一些基本元素来支持热插拔、冗余路径、多拥有者实体以及高效结构管理故障恢复等高可用性能力。它以一种协议诊断方式并通过集中于路由及保持几类隧道协议服务特征来支持几乎所有传输、网络或链路层协议的开隧道(tunnelling)。

图3为一种典型的ASI结构拓扑。IO器件或CPU天生可支持ASI接口或能通过一个ASI桥接器件来与ASI结构相连。它通过采用主交换器及IO交换器并利用PCI Express分层树结构来横跨多个CPU域。图3还显示以太网数据穿过千兆以太网IO器件与DSP簇之间ASI结构的透明隧道。

事实上,ASI 对PCI Express进行了扩展,以使其能满足各种应用的需求并能获得更广泛的接受。最重要的是,PCI Express总线的三层协议栈结构允许ASI不受阻碍地重写整个处理层,以一种最全面的方式来满足背板互连的要求。

上面讨论的三种串行互连标准,在特性选择及简单与灵活性之间的折衷方面各有不同。要给某一特定应用选择一种合适的标准结构互连,必须对需要执行的数据封包、服务种类区分、拥塞管理、事件处理、结构初始化及管理需求等核心结构特性进行彻底分析。但这些特性均具有其各自的技术优点,很难确定谁是胜者。而像提供符合标准及具有互操作性的芯片的供应商数量、开发工具以及软件可用性等其它因素,则成为决策过程中的关键因素。此外,可最佳地利用行业规模经济的互连技术,如那些带PCI Express的互连等,则很可能会获得更广泛的采纳与使用。

作者:Harpinder Matharu

应用工程师

IDT公司