前沿互连技术向TBps级吞吐量发展

在斯坦福大学举办的Hot interconnects大会上,来自Cray、IBM、英特尔以及许多其他公司和大学的顶级设计人员透露了他们在芯片级、板卡级和系统级互连领域的最新工作。今年的会议公布了在光学互连方面的研究成果,给未来的系统带来了希望。

具体而言,Sun公司提供了更多关于Proximity方案的细节,该方案旨在打造基于容性耦合的TBps级的芯片到芯片互连。IBM公司透露,它正在与Corning公司合作开发一种光学单元交换的新方法,可提供数十GBps的吞吐量。而来自各家大学的研究人员则介绍了关于10Gb以太网连接的新纪录。

在一个小组讨论中,计算机制造商和使用者争论以太网是否能因为其具有大批量、低成本的商业优势而成为互连之王。“这是一个开放性的问题。”该次大会的技术议程主持人之一Fabrizio Petrini表示。Petrini是美国Los Alamos国家实验室的研究员。

“目前,10G以太网仍然很昂贵,一个卡要花费数千美元。”他说,“另一方面,高性能计算机市场似乎还没有发展到足够的规模可以容纳多种标准和专有互连的存在。”

互连在目前主导高端系统的集群设计中起着关键性的作用。“一个集群计算机中的高性能网络就是计算机,因为它主要确定了网络可实现的性能,及其缩放性、容错能力、系统软件和总体可用性。”Petrini介绍道。

由于认识到这个事实,Sun公司的研究人员公布了正在开发中的“Hero”超级计算机的最新进展,该任务是美国国防高级研究规划局项目的一部分。Sun公司表示,其Proximity方案将采用容性耦合,从而几百倍地改进芯片互连的性能,并有可能使“最遥远的GB级存储器”变得像“一级高速缓存器”一样近。

“使用一个用于Proximity通信的150平方毫米芯片的10%和一个5微米以下的未对准间隙可以产生大约为3.1TBps的每平方毫米带宽,以及大约46TBps的芯片带宽,这有可能超过片上带宽,”Sun公司表示。

不过,研究人员承认,大量悬而未决的问题正促使Sun加紧芯片和模块互连设计的进度。在通过容性耦合把大量芯片封装在一起时,Sun遇到了机械、散热和功耗等方面的挑战。这些问题致使设计需要水冷装置,而且需要仔细布置电源转换电路。

超快的芯片到芯片连接迫使片上和模块级互连也要取得类似的进展以保持同步。因此,Sun公司正在开发一种新的容性耦合驱动电路以加速片上连接,同时将功耗保持在可接受的水平上。“我们已经在实验室构建了实现这些设计的芯片,并且发现了有望减小功耗的方法。”Sun公司透露。。

“此外,Hero平台需要大量的光学模块,以显著增加现有系统的光学互连能力。”Sun公司表示。这些都迫使Sun公司采用大量的垂直腔体表面发射激光器(VCSEL)来克服可靠性缺陷。它还需要基于波分复用(WDM)的模块互连,以提供超过2TBps的I/O能力。

Sun公司还发现Hero必须支持SOX(sea of anything)架构。在该架构中,系统的所有资源,包括处理器、存储器控制器和I/O总线,都要在单一的共享存储器地址空间内单独与其它单元互动。实际上,SOX架构也有其自身的缺陷。

当一个系统具有许多由于故障而被隔离的组件时,路径表的更新就变得复杂起来。目前,Sun公司正在研究可以应对Hero类系统的规模,并处理大量随机故障的算法。

“无论如何,Sun公司的Proximity研究大概是这十年在高速互连领域最重要的突破。它将改变超级计算机的架构。”Petrini表示。

在这次大会上,IBM和Corning公司首次披露了一个双方合作的研发项目,即一种针对高性能计算机的光学单元交换架构,命名为“光学共享存储器超级计算机互连系统”。这种光学交换结构可以覆盖在长距离范围内分布的集群计算机,与基于铜线的解决方案相比,其功耗相对较低,对EMI的敏感度也更低。不过,它们仍然比铜线解决方案昂贵。

大学研究人员展示了一些针对来自初创企业Chelsio通信公司的10Gb以太网T110适配器的测试。这些测试表明,常用的铜线技术能够为高端集群计算机提供足够的性能。依靠其TCP卸载引擎(TOE),该Chelsio板卡可提供9.6微秒的延迟(与Infiniband的5微秒形成对比)和7.6Gbps的数据吞吐量。当被用在Apache网络服务器上时,Chelsio卡提供的性能是非TOE 10G以太网卡的三倍。

但是其它技术并非停滞不前。在Infiniband领域,Mellanox技术公司描述了一种“零拷贝模式”的原型实现方案,它将带宽从500 MBps提高到700MBps,而同时CPU的利用率降低了八倍。

此外,俄亥俄州的研究人员还详细介绍了其基于PCI Express总线的Infiniband板卡,它们不需要所有本地存储器,而且在某些关键的基准测试中对性能几乎没有影响。这项工作为Infiniband板卡打开了通向市场的大门,因为它将其成本降低到接近以太网集群适配器的水平。

作者:麦利