阅读时间:5 分钟
AI 带宽需求的急剧攀升,正促使工程师重新思考网络架构如何影响系统性能和长期成本。当电信号在高频下经标准 PCB 传输时,会迅速衰减,为了将数据通过长铜走线或电缆推送至面板屏蔽罩,会大量消耗功率预算。严格的购电协议往往会限制超大规模站点可从电网获取的总功率。每消耗一兆瓦用于维持网络架构的运行,就意味着少一兆瓦可用于实际处理任务,因此构建更精简的架构成为运营商的首要任务。
缩短交换机处理器与光学引擎之间的电气路径,可减轻长距离高速铜通路带来的信号重建负担,同时也为带宽扩展创造更高效的路径。对设计工程师而言,主要挑战在于信号完整性和功率。然而在集群层面,由此形成的架构也会影响提供可用算力的成本。要进行有建设性的总拥有成本比较,必须超越硬件采购价格,衡量每种架构在五到十年生命周期内对提供算力的成本的影响。
分析并未指出一个普遍适用的优胜方案。可插拔模块在极为重视可维护性和较低近期成本的场景中具有吸引力,而随着功率和密度限制加剧,CPO 变得更具竞争力。作为折中方案,近封装光学 (NPO) 可提供缩短铜走线长度的可行途径。然而,在 200G SerDes 以上,CPO 可实现更深层次的组件集成,功耗更低,且信噪比 (SNR) 更优。敏感性分析可以揭示在不同部署假设下的结果如何变化。其重点应放在光学架构如何影响集群的经济性上。
共封装光学与可插拔模块的总拥有成本比较
可插拔光学器件对于许多当前代际的部署而言,仍是实用且便于维护的选择。单个收发器可现场更换,且当前的每端口成本可能低于新兴的 CPO 实现方案。然而,随着带宽扩展,信号损耗和热密度会降低网络效率,并推高提供可用算力的成本。一个完全配置的 128 端口交换机面板,若密布标准光模块,会产生近 2kW 的局部热量。要消散如此巨大的热输出,传统的风冷架构已难以胜任,且会从实际计算任务中消耗兆瓦级电力。
资本支出和初始硬件部署成本
以每兆瓦数百万美元的成本建设新设施,成为容纳这些高耗电集群的唯一途径,这迫使运营商将大量资本投入网络维护,而非计算能力。
通过电源和冷却效率节省运营成本
DSP 重定时器在通过长铜通路推送信号时会增加不必要的延迟。要达到目标吞吐量,通常需要额外购买数千个加速器来弥补这一损失的处理时间。
维护现实和现场可维护性影响
对于设计团队而言,当务之急是保持信号完整性和网络性能。当这些限制需要更多硬件或消耗本可用于进行计算的电力时,总拥有成本便会受到影响。
安装和维护数千个单独的可插拔收发器,从统计学角度来看,组件频繁发生故障成为必然。CPO 摒弃了频繁的小故障模式,转而采纳罕见但规模更大的机箱更换,最终减少总停机时间并提升整个集群的有效可用性。
共封装光学技术如何缩小 GPU 占用空间
CPO 可通过提升网络效率并构建更扁平的架构来降低总拥有成本。当运营商将这种配置与能在相同物理空间内提供更多算力的新一代加速器搭配使用时,经济效益将会成倍增加。将光引擎直接置于交换机处理器旁边,可省去高耗电的 DSP 重定时器,每个端口节省高达 10 瓦功耗,并消除网络延迟的主要来源。
运营商只需使用一小部分硬件,就能达到性能目标。Molex 最新的 TCO 建模显示,一个高度优化的网络可以用不到 25,000 个下一代加速器,产出相当于 100,000 个 GPU 的输出。通过减少加速器和网络交换机的采购量来实现同等计算能力,可在五年的生命周期内节省数十亿美元的资本支出,并降低长期电费开支。
除了减少整体硬件占用外,CPO 还可简化剩余机架的物理布局。通过盲插接口布设光纤,可消除前面板上常见的杂乱。在机箱进入数据中心机房之前,先对整个布线系统进行分阶段部署和验证,有助于避免可能导致上线延迟的安装错误,同时也能加快并简化故障设备的更换。
在现有设施限制内扩展算力
硬件占用空间的缩小,会显著改变超大规模运营商处理设施扩展和机架级连接的方式。将算力整合到更少的机架中,可以回收宝贵的占地面积和被闲置的兆瓦级电力,帮助运营商升级现有数据中心,而不必投资建设全新的数据中心。此外,严格的购电协议通常会限制超大规模站点可从电网获取的总功率。由于进电量受到严格限制,将网络架构的功耗降至最低,便成为为实际处理预留电网容量的唯一途径。
虽然高速铜缆仍在服务器内部承担短距离路由,但一旦距离超过一米,便会遇到物理上的硬性限制。当带宽需求超越铜缆的物理极限时,光纤纵向扩展链路便会接管机架到机架的传输。随着速度攀升、距离需求超出标准铜缆所能承载的范围,转向光学不再是选择,而是必然。
为工作负载选择正确的架构
每一种部署都会改变总拥有成本的计算结果。在权衡共封装光学与可插拔方案时,传统模块对于较小规模或当前代际的系统可能仍是更合适的选择,而随着功率和规模限制日益严格,CPO 变得更具吸引力。虽然可插拔方案提供熟悉的维护流程和更低的初始成本,但当更高带宽使电信号传输距离和热密度逼近极限时,CPO 便占据优势。
归根结底,总拥有成本比较将这些工程限制都转化为了随时间推移提供可用算力的成本。在许多情况下,主要收益在于将更多算力装入现有设施。盈亏平衡点会因各运营商的假设不同而发生变化。
应对向混合光学连接的转型
实现可靠的光纤到硅架构,取决于数据中心网络中标准化、高容差的互连系统。这些连接有助于降低集成风险,并助力实现 CPO 的总拥有成本优势。
Molex 提供完整的光高速公路产品组合,将硅直接连接到更广泛的网络。通过为叶交换机、脊交换机、服务器网络接口卡 (NIC) 以及纵向扩展互连系统提供针对应用优化的互连系统,可简化设计工程师的采购流程并降低集成风险。
高密度光纤耦合技术
TeraVERSE 提供新颖的光纤直连芯片耦合技术,采用扩展光束光学自对准接口,无需耗时的手动有源光学对准即可满足严格的公差规格要求。这种可拆卸连接有助于制造商更快速、更可靠地装配高密度光学封装。
可靠的光功率传输
ELSFP 互连系统可确保从外部激光源到光学芯片的持续光功率传输。主机与可插拔模块之间的盲插连接可节省宝贵空间,并支持便捷的现场维护,从而确保集群平稳运行。从外部激光源到光学芯片的持续光功率传输。主机与可插拔模块之间的盲插连接可节省宝贵空间,并支持便捷的现场维护,从而确保集群平稳运行。
模块化背板和简化的连接
通用格式互连系统 (VFI) 光学背板连接器可为机架布线带来即插即用的模块化特性。将这些复杂的连接转移到背板上,既能减少人为错误,又能为大批量生产建立高度可预测的制造流程。此外,VersaBeam 扩束光学 (EBO) 接口可加快机架在主干和盲插应用中的部署。这种简化的连接方式可将数据中心的上线时间缩短多达 85%。
探索面向数据中心的 Molex CPO 解决方案如何帮助降低集成风险、削减单位算力成本并提高能效,从而在超大规模限制下扩展可用算力。