跳至主要内容
Data floating in grid on a blue background.

白皮书

数据中心 448Gbps 信道下多种调制技术的性能分析

人工智能 (AI) 与机器学习 (ML) 是近年来发展最迅猛的技术领域,其发展对数据中心基础设施提出了前所未有的需求:更新、更快、更高效。在向下一代高速串行通信接口发展的过程中,必须解决若干关键实施挑战才能实现 3.2 太比特/端口以太网技术。要达到此带宽,需将 224G 通道数量加倍,或将单通道速率提升至 448G。

为应对日益增长的 AI 数据处理需求,数据中心需扩展 AI 集群规模,同时提升各集群内部的数据传输能力。当集群扩展至数百甚至数千节点时,互连架构将成为这些通信信道的主要带宽限制因素。铜缆互连仍是扩展 AI 集群规模的可行选择,但在单通道 448G 速率下使用铜缆时,需深入理解与连接器设计和结构相关的信号完整性 (SI) 问题。

本文介绍了 Molex 与全球领先半导体供应商合作的研究成果,探讨在面临需求激增与高数据传输率要求的背景下,数据中心及支持组件实现最优性能的正确设计方法。具体而言,本文重点研究了极具影响力的设计考虑因素之一:采用铜缆互连时搭配以下三种调制方案的可行性:PAM-4、PAM-6 和 PAM-8。目前,各行业标准组织正在对这些调制方案进行论证,而连接器构造与互连系统设计所涉及的信号完整性挑战,将最终取决于为达到 448G 速率所采用的调制方案。

448G 系统架构


串行通信协议中不断提升的数据传输率正在重塑数据中心的系统架构。在过去几十年间,数据传输率和信道带宽需求较低,封装和 PCB 中的损耗实际上可以忽略不计。这意味着构建服务器间互连系统所需的连接器可以任意布置在专用集成电路 (ASIC) 或处理器周围。

而随着数据传输率的提升,用于构建纵向扩展/横向扩展架构的电缆连接器逐渐向 ASIC 或处理器靠近,以降低 PCB 损耗。采用当今最快串行接口的系统通过实施共封装光学器件或共封装铜缆技术,完全绕过了 PCB,该技术将铜缆(在许多情况下还包括光纤)直接集成至芯片封装,以实现器件内部或芯片间的超高速连接。在共封装铜缆方案中,这些纵向扩展/横向扩展架构的连接器直接置于 ASIC 封装上,如图 1 所示,数据通过双轴电缆从这些连接器传输至外部 I/O 或背板连接器。

弹簧材料接触压力维持机制示意图

图 1:典型纵向扩展/横向扩展拓扑结构

用于共封装铜缆互连的连接器属于表面贴装 (SMT) 组件,因而易受其他高密度、多引脚数的表面贴装器件 (SMD) 连接器中常见信号完整性问题影响。以下任一因素都可能导致共封装铜缆连接器的带宽受限:

  • 连接器插配接口和 SMD 安装中产生的短截线
  • I/O 引脚的隔离(用于抑制串扰)
  • 封装布线中实现层间电气连接的小孔(通孔)与连接器 SMD 引脚的对接结构

当连接器置于 PCB 上时,这些挑战通常会更加艰巨,特别是由于 PCB 通孔和使用标准 PCB 材料的长走线导致的插入损耗。这些设计因素在多大程度上限制了特定调制方案在 448G 应用中的使用,目前尚无定论。因此,亟需开展专项研究,以确定在 448G 信道中采用共封装铜缆不同调制方案的可行性。

支持 448G 的连接器设计研究


Molex 与一家全球领先的半导体供应商联合开展了此项研究,重点分析了影响 448G 信道中表面贴装技术 (SMT) 连接器及共封装铜缆连接器信号完整性的设计因素。研究特别探讨了连接器设计对插入损耗带宽的影响,以及高频环境下噪声对信噪比的影响。从本质上讲,该研究评估了采用 SMT 连接器或共封装铜缆来支持 448G 信道的可行性,并针对以下三种调制方案进行了验证:PAM-4、PAM-6 和 PAM-8。

该分析方法采用设计中各元素的理想化信道模型(如球栅阵列 (BGA) 和连接器连接),以确定现有技术能提供最佳支持的调制格式。

研究发现与结论


插入损耗与信道传输距离

为初步验证 PAM-4、PAM-6 和 PAM-8 调制在 448G 信道中的可行性,需对 PCB 布线与共封装铜缆的插入损耗和信道带宽进行对比分析。如预期所示,初步研究结果显示 PCB 信道的损耗显著高于共封装铜缆方案。这一结论可在图 2 中清晰看到,该图对比了 PCB 上 I/O 连接器的布线方案与共封装铜缆通过双轴电缆连接 I/O 连接器的布线方案。

采用 PCB 布线(左)和共封装铜缆(右)的 448G 信道的插入损耗比较示意图与图表。

图 2:采用 PCB 布线(左)和共封装铜缆(右)的 448G 信道的插入损耗比较

虽然 PCB 布线与双轴共封装铜缆方案在 56 GHz 奈奎斯特频率以上似乎均能为 224Gbps-PAM-4 提供足够带宽,但如图 2 左图所示,PCB 长距离布线会导致显著损耗。在相同插入损耗条件下,共封装铜缆信道的传输距离优于 PCB 信道,或在同等距离下,共封装铜缆的插入损耗低于 PCB 信道。

最终,当频率接近 80 GHz 时会出现非线性插入损耗,其急剧的滚降特性实质上导致信道带宽失效。在处理器与 I/O 连接器之间采用双轴共封装铜缆,可显著延长 56 GHz 奈奎斯特频率以上的信道传输距离,从而支持 224Gbps-PAM-4 信道。然而,两种方案均无法提供足够的带宽以支持在 448G 信道中使用 PAM-4 技术。

如图 2 所示,可以看到信道损伤导致的信道带宽限制显著变化。图 3 和 4 揭示了造成图 2 变化的连接器设计因素。图 3 和 4 中的结果显示,连接器插配接口短截线长度(图 3)和 J 型引线 PCB 连接相关短截线长度(图 4)的变化如何影响插入损耗光谱。

Chart 3

图 3:插入损耗变化

图 3 表明,适用于 224Gbps-PAM-4 信道的基准设计可能无法支持 448G-PAM-6 或 PAM-8,因二者分别需要至少 90 GHz 和 75 GHz 的信道带宽。插配接触端长度和焊盘短截线尺寸会导致显著的插入损耗。在标准连接器设计中减小这两个要素的尺寸,可将带宽扩展至铜缆信道能够支持 448Gbps-PAM-6 或 448Gbps-PAM-8 的水平。

Chart 4

图 4:插入损耗图显示,如何通过缩短基准设计中 SMD 引脚短截线长度来扩展信道带宽。

图 4 显示了调整连接器 SMD 焊盘短截线尺寸的效果,缩短 SMD 焊盘短截线长度同样能将信道带宽上限推升至更高频段。信道带宽向高频段扩展的程度足以支持 448Gbps-PAM-6 和 448Gbps-PAM-8 的应用。目前为止所有展示的结果表明,PAM-4 在 PCB 和共封装铜缆信道中仍可实现 224G ,但无法实现 448G。

串扰和噪声注入

高密度、多引脚数的连接器难以完全隔离相邻差动信号线对,因此了解相邻信道间差分串扰的影响至关重要。

为更好地了解串扰对这些信道中总噪声预算的影响,请参见图 5 和图 6,它们展示了在具有不同插入损耗水平及不同插入损耗滚降频率的信道中,功率和串扰(PSNEXT 与 PSFEXT)造成的系统性能下降。另外还比较了与各种调制方案相关的波特率。

Chart 5

图 5:不同 PSNEXT 水平下铜缆信道所占用的总噪声预算比例。

Chart 6

图 6:不同 PSFEXT 水平下铜缆信道所占用的总噪声预算比例。

这些图表展示了串扰导致的噪声代价与信噪比及信号带宽的函数关系。结果表明,在给定信号电平下,噪声代价随串扰水平降低而减弱。而在给定串扰水平下,噪声代价与信号损耗同步增加。共封装铜缆信道相比 PCB 信道具有更低的信号损耗和更优的性能表现,且 PAM-6 调制比 PAM-8 调制承受更高的噪声代价,这是因为 PAM-6 在 90 GHz 时的串扰水平显著高于 PAM-8 在 75 GHz 时的串扰水平。

Chart 7

图 7:基于 PSNEXT 和 PSFEXT 值的组合,每种调制方案的不同信道占用的噪声预算。

最后,我们将看到信号损耗和串扰如何对各信道的总噪声产生影响:当信道带宽足以支持 PAM-6 运行时,PAM-6 的性能要优于 PAM-8 调制。为提升两种调制方案的信道传输距离,需要通过新型屏蔽方法和可扩展共封装铜缆的全新插配接口技术来实现串扰抑制,从而支持 448G 应用。

迈向 448G 的发展路径


共封装铜缆技术消除了主要的带宽限制因素之一:半导体器件封装与 PCB BGA 焊盘之间的接口。传统方案中,信号穿过该接口时须经过 PCB 通孔和有损 PCB 材料(这类电介质因自身固有的介电损耗会使高频信号衰减),这两者均会限制信号传输。而共封装铜缆则绕过了该接口,将布线保留在封装内部,这使得连接器结构成为主要的带宽限制因素。

当选择共封装铜缆来支持 448G 数据传输率时,连接器设计与构造将面临全新挑战:

  • 连接器可分离式插配接口可能包含导致显著插入损耗的短截线。
  • 如果采用 J 型引线连接器连接,需要将通孔和 SMT 焊盘短截线最小化。
  • 使用双轴电缆时,连接器至双轴电缆的过渡结构必须具备宽带宽特性。

这项深入研究发现,铜缆信道能够提供足够的带宽来支持 448G 信道中的 PAM-6 和 PAM-8 调制,其中 PAM-8 更适合带宽最低的信道。但在信号完整性方面仍存在与串扰和均衡相关的待解决问题:

  • 连接器结构能否改善 448G 信道中的插入损耗谐振和串扰问题?
  • 新的均衡方案能否减轻 448G 信道中非线性插入损耗和更高串扰的影响?

这些挑战仍待解决,以确保在 448G 及更高传输率下实现高保真数据传输。

下一代连接技术发展蓝图

Molex 依托自身在 112G 及 224G 传输率领域久经验证的领先地位,通过广泛研究与深厚工程技术积淀,为 448G 互连技术奠定基础。通过推动连接器架构与信号完整性技术的发展,Molex 助力数据中心实现更快的数据传输、更出色的信号清晰度,满足 AI 驱动的新型数据环境的性能需求。

Data center with blue overlay