数据中心生态系统中的新兴热能技术
随着越来越多的公司开始进行数字化转型，数据中心面临着更大的压力，既要提供高效的计算能力，又要最大限度地降低维护和运营成本。热管理是数据中心运营的主要成本之一，有效的热管理可延长组件的使用寿命，从而降低长期维护成本。根据 IT 解决方案提供商 Enconnex 的数据，现代液冷系统的运营成本可达 2000 美元/kW 冷却功率，而企业数据中心冷却系统的投资可轻松超过 10 万美元。显然，这些费用会对如今注重成本效益的更大范围的企业计划构成挑战，因此热管理自然而然地被认为是解决资本支出 (CAPEX) 和运营支出 (OPEX) 的一个切入点。
数据中心热管理的秘密在于用于机架安装服务器、网络交换机之间和数据中心之间的通信的光学模块。服务器不是孤立运行的，它们需要通过光纤链路与集群中的其他服务器通信以实现下一代服务，例如生成式 AI。要扩展这些服务，就需要扩展这些服务器集群及其通信的数据传输率。随着新技术的诞生和更高数据传输率的实现，光学 I/O 模块和有源电缆 (AEC) 收发器的功率需求也在不断增加。例如，目前 112 Gbps-PAM4 数据传输率的功率水平约为 15W 至 25W，而拥有 32 个端口的大型企业交换机的光学 I/O 模块的功耗就高达 0.8kW。如果使用相干 (800G) 光学器件进行 112G 长距离通信，每个模块的功率水平可高达 30W。在这些功率水平下，I/O 模块正将传统的强制风冷系统推向运行极限。
转换为 224 Gbps-PAM4 互连意味着每通道的数据传输率翻一番。功耗也随之增加，在长距离相干链路中，仅光学模块的功耗就高达 40W。这是个具有挑战性的问题，因为光学 I/O 模块的功率需求在短短几年内从 12W 提高到了 40W，而模块的外形尺寸却没有变化。这实际意味着功率密度提高了近 4 倍，因此需要采用新的冷却方法。实施液冷解决方案需要额外的投资和维护成本，但在现有外形尺寸下集成创新的液冷解决方案，可以满足 I/O 模块对更高功率和热量的需求。
由于光学 I/O 模块的功率需求不断增加，系统设计人员和数据中心架构师现正考虑对光学 I/O 模块使用液冷技术，以支持即将到来的 224G 的实施。除液冷外，还有更先进的模块设计和表征方法，可实现下一代高速网络互连。
本报告将研究热表征和管理的传统方法的局限性，并探讨在需要 112G 和 224G 连接的系统中实施的服务器冷却和光学模块冷却的新创新。
冷却状态 - 传统热解决方案
大功率系统通常采用主动冷却，或需要有功功率系统从网络基础设施中带走热量的冷却。采用主动冷却会带来前面讨论过的投资和维护成本，同时也需要有经验的技术人员来安装和维护主动冷却系统。数据中心架构中常见的主动冷却措施包括：
强制风冷（或定向气流）：该系统直接将空气从静压箱泵入服务器机架，包括在高架地板配置中。服务器和交换机可以配备自己的专用风扇，这也有助于使机箱内空气流通。该系统完全冷却服务器中特定组件（包括处理器和光学模块）的能力有限。
液冷：在这种方法中，具有高热质量的液体在冷板上循环，冷板与机架式系统中的发热元件接合。水是该系统的其中一种选择，但也常用油或丙二醇 (PG-25) 混合物等其他介电流体。
目前的主动冷却方法
由于处理器和 ASIC 的高热需求，所有现代数据中心部署都依赖于主动冷却。就散热能力而言，这是最有效的方法，将液流导向目标组件并辅以额外的被动组件时，散热能力会得到增强。现代数据中心部署中既有强制风冷，也有液冷。
这些系统因出色的散热能力而脱颖而出，尤其是当它们结合了相应的机制，可将流体导向发热部件，从而促进与冷却介质的热交换时更是如此。
强制风冷：风冷是一种低风险的主动冷却方法，包含根据需要将气流导向与热组件直接接触的散热片的方法。当每个机架的功率需求约为 10kW 时，强制风冷系统通常可以应对热负荷。虽然大功率组件上可能采用液冷系统，但即使芯片和 I/O 模块的功率需求达到很高的水平，强制风冷仍将占据冷却策略的半壁江山。
直连芯片液冷：用于数据中心的一种液冷方式是直连芯片液冷，这种冷却方式通常用于当今云环境所需的高性能计算处理器。在直连芯片冷却中，液体流经冷板，而冷板与芯片裸露的后表面相接，从而将热量从发热组件带走。据 Enabled Energy, Inc. 的 Jeff Schuster 介绍，当每个机架的功率需求达到 25kW 至 50kW 时，就需要直连芯片冷却来提供散热。
虽然这些主动冷却方案是最有效的，但也很复杂，需要的维护也最多。数据中心的处理器、加速器和电源系统存在许多液冷解决方案，但现在也出现了对光学 I/O 模块冷却解决方案的需求。对于服务器或交换机的 I/O 模块，大多数运营商目前都依靠强制风冷或被动冷却。
无源组件增强主动冷却
一些无源组件有助于主动冷却策略，帮助热量传输并提供一些额外的热质量。通常，与主动液冷或强制风冷一起使用的常见无源组件是散热片和热管。芯片和 GPU 通常配有散热片和主动冷却选项，如风扇或液冷。在光学 I/O 模块上安装散热片也有利于强制风冷将热量从发热模块带走。
带散热片的 QSFP-DD 屏蔽罩
为了帮助将热量转移至集成散热片和光收发器模块上的骑式散热片，一种解决方案是针对温度敏感度最高的内部元件（如激光器）集成热电冷却。珀尔帖效应将热量吸入散热片，通过气流将热量散发出去。虽然作为一种内部热传输机制非常有用，但它并不能缓解 224G 光学 I/O 模块的高散热需求。
浸入式冷却
浸入式冷却可以说是数据中心最有效的液冷却方式，即把整台服务器浸入非导电液体中进行冷却。这种液体可以提供大量的热质量，并可循环至热交换器。如果每个机架的功率大体上超过 50kW，那么浸入式冷却可以提供非常有效的热冷却。
但浸入式冷却虽然非常有效，风险和成本却很高，如下所述。
- 投资：浸入式冷却系统的设备和安装成本可能比强制风冷或液冷更昂贵。这主要是因为它需要对数据中心架构进行彻底改造，而风冷和液冷则可以通过更新方法进行部署。
- 空间需求：与浸入式冷却槽兼容的机架通常比标准机架更宽更深。
- 兼容的 I/O 模块和连接器：液体的介电常数会影响连接器的电阻抗。由于在设计连接器时通常将工作时的液体假定为空气，因此需要特殊的连接器和收发器模块。
- 兼容的服务器：可以采用浸入式冷却的服务器经过专门设计，并非所有服务器供应商都能提供。
- 液体：浸入式冷却液体虽然在热质量方面很有效，但需要特殊的循环系统来进行冷却。
- 维护：由于设备专业，这些浸入式冷却系统的维护成本往往很高。
- 泄漏风险：如果浸入式冷却系统发生灾难性泄漏，泛滥的液体可能会损坏设施的其他区域。
- 组件故障：某些部件附近的流动不足会导致高温，从而加速老化并导致早期故障。
- 环境影响：浸入式冷却所使用的液体需要定期更换，并需要正确的处理程序。
浸入式冷却通常需要设计或改造硬件，以适应浸没。需要对组件长期处于流体环境中的承受能力进行评估。在评估 112G 和 224G 系统中的光学 I/O 模块的热需求时，直接将液冷扩展到模块可以解决热需求，而无需花钱专门打造浸入式冷却系统。
光学 IO 模块的热挑战
服务器和机架式网络基础设施系统内的光学 I/O 模块通常接受主动冷却系统的直接冷却，特别是来自机架式设备前面板的强制风冷。机架式设备的散热设计需要平衡 I/O 模块的热管理与处理器或 ASIC 的散热，以避免 I/O 或 ASIC 工作温度热裕度过高。根据处理器冷却需求和光学 I/O 模块总功率优化冷却策略，有助于实现适当的平衡，最大限度地提高系统的能效。
链路长度与数据传输率：用于 56G 和 112G 的光学 I/O 模块目前可以使用风冷。在以 112G 或更高的数据传输率进行相干光通信时，可插拔光学 I/O 模块的功率水平 (33W+) 可能需要将液冷措施扩展到模块。
112G 和 224G 两代收发器仍将以 IEEE 802.3 标准中定义的标准链路长度为目标，因此系统设计人员和数据中心运营商不应期望仅仅为了适应光模块的更高功率要求而改变标准。这意味着前几代光模块中已经存在的热需求预计会增加，而旧的热管理方法可能效果不佳。
外形尺寸：可插拔光模块带来的挑战在于，自近 20 年前采用光纤收发器模块以来，其外形尺寸一直未发生变化。现在，业界正在向 224G 发展，新一代光学 I/O 模块需要向后兼容现有的机架式设备，以便进行升级。这意味着热密度将继续增加，可能导致强制风冷这种冷却光学 I/O 模块的唯一方法都不再有效。
散热：附在光学 I/O 模块上的散热片可增强强制风冷系统的冷却能力，但由于耐用性要求，散热片受限于金属与金属之间的接触，无法最大限度地传热。对于任何散热片接触来说，裸金属接触都是不可取的，而考虑到过去几年光模块功率水平的大幅提高，这一点在 I/O 模块上尤为明显。预计每个模块的功率需求将增加至 40W，将进一步加剧这一瓶颈。要改善裸露金属接触表面的热接触电阻，可以将热界面材料 (TIM) 安装到与可插拔模块紧密接触的骑式散热片上，帮助提高传热效率。
将 TIM 安装到骑式散热片的问题在于 TIM 的可靠性。当插入或从屏蔽罩中取出 TIM 时，模块的锋利边缘会刮掉 TIM，导致热效率在每次插配后都会降低，使它在插入几次之后就不起作用了。如果这些模块暴露在恶劣的现场条件下，例如由于电缆负载导致的斜角插入，这种耐用性挑战会进一步加剧，因为这会使脆弱的 TIM 表面更易暴露于模块的锋利边缘。要确保重复插配的高可靠性，就需要重新设计散热片接触方法，以便 TIM 能够经受住多达 100 次的插配循环。
屏蔽罩/散热片上的导热片损坏
监测模块温度：增加功率密度需要重新评估光模块的传统热表征方法。传统上，采用 70°C 外壳温度要求作为热规格（即作为数字光学监控 (DOM) 温度的指标）。然而，最近的研究表明，即使外壳温度达到 70°C，模块内部的温度敏感组件仍会有几度的热裕度。这会导致对系统热可行性的结论不准确，进而导致冷却系统过度运转。例如，在 I/O 热性能是限制因素的系统中，风扇会以高于所需的速度运行以满足外壳温度要求，即使模块内部组件还有温度残留。一种新的热表征（本报告稍后将讨论）将有助于解决当前方法的这一局限性。
模块温度图解
模拟与测试：模拟/预测工程用于优化系统设计、组件放置和冷却策略，再进行构建和部署。在完成机械设计之前，优化光模块上的散热片和强制风冷方法通常需要模拟整个机箱内的气流。机架安装服务器在高度和宽度方面是标准化的，大多数部署采用 1RU 外形尺寸。其他组件（例如芯片、附加卡、SSD 等）的放置会影响流经机箱和一排 I/O 模块的气流路径，从而影响冷却效果。
组件级模拟对于光学 I/O 模块也很重要，因为它可以识别模块主体上的热点。模拟需要考虑模块本身的内部结构，其次是与孤立模块的测量结果的相关性。单独运行温度测试时，需进行接触测量和红外摄像机测量。了解了收发器中的热特性后，就可以将它用作系统级模拟的输入信息，然后进行系统级测试和关联。
热模拟系统
浸入式冷却：高功率 112G 和 224G 光模块在浸入式冷却系统中可以有效冷却。虽然从热负荷角度来看这是最有效的冷却方法，但介电流体会给模块连接器带来挑战，主要是影响信号完整性。光学模块和 I/O 连接器通常在设计时会假定周围的电介质是空气，将空气替换为其他电介质会导致耦合效率低下。因此，浸入式冷却机架安装设备中的 112G 和 224G 通道将需要与介电流体兼容的专用模块。如果优先选择浸入式冷却，较低的效率和更专业的构造会导致每个机架单元的成本更高。
Molex 莫仕首席工程师 Dennis Breen 在 OCP 全球峰会上发表演讲，深入分析了介电流体与互连材料的兼容性。
数据中心架构的创新热管理解决方案
考虑到不断增加的热负荷，以及由于服务器和光学 I/O 模块的向后兼容性导致的外形尺寸限制，服务器和交换机中现有的液冷解决方案可能需要扩展到模块，以支持数据中心更高的数据传输率和计算要求。特别是对于 I/O，可以将新的解决方案集成到服务器和交换机中，以提供更好的散热效果而不影响可靠性。这是通过机械改造和直接在模块上进行创新型液冷实现的，保留了机架安装网络系统和可插拔模块中使用的标准外形尺寸。
下拉式散热片
要想最大限度地提高骑式散热片的传热能力，就必须通过安装 TIM 来改善散热片底座和可插拔模块之间的干燥金属与金属之间的接触。如前所述，插入光学 I/O 模块时，其尖角可能会损坏 TIM 并减少本可使用的插配次数。这就需要散热片采用另一种的接触机制，以便保持 TIM 在多次插入后的机械和热完整性。
Molex 莫仕开发了一种创新解决方案，在光学 I/O 模块上使用下拉式散热片 (DDHS) 来增强热管理。DDHS 的突破性设计确保模块和 TIM 之间没有直接接触，有效地打造出一个悬浮散热片，只有当模块插入插座近 90% 时才会有接触。在最后 10% 的插入过程中，散热片会“下落”到 TIM 上，与模块表面完全接触，而不会碰到任何尖锐的边缘。这样就能使 TIM 成功实现 100 次以上的插入。下拉式散热片可采用不同的单排和堆叠式机架笼配置来实现。
Molex 莫仕 DDHS 是如今传统的骑式散热片解决方案的直接替代产品。与已经过优化的拉链鳍片散热片解决方案相比，DDHS 可将 35W 时的散热温度提高 9°C。
Molex 莫仕下拉式散热片系统
这种下拉式散热片解决方案提供可靠的热管理选项，适合标准模块和机架安装外形尺寸。系统设计人员可以选择以下两种方式之一来利用这 9°C 的改进：
- 使用具有相同功率的模块（例如 30W），然后降低系统风扇速度以消耗 DDHS 的热裕度，从而提高电源效率。
- 风扇运行速度不变，冷却功率高 5 至 7W 的模块（35-37W 而不是 30W）。
DDHS 解决方案使系统能够通过简单的直接替换来冷却功率较高的模块。观看视频，详细了解创新设计。
先进的液冷解决方案
112G 数据传输率时，光学 I/O 模块的运行功率水平几乎使强制风冷的能力达到极限。在实施 224G 时，可能需要液冷来管理光学 I/O 模块产生的热量。由于高性能计算处理器已经在使用液冷，因此将高功率光学 I/O 模块的解决方案集成到现有冷却系统中是有意义的。随着新技术实施所需的数据传输率越来越高，对现有设备的改造变得非常有必要。
虽然液冷对于数据中心行业来说并不是什么新鲜事物，但在对可插拔 I/O 实施液冷方面确实存在一些固有的挑战。说到实施液冷，自然而然想到的方法是用单个冷板代替单个骑式散热片。然而，这会导致多达 32 个进出口。在有限的 1RU/2RU 系统空间内，这种级别的管道是难以处理的。下一步是安装可以冷却多个 I/O 端口的单个冷板。这种方法的挑战在于，每个 I/O 端口都有不同的公差堆叠，具体取决于模块高度、模块在机架笼中的位置、底座高度等。虽然可以确保与一个端口的良好热接触，但是由于每个端口的堆叠不同，因此无法保证与每个端口都有充分的热接触。例如，在 1x6 笼式配置中，基本上要求所有冷板底座以及与冷板接触的所有模块表面都具有完美的共面。这意味着需要一个符合规范的底座，可以准确确定每个端口的公差，同时提供足够的力来实现充分的热接触。
为应对这些挑战，Molex 莫仕开发了一种称为集成浮动底座的液冷解决方案。在这一解决方案中，与模块接触的每个底座都是弹簧式的，可以独立移动，因此可以将单个冷板安装到不同的 1xN 和 2xN 单列及堆叠笼配置中。独立移动的底座可以补偿每个端口不同的公差堆叠，同时提供所需的下压压力以实现良好的热接触。
下图所示的 1x6 QSFP-DD 液冷解决方案就是一例。该解决方案具有六个独立移动的底座，可以补偿每个端口的不同堆叠，同时确保良好的热接触（具有所需的下压压力）。
Molex 莫仕集成浮动底座示例
有了这种集成浮动底座，无需热或机械间隙填充物即可实现 I/O 液冷。间隙填充物会增加传导路径的热阻。在该解决方案中，热量直接从产生热量的模块流动到底座，底座直接与流经冷板的液体接触。理论上，这是液冷解决方案可以实现的最短传导路径，有助于最大限度地减少热阻和提高传热效率。
虽然它很大程度上依赖于边界条件，但 Molex 莫仕已证明，使用这种液冷解决方案可以将功率高达 40W 的模块冷却至规范内。
Molex 莫仕液冷解决方案展示
下一代冷却策略的标准化和测试
影响光模块冷却策略设计的一个重要因素是将外壳温度用作模块温度的规范或限制。这些模块设计复杂，仅凭外壳温度规范无法准确反映模块中关键组件的内部温度。内部组件的温度限制将决定模块是否能按照规范运行。
监测模块温度的传统方法是在模块外壳上选择一个监测点，这个点很可能位于散热片下方。系统冷却策略设计为确保在运行过程中不超过最高外壳温度规范（T 外壳，通常为 75°C）。在运行过程中，如果不干扰散热片通常就无法接触到这个监测点，因此并不能直接反映内部组件的实际温度。但是，内部传感器会使用数字光学监控 (DOM) 值报告 T 外壳值，该值可以通过软件管理界面（即 CMIS）读取。
下表显示了使用外壳温度方法时裕度损失的一个示例。该表显示了位于堆叠笼下部端口的常见模块的读数。将模块外壳的温度限制与确保模块运行和性能所需的关键内部组件的实际温度进行比较。当检查内部组件温度时，我们可以看到仍然有多余的设计裕度。
| 模块 | 限制 | 实际 | 裕度 (ΔT) |
|---|---|---|---|
| Tcase（DSP 上方） | 75°C | 72.6°C | 2.4°C |
| 激光器 | 85°C | 76.4°C | 8.6°C |
| TIA/驱动器 | 105°C | 81.4°C | 23.6°C |
| DSP | 105°C | 93.5°C | 11.5°C |
在本示例中，可以重新设计冷却策略，减少风扇的负载，让外壳温度更高一些，这样系统就可以利用一些额外的裕度。使用模块外壳温度作为模块的温度限制仅产生 2.4°C 的裕度。但是，如果将激光器用作定义温度极限的关键组件（具有最小热裕度），则结果是，在对激光器产生的任何性能影响被注意到之前，实际上有 8.6°C 的可用裕度。
因此，建议根据内部组件的最低温度裕度重新定义光模块的模块 DOM 读数，如以下公式所示。如前所述，可以在冷却系统设计中利用额外的裕度，同时保持与现有 CMIS 和系统软件的向后兼容性。DOM 寄存器中报告的值变为：
DOM = 75°C - 最小（ΔT（激光器）、ΔT(DSP)、ΔT(TIA) 等）
这个对于 DOM 的拟议定义可以简单解释为：DOM 值，以及实际温度裕度，应基于模块运行环境中裕度最小的内部组件（例如，激光器、光学器件、TIA、DSP 芯片等）。报告的 DOM 值的这种简单变化有助于系统设计人员消除冷却系统架构中的多余裕度，为系统管理提供更好的模块控制。
观看 Molex 莫仕的 Hasan Ali 和 Cisco 的 Joe Jacques 的演示视频，它强调了如今的外壳温度方法的局限性并讨论了替代方法，从系统和模块设计人员的角度权衡了利弊。
推动创新，打造数据中心未来冷却的新方法
Molex 莫仕凭借在复杂的数据中心环境热管理方面积累的数十年经验和丰富的专业知识，采用创新方法，应对更高数据传输率产生的更多热量挑战。虽然新方法日新月异，但系统设计和实施的限制仍然存在。设备外形尺寸的标准化需要创新的解决方案，以满足空间限制同时保持高 I/O 计数。
Molex 莫仕开发了业界领先的光学 I/O 模块散热方案，为高速运行且对功率要求高的系统提供更高的可靠性。与传统的热管理解决方案相比，我们专为可插拔光学 I/O 模块设计的散热和接触方法提供了更可靠的性能，同时减小了复杂度。这为扩展下一代数据中心互连架构铺平了道路，而无需采用复杂繁琐的浸入式冷却方法。
选择合适的供应商来应对数据中心热管理的复杂性，让您后顾无忧，安心勇往直前。Molex 莫仕为下一代数据中心架构带来了先进功能，并采用客户至上的协作方式来优化性能和效率。
相关应用
特色产品
