随着数据丰富的应用的持续增长，超大规模数据中心已经开始承受巨大的压力。数据中心内的网络流量大幅增加，使得架构师不得不寻找新的方法来实现更高的数据传输速率和吞吐量。
目前最先进的网络接口控制器 (NIC) 每个端口的运行速度为 200G。现在，为了满足数据中心日益增长的需求，业界正朝着使用 400G NIC 的方向发展。但这一发展要求相关技术和支持技术以相同的速度取得一系列进步，而这绝非易事。
我们即将在今年的开放计算项目 (OCP) 全球峰会上发表演讲，我们将深入探讨这一转变所带来的散热挑战，以及我们的协作工作组应对这些挑战的独特方法。
向 400G NIC 的过渡为下一代数据中心带来了各种散热挑战。
我们面临的第一个挑战是，随着数据速率的提高，功耗也会增加。通过广泛的研究、实验和模拟，我们发现数据速率和发热量之间的关系大致呈线性，数据速率增加一倍，系统发热量就会增加两倍多。成果？ 从 200G NIC 到 400G NIC，系统发热量将显著增加。
第二个挑战来自需要支持 400G NIC 的基础设施。与使用无源直连电缆 (DAC) 的 200G NIC 不同，400G NIC 有时需要使用大功率有源光缆 (AOC) 才能支持这些数据速率。这些高功率 AOC 的耗散功率可达 8W 以上，它们会将自身的热量引入系统，从而加剧以这些高速率传输数据所带来的温度升高。
这些迫在眉睫的散热挑战使我们对当前 NIC 环境基础设施中某些元件的可行性提出了质疑。 通过与 NVIDIA 和 Meta 合作，我们开始对这一挑战进行更深入的研究。
我们研究的一个重点是外形尺寸。具体来说，我们研究了 OCP NIC 3.0 行业标准小外形尺寸 (SFF) 的可行性，以了解其与拟议的高外形尺寸 (TSFF) 的比较情况。众所周知，TSFF 可以实现更大的空间，从而提供更好的输入/输出 (I/O) 散热解决方案，但在理想情况下，系统架构师可以尽可能继续使用 SFF。真正的问题是，SFF 是否能为 400G NIC 提供可行的解决方案，还是我们需要将 TSFF 作为行业标准？
这个问题的答案远非简单明了，因为有几个复合变量会影响结论。因此，我们的研究考虑了许多可能对散热性能产生重大影响的因素。这些因素包括：
每摄氏度都会对结论的可行性产生影响。因此，有必要确保我们的模拟能够代表现实和合理的情况。
为此，我们模拟了使用 TSFF 和 SFF 两种外形尺寸的 OCP NIC 3.0 网卡。NVIDIA 慷慨地为我们的研究提供了模拟 ASIC 热模型 ConnectX-6 Dx。为了模拟 ASIC，我们假设功率上限为 23W，并为设备配备了标准铝制散热片。
对于 QSFP-DD 模块，我们使用了保守功耗为 10.2W 的多线热模型。与 ASIC 类似，我们为 QSFP-DD 选择了一个标准铝散热片模型，最大限度地扩大受热表面积，但没有采用任何先进的冷却技术或材料，因为我们的目的是了解上述变量的相对影响
在模拟环境方面，我们测试了热通道和冷通道环境。热通道的环境温度为 55°C，气流速度范围为 200-1000 线性英尺/分钟 (LFM)，气流方向从后向前（均符合 OCP3 规范）。相比之下，冷通道的环境温度为 35°C，气流速度范围为 200-600 线性英尺/分钟 (LFM)，气流方向从前向后。
如图 1 所示，我们的模拟采用了 NVIDIA OCP NIC 3.0 测试夹具，包括安装在测试室中的两块相同的网卡。
图 1. 模拟中使用的测试夹具和模型设置。
我们的模拟让我们深入了解了一些边界条件和变量如何对热性能产生“非零”影响（即大于几摄氏度）。
我们研究得出的第一个显著结果是，外形尺寸对 QSFP-DD 模块的热性能起着重要作用。如图 2 所示，我们发现 TSFF 的热性能明显优于 SFF，尤其是在较低气流条件下。在这种情况下，热性能的改善幅度高达 6°C。虽然这一结果并不令人惊讶，但 6°C 的改进幅度还是很大的。
图 2. 在我们的模拟中发现，TSFF 的热性能比 SFF 更好
同样，我们的研究结果表明，在热通道应用中使用 TSFF 时，ASIC 的热性能提高了 10°C 之多。此外，与热通道条件下的 SFF 相比，采用 TSFF 外尺寸的 NIC ASIC（在无源 DAC 应用中）的功耗限制提高了约 2.5W。
除外形尺寸外，我们还研究了模块类型和监测位置对热结果的影响。在比较行业标准 QSFP-DD 1 型模块和 QSFP-DD 2A 型模块时，我们的结果表明 2A 型模块性能更优，热性能提高了约 4°C。这一改进主要是因为 2A 型 QSFP-DD 在模块本身的前端集成了一个外部散热片——这并不是一个令人惊讶的结果，但却意义重大。
最后，我们发现不同监测位置（即模块上的探测点）之间存在温度偏差。例如，我们的模拟显示，在散热器底座监测温度的结果可能比在模块前端监测温度的结果低 5°C。如图 3 所示，在量化 NIC 模块的热性能时，监测位置显然是一个不可忽视的考虑因素。
图 3：监测位置对热结果有重大影响
我们的研究深入了解了某些变量和边界条件对热性能的影响，但结果并不是主要结论。这项研究表明，与那些设置“合理地代表了实际环境”的结论相比，更重要的是，业界需要就这些变量和边界条件达成共识。
例如，模块类型和监测位置等变量。我们的研究结果表明，模块类型会对热性能产生重大影响 (≅4°C)。这一发现引出了一个问题：与其排除 SFF 作为 400G 的可行外形尺寸，是否有可能保留 SFF 但改用 2A 型 QSFP-DD？ 目前，业界还没有达成这样的共识；要就 SFF 的可行性得出真正的结论，必须首先确定并达成共识。
同样，业界目前也没有就位置达成监测一致的标准。我们的研究显示，监测热性能的位置会对模拟结果产生重大影响（最高可达 5°C）。如果我们不能就监测位置达成一致，那么研究之间缺乏统一性将导致无法真正比较结果。同样，要使 OCP 和整个行业向 400G NIC 迈进，首先必须达成共识。
我们将如何达成这一关键的行业共识？ 我们认为，需要模块、I/O、NIC、系统和数据中心架构师的多学科参与。这种合作将有助于 OCP 更好地协调可实现的目标，并确定开展这些可行性研究的最合适环境。此外，由于目前的研究还不够全面，因此还必须考虑其他变量，包括 QSFP-DD 有源电缆 (AEC) 的可行性，预计其散热量低于 AOC。如果业界发现 SFF 无法与 AOC 配合使用，下一步可能就是使用 AEC。此外，如果我们要采用 TSFF NIC 外形尺寸，我们还需要扩大研究范围，将八通道 SFF 可插拔跨式散热片 (OSFP-RHS) 端口的可行性也包括在内。
合作对于达成热设计共识至关重要，而 OCP 将发挥至关重要的作用。Molex 很荣幸能与 Meta 和 NVIDIA 合作研究这些下一代解决方案。通过合作设计测试协议和仔细运行模拟来量化每个确定变量的影响，我们正在共同努力分析结果，并寻找在数据中心的要求不断提高时达到全新性能水平的方法。
