データ量の多いアプリケーションの継続的な増加に伴い、ハイパースケール データ・センターは大きな負担を強いられています。データ・センター内のネットワークトラフィックは大幅に増加しており、アーキテクトはより高いデータ・レートとスループットを実現する新たな方法を模索しています。
現在の最先端のネットワーク インターフェイスコントローラー（NIC）は、1ポートあたり200Gで動作しています。現在、データ・センターに対する需要の増加に対応するため、業界は400G NICの使用に向けて前進しています。しかし、このような進化を遂げるには、関連テクノロジーやそれを支えるテクノロジーを同じスピードで次々と進歩させる必要があり、これは並大抵のことではありません。
今年のオープン コンピュート プロジェクト（OCP）グローバルサミットでのプレゼンテーションでは、この移行に伴う熱関連の課題と、私たちの共同作業グループが取り組んでいるユニークな方法について詳しく説明します。
400G NICへの移行は、次世代データ・センターにさまざまな熱関連の課題をもたらします。
私たちが直面する最初の課題は、データ・レートの高速化に伴う電力損失の増大です。広範な研究・実験・シミュレーションを通じて、データ・レートと発熱の関係はほぼ直線的であり、データ・レートを2倍にするとシステムの発熱は2倍以上になることがわかりました。その結果？ 200G NICから400G NICへの移行は、システムの熱を大幅に増加させます。
2つ目の課題は、400GのNICをサポートするインフラが必要なことです。パッシブ ダイレクトアタッチケーブル（DAC）を使用する200G NICとは異なり、400G NICでは、これらのデータ・レートをサポートするために、高出力のアクティブ光ケーブル（AOC）の使用が必要になることがあります。8W以上の放熱が可能なこれらのハイパワー用AOCは、それ自体がシステムに熱をもたらし、高速でデータを処理することにより温度上昇に拍車をかけます。
こうした差し迫った熱関連の問題から、現在のNIC環境のインフラにおける特定のコンポーネントの実行可能性に疑問を抱くようになりました。NVIDIAとMetaの協力のもと、当社はこの課題をさらに徹底的に調査開始しました。
当社による調査の主眼は、フォームファクターでした。具体的には、OCP NIC 3.0業界標準のスモールフォームファクター（SFF）の実現可能性を調査し、提案されているトールSFF（TSFF）と比較しました。TSFFの方がスペースが広く、入出力（I/O）熱ソリューションが優れていることはよく知られていますが、システムアーキテクトは可能な限りSFFを使い続けるのが理想的です。本当の問題は、SFFが400G NICにとって実行可能なソリューションを提供するのか、それとも業界標準としてTSFFに移行する必要があるのか、ということです。
というのも、いくつかの複合的な変数が結論に影響を与える可能性があるからです。このため当社の研究では、熱性能に大きな影響を与える可能性のある多くの要因を考慮しました。これらには、以下が含まれます。
それぞれの摂氏温度が、実行可能性に関する結論に関係しています。そのため、当社のシミュレーションが現実的で妥当なシナリオを代表していることを確認する必要があります。
このため、シミュレーションでは、TSFFとSFFの両方のフォームファクターを使用したOCP NIC 3.0カードをモデル化しました。NVIDIA社は、シミュレーション用ASIC熱モデルであるConnectX-6 Dxを惜しみなく提供してくれました。ASICをシミュレートするために、上限電力を23Wと仮定し、標準的なアルミニウム製ヒートシンクを装備したデバイスをモデル化しました。
QSFP-DDモジュールについては、消費電力を10.2Wと控えめに設定したマルチレーン熱モデルを使用しました。ASICと同様に、QSFP-DD用のヒートシンクも、覆われた加熱表面積を最大化する標準的なアルミ製ヒートシンクをモデル化することにしました。ただし、上記で説明した変数の相対的な影響を把握することを目的としているため、高度な冷却技術または材料を採用していません。
シミュレーション環境では、ホットアイルとコールドアイルの両方をテストしました。ホットアイルは、周囲温度55℃、風速200～1,000リニアフィート/分（LFM）、気流の方向は後ろから前（すべてOCP3仕様による）で表されました。一方、コールドアイルは、周囲温度35℃、風速範囲200～600LFM、気流方向は前方から後方でモデル化されました。
図1に示すように、当社のシミュレーションでは、テストチャンバー内に設置された2枚の同じカードを含む NVIDIA OCP NIC 3.0試験治具を採用しました。
図1. シミュレーションに使用した試験治具とモデルのセットアップ
シミュレーションの結果、いくつかの境界条件や変数が、熱パフォーマンスにゼロではない影響（摂氏数度以上）を与えることが分かりました。
最初の注目すべき結果は、QSFP-DDモジュールの熱パフォーマンスにフォームファクターが大きく影響することです。図2に示すように、TSFFは、特に低風量において、SFFよりも熱パフォーマンスが大幅に優れていることがわかりました。このシナリオでは、熱パフォーマンスの向上は6℃にも達しました。この結果は驚くべきことではありませんが、6℃の改善というマージンは重要です。
図2. シミュレーションの結果、TSFFはSFFよりも熱パフォーマンスが向上
同じ意味で、ホットアイルアプリケーションでTSFFを使用した場合、ASICの熱パフォーマンスは10℃も向上することがわかりました。さらに、（パッシブDACアプリケーションにおける）NIC ASICの電力制限は、ホットアイル条件下でSFFと比較した場合、TSFFフォームファクターで約2.5W増加しました。
フォームファクターだけでなく、モジュールタイプやモニターの位置が熱結果に与える影響についても調査しました。業界標準のQSFP-DD タイプ1 モジュールとQSFP-DDタイプ2Aモジュールを比較した結果、タイプ2Aの方が優れたパフォーマンスを示し、熱パフォーマンスが約4°C向上しました。この改善は、タイプ2AのQSFP-DDがモジュールのノーズ部分にヒートシンクを外付けしていることが主な理由です。
最後に、検討された異なるモニター位置（すなわち、プローブされているモジュール上のポイント）間の温度偏差を見つけました。例えば、当社のシミュレーションでは、ヒートシンクベースで温度をモニタリングした場合、モジュールのノーズでモニタリングした場合よりも5℃低い結果が得られることが示されました。図3が示すように、NICモジュールの熱パフォーマンスを定量化する際、モニターの位置は明らかに無視できない考慮事項です。
図3: 使用するモニターの位置は、熱の結果に大きな影響を与える
当社の調査は、特定の変数と境界条件が熱パフォーマンスに与える影響についてのインサイトを提供しましたが、結果は主要な結論ではありません。どのセットアップが「実際の環境を合理的に代表する」かについての調査結果よりも重要なことは、これらの変数と境界条件について業界のコンセンサスを得る必要性を伝えたことです。
例えば、モジュールのタイプやモニターの位置などの変数です。当社の結果では、モジュールタイプが熱パフォーマンスに大きな影響（≒4℃）を与えることがわかりました。この発見は次のような疑問を投げかけます。400G用のフォームファクターとしてSFFを除外する代わりに、SFFのままでタイプ2AのQSFP-DDに変更することは可能か? 現在、業界はそのようなコンセンサスに達していません。SFFの実行可能性について真の結論を出すには、まずコンセンサスを定義し、合意する必要があります。
同様に、業界には現在、モニターの位置に関する合意された基準がありません。当社の調査では、熱パフォーマンスをモニターする場所がシミュレーション結果に大きな影響（最大5℃）を与える可能性があることがわかりました。モニターの位置について合意できなければ、研究間で統一性がないため、結果を真に比較することは不可能です。繰り返しますが、OCPおよび業界全体が400G NICに向けて前進するには、まずコンセンサスを得る必要があります。
業界のコンセンサスを得るにはどうすればいいのでしょうか? 当社は、モジュール、I/O、NIC、システム、およびデータ・センターのアーキテクトから、より多くの学際的な参加が必要であると考えています。この協力は、OCPが実現可能なことをよりよく確認し、今後これらの実行可能性調査を実施するための最も適切な環境を決定するのに役立ちます。さらに、これまでの研究はすべてを網羅しているわけではないので、AOCよりも放熱が少ないと予想されるQSFP-DDアクティブ電気ケーブル（AEC）の実現可能性など、さらなる変数を考慮する必要があります。SFFがAOCとの使用に耐えられないと業界が判断した場合、次の段階として、代わりにAECを使用するかもしれません。さらに、TSFF NICフォームファクターに移行するのであれば、オクタルSFFプラガブル ライディング ヒートシンク（OSFP-RHS）ポートの実行可能性についても調査を拡大する必要があります。
熱設計のコンセンサスを得るにはコラボレーションが不可欠であり、OCPは重要な役割を果たすでしょう。メタ社およびNVIDIA社と協力してこれらの次世代ソリューションを研究できたことを、モレックスは光栄に思います。共同でテストプロトコルを設計し、特定された各変数の影響を定量化するために慎重にシミュレーションを実行することで、当社は協力して結果を分析し、データ・センターの要件が高まるにつれて新たなレベルのパフォーマンスを達成する方法を模索しています。
