次世代AIクラスタースケーリングにおける448Gインターコネクトのパフォーマンス評価と変調戦略

AIによって、データセンターインフラストラクチャへの投資が急速に進んでいます。特にハイパースケール事業者がAIクラスターのサイズとパフォーマンスを拡大しているため、このような動きが促進されています。トレーニングワークロードと推論アプリケーションが爆発的に増加したことで、数千もの相互接続されたコンピューティングノードをサポートする高帯域幅インターコネクトという新たな要件が生まれました。このような要件を満たすには、シリアルリンク技術をレーンあたり448Gに進化させ、将来的にポートあたり3.2Tbpsのイーサネットインターフェースを実現する必要があります。

AIクラスターをこのレベルに拡張すると、物理層に厳しい要件が発生します。この物理層では、インターコネクトファブリックによってプロセッサー、アクセラレーター、ネットワークインターフェース間で達成可能な帯域幅密度が決まります。インターコネクトファブリックとして光ソリューションと銅線ソリューションの両方が検討されていますが、パッケージング、PCBレイアウト、コネクターの移行における設計上の課題を克服できる場合は、やはり銅線インターコネクトが依然として魅力的です。候補となる448G変調フォーマットをサポートする帯域幅が必要であるため、従来のPCBインターコネクト、フライオーバーインターコネクト、従来のコネクターフォームファクターがこのデータレートで使用できるかどうかはいまだに未解決の問題です。

本ホワイトペーパーでは、3種類の変調スキーム（PAM-4、PAM-6、PAM-8）を用いて448Gにおける銅線インターコネクトの性能を調査した研究を 紹介します。各スキームは、損失許容度、直線性、イコライゼーションの要件に対して異なる意味合いを持ち、コネクターの設計とシステムアーキテクチャーに影響を与えます。

この調査では、コンポーネントパッケージとQSFPモジュール間のインターコネクトオプションを検討し、AIデータセンターで信頼性の高い448G環境を実現するために満たす必要があるシグナルインテグリティ要件の概要を提示します。

AIクラスターのスケーリングによって物理層に厳しい要件が発生します。物理層では、各インターコネクトがより高い帯域幅を提供するとともに、信号劣化を最小限に抑える必要があります。PCB直接配線とフライオーバーTwinaxチャネルを比較したMolexの以前のシミュレーション調査では、トレースとビアを用いた従来のPCB配線の限界が示されています。PCB直接配線はシンプルですが、距離が長くなると挿入損失が大幅に増加し、その結果、PCBビアで反射損失が増加するため、80～90GHzで顕著な挿入損失ロールオフが発生します。フライオーバーTwinaxコネクター設計でも同様の挿入損失ロールオフが見られますが、総挿入損失ははるかに低いため、フライオーバーケーブル配線のチャネルリーチはより長くすることが可能です。

コパッケージド銅は、PCBビアとコネクタービアを介した信号伝送中に発生する高損失を回避するためのソリューションとして、大きな関心を集めています。これらのモジュールは、パッケージ基板内のトレース配線に接続し、帯域幅を制限する要因となるPCBビアをバイパスして、Twinaxケーブルと直接インターフェースを取ります。このアーキテクチャーは、Chip-to-Module（C2M、チップ・モジュール間）と呼ばれており、図1に概説されています。

また、コパッケージド銅のコネクターでは、表面実装デバイス（SMD）のランドパターン、接点のスタブ長、パッケージからコネクターへのビアを経由した配線に関連するシグナルインテグリティの課題も生じます。しかし、信号がコネクターを横断し、ケーブル配線に沿って通過すると、挿入損失が大幅に低減され、同軸コネクター設計（Twinaxなど）ではPCBインターコネクトよりもはるかに低い反射損失になる傾向があります。これは、QSFP/OSFPコネクターや銅線バックプレーンコネクターへのフライオーバーケーブルの場合に当てはまります。

シグナルインテグリティのパフォーマンス指標は変調フォーマットによって変わります。フォーマットが異なると、シリアルビットストリームの信号レベル間にそれに応じた電力マージンが必要となるためです。表1および表2は、対象とした各変調フォーマットのチャネルリーチ、ビットエラー率（BER）、信号対雑音比（SNR）に対するチャネル帯域幅の要件を比較したものです。AIデータセンターに導入されている現在の技術は、56GHzチャネル帯域幅の224Gbps-PAM-4であるため、相対値は、112GHzのチャネル帯域幅が必要な448Gbps-PAM-4と比較したものになります。

表2は、PAM-4変調の目標SNR値に対して必要なBERの比較と、その逆の比較を示しています。データは、インターコネクトの受信側で観測されるSNRが次のような複数の要因の影響を受けていることを示しています。 

• 挿入損失
• 反射損失（反射）
• クロストーク
• スキュー/ジッター

高帯域幅チャネルにおける各変調フォーマットのBERおよびSNRの要件は、多値PAMを用いた場合、低帯域幅チャネルでも、高密度化によって特定のBER目標を達成するには反射とクロストークをさらに低減することが必要であると示しています。検出の改善、リンクのイコライゼーション、または誤り訂正を用いることで、SNR要件を緩和できます。

これらのデータレートでは、コネクターの機械的性質によってチャネルの全体的な性能が制限される可能性があります。スタブ長、はんだ形状、パッケージとコネクター間の伝送、コネクターとTwinax間の伝送などの要因により、低周波数での反射や、高周波数での共振が生じることがあります。それらが重なって、高周波での挿入損失にロールオフが生じ、チャネル帯域幅の実質的な上限が決まります。コネクターモジュールのピン密度が高いと、パッケージとコネクター間の伝送でクロストークのリスクも生じます。挿入損失に加えて、クロストークもインターコネクトの受信側でSNRとBERの値を決定する要素となります。

以前のシミュレーション調査で観測されたシグナルインテグリティ特性を参考にして、さまざまな変調周波数で448Gインターコネクトにおけるコパッケージド銅を調査することにしました。変調フォーマット、損失、SNRおよびBERの上限に明確な関係が見られたため、典型的な導入環境において実際のチャネルを使用した実験的調査を行うべきであると判断しました。

本ホワイトペーパーのこの先のセクションでは、標準リンクアーキテクチャーを用いた448Gチャネルのシグナルインテグリティ指標の分析について説明します。本調査では、次の目標を達成することを目指しました。

• PAM-6およびPAM-8シグナリングのSNR、BER、挿入損失の評価
• 挿入損失のロールオーバーに基づく帯域幅制限の判断
• C2Mアーキテクチャー内のインターコネクトにおいて識別された帯域幅範囲内のクロストークの検証
• C2Mアーキテクチャーにおけるホストからモジュール方向およびモジュールからホスト方向での信号伝播の比較

C2Mアーキテクチャーでは、実際のコパッケージド銅コネクターとOSFPコネクターを使用しました。PAM-6およびPAM-8シグナリングに対する挿入損失、BER、SNRマージンを測定して比較しました。

本調査で評価したリンクアーキテクチャーと、アーキテクチャーの各セクションの推定BER上限を図2に示します。このC2Mアーキテクチャーでは、300mmと500mmの長さのVSR（Very Short Reach）チャネルをホストからモジュール方向とモジュールからホスト方向の両方で評価し、インターコネクトに沿ったクロストークと挿入損失の結果を得ました。次に、チャネルリーチと変調フォーマットを変化させながら、SNRとBERをクロストークの存在下で測定しました。これらの結果から、PAM-6およびPAM-8変調をサポートするチャネルのパフォーマンスを比較するのに十分なデータが得られました。

挿入損失とクロストーク 

図3は、ホストからモジュール方向およびモジュールからホスト方向の信号伝播の挿入損失曲線とクロストーク曲線を示しています。どちらの曲線も、90GHz付近でチャネル帯域幅の上限が固定される強力な挿入損失ロールオフを示しています。これにより、これらのチャネルが500mmチャネルリーチでPAM-6およびPAM-8シグナリングをサポートできることが確認されました。

この結果は、特に最悪のケースでのクロストーク状態を示すために選択された、標準OSFPトランシーバーモジュール上のチャネルTX6（ホストからモジュール方向）およびRX6（モジュールからホスト方向）に関するものです。クロストークレベルはチャネル帯域幅全体で低く維持され、ホストからモジュール方向のPSNEXTは、80GHzに近づく周波数でも-60dBを超えた程度にしか上昇しません。ホストからモジュール方向のPSFEXTは、約75GHz以降に、時折-50dBを超える程度です。

BERおよびSNRマージン 

図3に示すように、これらのチャネルで発生する可能性があるクロストークレベルを考慮すると、BERおよびSNRマージンの期待値を調査することが重要です。表3と表4は、ナイキスト周波数での挿入損失、観察されたBER、およびPAM-6およびPAM-8フォーマットで利用可能なSNRマージンを示します。この評価では、最悪のケースでのクロストークを示すチャネルTX6/TX8およびRX6/RX7を選択しました。

結果は、PAM-6とPAM-8のどちらも、300mmおよび500mmの長さのOSFPコネクターを備えたこれらのチャネルで使用することが技術的に可能であることを示しています。予想どおりPAM-8のBERは高いため、リタイマー/モジュールインターフェースでBER上限の2.4e-5に対して残存するSNRマージンはほとんどありません（図2を参照）。これにより、クロストーク、外部電磁干渉（EMI）、パワーレールの変動など、追加のノイズ源に対してリンクは脆弱になります。

従来のOSFPパドルカードインターフェースでは、必要な112GHzチャネル帯域幅を下回る挿入損失ロールオフが発生するため、このインターフェースを使用して448Gbps-PAM-4変調を実現することはできません。このデータレートでPAM-4を使用する場合、ロールオフしきい値を増やすには、マルチソースアグリーメント（MSA）標準の変更が必要になります。

これらの結果に基づき、PAM-6はBER、SNR、帯域幅マージンのバランスが優れているため、最も実現可能なオプションであることが明らかになりました。必要なチャネル帯域幅は、C2Mアーキテクチャーで観察された挿入損失ロールオフと一致するため、OSFPコネクターとパドルカードモジュールのMSA標準を変更する理由になります。

MSA標準の変更案

上記の結果に基づいて、パドルカードインターフェースに更新を加えると、レーンあたり448GのデータレートでPAM-6を実現するのにさらに役立つ可能性があります。この更新には、ファイバーモジュールPCBのコネクターとパッドのレイアウトを変更して、C2Mアーキテクチャーのチャネル帯域幅を90GHz以上に拡張することが含まれます。変更案を表5にまとめました。

この調査では、C2MアーキテクチャーのOSFPコネクターとコパッケージド銅コネクターを備えた従来のパドルカードインターフェースが、PAM-6またはPAM-8変調を用いた448Gシグナリングをサポートできることを実証しました。BERとSNRの結果から、パドルカードとコネクターの設計に対するMSAを更新することを条件として、PAM-6が変調フォーマットとして望ましいことが示されました。これらの変更を加えなくてもPAM-8を実現できる可能性はありますが、SNRマージンを改善するには、内部のコーディングや高度なイコライゼーションなどの機能強化が必要になります。