LinuxサーバにおけるMellanox OFED（MLNX_OFED）ドライバ導入とRoCEv2ロスレスイーサネット疎通確認手順
要旨：NVIDIA Quantum / Spectrumイーサネット環境において、GPU間直接通信（GPUDirect RDMA）やNVMe-oFを成立させるには、Linux標準のInboxドライバではなく、最適化されたMLNX_OFED（OpenFabrics Enterprise Distribution）のインストールとDSCP/PFCの厳格な設定が必須である。本SOPでは、カーネルヘッダ依存関係の解決、ドライバ導入、Trust L3 DSCP設定、およびibv_rc_pingpongによる帯域・レイテンシ実測手順をまとめる。
1. MLNX_OFEDの事前要件とインストール
Rocky Linux 9 / Ubuntu 24.04 LTS環境において、実行中カーネルと完全に一致するkernel-develパッケージを導入した後、NVIDIA公式サイトより配布されているISOイメージから自動インストールスクリプトを実行する。
# 依存パッケージの導入 dnf install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r) gcc make pciutils tk # MLNX_OFEDの導入とDKMS有効化 ./mlnxofedinstall --all --dkms --add-kernel-support /etc/init.d/openibd restart
2. RoCEv2モードおよびTrust DSCPの設定
ConnectX NICのハードウェアモードを、従来のRoCEv1（非ルーティング）からRoCEv2（UDPカプセル化・L3ルーティング対応）に固定し、ToS/DSCPフィールドに基づく優先制御を有効化する。
# RoCEバージョンの固定（RoCE v2） cma_roce_mode -d mlx5_0 -p 1 -m 2 # DSCP Trustおよび優先度マッピング（PFC priority 3） mlnx_qos -i mlx5_core0 --trust dscp mlnx_qos -i mlx5_core0 --pfc 0,0,0,1,0,0,0,0
3. RDMA疎通とレイテンシ測定（ibv_rc_pingpong）
対向サーバ間で ibv_rc_pingpong を実行し、双方向通信がカーネルバイパスで正常に確立されていることを確認する。400Gbpsリンクにおいて、RTT遅延が1.2〜1.8マイクロ秒以下、パケットロスゼロであることを確認して引渡検収とする。