KVM / Libvirtハイパーバイザ環境におけるSR-IOV仮想化とPCIパススルーによる100GbE物理帯域最大化検証SOP
要旨:高性能仮想マシン(仮想ルータ、NFV、AI分散推論ノード)において、標準のVirtIO準仮想化ドライバではCPUオーバーヘッドにより40Gbps〜100Gbpsのラインレート達成が困難となる。本検証SOPでは、Intel E810 / NVIDIA ConnectX-6 NICを用いたSR-IOV(Single Root I/O Virtualization)仮想ファンクション(VF)の切り出しと、Libvirt/KVM仮想マシンへのダイレクトPCIパススルー設定、およびNUMAノード親和性チューニングの具体手順を詳解する。
1. SR-IOV技術の概要とVirtIOオーバーヘッドの排除
SR-IOV(Single Root I/O Virtualization)は、単一の物理PCIeネットワークカード(PF: Physical Function)を、ハードウェアレベルで複数の独立した仮想PCIeデバイス(VF: Virtual Function)としてCPUに認識させるPCI-SIG標準規格である。従来のVirtIO-netドライバを介した準仮想化では、ハイパーバイザのvSwitch(OVSやLinux Bridge)およびコンテキストスイッチによるパケット処理オーバーヘッドが不可避であったが、SR-IOVを用いることで、ゲストOSがNICのハードウェアキュー(リングバッファ)にDMA直接アクセス可能となり、物理ラインレート(100Gbps)および数百ナノ秒の超低遅延を達成できる。
2. ホストOS側のIOMMUおよびSR-IOV有効化
GRUBブートローダー設定にて、CPUアーキテクチャに応じたIOMMU拡張を有効化する。UEFI BIOS設定において「Intel VT-d」または「AMD IOMMU」、および「SR-IOV Support」がEnabledになっていることを事前に確認する。
# /etc/default/grub の GRUB_CMDLINE_LINUX に追記 intel_iommu=on iommu=pt isolcpus=4-31 default_hugepagesz=1G hugepagesz=1G hugepages=32 # GRUB設定の再生成と再起動 grub2-mkconfig -o /boot/efi/EFI/rocky/grub.cfg reboot
3. 物理NIC(PF)からの仮想ファンクション(VF)生成
NVIDIA ConnectX-6またはIntel E810 NICのsysfsインターフェースを操作し、必要な数のVFを生成する。データセンター実務では、MACアドレスのスプーフィング防止とVLANタギングをホスト側で明示的に固定する。
# 物理ポート enp1s0f0np0 から 4 つの VF を切り出し echo 4 > /sys/class/net/enp1s0f0np0/device/sriov_numvfs # VF 0 に対して MAC アドレス固定、VLAN 200、Trust モード有効化 ip link set dev enp1s0f0np0 vf 0 mac 52:54:00:11:22:33 vlan 200 trust on spoofchk on
4. Libvirt / KVM仮想マシンへのVFアタッチとNUMA調律
Virsh XMLドメイン定義ファイルにおいて、切り出したVFデバイスをホストデバイスとして直接アタッチする。極限の性能を引き出すため、仮想マシンのvCPU配置とNICが物理的に接続されたCPUソケット(NUMAノード)を厳密に一致(NUMA Pinning)させることが決定的な鉄則となる。
<interface type='hostdev' managed='yes'>
<source>
<address type='pci' domain='0x0000' bus='0x01' slot='0x02' function='0x1'/>
</source>
<address type='pci' domain='0x0000' bus='0x00' slot='0x06' function='0x0'/>
</interface>