Proxmox VE 8.xクラスタにおけるCeph分散ストレージ構築と実務運用――100GbEメッシュネットワークとOSD障害対応SOP
概要：データセンター現場において高価な外付けSAN/NASを排し、高信頼・低遅延なハイパーコンバージドインフラ（HCI）を実現する手段として、Proxmox VEとCephの組み合わせが普及している。本稿では、ベアメタル3ノード構成を前提に、スイッチレス100GbEフルメッシュ直結によるストレージ専用ネットワークの敷設、CRUSHマップの最適化、そして本番運用中にNVMe OSDが故障した際の安全な交換・データ自動リバランス手順を完全SOP化する。
1. 100GbEスイッチレス・フルメッシュ配線と静的ルーティング
小規模HCI（3〜4ノード）において、100GbEスイッチのポートコストを削減しつつ超広帯域を確保するため、各ノードのデュアル100GbE NIC同士を直結するフルメッシュトポロジを採用する。各リンクに個別の/30サブネットを割り当て、OS側で静的ルートまたはOSPF/FRRを設定してメッシュ疎通を確立する。MTU 9000（Jumbo Frame）を全ポートに適用し、iperf3にて94Gbps以上の実効スループットと15マイクロ秒以下のレイテンシを確認する。
2. Cephクラスタ初期化とNVMe OSDのプール設計
Proxmox GUIおよびpvecephコマンドを用い、public network（管理・VMアクセス）とcluster network（Ceph内部レプリケーション用100GbEメッシュ）を厳格に分離する。Enterprise NVMe SSD（DWPD 3以上、PLP電源喪失保護必須）を各ノードに均等配置し、bluestoreバックエンドでOSDを作成する。プールレプリカ設定はsize: 3, min_size: 2を基本とし、PG（Placement Group）自動オートスケーラーを有効化する。
3. OSDディスク障害発生時のホットスワップとデータ復旧SOP
NVMeドライブがS.M.A.R.T.劣化またはクラッシュした場合の復旧手順を標準化する。ceph osd outによるデータ再配置の開始、ceph-volume lvm zapによるメタデータ消去、ラック前面からの安全なトレイ抜去と新品挿入、そしてpveceph osd createによる新規参加を確認する。クラスタ状態がHEALTH_OKに遷移するまでの進捗監視（ceph -w）を完了基準とする。