NVLink Switchとは(NVLink Switch)
ひとことで:たくさんのGPUをNVLinkで一斉につなぐための中継装置。ラック1台分のGPUを、まるで1つの巨大なGPUのように動かせます。
詳しく
NVLinkはGPU同士を直接つなぐNVIDIAの高速接続ですが、GPUの数が増えると全部を直接つなぐことはできません。そこで、ネットワークのスイッチ(中継機)のようにNVLinkの通信を束ねて振り分けるのがNVLink Switchです。これにより、サーバー1台の枠を超えて、ラック(サーバーを縦に積む棚)全体のGPUが高速に通信できます。大規模なAIモデルの学習や推論では、GPU間の通信速度が全体の速さを決めるため重要です。中古市場の観点では、NVLink Switchを前提としたシステムはラック単位で設計されているため、GPUを1枚ずつ抜き出して売ると本来の性能を活かせません。ラック単位で売買されるか、部品取りとして扱われるかで価値が大きく変わります。
具体例
GB200 NVL72:Blackwell GPU 72基+Grace CPU 36基を1ラックに収め、NVLink Switch Systemで合計130TB/sの通信。第5世代NVLinkはGPU1基あたり1.8TB/s、最大576基まで接続可能(NVIDIA公表値)。
関連する用語
関係するカテゴリ:GPUの相場一覧