AIの学習に必要な性能と型番の選び方
目安
- GPUのメモリ(VRAM):学習では推論より多くのメモリが必要。AIの大きさ(パラメータ数)に加え、学習途中の値の置き場も見込む:一般的な考え方
- GPU同士の接続:大きなAIでは複数のGPUを高速な線(NVLinkなど)でつなぐ構成が前提になる:公開情報:https://www.nvidia.com/en-us/data-center/h100/
- ソフトの対応:使う学習ソフトが、GPUの仕組み(NVIDIAのCUDA、AMDのROCmなど)に対応しているか:一般的な考え方
- 電力・冷却・設置場所:データセンター向けGPUのサーバーは消費電力が大きく、液体冷却などが必要な場合がある:公開情報:https://www.nvidia.com/en-us/data-center/gb200-nvl72/
- 輸出規制:高性能なAI向け半導体は輸出規制の対象になる場合があるため、取引前に確認する:一般的な考え方
AIの学習とは、たくさんのデータをAIに読ませて、答えを出す仕組みを少しずつ調整していく作業です。とても多くの計算をくり返すため、計算が得意なGPU(画像処理用として生まれた、たくさんの計算を同時にこなす部品)が主に使われます。 必要な性能の考え方として、まず大切なのはGPUのメモリ(VRAM)の大きさです。学習では、AIの中身(パラメータ)に加えて、調整のための途中の値も置く必要があるため、同じAIを動かすだけ(推論)の場合より、ずっと多くのメモリが必要になります。大きなAIを学習するときは、1台のGPUでは足りず、何台ものGPUを高速な線(NVIDIAのNVLinkなど)でつないで使います。データセンター向けのH100、H200、B200や、AMDのInstinct MI300シリーズなどが代表です。小さなAIの試作や、学習済みのAIを少しだけ追加で学習させる(ファインチューニング)なら、VRAMの多いワークステーション向けGPUや、GeForceの上位モデルが使われることもあります。 選ぶときの注意として、AI用のソフトはNVIDIAの仕組み(CUDA)向けが多いので、AMDなど他社のGPUを使う場合は、ソフトが対応しているかを先に確認しましょう。また、データセンター向けGPUは、電力や冷却の設備、対応サーバーが必要です。高性能なAI向け半導体は輸出規制の対象になる場合もあります。 新品が手に入らないときは、ひとつ前の世代(A100など)の中古やリース品を検討する、クラウド(インターネット越しに借りる計算機)で必要な時間だけ借りる、といった方法があります。
関係するシリーズ
よくある質問
ゲーム用のGPUでもAIの学習はできる?
小さなAIの試作や追加学習ならできます。大きなAIを学習するには、VRAMが多く、複数台をつなげるデータセンター向けGPUが使われます。
なぜVRAMが大切?
学習では、AIの中身と学習途中の値をGPUのメモリに置いて計算するためです。足りないと学習できないか、とても遅くなります。
新品が手に入らないときは?
ひとつ前の世代の中古・リース品を検討するか、クラウドで必要な時間だけ借りる方法があります。