MLPerf Inferenceとは

何を測るテストか

MLPerf（エムエルパーフ）は、AI業界の団体MLCommons（エムエルコモンズ）が運営するAI性能の業界標準ベンチマークです。「Inference（推論）」は、学習済みのAIモデルを使って答えを出す処理のことで、MLPerf Inferenceは「決められたAIモデルを、決められた精度を保ったまま、1秒間にどれだけ多く処理できるか」を測ります。対象のモデルは版ごとに更新され、2025年4月の「v5.0」では、大規模言語モデル（文章を生成するAI）のLlama 2 70BやLlama 3.1 405B、画像認識のResNet50、自動運転向けのPointPaintingなどが含まれます。データセンター向け（Datacenter）と、端末や小型機器向け（Edge）の2部門があります。

スコアの見方

結果は主に「スループット（1秒あたりの処理数）」で、高いほど良いです。モデルによって単位が異なり、画像認識なら「1秒あたりの画像枚数」、言語モデルなら「1秒あたりのトークン（単語の断片）数」などで表されます。また、測り方（シナリオ）が複数あり、「Offline（まとめて一気に処理）」「Server（ランダムに届く要求に制限時間内で応答）」「SingleStream（1件ずつ順番に）」などで数字が変わるので、比較は同じモデル・同じシナリオでしかできません。結果はMLCommonsのサイトに「提出者（メーカーやクラウド事業者）」「システム構成（GPUの型番と枚数、CPU、メモリ）」付きで公開されています。GPU1枚あたりの性能を見たいときは、システム全体の数値をGPU枚数で割って目安を出します。

比べるときの注意

（1）結果は「システム全体」の数値です。GPUが8枚載ったサーバーの数字を、GPU1枚の性能と誤解しないでください。（2）「Closed（決められた条件で全員同じ）」と「Open（独自の最適化を許す）」の2つの部門があり、Openの数字は条件がそろっていないので比較に使えません。相場サイトの比較ではClosed部門を見ます。（3）ソフトウェア（推論エンジンのバージョンや数値の精度設定）で結果が大きく変わり、同じGPUでも版が変わると数字が伸びます。版（v4.0、v5.0など）をそろえてください。（4）提出は任意なので、すべてのGPUの結果があるわけではなく、特に一般向けGPUや旧世代品はデータがないことが多いです。（5）電力の測定（Power）は別部門で、提出がある場合だけ比較できます。

主に使われる型番のカテゴリ

データセンター向けGPU・AIアクセラレータ（NVIDIA H100／H200／B200、AMD Instinct MI300系・MI325X、Google TPUなど）とAIサーバー全体の評価。中古のAIサーバー・アクセラレータを「推論用に何枚必要か」見積もるときの基準に使います。一般向けGeForceやCPU単体の比較には向きません。

公式サイト：https://mlcommons.org/benchmarks/inference-datacenter/