SemiAnalysisがClusterMAX 3.0を公開、追跡するGPUクラウドは323社──「ネオクラウドのセキュリティは酷い」と創業者が警告
AIインフラの調査会社SemiAnalysisが、GPUクラウドの格付け「ClusterMAX 3.0」を公開した。本稿では、その公開を受けた対談の内容をまとめる。登壇したのはClusterMAXを率いるJordan氏と、SemiAnalysisのDylan Patel氏で、聞き手はポッドキャストの司会者だ。
話題は、格付けの基準とセキュリティの実態、GPUレンタル市場の逼迫、OpenAI・Anthropic・Googleの計算資源、NVIDIAによるPoolsideとHugging Faceの取り込み、批判への反論、そして、マルチシリコン(複数種類のチップ)時代と中国チップまで広い。
なお、以下の見解や数字は登壇者の発言であり、一部は独立に検証できていない(補足参照)。
1. ClusterMAXとは何か
1-1. 「ネオクラウド」と評価の対象
ネオクラウドとは、ChatGPT以前から存在するAWS、Google、Oracle、Azure、Rackspaceなどの従来型クラウドに対し、AI向けにGPUなどのアクセラレータを貸し出す新興事業者を指す。Jordan氏は「誰もがネオクラウドになりつつある」と述べる。
ClusterMAXは、個別のベンチマークではなく、10の基準で総合的に評価する。性能、セキュリティ、信頼性、使いやすさ、価格、可用性などだ。始まりは、スタートアップから「5社のどれを選ぶべきか」という相談がSemiAnalysisに集まったことだった。「調達した資金の大半を1社に払う、重要な判断だ」という声があり、個別回答の代わりに粗い格付け(ティア表)を出した、と説明している。
1-2. 1.0から3.0への変化
Jordan氏は、自身がSemiAnalysisの愛読者でClusterMAX 1.0を批判し、その結果として採用されたと語る(前職はHewlett Packard Enterpriseで約10年、ハード設計に従事)。
1.0では、主要な事業者の取りこぼしが多く、SlurmやKubernetesの検証も不十分だったという。現在、同社が追跡するプロバイダーは323社(1.0当時の市場ビューは約120社、うち新興ネオクラウド111社)。検証も、当初の手作業から、ベンチマークや信頼性・バーンインの自動化リポジトリに置き換え、コーディングエージェントで実行・修正するところまで進んだ。
全体の市場ビューは、財務モデル(ネオクラウドモデル)の有料コンテンツとして今回は公開していない。
2. セキュリティ:「ネオクラウドの多くは酷い」
2-1. 実際に見えた他社データ
Dylan氏は、セキュリティが悪いのは1.0の頃からだと述べる。ネットワーク制御が正しく実装されておらず、他の利用者のジョブ、データ、ストレージが見えた事例があった。同氏によると、該当企業とNVIDIAに報告し、格付けは、最下位の「underperform」とし、利用しないよう強く勧告した。
3.0でも同様の問題が見つかり、「ほとんどのネオクラウドはセキュリティが酷い」と題するニュースレターを出した。数時間後にIlya Sutskever氏も、ネオクラウドのセキュリティ不備について投稿した、とDylan氏は述べる。ある事例では、特定の国の国家安全保障機関や軍事系の情報が同じクラスター上で見えたという。
「Imagine if we were malicious(もし我々が悪意を持っていたらと想像してほしい)」
その事業者は後に修正したとされる。
2-2. 検査は単純、それでも失敗する
Jordan氏によれば、技術面の検査は単純だ。ソフトウェアのバージョンは新しいか、ドライバーは最新か、設定は正しいか。2〜3年前の版を使い、既知の脆弱性(CVE)が公開されているケースも多く、「最先端モデルでエクスプロイトを作るまでもない」と語る。
そのため、無料のCLI「ClusterMAX(CMAX)」を公開し、クラスターのソフトウェア版を確認して更新先リンクを示せるようにした。InfiniBandではMキーやPキーの設定も論点で、「ほとんどのネオクラウドが驚くほど悪い」と述べている。
3. 格付けの動き:基準は上がり続ける
Dylan氏は、世代ごとに基準を引き上げており、そのため降格する事業者が増える傾向にあると説明する。Googleは、世代ごとに昇格し、最新版でGoldに到達したと話す。
3.0の基準は「最新鋭」だ。典型的な顧客は、調達した1億ドルをGB300 NVL72クラスターに使いたがる。NVL72は、ラック内のスケールアップ領域、ArmのCPU、Blackwell GPU、800Gネットワーク、直接液冷が必須で、データセンターからOS展開、ドライバー管理まで全部が異なる。そのため、以前Goldだった事業者の一部は、GB300 NVL72を提供していないために評価が落ちた。
Jordan氏は、サポートの質も軸だと言う。問題を報告して「1時間で直す」事業者は上がり、「2週間かかる」事業者は下がる。信頼性は最重要の基準で、上位顧客が最も重視するという。
4. GPUレンタル市場:「史上最も難しい」
4-1. 推論事業者の収益化がラボを押し出す
Dylan氏の見立てでは、計算資源の確保は過去最難の状況だ。理由の一つは、推論事業者の収益性が上がったことにある。Basetenの粗利率が、約10%だった時期(6〜9カ月前と本人は言う)から、Baseten、Fireworks、Togetherなど、さらに、小規模のMorphのような企業まで、オープンモデルをvLLMやSGLangで動かして60%程度の粗利率を出すようになったという。
「GPUを手に入れれば、すぐに稼げる」状況になり、新興ラボ(ネオラボ)は、かつての赤字のラボだけでなく、稼げる事業者とも競うことになった。
4-2. 発注単位が小さくなった
かつて大手ラボは、8,000基単位で借りていたが、現在は1,000基ほどまで小口化した。推論事業者やModalのような企業は、4ノード程度でも喜んで借りる。「個人でも単一ノードをスポットで借りられなくなった」とJordan氏は話す。
5. ラボ各社の計算資源とネオクラウド化
5-1. OpenAIとAnthropicが需要を牽引
Dylan氏によれば、大規模ベアメタルの需要を牽引するのは、OpenAIとAnthropicだ。OpenAIは、CoreWeave、Microsoft、Oracleなどを使い、AnthropicはAWS(Trainium)、Google(TPU)、CoreWeaveなど10社以上と契約している。Dylan氏は、年末までにOpenAIとAnthropicのR&D向けの計算資源が、DeepMindのR&D向けを上回るとの見方も示した。Googleのコンピュートは、TPUのコスト優位がある一方、多くは外部に販売済みで、DeepMind研究者が不満を抱えている、という話もあった。
5-2. ラボが貸し手になる
Googleが、CoreWeaveやSpaceXと結んだ契約も話題になった。Jordan氏は、ラボが「機会主義的にネオクラウドになる」現象を指摘する。データセンターの構築・運用能力を持つため、余剰を貸したり推論を提供したりして収益化し、研究が必要になればいつでも引き戻せる選択肢を残すという。
GoogleとSpaceXの契約には、双方に90日の解約権があるとDylan氏は述べ、「どちらが先に折れるか。誰がよりAGIを信じているかの我慢比べだ」と表現している。
5-3. Googleは自らの競合を育てたのか
Dylan氏は、Googleが、SSIなどスピンアウトに投資し、その資金がGCPに戻る構図について、GCP単体では好手だが、Google全体では、「最良の研究者の流出を促すのは愚策」と評する。Anthropicへの初期投資も例に、同社は、今ではGCP以外にも広がり、自社チップの開発にも動いていると述べた。クラウド間の乗り換えも、AIが移行を助けるため障壁は下がった、という見方だ。
Jordan氏は、Googleにはデータ優位性があるとしつつ、組織的な課題や新体制(Koray氏に言及)を挙げた。また、Demis Hassabis氏が、リーダーの座を退いたことを、予想外の出来事として語っている(この事実関係は補足を参照)。
6. NVIDIAによるPoolsideとHugging Faceの取り込み
6-1. 経緯と金額
NVIDIAは、Poolsideの人材と技術を取り込み、金額は発言者間で食い違った(「12億ドル」と司会者、「7億ドル」と別の登壇者)。Dylan氏は、「7億ドル、うち6が人材、1が出資」と説明しつつ、「より大きい数字を採る」と冗談めかした。数字は食い違うため、本稿では金額を断定しない。
6-2. 「防衛的な買収」という見立て
Dylan氏とJordan氏は、これを防衛的な動きと見る。理由は、Poolsideが、オープンなアメリカのモデルとしてはトップクラスのモデルをトレーニングしたチームであり、他社に買われてNVIDIAの利益に反して動かれることを避けたい、という点だ。NVIDIAの自由キャッシュフローは、四半期で約500億ドル(年約2,000億ドル)で、10%程度を買収に回すのは容易だと述べる。
「Nvidia will kingmake you」
（NVIDIAはあなたをキングメーカーとして育てる）
Dylan氏は、取得資金が結局GPU購入に戻るため実質コストは、小さいとし、現金100億ドルに借入比率75%をかければ400億ドルとなり、1ギガワット級を建てられると、ネオクラウド誕生の仮想例を示した。Hugging Faceも同様に防衛的だと述べ、NVIDIAは年初にも買収を試みたと話す。これらは登壇者の分析で、NVIDIAの意図が公式に確認されたものではない。
6-3. 大規模クラスターを動かせるのは誰か
Dylan氏は、10万GPU級のクラスターを構築できると実証した企業は5社程度と述べた。Silver以下の層はフロンティアモデルの学習に使われておらず、AzureはSilver以下で例外的に信頼できる、との趣旨も語られた。
7. 批判への回答
7-1. 「マネージドクラスター」の評価である
Dylan氏は、最大の誤解は評価の範囲だと言う。ClusterMAXが見るのは、マネージドクラスター(マネージドSlurm、Kubernetesなど)であり、データセンター建設能力、ベアメタル、推論エンドポイントではない。Crusoeは、マネージドクラスターで降格されたが、世界有数のデータセンター建設企業であり、契約済みギガワットは最大級だと述べる。
7-2. 金銭は受け取っていない
「有料ランキングだ」という批判に、Dylan氏は、金を受け取れば違法だと述べて否定した。自身はCrusoeとFluidstackに個人投資(SPV)をしているが、どちらも上位5社に入っていないと説明する。また、上位20社のうち5社を除く企業が、SemiAnalysisの顧客であり、AWSもNebiusより大口の顧客だが、順位とは無関係だと述べた。買い手向けのサービスであり、売り手側の収益は比較にならないほど小さい、という整理だ。
7-3. 株の推奨ではない
Dylan氏とJordan氏は、ClusterMAXの順位を株式投資の根拠にするのは誤りだと強調した。格付けは、計算資源の購入者向けで、例えば、Nebiusは、CoreWeaveより良いと見る理由がある一方、クラウド単体の評価では、CoreWeaveが上、という具合に両者は別問題だという。ギガワット級データセンターを持つ事業者は、格付けが低くても大きく稼げる、とも語った。
「執筆量が足りない」「30,000語で読み切れない」という相反する批判には、詳細を知りたい人向けにクラウドTCOモデル(年額ライセンス、毎週のレポートとダッシュボード)を用意している、と説明した。
7-4. 今後の計画
Jordan氏は、今後、推論エンドポイント、ベアメタル、RLインフラ、サンドボックスなども扱うと予告した。既存のInferenceXは、チップとシステムの比較で、今後「EndpointX」としてサーバーレス推論エンドポイントを評価する予定だという。性能に加え、コスト、信頼性、セキュリティ、監視を見る方針で、バッチ1の理想的テストで速くても、スケール時の安定性は別だと述べた。
8. マルチシリコン時代と中国チップ
8-1. 異種チップの併用
Dylan氏は、来年はVera Rubin世代でNVIDIAが、Groq由来のLPU(LPXシステム)を取り込むため、NVIDIAだけを試験してもマルチシリコンの検証が必要になると述べた。AMD、Cerebras(OpenAIのネオクラウド的存在になりつつある)、SambaNova、Positron、Etched、MatXなどの動きも挙げた。
学習と推論の線引きも揺らいでいる。RLでは前方パス(推論相当)が大半を占め、安価で高スループットなチップを使う利点がある一方、チップ世代や構成が異なると数値の正確さに課題が出る。Dylan氏は、事前学習は同種で組み、ポストトレーニングや推論でマルチシリコンが進むと予想した。Anthropicは、TPUで事前学習を行う例がある、とも語っている。
8-2. 中国チップ
Huaweiは、禁輸後にいったん停滞したが、Ascend 940・950・960を短期間で投入したとDylan氏は述べる。ただし、生産量が課題だ。同氏の推計では、グローバルではNVIDIA、Google、Amazon、AMDが数百万個単位の生産を持つ一方、中国ではHuaweiだけが100万個超、他社は数十万個単位で、2028年には数千万個規模へ拡大すると予測した。GLMが非NVIDIAの5万個のチップで推論したとの言及や、Baiduのチップ事業のスピンアウトにも触れた。
