Nebius CTO「ネオクラウドは大嫌いな言葉」 ― 競合は5〜7社から300〜500社に増え、狙うは売上約1%のAWSとGoogle Cloud
AI向けクラウド(いわゆる「ネオクラウド」)の一角を占めるNebiusのCTOが、Redpointのジェイコブ・エフロン氏のポッドキャスト「Unsupervised Learning」に出演しました。約1時間の対談で、同社の成り立ち、Nvidiaの新チップを稼働させる舞台裏、顧客の違い、推論の最適化、買収戦略、データセンターのボトルネック、そして「なぜハイパースケーラーはこの市場を取り切れなかったのか」まで、幅広く語っています。
本記事では内容を10のテーマに整理します。なお、元の字幕は自動書き起こしのため、人名や製品名の一部は正確でない可能性があります。数字や市場規模の見立てはすべてCTO本人の発言(概算)であり、独立した検証を経たものではありません。
1. 「ネオクラウド」ではなく「AIクラウド」
1-1. 「GPUさえあればいい」への反論
ホストは「結局、GPUを調達できるかどうかがすべてではないか」という見方を投げかけました。CTOは自身を「ソフトウェアの人間」だと断ったうえで、同社の事業は、「ソフトウェアこそ競争優位(モート)」という前提で立ち上げたと説明しています。
数万基のGPUを1つの相互接続クラスターとして使う大口顧客
1基のGPUを30分だけ使うセルフサービスの顧客
この両方を同じプラットフォームで扱えることが、同社の価値提案だといいます。
1-2. 「ネオクラウド」という呼称を嫌う理由
CTOはこの用語を「情熱を持って嫌っている」と述べました。同社が始めた頃、この領域は5〜7社ほどだったのが、今では300〜500社に膨らみ、用語が拡張されすぎたという理由です。同社は自らを「AIクラウド」と位置づけ、競争相手は他のネオクラウドではなく、AWSとGoogle Cloudだとしています。売上規模は、本人の概算でAWSの約1%と認めつつ、「速く走っている」と述べました。
1-3. 需要は「まだ表面をなぞった程度」
CTOは、2年前と比べて今の市場は「表面を引っかいた程度」で、今後3年で全体の需要が10倍、100倍になり得るとの見方を示しました。
一方、巨大施設の多くは、マスク氏のColossusのように、自社内の需要向けです。OpenAIやAnthropicも自社製品のために容量を確保しています。Google、Meta、Microsoftは大量の容量を持ちますが、外部への貸し出しと社内のAI利用との間で常に配分に悩んでいる、というのが同氏の見立てです。そこで、大企業に属さない独立系のプレーヤーが、将来の大手を目指す企業向けに供給する余地があると位置づけています。
2. 出自:Yandexからの分離と「ソフトウェアファースト」
2-1. 2024年の分離
CTOは、新会社が設立され取引が完了した2024年に、Yandexからの分離を発表したと説明しています。ロシア資産との関係は断たれ、「クリーンスレート」になったとのことです。
2-2. ハードウェア側の強み
ハードウェア運用の中核チームはYandex出身で、複数の施設にまたがる数十万〜数百万台規模のサーバーを運用した経験があります。CTOは、このチームがいなければ成功は小さかっただろうと述べました。
2-3. ソフトウェアはゼロから書き直し
ソフトウェア側は、過去の経験が「ごちゃごちゃ」だったため、すべてをゼロから書き直したといいます。新プラットフォームが立ち上がった2024年末には、ソフトウェア技術者の相当部分がすでにYandex出身ではなくなっていました。
2024年のハードウェア担当(調達、自社設計のサーバー・シャーシ、ファームウェア、ネットワーク構築)は約40〜50人
ソフトウェア組織はすでに200人
同社は、マネージドのベアメタルや、外部サービスの寄せ集めではなく、一貫したクラウド体験を作ることに集中してきたと説明しています。
3. 新世代Nvidiaチップを稼働させる舞台裏
3-1. 「混乱」はむしろ日常
Nvidiaは、次世代チップの試作段階から設計図(PCIの配置など)を共有してくれますが、その後も設計は頻繁に変わります。CTOは「2か月前に見せたものと違う」ことが普通で、チップが作られている最中にも反復が続くと述べました。AI市場の速度は、iPhoneのように設計を3年前に固めて最後の1年で磨く世界とは違う、という説明です。
3-2. サンプル入手後の作業
サンプルが「製品に近いもの」になった段階で、次のような作業が始まります。
新ハードウェアの制約や機能をソフトウェアに組み込む
ベアメタルではなくクラウドとして提供するため、ワークロードの分離(仮想化、ストレージ、ネットワーク)を確保する
世代によっては、ある規模のクラスターを最初に構築したチームの一つとなり、誰も見たことのないソフトウェアの問題に遭遇する。そのたびにNvidiaへ報告し、パッチを提案する
3-3. ラック単位への移行
B300からGB300への移行では、運用の単位が「サーバー」から「ラック」に変わりました。サーバーなら電源を切って別のサーバーへ移せますが、ラックではメンテナンスの方法そのものを考え直す必要があります。それでも、毎日少しずつ前進して製品に仕上げる、と述べています。
4. 顧客の違いは「規模」ではなく「成熟度」
4-1. ワークロードは意外と似ている
CTOによれば、ワークロードは大きく「学習」と「推論」に分かれ、顧客ごとの要求は思ったほど違いません。ただし数年前に過小評価していたのがストレージです。GPUが最重要なのは変わらないものの、容量ではなくスループットとレイテンシへの要求が急増しました。
今では、1つの共有ボリュームに多数のGPUサーバーが接続し、毎秒500〜700ギガバイトを引き出す顧客が珍しくない
「2年前には考えもしなかった数字」だという
最も要求が厳しい水準を基準にしているため、ベースラインが高く、幅広い顧客に対応できると説明しています。例として、約3ペタバイトの共有ファイルストレージを、1,000台のサーバー、約8,000基のGPUに接続するケースを挙げました。
4-2. ネオラボと企業顧客の違い
差を生むのは、規模や性能ではなく、顧客の成熟度だとCTOは言います。
新興のAIラボ(ネオラボ):シードで数十億ドルを調達することもあり、予算の大半が計算資源に向かう。10億ドル規模の契約でも、気にするのはGPU、ストレージ、性能、可用性で、GPUの所在地(米国、欧州、アイスランドなど)にはこだわらないこともある
企業顧客:契約額は小さい(時に大幅に小さい)が、自社の顧客への義務や各国の規制があり、認証、コンプライアンス、セキュリティ体制の確認、ソースコードの審査まで求められる
CTOは、これが最も顧客を分ける要素だと述べています。
5. 推論の最適化:「低い果実」と分離型(Disaggregated)
5-1. レイテンシとコストの両立
レイテンシ重視の顧客と、バックグラウンド処理でコスト重視の顧客がいる場合も、クラスターの作り方は変えません。「汎用クラウドとして、ベースラインを高くする」のが当初からの前提です。SLAに合わせた最適化は、ハードウェアや低層ではなく、オーケストレーションやモデルなどスタックの上位で、100%ソフトウェアとして行うといいます。
5-2. プリフィルとデコードの分離
ホストが触れた「プリフィルとデコードの分離(disaggregation)」について、CTOは「みんなが話しているが、誰もきちんとはやっていない」と述べました。
複雑で運用が難しく、SLAの保証も難しい
同社では、プロトタイプのサービスで有望な結果が出ているが、あらゆる顧客向けの標準策にはしていない
最も要求の厳しい顧客向けには、手作業中心の「ホワイトグローブ」方式で本番運用している
GB系の新アーキテクチャのように、ラック内で相互接続が非常に高速なら、従来の課題の多くは解消される
なお、この製品はラック単位でしか購入できないようにしています。クラウド側では、マネージド推論などで同一ラックに複数のワークロードを同居させ、パッキング問題を解く形になります。
5-3. オープンモデルの推論は「未解決」
CTOは、業界として最適化できていないと率直に述べました。新しいオープンモデルを公開されたままの設定で動かしても、速くも安くもなく、現在のインフラ価格では、クローズドモデルのAPIを使うほうが簡単な場合もあるといいます。
そこで、次のような最適化の余地があるとしました。
推論サーバーの設定、カーネル最適化(トラフィックに特化した最適化も)
投機的デコード
モデルの剪定(プルーニング)や圧縮といった、重みの最適化
同社の顧客の95%は素のオープンソースモデルを使わず、修正や微調整を加えているとのことです。用途が限定されれば、特定のタスクでフロンティア級の知能を維持しつつ、巨大なモデルは不要になる。企業では、コストよりも結果の予測可能性と所要時間が重視されると述べました。
6. 買収戦略:モデル最適化の人材とTavily
6-1. 今夏の買収
CTOによれば、今年の初夏の買収は、モデル最適化、圧縮、投機的デコードの人材を獲得することが目的でした。既存の人材と合わせてチームは約2倍になり、数十人規模でカーネル最適化やモデル圧縮の専門グループを抱えているといいます。同氏は、推論をサービスとして本格運用するには、これが唯一の方法だと述べています。
6-2. Tavily(ウェブ検索)の買収
ウェブ検索のTavilyについては、約1年前の話として、製品と市場展開の速さに感銘を受けたと説明しました。大規模なウェブインデックスの運用には、同社の低レイヤーと大規模インフラの専門性が役立つという理由です。
現時点では他の製品に完全には組み込まれていないものの、マネージド推論とエージェント向けツールを組み合わせる構想があり、サンドボックスも開発していると述べました。エージェントを作るための「構成要素」を揃える狙いです。
7. データセンターとボトルネック
7-1. 「壁の中身」は自社で管理
CTOは、データセンターの建屋の素材は知らないと冗談を交えつつ、壁の内側は完全に自社が管理していると述べました。自社保有でなくても、借りるのは建物と電力で、内部の構築は自社の仕様に従います。最近発表した**「アセットライト」モデル**(第三者が資本を出して施設とGPUを用意し、同社のプラットフォームを載せる形式)でも同じです。「他社から借りたものを自社のクラウドとして見せることはしない」と述べています。
7-2. ボトルネックは「実行力」
ボトルネックを問われたCTOは、「1つだけ。実行力だ」と答えました。個別の不足は次の通りです。
GPU、CPU、NVMe
ネットワーク用のトランシーバー
施設、電力、人材
変圧器(リードタイムは数年)
調達、規則を踏まえた判断、施設間でのスケジュールの組み替えなどをやり遂げる力が、唯一の競争優位だという主張です。そして、経験豊富なプロジェクトマネージャーが、キャリアで見た中で最も需要の高い人材になっていると述べました。
7-3. ワークロードは変わっても、下層はほぼ変わらない
長時間稼働のエージェントやポストトレーニングが増えても、「ワークロードはワークロード」で、低レイヤーの構築はほとんど変わらないといいます。ホストが触れた新アーキテクチャ(字幕では、Groq関連の取引から生まれたNvidiaのLPXと読める表記)も、「新しい半世代」として、ニッチな追加と位置づけています。
8. なぜハイパースケーラーはこの市場を取り切れなかったのか
8-1. 「試さなかった」わけではない
CTOは、「彼らは試さなかった」という見方に反論しました。ハイパースケーラーはこの市場から大型案件を獲得しており、公開価格は高く見えても、実際の大型契約では競争力のある価格を出していると説明しています。そのうえで、2つの理由を挙げました。
8-2. 理由1:チップ不足と社内消費
もしNvidiaが10倍のチップを作れていれば、市場の形は違っていたはずで、MicrosoftやGoogleは自社用と外部向けの両方の容量を買えたはずだというのが同氏の見立てです。現実には、割り当てが限られる中で、社内の学習用と、外部向けクラウドの配分に悩むことになります。
8-3. 理由2:既存事業に比べた規模と、インフラの作り直し
CTOは、本人の概算として、AWSの売上を約1,000億ドルと見積もり、この事業は**数十億ドル(2〜4億ドルではなく、2〜4十億ドル=数十億ドル規模)**にすぎないため、大きな事業の中では優先度が上がりにくいと述べました。さらに、ネットワーク、スループット、ストレージ性能など、他の用途向けに大規模に作られた既存インフラを、AI向けに作り替える投資が必要だとしています。この投資を正当化できるほど、市場がまだ大きくないという説明です。
8-4. 「チップ不足が終われば、本気で来る」
CTOは、チップ不足が2〜5年後に終われば、ハイパースケーラーはこの領域に注力し、社内の設計を作り替え、営業力で市場を取りに来ると見ています。同氏は、その時に「小さな追走者ではなく、対等に戦える」だけの規模に、Nebiusが間に合うかが勝負だと述べました。
9. 市場の未来:淘汰と共存
9-1. 300〜500社は生き残るか
CTOは、現在の300〜500社がすべて生き残るとは考えていません。ただし、AWSがある一方でHetzner、DigitalOcean、Lodesのような地域・小規模のホスティング事業者が多数存在するように、AIでも「長い裾野」のプロバイダーが残ると見ています。統合や淘汰、新規参入が続くものの、5年後も数百社が存在すると予想しています。
9-2. 大手に吸収される部分と、独立して残る部分
ホストは、AIインフラのどこまでが将来のAIハイパースケーラーに吸収されるかを尋ねました。CTOは、成長のために大手が新分野に広がるのは自然だとしつつ、「すべてが一社に飲み込まれる」とは考えていません。
OpenAIやAnthropicは、モデル、推論、検索、サンドボックス、ローカル/クラウドのエージェントを持ち、フォワードデプロイ型の組織で、従来はDeloitteやAccentureが担っていた領域にも進出している
それでも、データ分野ではSnowflake、MongoDB、ClickHouseのように、大手のマネージドサービスがあっても独立企業が成功した例がある
「ニッチ」は小規模や低評価額を意味しない
9-3. OpenAIとBasetenの提携への見方
ホストが挙げたOpenAIとBasetenの提携について、CTOは、OpenAIやAnthropicのモデルが高いと感じる利用者への一つの答えだと見ています。オープンモデルを試しつつ、必要に応じて最上位のフロンティアモデルへ戻れる選択肢を用意でき、利用者を自社のエコシステム内に留めたまま、上位サービスへ誘導しやすいと述べました。OpenAIもAnthropicも、あらゆる接点の「唯一の窓口」になることを目指している、という見立てです。
10. 社内運営と、CTOの学び
10-1. 考えが変わったこと:AIコーディング
この1年で考えが変わった点として、CTOはソフトウェア開発を挙げました。1年前は能力が大幅に低く、今では日常のツールの一部になっています。個人としては、ローカルのAIエージェントやハーネスを使って「認知的な負荷」の一部を肩代わりさせるようになったといいます。
10-2. 「スロップ」への警戒と社内ルール
一方で、同氏は慎重な姿勢も示しました。マージリクエストやチャットに「スロップ(雑なAI生成物)」が現れることを懸念し、次のような運用をしています。
トークンの使用量に個人や部署ごとの上限は設けない
ただし使用状況を確認し、最も非効率な使い方を点検する
エージェントが作った成果物も、本人の結果であり責任(自分のPR、自分のコード、夜間の呼び出しも自分)とする
完全自律のエージェントが作ったものはその旨を明記し、当面はコアサービスに触れさせない
10-3. 最大の誤算は「規模の過小評価」
最大の失敗として、CTOは1顧客が運用する規模の過小評価を挙げました。5年前は30MWのデータセンターが相当大きな施設でしたが、今では1顧客にも足りない場合があるといいます。ストレージのスループットも、4年前は毎秒数百メガ〜数ギガバイトの世界でしたが、今では毎秒数百ギガバイトに達する顧客がいます。「ゼロが2つ増えて、新しい標準になった」と語りました。
10-4. 今、注目していること
モデルの大型化や高性能化は「与件」として受け入れたとのことです。新しいアーキテクチャには今のところ賭けたいと思うものはないが、関心があるのは、長時間動くエージェントが成果(アウトカム)に到達する確率をどう高めるかだと述べました。モデル以外の部分、つまりツール、タスクに応じて進化するハーネス、品質ゲートといった「モデルの外側の最適化ループ」が重要で、エージェントが数分間LLMへのリクエストを出さずに動くことも増えるため、CPU消費の増加にもつながると見ています。社内にこのテーマの小さな研究グループがあるとのことです。
