Google Gemini担当のプロダクト責任者Tulsee Doshi氏、「PMが再び価値を持つ」理由を語る ― フロンティアモデルの作り方
GoogleのフロンティアモデルのプロダクトヘッドであるTulsee Doshi氏が、Lenny Rachitsky氏のポッドキャスト「Lenny’s Podcast」に出演しました。同氏はGemini、画像・動画生成、音楽、音声、オープンモデルのGemmaなど、幅広いモデルを担当し、以前は責任あるAIチームでプロダクトを6年間率いた人物です。
対談は約58分で、モデルの作られ方、Googleの戦略、AIの安全性、PMという職種の変化、評価(eval)の作り方、新製品を作る際の考え方、チームのアップスキル、燃え尽きまで多岐にわたりました。本記事では、10のテーマで整理します。
なお、元の字幕は自動書き起こしのため、製品名や人名に誤りが含まれる可能性があります(たとえば、動画生成モデルや音楽モデルの名称は表記が崩れています)。不確かな箇所は、その旨を明記しています。また、意見や見通しはすべてDoshi氏本人の発言であり、Googleの公式見解とは限りません。
1. モデルは「予測できない」:魔法薬の授業のたとえ
1-1. 目標を決めても、結果は読み切れない
Doshi氏は、モデルのPMについて、一般的なプロダクト管理と違う点を語りました。通常は、目標となる機能や評価指標を決めれば、その通りに実現できると期待されます。しかしモデルでは、意図を持って設計しても結果は予測できないといいます。同氏は、これを『ハリー・ポッター』のスネイプ先生の魔法薬の授業にたとえました。材料を丁寧に入れても、「少しの魔法」が起き、それが驚きをもたらすという意味です。
1-2. PMの仕事は「出てきたものを見極める」こと
同氏は、PMの仕事は、モデルに入れるものを形作るだけでなく、出てきたものを見て、モデルがどこで光るのかを見極め、ユーザーにとって素晴らしいものに仕立てることだと説明しました。
学習中は、研究者が実行状況を監視し、指標の推移を見て、介入のタイミングを判断している。つまり、できるだけ科学的に進めている
それでも、モデルの「雰囲気(vibes)」、つまり、ある能力がどこで際立つか、製品でどう見えるか、振る舞いやペルソナはどうか、はPMが理解する必要がある
テストや評価を重ねるたびに、「モデルにできること」について新しい発見がある
2. Googleの戦略:「フルスタック」と「フロンティアも狙う」
2-1. 「Googleは2強に遅れている」という見方
ホストのLenny氏は、Googleは、OpenAIやAnthropicの後れを取っているという見方があると指摘しました。Doshi氏は、まず、この対談の公開時までにGemini 4が出ていることを期待していると述べました。
2-2. 戦略の中身
同氏が挙げたGoogleの強みは次の通りです。
ハードウェアから、モデル、数十億人が使う最終製品までのフルスタック。10億ユーザー超の製品が14あるとのこと(本人も「数字は要確認」と断っている)
コストと品質の「パレート曲線」全体にわたってモデルを用意し、検索ユーザー、エンジニア、サイバー防衛担当者など、さまざまな利用者に対応する
一方で、同氏は、「フロンティアをめぐる議論に勝ちたい」とも明言し、Googleが、フロンティアに参加していないとは言うべきではないと述べました。最終目標は、人々の生活を良くする体験を作ることだとしています。
3. AIの安全性:監視と、防御への活用
3-1. 思考の連鎖(Chain of Thought)の監視
責任あるAIチームを率いた経験から、同氏は、安全性は学習の初期から、デプロイまで組み込まれていると述べました。具体的な緩和策の例が、モデルの「思考の連鎖」を監視する仕組みです。モデルの行動が、与えられた意図とずれていないかを検知し、必要に応じて介入できます。これにより、デプロイへの確信が高まり、不整合の発生箇所も理解でき、モデルの改善にもつながるといいます。
3-2. AIでシステムを強化する
同氏は、議論で見落とされがちな点として、AIが防御の側でも役割を果たすことを挙げました。Gemini 4では、サイバー防衛の担当者と連携し、Google傘下となったWizとも協力して、世界中のシステムの脆弱性を特定し、修正する取り組みを進めているといいます。事例として、Wizの「Scan for Good」プログラムを通じて、病院のシステムの脆弱性を見つけ、修正した例を紹介しました。
3-3. 楽観の根拠
同氏は、「楽観」の根拠は、安全性について意図的で慎重な人々が議論を続けていることだと述べました。懸念と楽観は両立するという立場です。
4. 製品の複雑化とUX:「モデル自体にUXがある」
4-1. 早く出すか、使いやすさか
Lenny氏は、AI製品が複雑になっていること、各社が、まず出して、使われ方を見てから、UXを整えているように見えることを指摘しました。Doshi氏は、次の点を述べています。
新しい形態の模索は必要。たとえば、動画や音楽の生成・編集を扱う「Flow」や、NotebookLMのように、異なる形のUXを試している
ユーザーによって、適切なUXは異なる。検索の「AI Mode」は数十億人が使うため、誰にとってもわかりやすい必要がある一方、開発者向けの「Anti-gravity」は、スラッシュコマンドやターミナル、IDEを使いこなす上級者向け
4-2. モデルのUX=透明性と対話の仕方
同氏は、PMとして強く意識していることとして、モデルを使う体験そのものがUXだと述べました。モデルがどれだけ透明か、どれだけ意思疎通できるか、どんな質問を返してくるか、といった点です。
PMは、モデルの振る舞いを形作る役割も担います。同社には、モデル行動(model behavior)を担当するチームがおり、次のような流れで進めているといいます。
ユーザーのフィードバックを見る
「Geminiにとって良いとは何か」の仕様(spec)を作る
それを評価基準(ルーブリック)に変える
データに落とし込み、報酬モデリングに反映する
PMと研究チームの「良い共同作業」だと評価しています。
5. PMが再び価値を持つ理由
5-1. 「PMは不要」から「PMの再評価」へ
Lenny氏は、最近のSNSで、PMの価値が再評価されていると指摘しました。何でも作れるようになった結果、使われないものや、機能しないものが増えたためです。
Doshi氏は、自身がPMで偏りがあると断りつつ、次のように述べました。
何でも簡単に作れるからこそ、「素晴らしいものを作る」ことが差別化になる
センス(taste)、つまり、ノイズから信号を取り出し、体験を変える洞察を見つける力が重要
Googleのように多くの製品を持つ組織では、人々をまとめて合意を作り、混沌を秩序に変える力が重要。作る速度が上がると、整理しなければ混乱が増える
5-2. 「〇〇が新しいPRDだ」
最近、「プロトタイプが新しいPRD」「evalが新しいPRD」といった投稿が多いことに触れ、同氏は、PMの仕事が要件を書いて他者に任せることから、「実体のあるもの」を示すことへ一歩進んだことの表れだと説明しました。AIが変えた領域としては、プロトタイピングと、データ分析を挙げています。
6. 採用で見ること:「雰囲気」、「eval」、「適応力」
6-1. 重視する資質
同氏が、研究PMの採用でますます重視するのは、次の点です。
モデルの「vibes」を理解している:自分の意見を持ち、毎日モデルを触り、自分なりの判断基準(ユースケース)を持つ
技術的に手を動かせる:データを見に行き、evalを自分で作る
機敏さと適応力:この分野は2週間ごとに変わり、2か月前のロードマップは書き直す必要がある
6-2. 初めてのevalは「5つのプロンプト」から
evalの作り方について、同氏は、社内でもまだ模索中で、PMごとに得意不得意があると率直に述べたうえで、次の助言をしました。
まず5つのプロンプトから始める。大規模なベンチマークは不要
20程度のプロンプトでも、モデルAとモデルBの差が見えれば、すでに強力
自分が評価者になり、何を「良い」と考えるかを言語化するだけで、目指す方向が明確になる。そこから、スケールさせる方法を考える
6-3. 「vibes」の磨き方
モデルの雰囲気をつかむ方法に、唯一の正解はなく、自分が関心のある課題で試すことだと述べました。たとえば、3Dアニメーションなどの視覚的な課題、創作や要約、難しい財務分析などです。「すでに一部は光っているが、自分の基準では完璧ではない」課題が、モデルの違いを見るのに適しているといいます。
7. 評価の実例:肌の色の表現を6段階から10段階へ
7-1. Fitzpatrickスケールの限界
同氏は、責任あるAIチームで、肌の色の表現に取り組んだ経験を紹介しました。
当初使われていた「Fitzpatrickスケール」は6段階で、本来は医療目的で作られたもの。そのため、明るい肌の色に偏り、世界の多様性を捉えられなかった
そこで、ハーバード大学のMonk教授が、人類学・社会学の観点から、ユーザーへの聞き取りを重ねて作った10段階のスケールを取り入れた
製品とモデルの評価をやり直し、Pixelのカメラや画像生成などで、肌の色の表現を改善した
7-2. 評価全体を見る
同氏は、evalは総合的に考える必要があると述べました。
判定役(ジャッジ)の品質も重要。モデルの性能と、それを採点する側の性能の両方が正確でなければ、実態がわからない
本番環境の緩和策やフィルター、サービングの方法も性能に影響する。特に音声は、内容だけでなく、自然さや抑揚が、サービングの影響を受ける
そのため、エンドツーエンドで評価する環境が重要
8. 「60-20-20ルール」と「ハーネス」
8-1. 60-20-20ルール
同氏は、モデルが日々変わる中での作り方として、「60-20-20ルール」を紹介しました(数字は目安)。従来の「動く最小限の製品(MVP)を作る」という考え方に対し、次のようにします。
約60%:今、確実に動く部分(プロトタイプが機能する)
約20%:完璧ではないが、十分に動く部分。モデルがもうすぐ追いつくと見える
約20%:今は動かないが、「光明」が見える部分。実現すれば素晴らしい体験になる
これにより、今日使える製品を出しつつ、モデルの成長に合わせて製品も伸びる状態を作れます。Lenny氏は、一般的な助言である「3か月先を見て作る」より実用的だと評しました。同氏自身も、3か月後のモデルの位置は正確にわからないため、自社製品の中で「光明が見える箇所」を基準にするのが現実的だと述べています。
8-2. モデルの進化に合わせて見直す
同氏は、顧客が、以前のモデルに合わせて硬直的な仕組みを作り、新しいモデルの力を生かしきれていない例があると指摘しました。対策は、継続的に再テストすることです。Lenny氏は、ある開発者が「時々スキルを全部外して試してみる」と述べていたことを紹介しました。
8-3. ハーネスとは
同氏は、ハーネスをモデルを包むラッパーと説明しました。システムプロンプト、使えるツール、スキル、アクセスできるコンテキストなど、モデルが動く「環境」を作る要素の総体です。
9. チームのアップスキルと、日々の習慣
9.1 共有とワークショップ
同氏は、チームのメンバーに助けられているとし、次の取り組みを紹介しました。
業務で役立った「スキル」(ここでは技術的なスキル)を共有し、PMチーム全体のリポジトリを作る
データや長いトレース(軌跡)を読む力を持つPMが、他のPMに向けてワークショップを開く
11月に、全PMが2日間、通常業務から離れて、ツールを使い込む時間を設ける予定
最も大切なのは、時間と余白を与えることだといいます。ツールに習熟すれば、その後10倍加速するという考えです。また、「同じことを2回やるなら、自分でやる必要があるか」という経験則も紹介しました(戦略文書のように、自分で書くべきものは除く)。
9.2 「AIにやらせられるか?」を挟む習慣
Lenny氏は、刺激と反応の間に「AIにやらせられるか?」を挟む習慣が重要だと述べました。Doshi氏も、うまくいく例を1つ体験すると、考え方が変わり、次々に試すようになると同意しています。
10. 燃え尽き、AIスロップ、そして今後の展望
10-1. 燃え尽きは「労働時間」だけの問題ではない
AIで「もっとやれる」ため、成果への圧力が高まっています。Doshi氏は、競争が激しく、今は「長く走る」時期だと認めたうえで、チーム全員が非常に長時間働いており、持続可能な環境づくりを模索中だと述べました。同氏の整理では、燃え尽きの原因は2つです。
混乱や手戻り(チャーンとカオス)
楽しくない作業(雑務、時間の無駄)
情熱を持てる仕事なら、疲れても喜びがあり、AIが雑務を減らせれば、燃え尽きを減らせる可能性がある、と期待しています。Lenny氏は、自身の調査で、「長時間働いていても、最高に楽しんでいる」というテック労働者が多いと紹介しました。
10-2. AIスロップ(AIが書いた雑な文書)への対処
同氏は、AIで書いた文書が増える問題について、「データはAIに、洞察は人に」と分けることを提案しました。
AI向き:ローンチ後2週間の利用状況やフィードバックの集約など、ダッシュボードやSNSから情報を集める文書
人向き:洞察。そして、正しいデータを取るための「スキル」への投資を増やしている
10-3. Googleの「パーソナルアシスタント」
Lenny氏は、GmailやカレンダーなどのGoogleのデータを使い、他社のアシスタントが次々に登場しているのに、Googleはまだ決定的なものを出していないと指摘しました。Doshi氏は、「チームは素晴らしいものに取り組んでいるので、楽しみにしていてほしい。まだやるべきことがある」と答えました。
10-4. ライトニングラウンドから
おすすめの本:『息吹』(Ted Chiang氏のSF短編集)、『Creativity, Inc.』(Pixarの物語)、ロマンスファンタジー
最近の作品:『Severance』
愛用のAIツール:Wispr Flow(手首の不調があり、音声入力が助けになっている)
座右の銘:「物事には理由がある」と「セレンディピティを求めよ」
趣味:古典インド舞踊(10,000人以上規模の文化祭を企画)。出産後7か月で、今年は初めて参加しなかったという
