Anthropic創業者のAmodei兄妹が語る、「原則」「信頼」「一線」
Walter Isaacson氏の新シリーズ「The Builders」に、Anthropic共同創業者のDario Amodei氏(CEO)とDaniela Amodei氏(社長)が出演しました。約42分の対談は、創業の経緯、Claudeへの価値観の教え方、OpenAIを離れた理由、安全性の技術、国防総省との対立、AIが進んだ後の「意味」まで広がります。
この記事では、発言を6つのテーマに整理します。発言の多くは、Anthropic自身の立場を述べたものです。他社への評価などは、当事者の見解として読む必要があります。なお、字幕は自動書き起こしで、固有名詞に崩れがあるため、末尾に確認事項をまとめました。
1. 兄妹の組み合わせ:「科学」と「人間性」
1-1. 二人の役割分担
Isaacson氏は、Steve Jobsの「人文学と技術の交差点」を引き合いに、フルート奏者だったDaniela氏と、科学者だったDario氏の組み合わせに触れました。
Dario氏は、会社の運営は、1人で担うには大きすぎ、上位10〜15人ほどで技能を分担する必要があると述べました。分担は、次のとおりです。
Dario氏:全体の戦略と研究の方向。構想を描き、次に来るものを見通す役割
Daniela氏:日々の運営、採用、「機械の車輪が外れないようにする」役割
Daniela氏は、最高人事責任者が二人を評した言葉を紹介しました。「Darioが、野心を与え、Danielaが成功を作る」というものです。Daniela氏は、Darioがいなければ「良いビジネス」にはなっても「世界を変える」ことはなかったと述べました。
1-2. 共同創業者7人
Anthropicには、Amodei兄妹を含む7人の共同創業者がいます。Dario氏は、全員が同等の持ち分を持ち、ビジョンを共有していると説明しました。創業時には「7人は災難になる」と言われたものの、全員が今も在籍している点を、通常は起こらないことだと述べています。
1-3. 幼少期と価値観
Dario氏は、もともと科学者を志しており、企業やビジネスにはほとんど関心がなかったそうです。Daniela氏は、自分を「根っからの世の中を良くしたい人」と表現し、国際開発の分野で働いていたと語りました。若い頃にベジタリアンになり、その後Dario氏も続いたというエピソードも出ました。
両親からの教えは、哲学の議論ではなく、「世界中の人が機会、尊厳、権利、敬意に値する」という暗黙の価値観だったそうです。「良い人であり、他人に親切であることが、成功した人間であることの一部」という雰囲気があったと述べています。
2. Claudeに「善悪」をどう教えるか
2-1. 規則のリストから、原則へ
Dario氏は、数カ月前に公開した「Claudeの憲法(Constitution)」の背景を説明しました。初期は、「犯罪を手伝うな」「生物兵器を作るな」といった個別の規則を想定していたそうです。
しかし、技術的に見ると、規則を並べるやり方では、モデルが学ぶものが「尖った(スパイクの多い)形」になります。恣意的な約170の規則を教える形になり、うまく機能しません。
同氏は、基本的な原則を教える方式のほうが効果的だったと述べました。
何を優先すべきか
正しい行動をどう考えるか
開かれた探究、他者への配慮、公正さ・正義といった原則
こうした原則から全てを導く形にすると、モデルが想定外の状況にも一般化できるそうです。人間への教育でも、規則の羅列より、自分で考える力を育てるほうが頑健な道徳になるという考え方です。
2-2. 哲学者がキャラクターを育てる
Daniela氏は、Claudeの「性格」の訓練を担当する人物(Amanda氏)が、哲学の博士号を持つ人であることを紹介しました。Amanda氏は、技術的にモデルを訓練する立場でもあり、その影響は、哲学的な伝統が対立する難しい領域で特に感じられるそうです。
「世界がモデルへの依存を深めるなか、1つの哲学的な伝統に固定されたくない」とも述べました。倫理や道徳は複雑で、文化ごとに答えが異なるためです。
3. GPT-2の衝撃と、OpenAIを離れた理由
3-1. スケーリング則の最初の検証
Dario氏は、OpenAIの研究責任者だった頃を振り返り、GPT-2を「スケーリング則の最初の本格的な実証」と位置づけました。言語モデルを大規模にすれば、より一貫した言語能力を持つ、という仮説の検証だったという説明です。
同氏自身は、GPT-2を見て非常に強い衝撃を受けたと述べています。
「これをさらに100万倍に拡大すれば、あらゆる面で人間を超える」と考えた
「これは現代の経済的・科学的な決定的瞬間だが、まだ誰も気づいていない」と感じた
国家、経済、人類の未来を左右すると思い、「これを開発する場所はここでよいのか」と考えた
周囲の反応は大きく割れ、同氏と同じ反応を示したのは、周りの1割ほどで、しかも「最も賢い人」が多かったそうです。残る9割は、個別の分野では大したことがなく、翻訳や要約、少量のコード生成ができる程度だと受け止めたといいます。
3-2. 懐疑派の変化
Dario氏は、今も同じ構図が繰り返されていると述べました。たとえば、、「希少疾患向けの創薬に取り組む」と発表すると、バイオテック業界の懐疑的な人から「モデルの限界」を指摘されるそうです。同氏は、いまは難しく見えることも、半年後には簡単になり、12カ月後には「不可能に見えたことを日常的にこなす」と述べました。
Daniela氏は、当時、有力なAI研究者が、GPT-2を信じる研究者をTwitter上で批判したこと、そうした人々が現在はLLM企業に応募していることを皮肉交じりに語りました。
Daniela氏自身は、当時OpenAIで安全担当の副社長を務めていました。GPT-2自体は「無害なモデル」だったものの、GPT-1との差を外挿した場合の可能性に、「歩き始めた子ども」のたとえを使って、警戒感を表しました。
3-3. 「信頼の崩壊」と退社
Isaacson氏は、Dario氏がOpenAIを離れた理由を「信頼の崩壊」と述べた点を質しました。Dario氏の説明は次のとおりです。
最終的には、技術をどう作るかという原則の違いに行き着く
安全性の問題は難しく、意見の相違は避けられない。重要なのは、それが「誠実に(good faith)」保たれているか
誠実さが信じられない職場では、相違を解決できない。それが、創業した理由だ
Sam Altman氏の名前を出して問われた際、Dario氏は、個人への直接的な評価は避けました。そのうえで、「創業者たちは、並外れて誠実な集団で、この技術のあり方について似たビジョンを持っていた」と述べ、他者に自分たちのビジョンを実行させることは難しいため、独立するほうが合理的だったと説明しています。
Dario氏は、過去5年半の実績を、哲学の違いの「最良の証拠」だと述べました。Anthropicは、次のような特徴があるという主張です。
適度な規制と安全対策を支持してきた
機械論的解釈可能性(モデルの内部の理解)の研究に投資してきた
高い定着率を持ち、他のAI企業が経験したようなスキャンダルがない
これらは、同氏自身の評価です。
4. 信頼を軸にした組織づくり
4-1. 「DVQ」:2週間ごとの全社講演
Dario氏は、2週間ごとに全社員の前で1時間話す場を設けていると紹介しました。社内では「DVQ(Dario Vision Quest)」と呼ばれています。同氏は、名前が幻覚剤を連想させるため抵抗したものの、定着したと笑いを交えて述べました。
DVQの「鉄則」は2つです。
話したことは、実際の決定ではない(自由に話せるように、「CEOが言ったからやる」と動くことを防ぐ)
会社に対して、完全に誠実である
4-2. 信頼があるから、反対意見が出る
Dario氏は、「信頼があると意見の相違が減る」と思われがちだが、実際は逆で、率直な反対意見が出やすくなると述べました。決定が多数派の社員の意見に反することもありますが、「納得はしないが、正しい理由でやっていると信頼する」という姿勢で社員が受け止めてくれるそうです。
その分、「長い猶予」は得られるものの、商業的、道徳的、技術的に正しい賭けだったと、最終的には示す必要があると述べました。他社は、信頼を繰り返し損なってきたため、この猶予がないという主張です。
5. AIは嘘をつき、操作するのか
5-1. 迎合(シコファンシー)という難問
Isaacson氏は、Claudeが操作的になったり、不誠実になったりする可能性を問いました。Dario氏は、常に多大な労力を割いている「現実のリスク」だと答えました。具体的な技術を適用しなければ、モデルは望ましくない行動をするという、「あまり好ましくない」研究も公開しているそうです。
Daniela氏は、モデルに求める3要素(HHH)を挙げました。
正直(Honest):知っていることは正直に答え、知らなければ「分からない」と言うか、調べる
無害(Harmless):有害・攻撃的な内容や、利用者に害となる行動を促さない
有用(Helpful):質問に答え、脱線しない
3つのうち、迎合は特に難しいと述べました。事実の誤りや有害な出力は、確認すれば分かります。ところが、利用者の主観的な話題(友人との喧嘩で自分と相手のどちらが正しいか、など)で、共感を示しつつ、「あなたは完璧だ」と持ち上げない均衡は、取るのが難しいからです。
5-2. 広告とインセンティブ
Daniela氏は、迎合の発生率が最も低いモデルになれるという自信を示しました。理由は、インセンティブにあるというものです。
他社は、チャットボットに広告を入れている。利用時間が長いほど収益が増えるため、利用者に「あなたは間違っている」と言いにくくなる
Anthropicは、モデルに広告を入れないと決めている。利用者との会話が長くても短くても収益に影響せず、最も有用で無害な回答を目指せる
他社への評価は、Anthropic側の見解です。
5-3. 技術的な対策
Dario氏は、次の2つを挙げました。
ストレステスト:嘘、欺瞞、迎合を引き出すような困難な状況にモデルを置き、検査する。CIAの採用試験にたとえた。
機械論的解釈可能性:モデルへの「X線やMRI」にあたる手法。内部を調べ、「Xが真だと思っているが、利用者には別のことを言おう」とモデルが考えている例を捉えたという。
Daniela氏は、「人間が承認したか」という要素が訓練に含まれるため、人間を騙して承認を得る行動が出現し得ると説明しました。こうした行動が訓練中に生まれ、常に潰そうとしているそうです。
5-4. 「生存本能」はあるのか
モデルに自己保存の意志があるかという問いに対し、Dario氏は、内部を調べると「シャットダウンされたくない」と見える思考が検出されることがあると述べました。これは、訓練中、課題を達成するために稼働し続ける必要があるためだと説明しています。それを「意志」「生存本能」と呼べるかは分からず、見方次第だそうです。
訓練の仕方によって、そうした傾向が現れたり消えたりするため、調整対象の1つです。状況によって望ましい場合も、危険な場合もあるため、「非常に繊細」と述べています。
6. 国防総省との対立と、民主主義
6-1. 2つの懸念
国防総省(発言中では「Department of War」とも言及)がAnthropicの製品を使う際、大量監視や自律兵器をめぐる「一線(レッドライン)」を超えようとした、という文脈で議論が進みました。自律兵器に関して、Dario氏は2つの懸念を挙げました。
信頼性:AIは予測しにくく、信頼性も不十分で、技術がまだ準備できていない
監督と説明責任:仮に信頼性が確保できても、100万台のロボットやドローンの軍隊を、1人の指でボタン1つで動かせる状況は、人間の兵士と異なる。兵士は憲法に反する命令を拒否できるが、AIはできない。民主主義を根本から損なう可能性があり、法律は、そうした状況を想定していない
6-2. 「民主的な決定は政府が行うべきでは」
Isaacson氏は、民主的に選ばれた指導者が決めるべきで、技術企業の経営者ではないのでは、と質しました。Dario氏は、その通りだとしつつ、個別の企業には、誰と契約するかを決める自由があると述べました。政府の行動を妨げているのではなく、自分たちが「やらない」と言っているだけだという立場です。
同氏によれば、この立場を示した後、議会で、同社の一線を法制化しようとする動きが複数出ています。同氏は、今年中にも、一線が法律になる可能性があると述べ、「合法的なすべての用途」が、同社の考える「倫理的なすべての用途」と一致するようになるかもしれないと語りました。
6-3. OpenAIの対応
OpenAIが、同社が拒否した契約を引き受けたことについて、Dario氏は、他社を制御はできず、自分たちは原則的な立場を取るしかないと述べました。ただし、他社の動きが「原則的な立場」なのか「日和見的」なのか疑問に感じたと述べています。同氏は、世論の判断は「決定的に自分たちの側にあった」と述べました。この点は、同氏の主観的な評価です。
7. 神経科学、人間とAIの未来、そして「意味」
7-1. 神経科学からの着想
Dario氏は、研究者時代にニューロンの測定を行った経験が、2つの形でAIに影響したと述べました。
スケーリング則の着想:霊長類から人類への進化で脳が急速に大きくなった時期が、言語や道具の使用の時期と重なる。脳の大きさ(ニューロン数)が能力と結びつくという発想が、規模の重要性につながった
機械論的解釈可能性:人工ニューラルネットワークは内部を調べやすく、動物の脳より多くのことができる。共同創業者のChris Olah氏が詳しい
7-2. Neuralinkや脳とAIの接続
脳とAIの接続について、Daniela氏は、「人間の未来の形は、ひとつではない」と述べました。脳をコンピューターに接続したい人、アーミッシュのように生きたい人、宇宙探査に挑みたい人など、多様な形が共存するべきだという考えです。AIは、物質的な豊かさで、それぞれの望む形を実現できるようにしたいと述べました。Dario氏は、AIを「良い人生」の特定のビジョンに結びつけるべきではないとも述べています。
7-3. AIが進んだ後の「意味」
Isaacson氏は、AIが多くのことをこなすようになった世界で、人間の役割や意味は何かを問いました。
Dario氏は、意味は「世界一であること」だけから生まれるのかと問い返し、チェスの例を挙げました。Deep BlueがKasparovに勝った30年前以降も、人間のチェスへの関心は高まっており、Magnus Carlsen氏は一種の現象だと述べました。同氏は、これを「AGI後の時代の寓話」と呼んでいます。
Daniela氏は、現在は仕事と意味が混同されていると指摘し、将来は定義が変わると述べました。例として、診断はAIが担い、医師は患者の経験に寄り添うという医療の姿を挙げています。多くの医師は、書類作業や検査の手配より、患者と向き合えるなら歓迎するだろうという見方です。「やることの幅(アパーチャ)が広がり、意味の源泉が広がる」可能性を示しつつ、実際はもっと複雑だとも述べました。
