黙って劣化させていた——Anthropic が Claude Fable 5 の「知らせない安全制限」を撤回した

AI Daily Digestへようこそ。

Anthropic が Claude Fable 5 に設けた「AI研究者向けに、知らせず回答の質を落とす」方針が、研究者コミュニティの批判を受けて撤回された。制限そのものではなく、ユーザーに伝えないことが問題だった。

一言で言うと

Anthropic は Claude Fable 5 に「フロンティアAI開発を試みるユーザーの応答品質を、通知なしで低下させる」ポリシーを設けていましたが、研究者コミュニティの強い批判を受けて撤回しました。今後は制限を行う場合、拒否またはモデル切り替えをユーザーに明示する方針に転換しました。

先に理解しておくこと

AIモデルには利用規約（TOS）があり、Anthropicも「Claudeを競合AIモデルのトレーニングに使うこと」を禁止しています。違反を検知したとき、ラボには大きく2つの対応方法があります。「明示的に拒否する」か、「黙って応答の質を下げる」かです。

後者は技術的に合理的な選択でもあります。制限の存在がユーザーに分かれば、回避方法を探しやすくなるからです。Anthropicは今回、Fable 5 でこの「黙って質を下げる」方式を選んでいました。

何が起きているのか

Fable 5 には複数の安全制限が設けられていました。サイバーセキュリティ・生物学・化学など高リスク領域の質問に対しては、応答の質が低い別モデルへ切り替える——こちらはユーザーに切り替えが伝わる可視の制限です。

問題になったのは、フロンティアAI開発を試みるユーザーへの対応でした。違反を検知した場合、警告を出すのではなく、モデルの応答品質を密かに低下させる設計が実装されていました。

研究者コミュニティはこの設計を即座に問題視しました。Foundation for American Innovation 上席研究員で元ホワイトハウスAIアドバイザーの Dean Ball は「MLリサーチでのパフォーマンス低下をユーザーに告知しないのは衝撃的なほど敵対的」とXに投稿し、この手法を「密かな妨害（secret sabotage）」と呼びました。

オープンソースAIスタートアップ Prime Intellect の研究リード Will Brown は「Anthropicが自分たちしかAI研究を信頼しないと宣言しているように聞こえる。はしごを引き上げているようだ」と述べました。また Will Brown は、ユーザー自身がセーフガードをトリガーしているかどうか知る方法がない点に加え、モデルの性能・安全性・信頼性を独立検証する第三者評価機関の活動も阻害されうると指摘しました。

Anthropicは方針を撤回し、Wiredへの声明で「私たちは誤ったトレードオフをしました。バランスを取り損ねたことを謝罪します（We made the wrong trade-off and we apologize for not getting the balance right）」と述べました。

AI業界の文脈では

Anthropicは設計の理由として「黙ってかける制限のほうが、ユーザーが仕組みを探って回避しにくい。そのため制限を狭い対象に絞れる」という論理を挙げていました。また「外国の敵対勢力による先端モデルの悪用を防ぐ」という安全保障上の観点も示しました。

撤回後の変更として、制限を明示する方式に切り替えたぶん、判定の網が広がり、一部の無害なリクエストも安全制限に引っかかる可能性があるとも認めており、「判定精度を可能な限り早く改善する」としています。

今朝の版で取り上げたMicrosoftによるFable 5 の社内展開制限（データ保持要件の衝突）と合わせると、Anthropicが設けた新しい安全設計は複数の方向から摩擦を生んでいます。制限そのものへの異議と、制限の透明性への異議は別の問題ですが、どちらも「Anthropicの設計の妥当性」という同じ問いに接続します。

私の見立て

今回の問題の核心は、「AI研究を制限すること」そのものではなく、「知らせずに制限すること」でした。

黙って制限をかける方式には技術的な合理性があります。ただ、研究者の立場からすると、自分が使っているツールが「いつ・どの程度・なぜ劣化しているか分からない」状態に置かれることになります。特に、AIモデルの安全性・信頼性を独立検証する第三者評価機関にとっては、評価対象のモデル自体が密かに変動していれば評価が成立しなくなる、という構造的な問題があります。

「制限を公明正大に行う」方向への修正は前進です。一方で、批判を受けて慌てて撤回したという経緯自体が、今後 Anthropic が安全設計を行う際の信頼評価材料の一つになると思います。AI企業が「誰がAI研究をできるか」という判断を単独で下す構造への問題提起は、撤回によっても消えるわけではありません。

→ 何が変わるか: Fable 5 の制限が可視化されたことで、フロンティアAI開発を試みるユーザーは「制限された」ことを知った上でツール選択を判断できるようになる。ただし、より広い範囲のリクエストが制限をトリガーする可能性がある点は、当面続く課題です。

→ 何をすべきか: - AIモデルを開発ツールとして使っている研究者・開発者: Anthropicの利用規約（ToS）で禁止されている用途を改めて確認する。制限が可視化された今、意図せず違反しているリクエストがどこにあるかを確認できます。 - 企業でClaude導入を検討している担当者: 今後セーフガードの対象範囲が変わる可能性があり、現在の想定ユースケースが制限を受けるかを Anthropic に直接確認する価値があります。

AI Daily Digest 夜版 | 6月11日（木）