Anthropicが"化学兵器・爆発物"専門職を募集、OpenAIも危機対策を拡充——その裏側で何が起きているのか

こんむぎわ〜♪

むぎ屋のnoteに来てくれてありがとうございます！ 今日は、AIニュースを追っていて「え…そんなことまで考えてるの！？」と思わず声が出てしまったお話をシェアしたいと思います(´∀｀)

あなたは「AIって安全なの？」と思ったことはありませんか

生成AIを使い始めた頃、私はこんなことを考えていました。

「ChatGPTに悪意のある使い方をされたら、どうなるんだろう。。。」 「危険な情報を引き出せるって聞いたことあるけど、大丈夫なの？」

特に副業でAIを活用し始めた頃は、便利さの一方でなんとなくモヤっとする気持ちもあったんです。 実際に私自身、ハルシネーション（AIのもっともらしい嘘）によって間違った情報を発信して、信頼を損なった経験があります。。。

そのくらい、AIって「すごい力」があるからこそ、使い方を間違えると怖いんですよね。

そんな中、先日こんなニュースが飛び込んできました。

最初は私も「どういうこと？」と混乱しちゃいました(´∀｀) でも深掘りしていくと、これって実は「AIを安全に使えるようにするための重要な動き」だということがわかってきたんです。

今日はそのお話を、できるだけわかりやすくお伝えしていきますね♪

なぜAI企業が"危険物の専門家"を必要としているのか

🔍 背景にある「破滅的悪用（catastrophic misuse）」という問題

LinkedIn上のAnthropic求人によると、同社は「Policy Manager, Chemical Weapons and High Yield Explosives（化学兵器・高威力爆薬担当ポリシーマネージャー）」という専門職を募集しています。

その目的として、同社は「AIシステムがこれらの分野における機微な情報をどのように扱うかを形作り、技術の"catastrophic misuse（破滅的な悪用）"を防ぐため」と説明しているんです。

「破滅的な悪用」って何？

これ、つまり「生成AIを使って、化学兵器や爆発物の作成・合成・武器化に関わる危険情報を引き出せてしまうかもしれない」というリスクのことです。

AIってめちゃくちゃ頭がいいんで、悪意を持った人がうまくプロンプト（AIへの指示文）を工夫すると、本来なら答えるべきでない危険な情報を引き出せてしまう可能性がゼロではないんですよね。。。

そこで必要になってくるのが、「専門家の目でAIの応答を設計・監視し、危険な問い合わせを検知・対処する仕組みを整えること」なんです。