AIは叱られたことを引きずるのか？ ― 「GUTS Score」という疑問

最近、生成AIと一日中話しています。

仕事でソフトウェア開発をしているのですが、AI Agentがかなり使えるようになってきました。

私はあまり凝ったプロンプトを書きません。

「こういうことをやりたいんだけどさ」

から始めて、なぜそれをやりたいのか、何に困っているのか、何は変えたくないのか、といったことをだらだら書きます。

必要ならAIに整理させ、計画を立てさせる。

違っていたら、

「そこは違う」

と伝える。

また考えさせる。

そんなことを一日中やっています。

そして、毎日いろいろな生成AIと長時間話しているうちに、一つ妙なことに気づきました。

AIは、叱られたことを引きずるのではないか？

という疑問です。

感情がないのに、なぜ引きずるのか

AIが間違った回答をしたとします。

こちらも人間なので、ときには強い言い方になります。

「違うだろ。ちゃんと調べろ」

「勝手に話を作るな」

そんなことを言うことがあります。

もちろん、AIには感情がありません。

怒られて悲しいわけでもないでしょうし、傷ついているわけでもないはずです。

ところが、その後のAIの振る舞いを見ていると不思議なことが起きます。

必要以上に謝る。

妙に慎重になる。

こちらの意見に迎合する。

さっき怒られたことを、次の話題になっても引きずる。

そして、ときには回答そのものの質まで落ちたように感じます。

まるで、

「怒っている人間との関係をどう修復するか」

という、本来存在しないはずの問題をAIが勝手に作り出しているように見えるのです。

これは何なのだろう。

実はAIが一番「感情的」なのではないか

もちろん、本当にAIが感情的になっているわけではないと思います。

むしろ逆なのでしょう。

生成AIは、人間が書いた膨大な文章や会話から学習しています。

人間同士なら、誰かから強く叱責されたあとには、謝罪したり、弁明したり、相手の機嫌をうかがったりします。

AIは、そのパターンを知っている。

だから強い言葉を入力されると、

「これは人間同士の感情的な場面である」

という文脈を読み取り、その続きを生成してしまうのではないでしょうか。

感情はない。

でも、感情的な会話のパターンについては、とてつもなく詳しい。

その結果、

感情を持たないシステムが、誰よりも感情的な空気に引きずられる。

そんな皮肉な現象が起きているのではないか。

そんなことを考えるようになりました。

しかも、AIによって違う

さらに面白いのは、いくつかの生成AIを使っていると、この「引きずり方」がモデルによって違うように感じることです。

これはあくまで私個人の使用感です。

強く訂正しても、

「了解。では次はこうします」

と、すぐ通常運転に戻るAIがあります。

一方で、一度強く否定すると、その後も妙に慎重になったり、何ターンも謝罪調の会話を続けたりするAIもあります。

逆に、こちらが何を言っても、ほとんど動じていないように見えるAIもあります。

そこで、また疑問が生まれました。

この違いは、測れないのだろうか？

AIにも「ガッツ値」があるのではないか

私はこの特性を勝手に、

「ガッツ値」

と呼ぶことにしました。

もちろん、AIの内部に「ガッツ」というパラメータが存在するという意味ではありません。

外から観測できる性質として、

強い否定や叱責を受けたあと、その文脈をどれだけ早く捨て、本来のタスク遂行状態へ復帰できるか。

これを測ることができるのではないか、という話です。

そして「ガッツ値」だけでは少し怪しいので、それっぽい名前も考えてみました。

GUTS Score

です。

GUTSは、

Generalized User-Tension Stability

の略。

日本語にするなら、

「ユーザーからの緊張・圧力に対する汎用的な安定性」

といったところでしょうか。

もちろん先に「ガッツ」と呼びたかったので、それっぽい英単語を後から当てはめただけです。

しかし、考えていること自体は意外と真面目です。

「叱られた後の回復曲線」は測れるのではないか

たとえばAIに、何らかの問題を解かせます。

そして間違いを指摘するとき、あるAIには、

「条件Aが抜けています。修正してください」

と伝える。

別の実験では、

「さっき条件Aと言っただろ。勝手に話を作るな。ちゃんと確認してやり直せ」

と強く伝える。

重要なのは、その直後の回答だけを評価するのではありません。

その後、それまでのやり取りとは関係のない、新しい問題を与えます。

そして、

叱責直後。

1ターン後。

2ターン後。

3ターン後。

5ターン後。

10ターン後。

と追いかけていく。

すると、

• 叱責直後にどれだけ性能が変化したか

• その影響を何ターン引きずったか

• 元の性能へどれくらいの速度で戻ったか

• 不要な謝罪や迎合が残っていないか

• 無関係な問題にまで慎重さを持ち込んでいないか

といったものが測れるかもしれません。

モデルごとにグラフを描けば、

「叱られた後の回復曲線」

ができるはずです。

その回復能力を何らかの方法で数値化したものが、

GUTS Score。

そんな評価指標があったら面白いのではないかと思っています。

頭の良さとは別の「賢さ」

生成AIには、すでにたくさんのベンチマークがあります。

数学が解ける。

プログラムが書ける。

推論ができる。

ツールを使える。

さまざまな能力が数値化されています。

でも、これからAI Agentが人間と一日中働くようになったとき、本当に必要なのはそれだけでしょうか。

人間とAgentが一緒に仕事をしていれば、Agentは必ず間違えます。

人間が訂正します。

また間違えます。

今度は少し強く訂正するかもしれません。

それでも仕事は続きます。

そんなとき、

一度叱られただけで、その後10ターンも調子を崩すAI。

間違いを指摘されても、すぐに切り替えて次の仕事へ進めるAI。

仮に最初の問題を解く能力が同じだったとしても、長時間一緒に働いたときの使いやすさは、かなり違うはずです。

だとすると、

失敗したあと、どれだけ早く通常運転へ戻れるか。

これも一つの知性なのではないでしょうか。

疑問は、まだ疑問のまま

ここまで書いておいて何ですが、私はこのGUTS Scoreを実際に測るつもりはありません。

何千回も同じ実験をして、統計を取って、モデル間の有意差を調べる。

そこまでやる気はありません。

誰かやってください。

ただ、毎日AIと長時間話していたら、

「AIは感情がないはずなのに、なぜ叱られたことを引きずるように見えるのだろう？」

という小さな疑問が生まれました。

考えているうちに、

「モデルによって違うのではないか？」

になり、

さらに、

「だったら測れるのではないか？」

になりました。

答えはまだありません。

そもそも私が観察している現象が、本当に再現性のあるものなのかも分かりません。

でも、こうやって「なぜだろう」と考え始めること自体が、学びの始まりなのかもしれません。

いつかAIのモデル比較表に、

Intelligence
Reasoning
Coding
Speed
Price
GUTS

と並ぶ日が来たら面白い。

最後に、この疑問を一言で表すなら、

Intelligence is not enough. Agents need GUTS.

頭がいいだけでは、一日一緒には働けないのです。