6プロをWork Astraに査読させたらストロングリジェクトだった件　AI鑑識学　AI出力の癖　文体を暴き出すHuman on the Loop

こんにちは、黒パグです🐾

GPT-6 Proの通常チャットを試して、その会話を記事にまとめさせました。

いつもの黒パグムーブですが読者の皆様へ是非知っておいてほしい事柄もたくさん見えましたのでnoteで共有していきます。あ、安心してください4500文字以内で書いています。
まだ未発表ですがZenn記事の方で詳しく解説するつもりなので興味のある方はぜひXの告知をご覧ください。
通勤通学スキマ時間に聞けるようにポッドキャストを作ってあります。

ーーーー本文↓ーーーー

GitHubのコードを確認し、Google Driveを整理し、Deep Researchや学習モードも使う。書く材料には困らなかったのに、完成した文章がどうにも気に入らない。

そこでWorkへ持ち込み、Astraに査読させました。

判定はストロングリジェクト。

このまま公開するのは却下です。

ところが、査読を経た原稿にも同じようなAI癖が残っていました。元の資料まで戻って確認すると、査読側の読み落としまで出てくる。

6 Proが書いた記事をAstraに切らせたはずが、直しているAstraまで検体になりました。

「ここで重要なのは」が多すぎる

初稿には、「ここで重要なのは」「ここはかなり重要でした」といった念押しが何度も出てきます。

機能を一つ試すたびに重大な教訓を得たことになり、最後には全部がきれいな使い分けへ収まる。実際の会話では、途中で止まった作業も、原因を確かめていない出来事もあったのですが。

テンプレートを作れなかった場面は、こう書かれていました。

部品はある。
仕様もある。
データもある。
でも道がない。

ここだけ読めば勢いはあります。

でも、「道がない」と何を根拠に判断したのかは、改行しても分かりません。この調子が各節で続くと、操作の記録より決め台詞のほうが目立ちます。

私が開発中の「AI鑑識学v5」で重視しているのは、文章に現れた特徴と、その原因についての推測を分けることです。

同じモデルでも、使う画面、設定、会話履歴、途中の編集によって文章は変わります。語尾や箇条書きだけを見て、作者や内部の仕組みまで決めることはできません。

今回はAIが書いたと分かっている原稿なので、出自を当てる必要もありません。

元稿を残し、どこを直したか比較できるようにする。根拠を点検してから、公開用の文章として編集する。

この順番で進めます。

「無料」の意味で初手から事故る

最初のすれ違いは、私が6 Proを「無料最強チャットモード」と呼んだところでした。

ここでいう無料とは、Freeプランという意味ではありません。Pro契約の範囲内で使えるため、APIの従量課金を毎回気にしなくてよい、という意味です。

ところがGPTは、Freeプランの説明を始めました。

「無料」という単語だけなら、その読み方もあります。ただ、こちらは契約中の使い勝手を試しています。そこで料金プランの訂正を始められると話が進まない。

「お前まず日本語読め」

開始早々、これです。

その後の操作記録には、GitHubで音楽解析システムの構成を確認し、Google Driveで散らばっていたファイルを整理したやり取りが残っています。

OpenAI Platformでは、接続先の組織とプロジェクトを確認しました。ただし、APIキーの新規発行はしていません。

これらを全部「外部サービスへ到達できた」とまとめると、何をしたのか分からなくなります。

一覧を取得した。
ファイルを読んだ。
親フォルダを変更した。

同じ接続機能でも、操作の中身と権限は違います。記事に残すなら、実際に成功した操作まで書く必要があります。

また、査読AIが当時の記録を読んだことを、サービス側の状態まで再検証したことにはできません。

当日の操作記録と、今回の原稿チェックは別です。

Logitより先に、査読の読み落としを直す

同じスレッドでは、Deep ResearchでLogit関数を調べました。Logitは、確率を機械学習で扱いやすい実数へ変換する関数です。

画面には「4m・15件の引用・248件の検索」と表示されました。

完成したレポートは大作です。

定義から機械学習での使い方、計算時の誤差対策まで扱っています。要約、本文、比較表で同じ関係を説明するため、通して読むとかなり長い。

noteの記事へ持ってくるなら削ります。ただし、学習資料としての反復まで一律に誤りとは言えません。

むしろ問題があったのは、その後の査読です。

査読稿では、学習時の更新に関わる「勾配」について、出力部分の計算が簡単になっても、ネットワーク全体の問題が消えるわけではないと指摘していました。

ところが、元のレポートにはその注意がすでに書かれています。

関数自体の勾配が小さくなる話と、損失関数と組み合わせた出力部分の勾配を分けて考えるよう、明記されていました。

読み手が誤解する可能性を指摘することはできます。しかし、元文にある注意書きを落としたまま「説明が足りない」と批評するのは不公平です。

モデルが出す数値と確率の関係についても同じでした。

査読稿は、後から確率を補正する処理が入れば関係が変わる、と指摘します。それ自体は補足できますが、元のレポートは使う変換を明示したうえで説明しています。

別の処理を追加した場合の話を、そのまま元の説明の欠陥にはできません。

ここは査読側を修正します。

6 Proを切る記事にしたいからといって、元文にある留保まで消してよいわけがない。

Astra、お前も原文読め。

学習モードで「舐めてんのか」が3回出た

学習モードの題材はCSA2。

AIが長い入力のどこを参照するか、その計算をどう節約するかに関わる仕組みです。

ところが最初は初歩的な選択問題が出てきました。

「舐めてんのか」と黒パグがコメント

次の基礎確認にも、

「舐めてんのか2」と再度コメント

ここまでは、こちらが議論したい水準と質問が合っていません。

私が欲しかったのは、分かっている用語の確認ではなく、まだ決めていない設計について考える時間でした。

ただし、3回目まで同じ失敗として片づけると、今度は記事のほうが雑になります。

スクリーンショットに残っている3問目は、参照先を選び直すタイミングをどう検出するか、という設計上の二択でした。

候補を選び直した結果の変化を見るか、それより安く測れる別の変化を手掛かりにするか。少なくとも、用語を知っているかどうかのクイズではありません。

問題は、その直後です。

GPTは質問を出した直後に、「俺なら後者」と自分の推奨案を説明し始めました。

考えさせるための学習モードなら、そこで一度こちらの回答を待ってほしい。

私が答えると、GPTは「講師交代案件です」「草、３連敗です」と調子を合わせました。

やり取りとしては笑えます。

でも、欲しいのは反省コメントより次の問いです。

記事にも「三回とも初級クイズだった」とは書かず、何を聞かれ、どこで学習モードとして崩れたのかを残すことにしました。

テンプレートは説明されても完成しなかった

Template Creatorについて、GPTは元の資料から再利用可能なテンプレートを作れる機能だと説明しました。

そこで「鑑識プロンプトv4.3」を渡し、その場でテンプレート化するよう頼みます。

しかし、完成したテンプレートは得られませんでした。

GPTの説明は、そのチャットから必要な生成処理を呼び出せない、というものでした。

初稿はここを、

「モデル性能の問題ではありません。経路障害です」

と断定しています。

先ほどの「部品はある」「でも道がない」も、この場面です。さらに経路図まで作っていました。

しかし、その図の根拠もGPT自身の説明なら、原因を裏付ける証拠は増えていません。AIの説明をAIに図解させただけです。

今回確認できるのは、そのチャットでテンプレートを作成できなかったことと、GPTが実行経路を理由として説明したことまで。

本来使える機能が壊れたのか、その画面には提供されていなかったのか。内部の実行記録を確認していない以上、原因は保留です。

依頼はテンプレートの作成でした。

使い方をどれだけ丁寧に説明されても、完成品がなければ作業は終わっていません。

書いている間にアプリのスライダーが消えた

さらに画面を見比べていると、思考量を調整するスライダーがアプリでは見当たらなくなっていました。

ブラウザには残っています。

「UI変更かよおいwwwwww」

ナーフ、つまり性能を弱める変更なのかとも思いましたが、画面だけでは判断できません。

見えなくなったのは設定用のつまみです。内部で実際に使われる計算量を測定したわけではありません。理由を説明する通知も、今回の記録にはありませんでした。

ここをChatとWorkの違いとして説明するのも間違いです。

今回見比べたのはブラウザとアプリ。

記事を書いている途中で見つかったUIの差として記録し、性能が変わったかどうかは保留にします。

この修正版も検体です

初稿では、途中の失敗や未確認事項まで、

Chatで叩き台
Deep Researchで証拠候補
Workで本番検証

という使い分けに回収されていました。

私の作業手順として試すのはよいでしょう。ただし、原稿をWorkへ持ってきた時点で検証が済むわけではありません。

今回も、査読の指摘を元のLogitレポートと照合すると、査読側の読み落としが見つかりました。

記事のAI癖を直すとき、改行を減らしたり、決まり文句を言い換えたりするだけでは、この種の誤りは残ります。

反対に、黒パグらしく見せるため「草」やツッコミを増やしても、確認していないことが確認済みになるわけではありません。

元稿、査読を経た稿、そして今読んでいる修正版には、どれもAIが関わっています。

読み心地を変えても、来歴は変わりません。

だから原文も消しません。前後を残しておけば、削れた反復、修正された断定、編集後にも残った癖を比較できます。

この一例だけで、AI鑑識学v5の有効性が証明されたとも言いません。今回は、工程が分かっている文章を使った編集サンプルです。

そして今回のストロングリジェクトは、この記事をそのまま公開できるかどうかの判断です。

6 ProとAstraの能力順位を決める比較試験ではありません。アプリからスライダーが消えた理由も、まだ分からない。

6 Proの記事をAstraへ持ち込み、Astraの査読をもう一度鑑識する。

身内査読、全員検体。

それではまた！🐾

#ChatGPT
#生成AI
#AI鑑識
#GPT6
#黒パグ

おまけ　舐めてんのか事件