自分の記事の正当性を判断してみた

サイトに掲載した自分のコラムを、ChatGPTに検証してもらいました。

感想を先に書くと、思ったより客観的に判断してくれるな、と感じました。

内容を肯定するだけでなく、主張に根拠がある部分、個人の経験として扱う部分、少し言い切りすぎている部分を分けて説明してくれます。

さらに、記事の分かりやすさも検証してもらいました。

内容として妥当かどうかと、読者に伝わりやすいかどうか。この二つを、文章を作ったあとのチェックに入れてもいいかなと思いました。

自分の考えを、AIでコラムにしています

今回検証したのは、「AIへの指示にも表れる、人間の文章力」というコラムです。noteでも同じ記事を読めます。

検証した時点のタイトルは「上手な文章とは？」でした。検証後、タイトルを「AIへの指示にも表れる、人間の文章力」に変更しました。URLは変えていません。

読者の方が元記事と検証内容を見比べられるように、タイトル以外の本文は修正していません。この記事で紹介する修正案は、元記事には反映していません。 以下のタイトルに関する指摘は、旧タイトルで検証したときのものです。

元記事では、読書の経験や、言葉の使い分けについて普段感じていることから、AIへの指示にも人間の言語能力が関係するのではないか、という話につなげています。

記事の作り方についても、少し説明しておきます。

私は、テーマや主張、自分の経験などを、文章もしくは箇条書きで用意します。それをAIに渡し、「matsu-writing-style」というスキルを使ってコラムにまとめてもらっています。このスキルの考え方と使い方は、紹介記事「AIが書く文章は、なぜ『自分の文章』にならないのか？」で紹介しています。

考えや経験の材料は自分で出し、文章として整理する作業をAIに手伝ってもらう、という使い方です。

ただ、自分の考えが文章になったからといって、その主張がどこまで正しいのかは別の話です。

読みやすくまとまっていると、論理の飛躍や根拠の弱さに気づきにくくなることもあると思います。

そこで、公開した記事を改めて検証してみました。

「この記事の正当性を検討してください」と依頼した

最初の依頼は単純です。

記事のURLを渡し、「この記事の正当性を検討してください」と入力しました。

ChatGPTは、事実の正確性、論理の整合性、主張の公平性、文章構成という観点で回答しました。

全体としては、中心的な主張は妥当だという評価でした。しかし、それだけで終わったわけではありません。

例えば、記事には、全く同じ意味の言葉が二つあるなら、どちらか一方は不要ではないか、という私の考えを書いています。

これに対しては、言葉には歴史的な経緯や地域差もあるため、不要だから消えるとは限らない、という指摘がありました。

ただし、記事の後半で私自身もそうした例外に触れているため、全体としては大きな問題ではない、と判断しています。

一文だけを取り出して誤りとするのではなく、前後の説明も含めて評価していた点が印象に残りました。

個人の経験と、一般的な事実を分けてくれた

もう一つ、なるほどと思ったのは、個人的な経験の扱いです。

私は記事の中で、本を読んできたことで言葉を使い分ける力が身についたのかもしれない、と書いています。

ChatGPTは、読解と文章作成の関連を扱う研究を挙げながらも、私自身の能力が何によって身についたかまでは確認できない、と説明しました。

そのため、「かもしれません」という書き方は妥当だという評価でした。

自己啓発本を読まないという話についても、個人の価値観であり、科学的な正誤を判定する対象ではない、と整理しています。

コラムには、自分の経験や好み、そこから考えたことが入ります。

それらを全部、客観的な事実として証明する必要はありません。ただし、自分の経験を誰にでも当てはまる話として書いていないかは、確認した方がよいでしょう。

今回の回答は、その違いを分けて見てくれていました。

結論の言い方にも、修正案があった

最後の結論については、少し表現を調整する提案がありました。

私は、AIを上手に使うためにも、まずは人間が言葉を知らなければならない、と書いています。

これに対してChatGPTは、言葉を理解し、自分の意図を整理する力が大切、という表現を提案しました。

元の書き方だと、語彙力がなければAIを使えないようにも読める、という理由です。

確かに、文章に自信がなくても、AIとの対話で考えを整理することはできます。私が伝えたかったことを残しながら、言い切り方を調整する案として納得できました。

一方で、コラムとして筆者の考えを強く伝えるために、元の表現を残す判断も成立する、と説明していました。

修正案を必ず採用するよう求めるのではなく、変える理由と残す理由の両方を示してくれる。この辺も、思ったより冷静に見ているなと感じたところです。

点数より、判断の理由が役に立つ

回答には、総合評価として90点という数字も出ていました。

ただ、この点数はChatGPTによる評価の目安です。記事が90％正しいと証明されたわけではありません。

私が役に立つと感じたのは、点数よりも、その理由です。

どの主張に根拠があるのか。どこからが個人の考察なのか。どの表現が誤解を招く可能性があるのか。

こうした説明があれば、修正するかどうかを自分で判断できます。

もちろん、検証結果そのものの確認も必要です。今回、ChatGPTは研究や公式資料を挙げていますが、資料が示す内容と回答の説明が一致しているかは、別に確かめる必要があります。

AIが妥当だと言ったことを、そのまま正しさの保証にはできません。

今回のChatGPT回答の要約。AIの評価は、正しさの保証や独立した出典検証

の完了を示すものではありません。

分かりやすさも検証してみた

続けて、同じ記事の分かりやすさも検証してもらいました。

こちらは、AIに関心がある一般の読者を想定し、伝えたいことを誤解せずに理解できるか、という観点で見てもらっています。

重点的に確認したのは、次の点です。

記事の主旨が伝わるか。

説明が理解しやすい順に並んでいるか。

話の途中に飛躍がないか。

曖昧な表現や誤解しやすい言い方がないか。

重複や脱線が、本題の理解を妨げていないか。

全体としては、分かりやすいコラムだという評価でした。

特に、相手や状況によってメールの言い回しが変わる例は、言葉の使い分けという話を具体的に理解する助けになっている、と評価しています。

また、AIは的確な指示でも間違えることがある、と書いている点も、指示さえ明確なら必ず正しい回答になる、という誤解を防いでいるとのことでした。

短い段落と見出しがあり、専門用語も少ないため、前提知識がなくても読み進めやすいという評価です。

ただし、こちらにも修正を検討できる箇所がありました。

タイトルと、本文の着地点に少し距離がある

最初の指摘は、検証時点のタイトルについてです。

「上手な文章とは？」という旧タイトルからは、文章の書き方や、読みやすい文章の条件を説明する記事を予想する読者もいるでしょう。

実際の本文は、私の読書経験や言葉への関心から、AIへの指示の話に進みます。

最後まで読めば主旨は分かりますが、冒頭で記事の方向を示した方が、読者は話を追いやすくなるという指摘でした。

例えば、次のような一文を加える案です。

上手な文章とは何か。自分の読書経験や言葉の使い分けを振り返ると、AIへの指示にもつながる話だと感じます。

今回は、この一文を本文に加える代わりに、タイトルを「AIへの指示にも表れる、人間の文章力」に変更しました。本文はそのまま残しています。新タイトルで同じ検証をやり直した結果ではありません。

経験談を残しながら、話のつながりを整える

自己啓発本を読まないという話についても、指摘がありました。

正当性の検証では、個人の価値観として問題はないと評価されています。しかし、分かりやすさの検証では、本題とのつながりが少し弱いという評価でした。

なるほど、同じ文章でも、見る基準によって指摘が変わるわけです。

私の考え方を伝えるエピソードとしては成立していても、読者が「文章の上手さにどうつながるのだろう」と感じる可能性はあります。

削除する必要はありませんが、少し短くするか、本題に戻る一文を置くという提案でした。

読解力の話からAIの話へ移る部分についても、橋渡しの説明があると、より自然につながるとしています。

例えば、次のような一文です。

自分の意図を言葉にし、相手の文章を読み取る。この二つは、AIを使うときにも必要になります。

自分では話がつながっているつもりでも、そのつながりを文章に書いていなければ、読者には分かりにくいことがあります。

こうした箇所を具体的に示してもらえるのは、修正の参考になります。

正しさと、伝わりやすさは別に確認する

最後の「人間が言葉を知らなければならない」という表現は、分かりやすさの検証でも指摘されました。

こちらでは、文章力を身につけてからAIを使うべきだ、という意味にも読めることが問題とされています。

修正案は、言葉を理解する力が何のために必要なのかを明確にするものでした。

AIに文章を手伝ってもらうとしても、自分の意図が伝わっているかを確かめるために、人間自身が言葉を理解する力は必要なのだと思います。

正当性の検証では、主張の範囲や例外を確認する。

分かりやすさの検証では、読者がどのように受け取るかを確認する。

両方から見ることで、同じ表現の問題を、違う理由から整理できました。

ただし、今回の分かりやすさの評価もAIによるものです。実際の読者に読んでもらい、どこで迷ったかを確かめた結果ではありません。その違いは残しておきたいと思います。

エージェント化するなら、執筆後に入れてもよさそうです

今回試してみて、コラム作成をエージェント化するときには、文章を作ったあとに、この二つのチェックを入れてもいいかなと感じました。

ここでいうエージェント化は、原稿作成からチェックまでの一連の作業を、決めた手順でAIに進めてもらう仕組みにすることです。

自分が用意したテーマ、主張、経験をもとに文章を作る。

そのあとで、内容の正当性と、読者への伝わりやすさを確認する。指摘があれば、理由を読んで、必要な箇所だけ直す。

この流れなら、自分の考えを残しながら、見落としていた問題に気づけるかもしれません。

ただ、すべての指摘を機械的に反映すると、個人のコラムが無難な説明文になってしまうこともあると思います。

経験談を残すか。強い言い方を調整するか。どこまで説明を加えるか。

そこは自分で判断したいところです。

思ったより客観的に判断してくれる。今回の検証では、そう感じました。

文章を整えたあとに、内容と伝わり方を点検してもらう。今後のコラム作成にも取り入れてみようと思います。

自分の記事で試すときの依頼例

公開記事のURL、または確認したい原稿を用意し、想定する読者も伝えます。非公開の原稿を渡す場合は、個人情報や顧客の機密情報を除いてから使います。

例えば、次のように依頼できます。

この記事の内容の妥当性と、分かりやすさを別々に検証してください。想定読者は、AIに関心がある一般の社会人です。最初に記事の主旨を一文で要約してください。事実と意見の混同、根拠の不足、説明の飛躍、曖昧な表現、誤解しやすい箇所を確認し、該当箇所、理由、最小限の修正案を示してください。個人の経験、主張、文体は残し、好みの違いと理解を妨げる問題を分けてください。出典は実際に確認できたものだけ示し、確認できない点は未確認としてください。まだ本文は修正しないでください。

点数を上げることより、指摘の理由を読んで判断できることを完了の目安にしたいと思います。実際の読者にも「何が言いたい記事だったか」「どこで読み返したか」を聞ければ、AIの評価と比べられます。

関連ページ

検証対象：AIへの指示にも表れる、人間の文章力 — タイトル以外の本文は修正していないため、今回の指摘と見比べられます。

文章作成の方法：AIが書く文章は、なぜ「自分の文章」にならないのか？ — matsu-writing-styleの考え方と使い方を紹介しています。

転載元

https://ai-work-tips.com/column-self-review-chatgpt/

元記事（本文未修正）

https://note.com/mcs_worklab/n/ne88860c5bac7

文章作成スキルの紹介

https://note.com/mcs_worklab/n/n975c72b4d87f

関連記事

あわせて読みたい記事はこちらです。