【AIとの距離感】ChatGPTはどうやってここまで来たのか｜GPTの変遷

この記事はTransformerとAttentionの話を読んでいるとより理解しやすくなっています。
はじめての方は先にこちらをどうぞ。

🤖 「ChatGPT以前」を知らなかった

ChatGPTが登場したのは2022年11月のことです。公開から5日でユーザー数が100万人を超えた、という話は有名です。

自分がClaude・Gemini・GPTを使い始めたのは、ほんの1年ほど前のことです。そのころにはすでに「すごいもの」として目の前にあって、助走の部分はまるごと知らないまま使い始めていました。

でも調べていくと、ChatGPTには長い助走がありました。GPT-1から数えると、5年以上の積み重ねがあった。

📖 GPTとは何か

GPT（Generative Pre-trained Transformer）は、OpenAIが開発したテキスト生成モデルのシリーズ名です。つまり、Transformerの構造を使って、大量のテキストであらかじめ学習（プレトレーニング）させた生成AIのことです。

「Generative」は生成、「Pre-trained」は事前学習済み、「Transformer」は前回・前々回で扱った構造のことです。名前の中に、ここまでの学びが全部入っていました。

まず、前回の練習問題の答えから。

前回の問いはこちらでした。

Transformerで使われる「Self-Attention」の説明として正しいものはどれでしょう？
A. 外部のデータベースを参照して情報を補完する仕組み
B. 同じ文章の中の単語同士が互いの関係を計算する仕組み
C. 画像と文章を同時に処理する仕組み
D. 重みを使わずに単語を並び替える仕組み

正解は B. 同じ文章の中の単語同士が互いの関係を計算する仕組み でした。

文章の内側で単語たちが互いを参照し合う、という発想でしたね。参加してくださったみなさん、ありがとうございました。

🔢 GPT-1からGPT-4まで、何が変わったのか

GPT-1（2018年）

GPT-1は、Transformerをベースにした最初のモデルです。パラメータ数は1億1700万。つまり、モデルの内部にある調整可能な数値の数が約1億1700万個あった、ということです。

当時としては大きなモデルでしたが、できることは限られていました。文章を続けて生成する、という基本的な動作を確認した段階に近い。「これは使える」というより「これは面白い方向かもしれない」くらいの手ごたえだったのではないかと思います。

GPT-2（2019年）

GPT-2はパラメータ数が15億に増えました。GPT-1の約13倍です。

このころから「文章を自然に続ける」という能力が明らかに上がり、OpenAIは当初「悪用されるリスクがある」として完全版を非公開にしていました。今から振り返ると、そこまで心配しなくてよかったのでは、という評価もありますが、当時の判断としては慎重さが出ていました。

自分はGPT-2の存在をあとから知ったので、リアルタイムで感じた緊張感はわかりませんが、「公開を迷うほどのものが出てきていた」という事実は少し驚きでした。

GPT-3（2020年）

GPT-3でパラメータ数が1750億まで跳ね上がります。GPT-2の約117倍です。

ここから一気に「業務で使えるかもしれない」という話が出始めました。文章生成、要約、翻訳、コード生成。指示を与えると、それなりに意図を汲んで動く。

ただ、GPT-3はまだ「指示に従う」ことに特化していませんでした。大量のテキストを学習しているので知識はある。でも「こういうことをしてほしい」という人間の意図を正確に理解して動く、という部分はまだ粗かった。

GPT-4（2023年）

GPT-4はパラメータ数が非公開になりました。OpenAIが詳細を明かしていません。

できることの幅は大きく広がりました。画像を入力できるようになり、複雑な推論や長い文脈の処理精度も上がった。Claude・Geminiもこのあたりの時期に本格的に登場・進化してきて、「どのAIが得意か」という比較が日常的な話題になり始めました。

🎓 RLHFという仕掛け

GPT-3からGPT-4の間に、重要な技術が加わりました。RLHF（Reinforcement Learning from Human Feedback）です。つまり、人間のフィードバックをもとに強化学習させる仕組みのことで、「人間が好む回答を選ぶ能力」を鍛える方法です。

具体的には、AIがいくつかの回答候補を出して、人間がどれが良いかを選ぶ。その選択データを使ってモデルを調整する。これを繰り返すことで、「人間が使いやすい」と感じる回答を出せるようになっていきます。

ChatGPTが「会話として自然」に感じられるのは、この仕組みが大きく効いています。ClaudeもGeminiも、それぞれ独自の方法で同じような「人間の好みへの調整」を行っています。

RLHFという言葉を最初に見たとき、「強化学習」と「フィードバック」が組み合わさっているのはわかっても、具体的な手順がなかなか頭に入りませんでした。「人間が選んで、それを正解として学ぶ」という部分だけを手元に残しています。

🌀 ハルシネーションという問題

GPT系のモデルを使っていると、もっともらしい嘘をつくことがあります。この現象をハルシネーションと呼びます。つまり、AIが事実ではない情報を、自信満々に正しいかのように生成してしまう問題のことです。

なぜ起きるのか。AIは「次に来る言葉として自然なもの」を予測して文章を生成します。その予測が、事実と一致しない場合でも、流暢な文章として出てくることがある。

自分も何度か経験があります。Claudeに人物のプロフィールを聞いたら、存在しない経歴が混じっていたことがありました。自信のある口調で書かれていたので、最初は気づきませんでした。

GPT・Gemini・Claude、どれもハルシネーションは起きます。完全にはなくなっていないし、なくすことが難しい問題として今も研究が続いています。「AIの言うことを鵜呑みにしない」という習慣は、どのモデルを使うときも必要です。

🔗 今使っているAIとのつながり

Claude・Gemini・GPT。毎日どれかを使いながら、なんとなく「これはすごい」と思ってきました。

でも調べてみると、2018年のGPT-1から数えて、地道な積み重ねがあった。パラメータを増やして、人間のフィードバックで調整して、ハルシネーションと戦いながら少しずつ改善してきた。

「ある日突然すごいものが現れた」ではなかった。そう思ったら、毎日使っているツールが少し違って見えてきた気がします。

ま、いっか。

練習問題

RLHFの説明として正しいものはどれでしょう？

A. 大量のテキストを読み込んで知識を増やす学習方法
B. 人間のフィードバックをもとにAIの回答を調整していく方法
C. 画像と文章を同時に学習させる方法
D. AIが自分で問題を作って自分で解く方法

正解は次回の冒頭で発表します。

あとがき

ここまで読んでくださり、ありがとうございます。

今回からメンバーシップ限定にしてみるという試みに挑戦です。
もしかしたら、また無料に戻す可能性もあります。
その時は、何卒ご容赦いただけますと幸いです。

私は最近になってやっと使い始めた段階なので、興味深いです。

「フォロー」や「スキ」をしていただけると励みになります！
今後ともよろしくお願いします！