【AIとの距離感・総集編】思ったよりずっと広かった｜Season 2

🗺️ Season 2を振り返る前に

Season 2のテーマは「思ったよりずっと広かった」でした。

生成AIというと、文章を書いてくれるもの、というイメージが最初にありました。でもSeason 2を通じて調べてみると、画像、音声、動画、言語。扱えるものの幅が想像以上に広くて、それぞれに固有の仕組みがあることがわかりました。

「広かった」というのは、技術の話だけではありません。知らないまま使っていたものの裏側を覗いたら、思っていたよりずっと深かった、という感覚に近い気がします。

まず、前回の練習問題の答えから。

前回の問いはこちらでした。

RLHFの説明として正しいものはどれでしょう？
A. 大量のテキストを読み込んで知識を増やす学習方法
B. 人間のフィードバックをもとにAIの回答を調整していく方法
C. 画像と文章を同時に学習させる方法
D. AIが自分で問題を作って自分で解く方法

正解は B. 人間のフィードバックをもとにAIの回答を調整していく方法 でした。

人間が「これが良い」と選んだ回答をもとにAIを調整していく。ChatGPTが会話として自然に感じられる理由のひとつがここにある、という話でしたね。参加してくださったみなさん、ありがとうございました。

🖼️ 画像生成AIの裏側

Season 2の最初は、画像生成AIの仕組みを追いました。CNN・VAE・GANという3つの名前が出てきて、最初は「また略語か」と思いました。

CNNは「見る」ための仕組み

CNNは画像を認識するための構造でした。線や色のパターンから始まって、段階的に特徴を捉えていく。「認識」のための仕組みが、生成の土台にもなっている、というのが面白かった。

VAEは「圧縮して再現する」

VAEは画像を特徴の塊に圧縮して、また元に戻す仕組みでした。その塊を少しずらすと、元とは違う画像が生まれる。これが「生成」の入口だと知ったとき、少し霧が晴れた気がしました。

GANは「対決で鍛える」

GANは生成器と識別器が競い合いながら精度を上げる仕組みでした。「敵対的」という物騒な言葉が出てきましたが、要は切磋琢磨ということで、なんとなく納得しました。

拡散モデルは別の話だった

調べ終わってから、今自分が使っているGeminiの画像生成は「拡散モデル」という別の仕組みだとわかりました。遠回りしたかと思いましたが、CNN・VAE・GANを知ったことで「画像生成AIがどういう発想から来ているか」の文脈は掴めた気がします。

拡散モデルについては補足記事でも追いました。

📝 言葉を扱う技術の変遷

Season 2の後半は、テキストを扱う技術の流れを追いました。RNN→LSTM→Transformer→Attentionという順番です。

RNNは「前を覚えながら読む」

文章を1単語ずつ読みながら、前の情報を引き継いでいく仕組みでした。人間が文章を読む感覚に近い。でも文章が長くなると最初の情報を忘れやすくなる、という弱点がありました。

LSTMは「忘れ方を学ぶ」

RNNの弱点を補うために、「何を覚えて何を忘れるか」を自分で判断できるようにしたのがLSTMでした。忘却ゲートという仕組みが面白くて、「忘れる機能を設計する」という発想が新鮮でした。

Transformerは「全部を一度に見る」

「順番に読む」という前提を疑ったのがTransformerでした。文章全体を一度に見渡して、単語同士の関係を同時に判断する。2017年に登場して、今のClaude・Gemini・GPTの土台になっています。

Attentionは「どこに注目するかを計算する」

Transformerの核心にある仕組みがAttentionでした。スコアで関係の強さを測って、重要な単語を動的に選ぶ。補足記事ではMulti-Head AttentionとQuery・Key・Valueまで追いましたが、Query・Key・Valueはまだふんわりしたままです。

🤖 ChatGPTの助走

GPT-1から数えると、ChatGPTには5年以上の積み重ねがありました。使い始めて1年の自分にとって、その助走の部分はまるごと知らないままでした。

パラメータ数がGPT-1の1億から、GPT-3の1750億まで増えていく流れ。RLHFという人間のフィードバックを使った調整の仕組み。そして今も解決されていないハルシネーションの問題。

「ある日突然すごいものが現れた」ではなかった、というのが一番印象に残っています。

🌱 Season 2を終えて

Season 1では「名前しか知らなかった」から「輪郭は見えてきた」に動いた気がしました。Season 2では、その輪郭の内側に少しだけ入れた感じがします。

それでもまだ、わかっていないことの方が多い。Query・Key・Valueはふんわりしたままだし、拡散モデルの詳細もまだ追いきれていない。

Season 3からは、技術の話から「使うときに気をつけること」の話に移ります。法律・リスク・ガイドライン。自分が毎日使っているClaude・Gemini・GPTが、どういうルールの上に動いているのかを見ていきます。

ま、いっか。

練習問題

Season 2の総まとめ問題です。

TransformerがRNNやLSTMと最も大きく異なる点はどれでしょう？

A. 重みを使わずに学習する
B. 画像と文章を同時に処理できる
C. 文章を順番に読まず、全体を一度に処理する
D. 人間がルールを書いて与える

正解は次回の冒頭で発表します。

あとがき

ここまで読んでくださり、ありがとうございます。

メンバーシップ限定にしてから、初の総集編となります。
かなりの人を置いてきてしまったような気がしていますw

それでも付いてきくれる方、本当にありがとうございます。

これからもっと改善していきたいとおもっているので、フィードバックお待ちしております！

「フォロー」や「スキ」をしていただけると励みになります！
今後ともよろしくお願いします！