【AIとの距離感】今、どの言葉に注目すべきか｜Attention

この記事はTransformerの話を読んでいるとより理解しやすくなっています。
はじめての方は先にこちらをどうぞ。

まず、前回の練習問題の答えから。

前回の問いはこちらでした。

Transformerが登場以前のRNNやLSTMと大きく異なる点はどれでしょう？
A. 重みを使わずに学習する
B. 文章を順番に読まず、全体を一度に処理する
C. 画像と文章を同時に扱える
D. 人間がルールを書いて与える

正解は B. 文章を順番に読まず、全体を一度に処理する でした。

順番に読むという前提を疑ったことで、言語AIの世界が大きく変わった話でしたね。参加してくださったみなさん、ありがとうございました。

🔍 「全部を一度に見る」は、どうやって実現するのか

前回、Transformerは文章全体を一度に見渡す構造だと書きました。

ただ、「一度に見渡す」といっても、すべての単語を同じように扱うわけではありません。文章の中には、今読んでいる部分と強く関係している単語もあれば、ほとんど関係のない単語もある。

その「どの単語に注目すべきか」を動的に判断する仕組みが、Attentionです。

👀 Attentionとは何か

Attention（アテンション）は、注意・注目という意味の英語です。つまり、文章の中で「今、どの言葉に注意を向けるべきか」を計算で決める仕組みです。

「彼女はケーキを食べた。それはとても甘かった」という文章で、「それ」が何を指しているかを理解するには、「ケーキ」に注目する必要があります。Attentionはこの「それ→ケーキ」という関係を、文章全体の中から自動的に見つけ出します。

わからなくて当然です。自分も最初に読んだとき「注目を計算する」という発想がよくイメージできませんでした。

⚖️ スコアで関係を測る

Attentionの中では、単語同士の「関係の強さ」をスコアで表します。つまり、ある単語が他のどの単語とどのくらい関係しているかを数値化して、スコアが高い単語ほど強く参照する、という仕組みです。

「彼女はケーキを食べた。それはとても甘かった」なら、「それ」という単語から見たとき、「ケーキ」へのスコアが高くなる。「食べた」や「彼女」へのスコアは相対的に低くなる。

このスコアの計算を、文章内のすべての単語の組み合わせに対して行います。単語が増えるほど計算量が増えますが、並列処理できるので現実的な速度で動きます。

🔀 Self-Attentionという考え方

Transformerで使われているAttentionは、特にSelf-Attention（セルフアテンション）と呼ばれます。一言でいうと、同じ文章の中の単語同士が、互いにどのくらい関係しているかを計算する仕組みです。

「Self」は「自分自身」という意味で、外から情報を参照するのではなく、同じ文章の内側で関係を計算するところからきています。

Self-Attentionという名前を最初に見たとき、「自分に注目する？」と少し混乱しました。「文章の中の単語たちが互いを参照し合う」というほうが近い気がします。

🔗 今使っているAIとのつながり

ClaudeもGeminiもGPTも、このAttentionを使って文章を理解しています。

毎日Claudeに文章の相談をしているとき、長いやり取りの中でも文脈を保てるのは、このAttentionが「どの言葉が今重要か」を計算し続けているからでした。GeminiやGPTも同じ仕組みの上に動いています。「よく覚えているな」と思う瞬間の裏側が、少し見えた気がします。

RNNからLSTM、TransformerからAttentionへ。テキストを扱う技術がどう積み重なってきたか、ようやくひとつの流れとして見えてきました。

ま、いっか。

📢 お知らせ

次回から一部メンバーシップ限定記事になります。

内容はこれまでよりも深く、丁寧に。漫画も増えます。週1ペースでお届けする予定です。引き続きよろしくお願いします。

練習問題

Transformerで使われる「Self-Attention」の説明として正しいものはどれでしょう？

A. 外部のデータベースを参照して情報を補完する仕組み
B. 同じ文章の中の単語同士が互いの関係を計算する仕組み
C. 画像と文章を同時に処理する仕組み
D. 重みを使わずに単語を並び替える仕組み

正解は次回の冒頭で発表します。

あとがき

ここまで読んでくださり、ありがとうございます。

GPTの画像生成が凄まじいですね。
これなら私でもわかりやすくなってきたかもです！

「フォロー」や「スキ」をしていただけると励みになります！
今後ともよろしくお願いします！