【AIとの距離感】前を覚えながら読む｜RNN

まず、前回の練習問題の答えから。

前回の問いはこちらでした。

GANに登場する2つのネットワークの組み合わせとして正しいものはどれでしょう？
A. 圧縮器と展開器
B. 生成器と識別器
C. 学習器と記憶器
D. 入力層と出力層

正解は B. 生成器と識別器 でした。

偽物を作る側と見抜く側が競い合うことで、生成の精度が上がっていく仕組みでしたね。参加してくださったみなさん、ありがとうございました。

📖 言葉を扱うには、順番が大事だった

画像の話が続いたので、今回からはテキストの話に入ります。

AIが言葉を扱えるようになるまでには、いくつかの仕組みが順番に登場しています。まず最初に出てきたのが、RNNという構造でした。

🔁 RNNとは何か

RNN（Recurrent Neural Network）は、再帰型ニューラルネットワークと訳されます。つまり、前の処理の結果を次の処理に引き継ぎながら、順番にデータを読んでいく構造です。

「再帰型」という言葉を最初に見たとき、意味がよくわかりませんでした。調べたら「自分の出力を自分への入力に戻す」と書いてあって、もう少し戸惑いました。

これまで出てきたニューラルネットワークは、入力を受け取ったら一方向に処理して終わりでした。RNNはそこに「前の情報を持ち越す」という仕組みを加えたものです。

➡️ 「前の流れ」を引き継ぐ

たとえば「今日は天気が」という文章を読んでいるとき、次に来る言葉を予測するには「今日は天気が」という流れ全体が必要です。「が」だけ見ていても、何も予測できません。

RNNは、文章を1単語ずつ読みながら、それまでの流れを「隠れ状態」という形で持ち越します。一言でいうと、読んだ内容を次のステップに引き渡しながら進む、リレーのような構造です。

「隠れ状態」という言葉はまだ少し浮いている気がしますが、「前の流れを持ち越すもの」くらいの理解でいったん進みます。

⚠️ 長くなると、忘れる

ただ、RNNには大きな弱点がありました。

文章が長くなるほど、最初の方の情報が薄れていくという問題です。リレーのバトンを何人も渡していくうちに、最初に何を持っていたかがわからなくなる感じ、に近いかもしれません。

「彼女は去年の春、初めて訪れたあの街で出会った人のことを、今でも思い出すことがある」という文章で、「思い出す」が誰の話かを追うには、かなり前まで記憶を保たないといけません。RNNはここで詰まりやすかった。

この問題をどう解決したのかは、次の記事で追います。解決策の名前だけ先に調べたのですが、また略語が出てきて少し遠い目になりました。

ま、いっか。

練習問題

RNNが文章を処理するときの特徴として正しいものはどれでしょう？

A. 文章全体を一度に見渡す
B. 前の情報を引き継ぎながら順番に読む
C. 重みを使わずに処理する
D. 画像と文章を同時に扱う

正解は次回の冒頭で発表します。

あとがき

ここまで読んでくださり、ありがとうございます。

複数個まとめてだと、また頭がおいつかないことになるので、ひとつずつ学んでいこうと思います。
漫画も圧迫感なくなって、少しは見やすくしてみたつもりです！

よければご活用ください〜。

「フォロー」や「スキ」をしていただけると励みになります！
今後ともよろしくお願いします！