【AIとの距離感・補足】ニューラルネットワークをもう少し丁寧に｜ニューラルネットワーク

前の記事を書いたとき、自分でも「説明が薄いな」と思いながら削った部分がありました。 重みの話、誤差逆伝播法、活性化関数。どれも「あとで」と先送りにしたものたちです。

放置しておくのも気持ちが悪かったので、この記事でまとめて拾います。 前の記事を読んでいなくても読めますが、読んでいるとたぶん少しつながります。

🧬 ニューロンの話から始める

人間の脳には、約1000億個のニューロン（神経細胞）があるといわれています。

ニューロンは単独では動きません。他のニューロンから信号を受け取って、それが一定の強さを超えたときだけ、次のニューロンへ信号を送ります。「閾値（いきち）を超えたら発火する」という表現をすることもあります。

ニューラルネットワークはこの仕組みを数式で模したものです。生物学的なニューロンをそのまま再現しているわけではなく、

ネットワークの構造

ニューラルネットワークは、層（レイヤー）でできています。

入力層が最初にデータを受け取ります。画像なら、ピクセルの色の数値が入力されるイメージです。隠れ層（中間層）でデータが処理されて、出力層が最終的な答えを出す。「これは猫である確率87%、犬である確率13%」のような形です。

「隠れ」というのは、入力でも出力でもない、内部の処理を担う層という意味です。ここが複数あるほど、複雑なパターンを学べるようになります。

各層の中には「ノード」があって、ノード同士が「エッジ」という接続でつながっています。このエッジに重みがついています。

⚖️ 重みとバイアス

先日書いた記事で「重みとは信号の重視度を表す数値」と書きました。もう少し具体的にします。

あるノードが複数の入力を受け取るとき、それぞれの入力に重みをかけて足し合わせます。たとえば、入力が3つあって、重みがそれぞれ0.5、0.2、0.8だとすると、重みの大きい3番目の入力が結果に一番影響します。

ここに「バイアス」という値も加わります。バイアスは、ノードがどのくらい発火しやすいかを調整するものです。重みがゼロでもバイアスがあれば出力が変わる、という調整弁のようなものです。

活性化関数という仕掛け

重みをかけて足し合わせた値は、そのまま次のノードへ渡されるわけではありません。「活性化関数」というフィルターを通して、出力の形を整えてから渡します。

よく使われるものにシグモイド関数があります。どんな値が入っても0〜1の範囲に収めてくれます。「確率」として解釈しやすいので、出力層によく使われます。

ただ、隠れ層が深くなってくると、シグモイド関数は「勾配消失」という問題を起こしやすいことがわかりました。信号が何層も通るうちに、調整のための情報が薄くなってしまう現象です。

それを解消するために広く使われるようになったのが ReLU（Rectified Linear Unit）です。0以下の値はゼロにして、0以上の値はそのまま通す、というシンプルな関数です。計算が軽く、深い層でも情報が消えにくい。現在の多くのモデルで使われています。

🔄 誤差逆伝播法

学習の仕組みとして「重みを調整する」と書きましたが、どうやって調整するのかを少し掘り下げます。

AIに正解データを与えると、ネットワークが出した答えと正解のズレが計算できます。このズレを損失（ロス）と呼びます。

損失をなるべく小さくしたい。そのためにどの重みをどの方向に動かせばいいかを求めるのが誤差逆伝播法（バックプロパゲーション）です。

「逆伝播」というのは、出力層から入力層の方向へさかのぼって計算するからです。「この出力のズレは、どの重みのせいだったか」を、後ろから追っていく。微分の計算を使って、損失が最も小さくなる方向へ重みを少しずつ動かす。この繰り返しが学習の実体で、「勾配降下法」とも呼ばれます。

微分という言葉が出てきたあたりで少し手が止まりました。数式まで追うのは今回は諦めましたが、「後ろから原因を辿る」という考え方はなんとなく掴めた気がします。

📐 ディープラーニングの「深さ」は何をもたらすか

層が浅いネットワークは、単純なパターンしか捉えられません。「この線の角度が90度に近い」くらいの判断です。

層を深くしていくと、判断が積み重なります。最初の層で「線や色のパターン」を、次の層で「形の組み合わせ」を、さらに深い層で「物体の概念」を捉えるようになる。「猫」を判断するとき、「耳が三角で、目が丸くて、ひげがある」という特徴を段階的に組み立てていく、というイメージです。

この積み重ねができるようになったのが、ディープラーニングが第三次AIブームを牽引した理由のひとつです。

📝 まだ調べきれていないところ

勾配降下法には「ミニバッチ」や「Adam」などの最適化手法があること、過学習を防ぐための「ドロップアウト」という仕組みがあること、このあたりはまだ表面をなでた程度です。

深掘りするほど、芋づる式に言葉が出てきます。誤差逆伝播法を調べたら最適化手法が出てきて、最適化手法を調べたらまたべつの言葉が出てきて。どこで切り上げればいいのかがよくわからない。

ま、いっか。

あとがき

ここまで読んでくださり、ありがとうございます。

前回のニューラルネットワークがよくわからない単語が多かったので、補足記事を書いて理解を深めよう！と、したかったんです。
余計意味がわからなくなったきましたw

えーっと、うん。かんばります！

「フォロー」や「スキ」をしていただけると励みになります！
今後ともよろしくお願いします！

※シリーズ一覧用のマガジンです。よければ〜