【AIとの距離感】LLMの正体を覗いてみた｜大規模言語モデル

前の記事を読んでいるとより理解しやすくなっています。
はじめての方は先にこちらをどうぞ。

🔤 LLMという言葉を、なんとなく使っていた

Season 2でTransformerやAttentionを追ったとき、「LLM」という言葉が当たり前のように出てきました。

大規模言語モデル、という日本語もなんとなく理解した気になっていましたが、「大規模」の何が大規模なのか、「言語モデル」がそもそも何なのか、あらためて考えると説明できませんでした。

今回は、シリーズの後半に差しかかったところで、この言葉自体を掘り下げてみます。

📖 言語モデル（LM）とは何か

LM（Language Model、言語モデル）は、次にどんな単語が来やすいかを予測する仕組みです。つまり、「この文章の続きとして、もっともらしい単語は何か」を確率で計算するモデルのことです。

「今日は天気が」という文章の後には「いい」や「悪い」が来やすく、「魚が」は来にくい。この「来やすさ」を大量の文章データから学習したものが言語モデルです。

考えてみると、Season 2で追ってきたRNN・LSTM・Transformerは、すべてこの「言語モデル」を実現するための構造でした。名前は知っていたけれど、これまでの話の土台がここにあったのか、と少し驚きました。

📏 「大規模」とは何が大規模なのか

LLM（Large Language Model、大規模言語モデル）の「大規模」は、主に3つの要素の大きさを指しています。

パラメータ数
Season 2のGPTの変遷で追った話ですが、GPT-1の1億から、GPT-3の1750億まで増えていきました。パラメータは、モデルの中で調整される数値の集まりです。数が多いほど、複雑なパターンを学習できます。

学習データ量
インターネット上の膨大な文章を学習に使っています。書籍、記事、会話など、多岐にわたるデータです。

計算量
学習に必要な計算の量も膨大です。大量のパラメータを、大量のデータで調整するには、それだけ多くの計算が必要になります。

この3つが揃って初めて「大規模」と呼べる、ということのようです。

🏗️ プレトレーニングという段階

LLMは、プレトレーニング（事前学習）という段階を経て作られます。つまり、特定の用途に絞る前に、まずは大量の一般的な文章データで基礎的な言語能力を学ばせる、という段階のことです。

「Pre」は「前」という意味です。何かの前段階、というのがそのまま名前になっています。

Season 2のGPTの変遷でも触れましたが、GPT（Generative Pre-trained Transformer）の名前にもこの「Pre-trained」が入っていました。プレトレーニングの後に、RLHFのような追加の調整を行うことで、実際にサービスとして使えるモデルに仕上げていきます。

「事前学習」という言葉自体はよく見ていたのに、「何の前なのか」を考えたことがありませんでした。

⚙️ ハイパーパラメータという設定値

もうひとつ出てきた言葉が、ハイパーパラメータです。つまり、AIが学習する前に、人間があらかじめ設定しておく値のことです。

学習中に自動で調整される「重み」とは違って、ハイパーパラメータは学習が始まる前に人間が決めておく設定です。学習の速度、モデルの層の数、一度に処理するデータの量など、いろいろな種類があります。

「パラメータ」の上に「ハイパー」がつくと、途端に難しそうに見えます。実際、この設定をどう決めるかで学習の結果が変わってくるので、奥が深い領域のようです。ここは次の記事でもう少し追います。

🔗 毎日使っているAIとのつながり

Claude・Gemini・GPTと呼んでいるものは、すべてこのLLMです。

「言語モデル」という基礎の上に、「大規模」にするための工夫が積み重なって、「プレトレーニング」という段階を経て、今の形になっている。Season 2で個別に追ってきた話が、「LLM」という言葉のもとに集まってきた感じがします。

普段何気なく使っている略語が、実はここまでの学びの結晶だったんだな、と思うと少し感慨深いです。

ま、いっか

あとがき

ここまで読んでくださり、ありがとうございます。

今まで個別に学んできて、ちんぷんかんぷんだったことが、ようやく繋がり始めた。そんな気配を感じています。
少しずつ学ぶことが楽しくなってきましたw

よければご活用ください〜

「フォロー」や「スキ」をしていただけると励みになります！
今後ともよろしくお願いします！