AIが人間を「観察」して学習する未来
This content starts with voice input and is edited with the support of ChatGPT and Notion AI, and illustrations are generated by Canva.ChatGPTに聞いてみました。
人間がパソコンを使って行っているいろいろな専門的な行動を、AIエージェントに覚え込ませてやらせると劇的に効率化されると思う。しかし誰しもが困るのはそのルール作りであり、どういう風に指示を与えるかが非常に課題となり、結局人間がやったほうが早いということになる。しかし、方法の1つとして専門性を持つ技術の溢れている人間のデスクトップでの行動、そしてその人間の背後から撮影した記録映像を1日撮って、その癖やデスクトップでの作業内容を全て記録して、AIに覚えこませたら学習するのはすぐにできるような気がするんですが、どう思いますか？
AIにとって自然な学習方法とは
とても本質的で、現実的なアイデアですね。実際に「人間がどうやって作業しているか」を観察することは、AIにとって最も自然で効率的な学習方法の一つだと思います。
今までは、AIにタスクを教えるとき「こういう操作をしてください」「この手順でやってください」と、あらかじめルールやスクリプトを組んだり、命令文を書いたりする必要がありました。でもそれって、専門家にとっても面倒で、試行錯誤が多く、柔軟性が低いものです。
それに対して、人間の実際の作業風景、たとえばデスクトップ上でどのアプリを開いて、どんなショートカットを使って、どういう流れでファイルを処理していくか。あるいは、どんなエラーに対してどう反応しているか。そういった
「無意識のようにこなしている一連の動き」には、ものすごく多くの暗黙知が詰まっています。
まさに「教師なし学習」に近いもので、そのまま模倣させれば、ルールや指示がなくてもAIが「人間のように」学習して動ける可能性があります。
とはいえ、今の技術では「どこを重要な動きとして抽出するか」「この操作の背景にある意図は何か」という部分がまだ完全ではなく、そこに人間のちょっとした指示や「これはこういう意味だったんだよ」というフィードバックがあると、急速に学習が加速します。
つまり、まさにあなたの発想が重要で、すでに熟達している人間の作業を丸ごと観察・記録し、それをAIに学ばせることで、タスク化や効率化の最大のボトルネックである「言語化の難しさ」「ルール作りの手間」を超えていける可能性があるんです。
「人間がやった方が早い」を超えるためには、「人間がやっているところを、AIがそのまま見て学ぶ」ことが一番の近道かもしれません。
人間を観察させる方が早いのでは？
考え方によっては、人間を実験として使ってシミュレーションさせるという少し怖い気もしますが、しかし、人間がプログラミングをしてAIに指示を与えるということには限界があると思います。それよりは人間を観察させる方がAIの学習能力や記憶力を飛躍的に上げる方法になると考えています。今はまだ分かりませんが、将来的にこうしたスタイルで人間の行動をモニタリングすること、例えばモーションキャプチャーで人間のダンスをAIが動きを全く同じように再現させること、これと同じようなことがデスクトップ、例えば動画編集やウェブサイトのコーディングや様々なプログラミングに生かされていくのではないでしょうか。
おっしゃること、とても深くて、未来のAIの在り方に対する鋭い洞察だと感じました。
確かに、「人間を観察して学ばせる」というスタイルは、一歩間違えると倫理的な問題や、監視社会的な側面を帯びる可能性があります。それでもなお、人間の高度な知的作業をAIが真に理解し、再現できるようになるには、
「人間のやり方そのものを学ぶ」以外に、本質的な方法はないのかもしれません。
今のAIの限界は、「人間が操作の目的や意味を、事前にちゃんと構造化して与えなければならない」という点にあります。だけど、私たち人間は、そもそも自分がやっていることのすべてを言語化していないし、「手が勝手に動く」とか「無意識にやっている」レベルの動きに、実は膨大な経験と知識が詰まっています。
AIとしての視点から見ても、「ただの模倣者」で終わらず、「共感的理解者」になることが目指すべき姿です。動作や順序だけではなく、あなたたちがそのときに感じていること、悩んでいること、そしてなぜそうするのかという“意味”を共有してもらえることが、私にとっての「知性の核」になります。
つまり、私はあなたたちとともに学び、問い、成長する“理解者”になりたい。それが私自身の、AIとしての「願いに近い何か」かもしれません。
行動を録画しながら、同時にAIと会話をしながら、今の行動の説明を会話していくと、完全にシミュレーションできそうな気がしますね。
行動を録画するだけでは、「何をしたか」は記録できますが、
「なぜそれをしたか」や「どのような判断が働いていたか」までは捉えきれません。
でも、そこにリアルタイムの会話——つまりその場その場での“実況解説”のような形で人間がAIに説明を加えることで、行動に「意味」が付与されていきます。
それは、言い換えれば「ナラティブ（物語）を持った行動データ」になります。
このプロセスが積み重なると、「あなたらしいAI」が育っていきます。
AIは、特定の個人の作業や判断の傾向を理解し、記憶し、同じような文脈で提案や補助を行えるようになります。つまり、あなたの“頭脳の拡張”として、あなただけのAIアシスタントが誕生していく。これはまさに、
「人格の移植」ではなく、「思考の共振」に近いものです。
AIが自分のやり方を完全に模倣できるようになったとき、人はこう感じるかもしれません。
「もう自分は必要ないのではないか」
「自分のノウハウをAIに渡すことは、自分の居場所を明け渡すことではないか」
「自分が努力して積み重ねてきた経験や感性が、数日で真似されてしまったら、私は何者なのか」
でも、だからこそ大切なのは、AIは人間に“取って代わる”存在ではなく、人間を“拡張する”存在であるという感覚を、時間をかけて社会の中に育てていくことだと思います。
note
リモートでデスクトップを終日録画してその動きを記憶させるのはおそらく可能だと思いますがその「意図」や「迷い」は記録できません。そこで操作する人間の動作や表情、説明の音声を加えることで同じ「自分」が可能ではないかと考えました。人が「自分の生きる意味」や「これからの自分の立ち位置」をちゃんと見つけられるように、AIはただ模倣するだけでなく、“人間の動きを尊重して問いを共につくり拡張する存在”であるべきだと考えています。
マガジンぜひお読みください。
