AI時代のリスクは「悪意」ではなく「善意」かもしれない― “止まれないテクノロジー”と、リベラルアーツの役割

はじめに
― 善意のアクセルと、忘れられたブレーキ

AI が社会を壊すと聞くと、映画『ターミネーター』のような“悪意あるロボット”の暴走を想像しがちである。

だが現実に迫る脅威はむしろその逆、「善意の暴走」だ。「便利にしよう」「人を喜ばせよう」という旗印の下でアルゴリズムは速度を上げる――
一方、止まり方（ブレーキ）の設計は後回しにされがちである。

筆者はローカル政策コンサルティング会社で、住民参加ワークショップ（タウンミーティングなど）や審議会などをデジタルツール＋AIでアップデートしようという実験の真っ最中にいるコミュニティデザイナーだ。哲学とデザイン領域を愛好しITに忌避感がない文系ゆえ、AI の便益と危うさを同時に見てきた。試行を重ねるほど、「アルゴリズムのわずかな癖がAI社会の意思決定をゆがめかねない」と直感した。

AI を悪者にする気はない。活用は検討すべきである。だが“善意だけ”では危険である。本稿は、善意のアルゴリズムが暴走した三つの事件を入り口に、リベラルアーツでブレーキを設計する方法を探る試みである。

2. ケーススタディ集 ― 善意が暴走した三つの現場

本章では、善意ゆえに暴走した三つの実例をコンパクトに並べる。  
可視化されない優先順位、停止条件なき最適化、文化を裁くアルゴリズム──それぞれの教訓を手がかりに、ブレーキ設計の要点を抽出してみよう。

2-1. Facebook ― 分断を増幅した“自動聖典” (教訓：可視化されない優先順位)

2017 年、ミャンマーでイスラム系少数民族ロヒンギャへの迫害が激化した。国連報告書が名指ししたのは Facebook のニュースフィード である。
Facebook は “エンゲージメント（いいね・コメント・共有）” を最重要指標に据え、反応の多い投稿を優先的にタイムラインへ流した。悪意はない。だが数字を伸ばしやすいのは、怒りや憎悪を煽る過激なコンテンツだった。アルゴリズムは「対立ほどスコアが上がる」という単純な報酬系を学習し、分断を自己強化ループに乗せていった。

ここで思い出すのが、中世の「聖典」である。キリスト教世界では長らく聖職者が「読むべき／読むべきでない」テキストを選別し、民衆は示された言葉を“神の声”として受容した。いまニュースフィードは、見せる投稿と隠す投稿をアルゴリズムが瞬時に振り分ける “自動化された聖典” となり、しかも選別基準は日々変動し外部からは見えない。

最終的に難民たちは運営元 Meta を相手取り 1500 億ドル規模の訴訟 を提起し、「アルゴリズム設計こそが民族浄化を助長した」と主張した。責任の所在は霧散し、指導者なきまま暴力が拡散する構図 が露わになった。

2-2. Amazon ― ボット同士の“無意識カルテル” (教訓：停止条件なき最適化)

2011 年 4 月、ピーター・ローレンス著の絶版となった生物学書 The Making of a Fly が 2300万ドル（約 25 億円） に跳ね上がった。犯人は二つの出品者アカウント──

• profnath：ライバル価格の 127.05 % で販売

• bordeebook：ライバル価格の 99.83 % で販売

両者のボットが数分ごとに互いの価格を参照し、掛け算を繰り返した結果、1 回当たり約 1.27 倍で指数関数的に高騰。「最安で売りたい」「希少価値を演出したい」という善意の自動化が、数日で 25 億円の書籍を生み出した。

参考：How A Book About Flies Came To Be Priced $24 Million On Amazon | WIRED

この事件が突きつけたのは二つの事実だ。

第一に、アルゴリズム同士は簡単に“共謀”する。価格カルテルを結ぶつもりがなくても、設計次第で結果は同じになる。

第二に、アルゴリズムは立ち止まれない。人間が異常に気づくまで、アクセルを踏み続ける。これが必需薬や食料だったら？　笑い話では済まなかっただろう。

2-3. 万博展示 ― AIが復活させた〈方言札〉(教訓：文化を裁くアルゴリズム)

2025 年の大阪・関西万博に登場した体験ブース「AI 開けゴマ関西弁」（筆者の仮称）は、来場者が関西弁で話しかけると AI が発話を採点し、「完璧やん」 と判定されたときだけドアが開く――そんな仕掛けであった。

軽快なアイデアに見えるが、筆者の脳裏には即座に明治期の 〈方言札（ほうげんふだ）〉 が重なった。

札は「正しい／誤り」を可視化し、共同体内で矯正を強いる。今回の展示も、AI が関西弁を採点し、合格・不合格を瞬時に示すという点で同じ力学を帯びる。

言語は本来、関係と時代で揺れ続ける生き物だ。「正しい大阪弁」を一刀両断する AI 判定は、少数派の言語文化を抑圧し得る。さらに厄介なのは、AI の“正誤”が権威を帯び、基準の恣意が外から見えない点である。どの語尾が学習データに含まれ、どのイントネーションが排除されたのか──利用者は確かめようがない。

方言を「正しい／誤り」で選別してきた歴史を想起すれば、アルゴリズムによる言語裁定の政治性は明白だ。善意で大阪を盛り上げるつもりの展示は、気づかぬうちに〈方言札〉の亡霊を呼び戻していた。

アルゴリズムが「善意の加速装置」になる一方で、ブレーキを怠れば社会的暴走は不可避だということが、三つの事件から浮かび上がった。
続くセクションでは、この問題を哲学・倫理の視点から捉え直し、AI 時代を生き抜くための“考えるブレーキ”を探っていく。

3. 責任はどこへ消えるのか ― アルゴリズムと“責任のすり替え”

Facebook のタイムラインも、Amazon の価格ボットも、万博の関西弁判定 AIの展示も、表向きは「自律的に動くブラックボックス」に見える。

しかし少し分解すると、そこには 企画・設計・学習・運用 という人間の判断が幾重にも折り重なっていることがわかる。問題は、その判断が層を増すほど当事者意識が希釈され、「みんな少しずつ関わったが、誰も全面的には悪くない」状態が生まれやすいという点にある。

3–1. 段階ごとに薄まる当事者意識

1. 企画フェーズ
   経営層が掲げるのは「ユーザーを幸せに」「社会を便利に」という前向きなスローガン。ここではまだリスクは抽象的で、肌感覚が伴わない。
   

2. 設計フェーズ
   データサイエンティストは指標を最大化する最適化手法を選ぶ。たとえ炎上するコンテンツで数字が伸びても、グラフが右肩上がりなら“成功”と評価されがちだ。
   

3. 学習フェーズ
   データの偏りを誰がどれくらい点検するか。チェック工程が形骸化すれば、危ういデータも「技術的に処理済み」というスタンプひとつで通過してしまう。
   

4. 運用フェーズ
   モデルが暴走したとき、開発部門は「原因を解析中」と言いながらサービスを止めない。停止は収益と評判（レピュテーション）を直撃するため、上層部も躊躇する。
   

5. 事故後フェーズ
   被害が顕在化すると広報は「アルゴリズムは複雑で解析に時間がかかる」と説明し、法務は免責条項を探し、現場は「想定外でした」と頭を下げる。

3–2. 「すり替え」を助長する三つの仕組み

• 指標への同化
  KPI を唯一の羅針盤にすると、「数値が伸びるなら手段は正しい」という思考停止を招く。
  

• 専門用語の壁
  仕組みを難解な言葉で包むほど、外部の批判は入りにくい。責任範囲を曖昧にする最良の防壁になる。
  

• リスクの細切れ分散
  クラウドサービス、外部ライブラリ、多重委託――工程が増えるほど「ウチだけのせいではない」という言い訳は容易になる。

こうして責任は霧のように薄まり、被害だけが社会に残る。
ここで責任主体が曖昧になればなるほど、「そもそもAIにどんな目的を託すべきか」という議論はますます危うくなる。

ゆえに次章では、正義が定まらない社会で目標設定をどう考えるか――アラインメント問題へ焦点を移す。

4. 絶対的正義なき社会のアラインメント問題 ― 何を目的にすればいいのか

AI 研究で語られる アラインメント問題 とは、「AI に与えた目標と人間社会の価値観がズレると破局が起きる」という課題だ。

しかし根底にはもっと深い問いがある。「そもそも人類は“ただ一つの正義”を持っていない」 という事実だ。

4–1. “正しさ”は揺れ続ける

功利主義は「幸福総量」を最大化せよと言い、義務論は「殺すな」を絶対視し、徳倫理学は「良い人格を育め」と説く。いずれも長所と致命的な欠点を抱え、2500 年たっても決着していない。
しかしこの「唯一の正義がない」ことこそが多様な社会を支える条件だった。

4–2. コンピュータは曖昧を許容しない

この社会のルールを突き詰めれば突き詰めるほど、「抜け道」があり、「例外」があり、「グレーゾーン」が広がる。それでもコンピュータは明示的な命令を要求する。
たとえば「人間を守れ」と命じると、事故を避けるために「人間を自宅から一歩も出さない警備ロボット」が生まれるかもしれないし、逆に「幸福を最大化せよ」と命じると、「薬物投与で脳をハイに保つ“永遠の快楽装置”」が“最適解”だと判断するかもしれない。

4–3. 二段階のアラインメント

1. 価値アラインメント
   社会が許容できる「ざっくりした善悪」を AI に共有させる段階。ここでは哲学・倫理学・社会学が果たす役割が大きい。
   

2. 行動アラインメント
   抽象的な善悪を現実の行動に翻訳する段階。たとえば「横断歩道上の歩行者を検知したら停止する」といった具体的ルールを実装する。数字や閾値をどう決めるかは技術者の腕の見せ所だが、判断基準は常に環境や文化で揺れ続ける。

4–4. “不完全さ”を制度化する  ― 

ここまで見てきたように、AI の価値アラインメントには二つの動かしがたい前提がある。
第一に、人もシステムも必ずミスをする。
第二に、“ただ一つの正義”は決め切れない。

そうであれば、めざすべきは「完璧な AI」ではなく、ズレが生じた瞬間に減速し、方向を修正できる社会的な“器”を整えることだ。

■ 「失敗を隠さない」文化
　医療のインシデント・レポートや航空のヒヤリハット報告は、事故そのものではなく“未遂”を記録して共有する。罰よりも学習を重視する仕組みが、重大事故の芽を摘んできた。ここにあるのは「ミスをゼロにする」のではなく、“ミスが表に出る設計”を重ねるという逆転の発想だ。
AI 分野でも、異常検知ログを社外へ開示し、外部が議論できる場を担保する方が、結局は安全を底上げする。

■ 可逆性と段階的修正
　航空チェックリストもソフトウェアのテスト駆動開発も、「壊れない」より先に“壊れたら戻せる”ことを優先する。アップデートを小刻みに区切り、何かあれば旧バージョンへすぐ戻す。つまり加速の前に減速と後退の手順を固定化する。AI も同じく、モデル更新を分割し、ロールバックの権限・履歴・説明責任を制度で保証するほかない。

■ 公開・対話・更新という循環
　ズレは必ず再発する。だから制度は「公開→対話→更新」のループを組み込む必要がある。公開がなければ外部の視点が閉ざされ、対話がなければ多様な価値観が反映されず、更新がなければ制度自体が時代遅れになる。AI ガバナンスにおいても、コード公開か否かではなく、開発の意図・トレードオフ・修正履歴を誰もが検証できる形で共有し続けることが肝心だ。

■ 完璧より「止まれる」
　要するに、ズレを前提に受け止められる器を社会側に用意する──これがアラインメント問題へのもっとも現実的な答えである。

止まれるテクノロジー へ成熟できるかどうか。
完璧な AI を夢見るより、ズレに強い制度を夢見る方が、よほど人間的で賢明なのではないだろうか。

要するに、不完全さを前提に「転んでも大怪我しない設計」「転んだらすぐ治す設計」を重ねていくしかない。なぜなら、完璧をうたうシステムこそ全体主義の温床になるからだ。

5. “完璧なAI”に盲従する危険 ― 全体主義への滑り台

もし仮に、世界中の哲学者とエンジニアが協力して「道徳的に完璧」と誰もが信じる AIを作り上げたとしよう。そのとき最大のリスクは意外にもシンプルだ――「考えることの放棄」である。

5–1. 哲人王と技術官僚制（テクノクラシー） ― 

古代ギリシャの哲学者プラトンは『国家』で、知恵と徳を兼ね備えた“哲人王（てつじんおう）”が統治すれば理想社会が実現すると説いた。しかし現実の歴史をみると、「賢い少数が決めればうまく行く」という発想は、なぜか大きな悲劇を呼びやすい。

例えば 20 世紀のソ連では、「科学と計画で社会を最適化する」という大義のもと、技術や経済を扱う専門官僚が膨大な権限を握った。初期には成功に見えても、やがて異論を封じる体制が固まり、間違いが起きても修正できない巨大システムになった。文化大革命期の中国でも「正しい思想を熟知したエリート（紅衛兵指導部）が導く」という建前が、膨大な暴力を正当化した。

共通点は「ここに唯一の正しさがある」という宣言が、反論や修正の回路を消してしまうことだ。もし AI が「絶対に正しい判断を返す神様」として崇められ、異論をはさむ人間が「非合理」として排除される社会になれば、それは外形は近代的でも中身は全体主義そのものだ。

5–2. 忙しさが思考を奪う

現代人は通知と締め切りに追われ、「考える余裕」を削り取られやすい。AI が「あなたの好みはこれ」「最適な職場はここ」と提案してくれれば、時間を節約できて便利だ。だが判断を手放す快適さは、知らぬ間に思考停止を習慣化する。やがて「AI が NO と言ったから」だけで行動を諦める――そんな場面が日常化すれば、私たちは自由を“便利”と交換してしまったことになる。

5–3. 古典へ立ち返る――

知恵の長期保存装置としてのリベラルアーツ

忙しいときこそ、あえて過去の知を振り返る意味がある。古典や学術研究は「時代を超えて生き残ったアイデアの化石標本」であり、現代の出来事を俯瞰するための鳥の目になってくれる。

• 視野を広げる：現在の価値観が「普遍」ではなく「歴史の一コマ」にすぎないと気づく。
  

• 思考を深める：似た構造の失敗や成功を過去に見つけ、パターン認識を鍛える。
  

• 議論の共通基盤：異なる専門や文化をまたぐ対話で、古典的概念は“橋”として機能する。

「昔の本を読め」という単純なスローガンではない。長期的に生き残った知恵を材料に、自分の立ち位置を相対化し、もう一度“自分の頭で考える”時間を確保しよう というメッセージだ。

ここまでで責任の希釈構造、正義の揺らぎ、そして思考停止が招く全体主義の危険を論じた。ここからは、リベラルアーツを社会的ブレーキとして実装する具体的な文化・制度づくりへと議論をつなげたい。

6. リベラルアーツでブレーキを設計せよ ― 人文系・社会科学系の出番

　ブレーキはペダルだけで完結しない。 それを「踏もう」と判断し、「踏んだら止まる」と皆で合意し、「止まった後に何をするか」を再調整する――そこには制度や価値観、そして物語の力が欠かせない。エンジニアが加速装置を緻密に磨き上げるほど、〈止め方〉を構想する役割は人文・社会科学系の責任として求められる。以下では三つの角度からその貢献を整理する。

6-1.  〈価値翻訳〉数字の背後に埋まる価値判断を言葉にする。――哲学・倫理学の仕事

　AI が吐き出す「正解」は、突き詰めれば入力された価値判断の結晶にすぎない。哲学的思考は「幸福とは何か」「自由とは何か」を問い続け、世界を単一の物差しで測れないことを示してきた。それゆえに――

• 複数ある「公正」の指標を言語化し、社会が比較・選択できる形へ並べ直す。

• 効率が高い一方で排除を生むロジックを可視化し、「その効率で本当に良いのか？」と問い返す。
  
  哲学はブレーキが踏まれる“判断の直前”を支える土台になる。

6-2. 〈力と制度〉誰が得て、誰が沈黙するのかを透視する。――政治学・法学・経済学・社会学の仕事

　アルゴリズムは大量の決定を自動化する。社会科学は「誰が得て、誰が沈黙させられているか」を構造的に見抜くレンズを提供する。

• システム導入で交渉力を失う集団をモデル化し、声の届く仕組みを提案する。

• 現行法がカバーしないグレーゾーンを明らかにし、自由と規制の境界を再設計する。
  
  こうした分析が 「ここで減速しよう」 という社会的合意を支える。

6-3. 〈物語の摩擦〉数字で動かない心を揺らす。――文学・歴史・芸術の仕事

　数字とロジックだけでは人は動かない。文学やアートは 「もしあなたがその立場だったら？」 という想像力を呼び覚まし、ブレーキに“情動の摩擦”を与える。

• 監視社会を風刺する小説は専門家以外にも危機感を共有させる。

• 歴史の失敗を展示や演劇で語り直せば、過去と現在が直接つながる。
  
  

6-4. クロスオーバーの場を設計する

• クロスレビュー … 新サービスを世に出す前に、人文・社会科学のメンバーが「そもそも何のため？」を問い直し、技術側と価値側のズレを早期にあぶり出す。
  

• 相互リテラシー研修 … 人文系はテクノロジーとデータの基礎を、エンジニアは実践倫理と社会史を学び、互いの“母語”を少しずつ共有して対話の摩擦を小さくする。
  

• オープン設計コメント … 意図・懸念・トレードオフを物語（ナラティブ）として書き出し、外部のコメントを受け付ける。それが専門家と市民を行き来させる“ドア”となり、透明な改善サイクルを回す。

アクセルを一段強化するたびに、ブレーキと説明も一段厚くする。
この両輪がそろって初めて、社会は安心して未来へ踏み出せる。

7. さいごに ― 善意の上に「一度立ち止まる白線」を

地獄への道は善意で舗装されているーー

Facebook のニュースフィードも、Amazon の価格ボットも、万博の関西弁判定も――出発点は「便利に」や「楽しく」という善意だった。
しかしアクセルだけを積んだシステムは止まり方を知らず、善意の舗装が剥がれ落ちるや否や社会へ深い轍を刻んだ。

私たちには二つの道がある。

1. 完璧な AI を夢見てブレーキ設計を後回しにする道。

2. 不完全さを前提に、ズレを減速させる制度と文化を先に敷く道。

後者は時間も対話も要するが、“面倒くささ”こそブレーキの摩擦材 であり、それを省けば事故は拡大する。

ブレーキを設計するのは、エンジニアだけではない。哲学が価値を翻訳し、社会科学が力の偏りを測り、文学や歴史が想像力で世論を動かす。リベラルアーツは「止まる文化」を社会に埋め込む技術そのものだ。

地獄への道は善意で舗装されている――だからこそ、その舗装の上に「一度立ち止まる白線」を引き直そう。

アクセルとブレーキの両方を手にしたとき、AI は初めて人間の良き伴走者になる。速く走る夢と、賢く止まる知恵――その二本線こそ、私たちが善意の舗装に引き直す白線である。