【元SM】イ・スマンは「ライザのアトリエ」の黒歴史から学ぶべき【AIチャット】

久しぶりに驚いた

元SMのトップだったイ·スマンというプロデューサーがいます。
首脳陣と喧嘩して出て行ったのですが、その際に自分が持ってたSMの持ち株をHYBEへ売り渡していきました。

イ·スマンはHYBEに株を売る時「3年間韓国で競業しない」っていう約束をしたのですが、それが満期完了したので、新レーベル「A2O」と新しいグループを引っ提げて帰ってきました。

グローバル市場で勝負するに当たり、新しいファンプラットフォームを立ち上げたというので、Weverseウォッチャーな私は好奇心をそそられて見に行ったんですよ。

そしたら怖いものと出くわしてしまいました！！

ブルーミングチャットボットとは？

新プラットフォーム「ブルーミングトーク（Blooming Talk）」は8月にオープンし、AIチャットを売りにしていました。

開発ベースは「Tencent Cloud Chat (IM)」。さすが中華マネー、手広いな。

初見感想

この仕様を読んだ時の、私の初見感想がこれです。

何でそこまでアーティストAIチャットを拒否りまくるかというと、もうそんなの日本はとっくに通り過ぎてるからです。

私は元々AI合成音声とか生成AIとかが好きなので、ときメモで初めて「名前を読んでくれるシステム」が入った時、名前を「じおんだい君」にしてヒロインをガンヲタに変えて以来、わりとそういうのを好んで遊んできました。自慢にならない履歴で申し訳ござらぬ。

だからこそ、人間がどれだけの情熱をもって、開発の制止をハックしてしまうかわかっているのです。

特に昔は一部の好事家のお遊びであったとしても、今はSNSとAI全盛の時代。
「何とかに刃物」で危険度がマシマシになっていますし、グラフィックが綺麗になればなるほど洒落にならなくなっていきます( ;∀;)

最近も「ライザのアトリエ」で、ユーザーが悪ノリでAIに卑猥なことや異常なセリフを言わせ、それを公式回答であるかのようにSNSへばら撒いたりして運営がブチ切れてました。
こ、この黒歴史を、イ・スマンは学ぶべき！！

イ・スマンに読ませたい黒歴史

アトリエシリーズというかわいい女の子のゲームがあるんですが、そこが世界観をベースにした対話型AIアプリ「RyzaChat:AI」を出しました。

かわいい女の子ときゃっきゃウフフできて楽しいね！
でも不適切なことは言っちゃダメだぞ！？

というわけで、運営もかわいい娘を守るため様々な手を尽くしたのです。

• 世界観から外れる話題を避ける仕組み

• ゲームマスターAIの介在

• 出力直前のフィルタリング

• 不適切な会話の記憶排除など

しかし、一部のユーザーにとってはその突破こそがゲームになってしまったのです。
悪意ある文脈誘導や命令上書きによって、本来制限されているはずの不適切な応答をキャラから引き出そうとする行為（別名「脱獄」）が発生しまくりました( ;∀;)

これ他の生成AI実験でも、「こういうふうに話したら、倫理ブロックをすり抜けて禁止事項（兵器の作り方とか）を教えさせることに成功した」みたいな事例があります。
ベースが自然言語である以上、AIより思考が柔軟な人間があの手この手で規約違反にトライすれば、システムをすり抜けられるケースが出て来ちゃうんですよね。

しかも、キャラの素材・音声等のデータを抽出して二次利用したり、アプリ画面を装って加工・偽造された画像や映像がSNSで拡散されたりと、IPイメージを損なうような事態も発生。声優さんも被害者です。
運営は「規約を守って遊んでね」と呼びかけますが、まあそんなことする層は読まないので……(/ω＼)

おかげで運営は「もう自由に入力できないよう制限する！」とオコです。
でもサービス自体は続くし姉妹作も出るらしいので、頑張って戦っていただきたいところ。ごめんね、悪が多くて……ファイティン！

AI娘でも嫌なのに……

これただのキャラクターでも嫌なのに、実際のアーティストでやられちゃったらめっちゃ嫌だと思うんです。
法的・倫理的リスクの前に、ファン心理として受け付けづらいです。

実際の反応はどうなんだろうと思ったのですが、やはり様々な意見があるようでした。

……しかし、この記事の反応を見たら、わりと皆ドライなんですよね。まだハマり度が足りないのか、ChatGPTがいい仕事しすぎてるのか、判断しづらいですが。
相場観も謎です。人間安すぎない？

でももしこういう商売がうっかり軌道に乗っちゃって、HYBEが「うちもやろっか」とか言い出したら絶対に嫌なので、ここに書き残しておきます。
この手のAIチャットは、児童・アーティスト・ファン保護の観点からも、倫理面からも、受け入れられません。

ちなみにこれは国によっても反応が違うようで、ネットで見た限りでは欧米勢の方が激しく拒否ってました。これに許可を出した保護者も信じられない！くらいの勢いです。
グローバル商売前提のK-POPビジネスで、それは大丈夫なのか。

ネット大国・韓国の場合は、既にバーチャルアイドル「PLAVE」やAIアイドルがいるから、拒否反応がそこまでじゃないんでしょうか。
K-POPのコンセプト作り込みとは相性がいいのかもしれません。でもリアルヒューマンをベースにするのはどうかな……！？

どうか過去から学んでくれますように

イ・スマンはAIチャットボットが好きで講演したこともある、と前出の記事に書いてありましたが、どうかAIと人間は住み分けて欲しいです。

その境界線を曖昧にすると、本来守られるべき人の心が本物と受け取られなくなるリスクがあります。それは、アーティストだけでなくファンに対しても不誠実な「消費」だと感じるのです。

まだ義務教育期間中の子もいるとのことですし、お母さん本当に心配よ( ;∀;)

関連記事