ChatGPTとGeminiで、おすすめアプリが真逆だった ─ 10種のAIモデルを比較した学術研究

記事概要

バルセロナ工科大学とピサ大学の研究チームが、ChatGPT・Gemini・Claude・Mistralなど商用4モデルとオープンソース6モデル、計10種のAIモデルに同じアプリ推薦の質問を10回ずつ繰り返したところ、異なるモデル同士でおすすめアプリが一致する度合い(Rank-Biased Overlap)は平均0.430にとどまり、AIが判断に使っている16種類の基準のうち、従来のASO指標に当てはまるのはわずか6種類だったことが分かった(2026年9月19日公開の改訂版論文)。

モデルによって「おすすめアプリ」はこんなに違う、基準もストア指標だけではない

Quim Motger氏・Xavier Franch氏・Jordi Marco氏(バルセロナ工科大学)とVincenzo Gervasi氏(ピサ大学)による論文で、arXivに2025年10月に初稿が公開され、2026年9月19日に改訂版が出ています。
手法はシンプルです。GPT・Gemini・Claude・Mistralの商用4モデルと、Llama・Gemma・Qwenなどオープンソース6モデル、合計10モデルに対して、「写真でコラージュを作りたい」のような同じニーズを伝え、上位20個のアプリとその判断理由を答えさせる、という作業を1つのニーズにつき10回ずつ繰り返しました。

結果、同じモデルが同じ質問に何度答えても大体同じアプリを挙げる「内部の一貫性」は、商用モデルの平均が0.804、オープンソースモデルの平均が0.594でした(1に近いほど毎回同じ結果)。
一方、モデル同士を比べた「一致度」は全体平均でわずか0.430、オープンソースモデル同士に限るとさらに低い0.384まで落ちました。つまり「ChatGPTで1位のアプリが、Geminiでは圏外」ということが普通に起きている、ということです。

さらに、回答の根拠として挙げられた理由(約76,000件)を分析したところ、16種類の判断基準に集約できましたが、評価・ランキングといった従来のASO指標に当てはまるのはそのうち6種類のみ。
残りはセキュリティ・プライバシー、UIの使いやすさ、カスタマーサポート体制など、ストアの説明文だけでは伝えきれない要素でした。Web検索を使わせても、この判断基準の中身はほとんど変わらなかったそうです。

また、「セキュリティとプライバシーを基準に」のように具体的な基準を指定すると、普段のおすすめには出てこなかったアプリが急浮上する現象も確認されました(例:「友達と連絡を取り合うには」という質問に対し、5つのモデルでメッセージアプリ「Threema」が急に上位5位以内に入った事例)。
ただしこの場合、モデル同士の一致度はかえって下がったとのことです。

「1つのAIで効果が出た対策」が、他のAIにも通用するとは限らない

これまで、AppTweakの調査をもとに「ChatGPTはストアのページを根拠にアプリを勧めている」「検索順位1〜4位なら引用されやすい」という話を紹介してきました。
今回の研究は、これに重要な注意点を加えるものです。

あくまでChatGPT単体の傾向だった過去の調査に対し、今回はGemini・Claude・Mistralなど複数のモデルを横並びで比較しており、モデル同士の一致度が0.430程度しかないことを明らかにしました。
つまり「ChatGPTに選ばれやすいようにストアの説明文を整えた」としても、それが自動的にGeminiやClaudeでの見え方にもつながるとは限らない、ということです。

日本のアプリ運用者にとっては、「AI対策」を単一の正解があるものとして捉えるのではなく、ストアの基本を固めつつ、複数のAIでの見え方を個別にチェックしていく姿勢が必要になりそうです。

具体的な打ち手

• 自社アプリ名やカテゴリ名について、ChatGPTだけでなくGemini・Claude・Perplexityなど複数のAIに同じ質問を投げてみて、推薦され方の違いを定点チェックする

• ストアの評価・順位だけでなく、セキュリティ・プライバシーに関する記載、サポート体制の説明など、ASO指標に含まれない要素も説明文やサイトに明記しておく

• 質問の聞き方(基準の指定有無)によって結果が変わることを踏まえ、ユーザーが実際に使いそうな複数の言い回しで自社アプリがどう扱われるか試してみる

• 1つのAIモデルで良い結果が出ても、他のモデルでは再現しない可能性がある前提で、特定のAIへの最適化に偏りすぎないようにする

• 社内でAI検索対応の担当を決め、月次などの頻度で複数モデルへの露出状況を記録・比較する

追記(2026/10/14): モデル間の一致度が低い理由の一端を示す実例も出てきた。Phitureの記事によると、ChatGPT・Claudeは学習データの記憶を中心に回答する一方、Geminiは記憶とライブ検索を組み合わせ、Perplexityは常にライブ検索でストアの説明文やレビューを直接引用するなど、AIモデルごとに情報の取得方法自体が異なるという。モデルによって見ている情報源が違う以上、一致度が低くなるのは自然な結果と言えそうだ。

よくある質問

Q. ChatGPTとGeminiでは、本当におすすめされるアプリが違うの?
A. はい。今回の学術研究によると、複数のAIモデルに同じ質問をした際、モデル同士でおすすめアプリが一致する度合いは平均0.430にとどまりました。これは「ある程度ばらつきがある」というより、かなり違う結果が出ることを示す数字です。

Q. AIが使っている判断基準は、ストアの評価やランキングだけ?
A. いいえ。回答の根拠から抽出された16種類の判断基準のうち、従来のASO指標に当てはまるのは6種類のみで、残りはセキュリティ・プライバシーやUIの使いやすさ、サポート体制といった要素でした。

Q. この研究を踏まえると、ASOの対策は意味がなくなるの?
A. いいえ。研究チーム自身も、AIによるおすすめはASOに基づく順位付けの「代わり」ではなく「補完的な仕組み」だと位置づけています。ストアの基本を固めることは引き続き重要で、そのうえで複数のAIでの見え方も個別に確認していく必要がある、という内容です。

出典: arXiv「Understanding Mobile App Recommendation Dynamics in General-Purpose LLMs: An Empirical Study」(Quim Motger, Xavier Franch, Jordi Marco, Vincenzo Gervasi、初稿2025年10月21日公開/2026年9月19日改訂)

筆者：Standarrow(ASO・AEO・広告配信を手がける日本向けアプリマーケティング支援)
アプリのAIO・ASOご相談・お問い合わせはこちらから。