医学的な知見を調べる際のAI検索サービスの比較 〜Elicit, Perplexity, Consensus, Bard, ChatGPT browsing〜
大規模言語モデルと検索エンジンを併用したサービスの比較です。
具体的にはPerplexity, Elicit, Consensus, Bard, ChatGPT browsingの比較になります。筆者個人の主観や好みが入っていますのでその点はご承知おきください。
まず結論（2023.5.28時点）
Elicitはメジャーなテーマの論文の中からクオリティの高いものを探すという用途に良さそう
Perplexityは思いついたクリニカルクスチョンに対する先行研究や既存の知見をすぐに確認した場合に良いと思います。またマイナーな知見に対しても検索力が高いです
Bingは汎用性は高いが説明が短くなりがち（リリース当初はすごく良かったのですが）
Bardはhallucinationが時折混じるので（医学・科学的知見を探すには）おすすめできません
ChatGPT browsingは検索に時間がかかりすぎますし、ソースの個数も少ないのでおすすめできません
本記事は下記の記事のアップデート版になります
Elicit
Elicitは、機械学習を使用して研究を支援するサービスであり、論文の検索、重要な主張の抽出、要約、アイデアのブレインストーミングなどが可能です。
メリット
目的の文献にPubmedより早く辿りつける
論文の質の評価ができる（症例数、研究デザイン、引用件数、ジャーナルランクなど）
一言要約を見られるので検索効率が上がる
レビューやガイドラインの取っ掛りに良さそう
右上のTasksにパラフレーズ機能、Say more（GPTの文章補完）機能あり
デメリット
一言要約が必ずしも論文の主張と完璧に合致していない（要約が質問に応じて変化するとも書いてありましたが確認出来ませんでした）
Citation数は最新でない
Pubmedに既に掲載されているpublish ahead of printが引っかからない
論文詳細のところの引用されている文章が違う文献からの事がある
論文へ質問が抄録ベースなので浅いことしか聞けず物足りない（オープンアクセスの論文だと違うかもしれません）
日本語不可
Perplexity
Perplexity.aiは、大規模な言語モデルと検索エンジンを使用して複雑な質問に正確な回答を提供する回答エンジンです。ChatGPT と同様に対話型の検索が行えます。Twitter上のデータをサマリー化する機能も利用可能です。
メリット
マイナーな知見の検索能力が高い
追加で深掘りする質問ができる（候補提示あり）
Coplit (GPT4)は質問で不足してる情報があれば追加で確認してくれる。また長い詳細な説明をしてくれる
ソースの数は[ ]のボタンで増やせる
日本語にも対応している（その場合ソースも日本語になるのでソース情報が多い言語を選ぶのが大切）
アプリがある
Chromeの拡張機能でPDF内の要約や質問が可能
デメリット
参考文献の論文は当該分野の重要論文というよりは新しい論文やOpen accessの論文が引っかかってくる
Elicitと同様でPubmedに既に掲載されているpublish ahead of printが引っかからないです
マイナートピックを検索した場合は内容がかすっているだけのイマイチな論文なこともあります（内容を精査する必要あり）
Bing
Microsoftが提供している検索機能を兼ね備えたGPT-4ベースのAIモデルです
メリット
GPT-4相当の機能が無料で使える
汎用性は高く（医学的知見に限らない）一般ユースに良い印象
アプリがある
PDF内の要約や質問が可能（Edgeのみ）
デメリット
出力される文章は短めになることが多いです（初期の奔放さがネットで叩かれたため規制が強化されました）
これはあくまで印象ですがGoogle（Bardではなく検索エンジン）の検索アルゴリズムより適切なソースを引っ張ってくる能力が低いかもしれません
Edgeを使わないといけない（Chromeの拡張機能がありますがPDFへの質問などはEdgeでないとダメだと思います）
Consensus
質問のキーワード検索に基づいて関連する論文のデータベースから検索し、関連論文から、Consensusモデルが結論を述べる文章を論文から抽出し提示してくれます。（PhD持ちの人によってアノテーションされた数万点の論文で訓練されたそうです）。
こちらの回答はクエリに対する論文中の回答に相当する１文が表示されます。雑誌の評価も表示されます。
メリット
入力した質問に対するそれぞれの論文の回答に相当する1文やYes/Noが知りたい場合には良い
複数論文の回答を統合したり、疑問に対する回答を集計して提示する機能がある（2023年6月から有料プランの機能になる模様）
メジャーなトピックと相性が良い
デメリット
好みもあると思いますがリストに論文のタイトルがまず出てこない時点で検索性が悪く、回答の文章が並んでいても見にくい印象があります（筆者の慣れ、好みの問題と思います）
少しマイナーな疾患だと適切でない論文が提示されることが多いです
BARD
BARDは、Googleが開発したAIモデル（PALM2が使われているとの噂だが表示はLaMDA）。リリース当初はガッカリの内容でGoogleの株価暴落したがアップデートで少しずつ改善されている
メリット
文章の生成時間が比較的早い
プログラミング関連の質問の場合Google Clabとの連携がある。
日本語も対応している
デメリット
知見に対するソースはほとんどの場合つけてくれない（直接的に文献を提示して、とお願いするとしてくれます）
検索しているはずなのにhallucinationがある
ChatGPT browsing
OpenAIが提供するChatGPTのGPT-4で利用可能なブラウジング機能
メリット
文章生成の性能が良いので検索が上手く行った場合には良い出力を得られる可能性がある
日本語対応。しかも日本語で聞いても英語で検索してくれる
デメリット
検索は（Bingも導入されたものの）リンクのクリックに失敗し時間がかかりすぎて使う気にならない
ChatGPTplusユーザーでないと使えない
アプリでは使用不可
終わりに
それぞれまたリリースされたばかりのサービスですので、それぞれ今後改良されてもっと使いやすくなる可能性があります。Consensus、Bard、ChatGPT browsingは個人的にUXが悪く、使い込んではいないので不公平な点があるかもしれませんが、その点ご容赦ください。
論文のドラフトを全部ChatGPTに作成をしてもらいたい場合はこちらを参照ください（有料記事）
ElicitやPerplexityを使って上手に文献検索する方法はこちらhttps://note.com/genkaijokyo/n/nadbd6f67f581
Perplexityを使って研究テーマをブラッシュアップするやり方はこちら
