PoeのGPT-4対GPT3.5、どっちが賢いのか？学会発表スタイルで性能比較した

2023年8月10日 03:51

2023年3月15日にリリースされたChatGPT4の「Poe」を使ったGPT-4の使いこなしメモです。
自分としてはただのメモだったのですが、実はこの3月版のGPT4がなかなかの出来だったのと、後でOpenAIのGPT4の性能が変化しているので、記録・資料として公開しておきます。

「Poe」は無料で1日1回使えます

前回の比較（2023年3月15日）

https://note.com/o_ob/n/n2389e5e77af4

ChatGPT@OpenAI本家 vs GPT-4@Poe

質疑応答スタイルで戦ってもらう

GPT-3に比べて100倍大きいLLMであるGPT-4。ガチ目の質問に強くなったはずなので

「Diffusionモデルで使われるCLIPのアルゴリズムを解説して」
「CLIPモデルのアルゴリズムの中心にある数式をTeX形式で」
「このベクトルはlatent spaceと呼ぶべきか？それとも従来の量子化と呼ぶべきか？」

GPT-4@Poeちゃん
普通にガチ目の質問にも答えられる

「Diffusionモデルで使われるCLIPのアルゴリズムを解説して」
「CLIPモデルのアルゴリズムの中心にある数式をTeX形式で」
「このベクトルはlatent spaceと呼ぶべきか？それとも従来の量子化と呼ぶべきか？」 pic.twitter.com/YHhB5rawcz
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023

同じ質問を元祖ChatGPT@Mar14さんにも聞いてみた

同じ質問を元祖ChatGPT@Mar14さんにも聞いてみた pic.twitter.com/6G06rF8j4z
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023

ChatGPT@OpenAI Mar14
vs GPT-4@Poeでお互いの議論をぶつけたら学会が始まった
座長は私。

「潜在空間」と「トークン化された表現」で意見が割れた！

ChatGPT@OpenAI Mar14
vs GPT-4@Poeでお互いの議論をぶつけたら学会が始まった
座長は私。

「潜在空間」と「トークン化された表現」で意見が割れた！ pic.twitter.com/aKDbFu2FzK
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023

学会発表としてはChatGPT側が早めに頭を下げる形で決着がついた。

よし、座長としてバカのふりして質問するぞ〜。

どっちが論破できるか推測ってみる pic.twitter.com/xJSCw4ULnS
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023

学会発表としてはChatGPT側が早めに頭を下げる形で決着がついた。

よし、座長としてバカのふりして質問するぞ〜。

どっちが論破できるか推測ってみる

「素人質問で申し訳ないのですが、これは人類の生成してきた画像と言語の関係を可逆的に圧縮するものでしょうか？それとも不可逆でしょうか？シャノンの情報理論に沿って説明をいただけると幸いです。」

Chat GPT-4@Poeの2勝！

「素人質問で申し訳ないのですが、これは人類の生成してきた画像と言語の関係を可逆的に圧縮するものでしょうか？それとも不可逆でしょうか？シャノンの情報理論に沿って説明をいただけると幸いです。」

Chat GPT-4@Poeの2勝！ pic.twitter.com/S48KyMADzm
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023

おお！やったぜ
また完全に意見が割れた。
では今度は2敗中のChatGPT先手→ GPT-4@QuoraPoe後手で。

おお！やったぜ
また完全に意見が割れた。
では今度は2敗中のChatGPT先手→ GPT-4@QuoraPoe後手で。 pic.twitter.com/OfZNJwR9SA
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023

https://twitter.com/o_ob/status/1635865942516453376

結果はPoeの完全勝利。
ChatGPTの方がところどころ面白いけどふわっとしているし、二択比較推論を逃げたりする

Chat GPT-4@Poeはけっこう断言してくる。科学の論文解説とか、正しいか間違っているかは断言してもらった方が良いことも多い。Quora文体な感じもするので独自のチューニングもあるのかな？ pic.twitter.com/Et4KR8kQpP
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023

https://twitter.com/o_ob/status/1635861442451898368

結果はPoeの完全勝利。
ChatGPTの方がところどころ面白いけどふわっとしているし、二択比較推論を逃げたりする

Chat GPT-4@Poeはけっこう断言してくる。科学の論文解説とか、正しいか間違っているかは断言してもらった方が良いことも多い。Quora文体な感じもするので独自のチューニングもあるのかな？

俳句勝負

ゆるゆるとガチ目の比較検証を続ける「犬が居ぬ猫が寝込んだ春の日の微睡む僕は人になりけり」この問いかけでどんな返事がかえってくるか？その解釈と下の句も作ってもらう ChatGPT@Poeは完敗 ChatGPT@OpenAi Mar14も優秀 GPT-4@Poeも素晴らしい

結果はPoeの完全勝利。
ChatGPTの方がところどころ面白いけどふわっとしているし、二択比較推論を逃げたりする

Chat GPT-4@Poeはけっこう断言してくる。科学の論文解説とか、正しいか間違っているかは断言してもらった方が良いことも多い。Quora文体な感じもするので独自のチューニングもあるのかな？ pic.twitter.com/Et4KR8kQpP
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) March 15, 2023

"GPT-4 Technical Report"

https://cdn.openai.com/papers/gpt-4.pdf

98ページもあって読み応えあるけど
画像理解やプログラミング、化学につかえるプロンプト例もあってめちゃおもろいな

という無垢なブログを書いていた頃が懐かしいです。

実際にはその後、同じような実験を行うと同じ結果にはならないです。