Azure OpenAI の新しいバージョンを観測したのでとりあえずシュッと速度を比較してみた

どもー(/・ω・)/

なんか今日は Azure OpenAI Service On Your Data で賑わっておりますが、そっちは触らないですの(　・ω・)

Azure OpenAI の新しいバージョン出てないかな～

と思って覗きに行ったら

2023-06-01-preview

でとるやんけ( ﾟДﾟ)

となったのでバージョンを比較してとりあえず速度を見て見る。

という話。

検証内容

検証はいつも通りの内容でござる(　・ω・)

シンプルに以下のような条件で Do it

• ChatGPT のモデルは 3.5-turbo を指定する

• それぞれの API に対して 100 のリクエストをする

  • リクエストは直列で行う

• 毎回同じテストデータを使用する

• 各リクエスト開始から終了までの時間を計測する

• 100 リクエストが終了したら以下で評価する

  • 平均値

  • 中央値

  • 95% タイル

  • 99% タイル

計測は 2023/06/20 17:00 - 18:00 くらいの間

2023-05-15 バージョンを利用

平均値（秒） 18.016085
中央値（秒） 12.754159
95% タイル（秒） 19.293653
99% タイル（秒） 194.724854

2023-06-01-preview バージョンを利用

平均値（秒） 16.906054
中央値（秒） 12.698941
95% タイル（秒） 17.655974
99% タイル（秒） 201.455907

んー。速度的には大して変わらんなぁ(　・ω・)

っていうのとたまにものすごーーく遅いですなぁ。

とりあえずシュッとみたのでおしまい。