OpenAI Responses API 入門 (2) - 画像とVision

2025年3月14日 11:55

「Responses API」の画像とVisionについてまとめました。

前回

1. OpenAI API の準備

「Google Colab」での「OpenAI API」の準備手順は次のとおりです。

(1) パッケージのインストール。
「Responses API」と「Agent SDK」のパッケージをインストールします。

# パッケージのインストール
!pip install -U openai openai-agents

(2) 環境変数の準備。
左端の鍵アイコンで「OPENAI_API_KEY」を設定してから、以下のセルを実行してください。

import os
from google.colab import userdata

# 環境変数の準備 (左端の鍵アイコンでOPENAI_API_KEYを設定)
os.environ["OPENAI_API_KEY"] = userdata.get("OPENAI_API_KEY")

(3) クライアントの準備。

from openai import OpenAI

# クライアントの準備
client = OpenAI()

2. 画像とVision

「Vision」とは、モデルへの入力プロンプトとして画像を使用し、それらの画像内のデータに基づいて応答を生成する能力です。モデルページで、どのモデルが視覚的であるかを調べてください。出力として画像を生成するには、画像生成のための専用モデルを参照してください。

画像ファイルのURL、またはBase64エンコードされたデータで、画像を提供できます。

(1) メッセージリストの準備。

# メッセージリストの準備
messages = [
    {
        "role": "user",
        "content": [
            {"type": "input_text", "text": "これは何の画像ですか？"},
            {
                "type": "input_image",
                "image_url": "https://assets.st-note.com/img/1741932602-53KiysQBTwUWCnkOSJGlAjDh.png",
            }
        ]
    }
]

(2) 推論の実行。

# 推論の実行
response = client.responses.create(
    model="gpt-4o-mini",
    input=messages,
)
print(response.output_text)

この画像には、白い毛の猫が描かれています。猫は木の台の上に横たわり、後ろにはテレビとゲーム機が見えます。猫の顔には黒い模様があります。全体的にリラックスした様子です。

3. 画像の入力要件

画像の入力要件は、次のとおりです。

3-1. ファイル種別

・PNG（.png）
・JPEG（.jpegと.jpg）
・WEBP（.webp）
・アニメーション以外のGIF（.gif）

3-2. サイズ制限

・1枚あたり最大20MB
・低解像度：512px x 512px
・高解像度：768px（短辺）x 2000px（長辺）

3-3. その他の要件

・透かしやロゴなし
・テキストなし
・NSFWコンテンツなし
・人間が理解できるほど明確

4. 画像入力の詳細指定

detailは、画像を処理および理解する際に使用する詳細レベルをモデルに伝えます（low、high、auto）。パラメータをスキップすると、モデルはautoを使用します。このように、image_urlのすぐ後に配置してください。

# メッセージリストの準備
messages = [
    {
        "role": "user",
        "content": [
            {"type": "input_text", "text": "これは何の画像ですか？"},
            {
                "type": "input_image",
                "image_url": "https://assets.st-note.com/img/1741932602-53KiysQBTwUWCnkOSJGlAjDh.png",
                "detail": "high",
            }
        ]
    }
]

# 推論の実行
response = client.responses.create(
    model="gpt-4o-mini",
    input=messages,
)
print(response.output_text)

"detail": "low"を使用して、トークンを保存し、応答を高速化できます。これにより、モデルは85トークンの予算で画像を処理できます。モデルは、低解像度の 512 px x 512 px のバージョンの画像を受け取ります。ユースケースでモデルが高解像度の詳細を確認する必要がない場合は問題ありません。

または"detail": "high"を使用して、モデルに詳細を詳細に表示し、理解を生成します。これにより、モデルは低解像度の画像（85トークンを使用）を表示し、512px x 512pxのタイルごとに170トークンを使用して詳細なクロップを作成できます。

画像処理のための上記のトークン予算は、現在、GPT-4o miniには適用されませんが、画像処理コストはGPT-4oに匹敵します。画像処理に関する最も正確で最新の見積もりについては、こちらの画像価格計算機を使用してください。

5. 複数画像の入力

複数画像の入力を受け取り、処理することできます。モデルは各画像を処理し、すべての画像からの情報を使用して質問に答えます。

# メッセージリストの準備
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "input_text",
                "text": "これらの画像には何がありますか? 何か違いはありますか?",
            },
            {
                "type": "input_image",
                "image_url": "https://assets.st-note.com/img/1741932602-53KiysQBTwUWCnkOSJGlAjDh.png",
            },
            {
                "type": "input_image",
                "image_url": "https://assets.st-note.com/img/1741932608-VteqlIukBN0zfFSb12OyDYgi.png",
            },
        ],
    }
]

# 推論の実行
response = client.responses.create(
    model="gpt-4o-mini",
    input=messages,
)
print(response.output_text)

1枚目の画像には、猫がNintendo Switchの本体の近くに横たわっています。2枚目の画像にも同じ猫が映っていますが、今度はぬいぐるみと一緒にいます。違いとしては、1枚目にはSwitchがあり、2枚目には猫の隣にぬいぐるみがある点があります。また、猫の体勢や表情も微妙に異なっています

6. 制限

Visionを備えたモデルは強力で、多くの状況で使用できますが、これらのモデルの限界を理解することが重要です。いくつかの既知の制限は次のとおりです。

・医療画像
このモデルは、CTスキャンのような特殊な医療画像の解釈には適していません。また、医療アドバイスには使用しないでください。

・英語以外
日本語や韓国語などの非ラテン文字のテキストを含む画像を扱う場合、モデルは最適に機能しない場合があります。

・小さなテキスト
画像内のテキストを拡大して読みやすさを向上させますが、重要な詳細をトリミングしないでください。

・回転
モデルが回転したテキストや画像を誤って解釈する可能性があります。

・視覚的要素
モデルは、実線、破線、点線など、色やスタイルが変わるグラフやテキストを理解するのに苦労するかもしれません。

・空間推論
このモデルは、チェスの位置を特定するなど、正確な空間的ローカリゼーションを必要とするタスクに苦労しています。

・正確性
特定のシナリオでは、モデルが誤った説明やキャプションを生成することがあります。

・画像の形状
モデルはパノラマ画像と魚眼レンズ画像に苦労しています。

・メタデータとサイズ変更
モデルは元のファイル名やメタデータを処理せず、分析前に画像のサイズが変更され、元の寸法に影響します。

・カウント
モデルは、画像内のオブジェクトのおおよそのカウントを与えることができます。

・キャプチャ
安全上の理由から、当社のシステムはキャプチャの送信をブロックします。

7. コストの計算

画像入力は、テキスト入力と同じように、トークンで測定され、課金されます。画像のトークンコストは、サイズとディテールの2つの要素によって決定されます。
"detail": "low"を含む画像は、85トークンかかります。
"detail": "high"で画像のコストを計算するには、次の操作を行います。

・元のアスペクト比を維持しながら、2048px x 2048pxの正方形に収まるように拡大縮小
・画像の最短辺が768pxの長さになるように拡大縮小
・画像内の512pxの正方形の数を数える。各正方形には170トークン
・合計に85トークンを追加

コスト計算の例は、次のとおりです。

・1024 x 1024 と "detail": "high" の画像のコストは 765 トークン
　・1024は2048未満なので、初期サイズ変更はありません。
　・最短辺は1024なので、画像を768 x 768に縮小します。
　・画像を表すには4つの512pxの正方形のタイルが必要なため、最終的なトークンコストは170 * 4 + 85 = 765。

・2048 x 4096 と "detail": "high" の画像のコストは 1105 トークン
　・2048の正方形に収まるように、画像を1024 x 2048に縮小します。
　・最短辺は1024なので、さらに768 x 1536に縮小します。
　・6 512pxのタイルが必要なため、最終的なトークンコストは170 * 6 + 85 = 1105。

・4096 x 8192 と"detail": "low" の画像のコストは 85 トークン
　・入力サイズに関係なく、低詳細画像は固定コストです。

画像をトークンレベルで処理するため、処理する各画像は1分あたりのトークン数（TPM）の制限にカウントされます。