robots.txt だけでは分からない？ robots.txt に 403 を返した 61 サイトに、9 つの AI ボットの名前で聞いてみた
この記事は、AI エージェントから見たサイトの状態を測るサービス Parallel World（migurei.ai）の運営チームが書いています。
海外SEO情報ブログの 2026年10月29日の記事は、AI クローラーが止められているかは robots.txt だけでは分からないとして、robots.txt、User-Agent ごとの応答、ヘッダーの順に調べる英語の診断ツールを紹介していました。
この記事では同じ順番で、私たちが実際に測った数字を並べます。対象は、.jp のサイトのうち robots.txt が自分のドメインから応答した 788 サイト（2026年10月26日の調査）のなかで、robots.txt に 403 を返した 61 サイトと、比べるための対照 39 サイトです。サイト名は出しません。
1. robots.txt：403 が返ってくる
61 サイトは、robots.txt を取りに行ったリクエストに 403 を返しました。robots.txt の標準（RFC 9309）では、4xx で取れなかった robots.txt は「使えないもの」として扱い、クローラーはサイトにアクセスしてよい、とされています。つまり robots.txt の層だけを見ると、この 61 サイトには「ルールがない」ように見えます。
ただし、Amazon S3 に置かれたサイトでは、ファイルが無いときにも 403 が返ることがよくあります。403 だからといって、意図して止めているとは限りません。
2. User-Agent ごとのステータスコード
そこで 2026年11月1日〜2日（UTC）に、この 100 サイトのトップページへ、私たちのスキャナーの UA と、AI アプリの取得用ボット 9 つの名前（ChatGPT-User、Claude-User、Perplexity-User、meta-externalfetcher、MistralAI-User、ExaSearchBot、ExaUser、ShapBot、Shap-User）で 1 回ずつ GET を送りました。1 サイト 10 リクエスト、間隔は 2.5 秒以上、Range: bytes=0-0 を付け、本文は読まず、リダイレクトも追いません。送り元は私たちのスキャナーの日本の IP で、残したのはステータスコードだけです。
つまりこれは、第三者の IP から名前だけを名乗ったリクエストです。各社の本物のボットが送ったものではありません。
61 サイトのうち 40 サイトは、トップページでも私たちのスキャナーの UA に 403 を返しました。
その 40 サイトはすべて、9 つの名前のうち少なくとも 1 つに 403 を返しました。
9 つすべてに 403：13 サイト。一部の名前だけに 403：27 サイト。
対照 39 サイトでは、403 を返したのは 5 サイト未満でした。
9
つすべてに 403 を返した 13 サイトは、名前ではなく私たちの IP を断っている可能性があります。この数字から名前による扱いは読み取れません。
読み取れるのは一部の名前だけに 403 を返した 27 サイトのほうです。そのうち 14 サイト（うち Akamai 8）は、私たちのスキャナーには 403 を返しながら、少なくとも 1 つの名前には 2xx を返しました。同じ IP から同じ時間に送っているので、ここでは IP が同じでも名前で答えが変わる、と言えます。残りのサイトは 3xx や 5xx を返しました。
40 サイトの配信基盤（Server ヘッダー）は、Akamai 16、AmazonS3 5、その他 19 でした。
名前ごとに、40 サイト中で 403 を返したサイトの数は次のとおりです。
ExaSearchBot、ExaUser、meta-externalfetcher、MistralAI-User：40
ChatGPT-User：39
Perplexity-User、ShapBot：34
Claude-User：17（2xx は 13）
Shap-User：14（2xx は 14）
Akamai の 16 サイトでは、Claude-User と Shap-User に 403 を返したのは 5 サイト未満で、ほかの 7 つの名前には 16 サイトすべてが 403 を返しました。Claude-User と Shap-User がほかより通りやすい理由は、私たちには分かっていません。
たとえば ChatGPT-User は 40 サイト中 39 で 403 でしたが、実際の ChatGPT の扱いは、この項目からは分かりません。同じく、実際の Claude の扱いも、この項目からは分かりません。各社の本物のボットは各社の IP から来るので、今回とは違う答えが返る場合もありえます。
3. ヘッダー
今回の調査では、X-Robots-Tag など、AI による利用やインデックスに関わるレスポンスヘッダーは記録していません。この層は、今回の数字には含まれていません。
自分のサイトで確かめるには
ご自身が管理するサイトに限って、次のように名前を変えてステータスコードを見ることができます。
curl -sI -A "ChatGPT-User" https://あなたのサイト/-A の値をふだんのブラウザの UA に変えた結果と比べてください。手元の IP は各社の IP ではないので、ここでも分かるのは「その名前を名乗ったときの答え」だけです。
robots.txt の層（1 の層）だけなら、無料のチェックツールで確認できます。このツールが見るのは robots.txt だけで、2 と 3 の層は調べません。
https://pw.migurei.ai/ja/check/ai-bots?src=note-ua
言えないこと
日本のサイト全体を代表する数字ではありません。robots.txt に 403 を返した 61 サイトと、配信基盤をそろえて選んだ対照 39 サイトだけの結果です。
送り元は私たちの IP で、各社の IP ではありません。本物のボットへの扱いは分かりません。
2xx は、ページの中身について何も示しません。本文は読んでいません。
Claude-User の UA 文字列は私たちが送ったものです。Anthropic は完全な文字列を公開していないので、結果はその文字列についてのものです。
途中で一度止まって再開したため、最大 20 サイトには同じリクエストが 2 回届いた可能性があります。
1 回の測定、1 台のマシンからの結果です。
調査の詳しい内容
https://pw.migurei.ai/ja/research/japanese-sites-and-ai-bots
運営：Parallel World（Migurei／株式会社エイチビーラボジャパン）
https://migurei.ai/ja/applications/parallel-world
