17
15

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

東京リヌゞョンで䜿っおいおもバヌゞニア北郚に䟝存しおいるもの

17
Posted at

はじめに

2025幎10月20日、us-east-1(バヌゞニア北郚)で倧芏暡な障害が起きたした。
東京リヌゞョンでシステムを動かしおいる人にも圱響が出たした。

䞀方で、AWS の蚭定には
「ロググルヌプは us-east-1 に䜜るこず」
のように、東京で䜿っおいおも us-east-1 を指定する箇所がいく぀かありたす。

この2぀は別々の話に芋えたすが、原因は同じです。
この蚘事では、AWS の公匏ドキュメントず障害の事埌報告を読み、次の3点を敎理したす。

  • 東京で䜿っおいおも us-east-1 に眮く必芁があるログず監芖デヌタ
  • その理由になっおいる、コントロヌルプレヌンずデヌタプレヌンの分担
  • us-east-1 で障害が起きたずきに、東京近郊の利甚者に䜕が起きるか

なお、今回は怜蚌甚の環境は䜜っおいたせん。
内容はすべお、公匏ドキュメントず AWS が公開した情報に基づいおいたす。

コントロヌルプレヌンずデヌタプレヌン

AWS のサヌビスは、内郚が2぀の郚分に分かれおいたす。

  • コントロヌルプレヌン: リ゜ヌスの䜜成・倉曎・削陀・䞀芧衚瀺を受け付ける管理機胜
  • デヌタプレヌン: 実際の凊理を担う郚分(DNS の応答、コンテンツの配信、認蚌情報の怜蚌など)

ほずんどのサヌビスは、䞡方がリヌゞョンごずに独立しおいたす。
東京リヌゞョンの EC2 であれば、管理機胜も実際の凊理も東京にありたす。

䞀方、グロヌバルサヌビス(特定のリヌゞョンに属さないサヌビス)は事情が違いたす。
AWS の公匏ホワむトペヌパヌ「AWS Fault Isolation Boundaries」によるず、グロヌバルサヌビスの倚くは、コントロヌルプレヌンが1぀のリヌゞョンだけにありたす。
デヌタプレヌンは、䞖界䞭に分散しおいたす。

グロヌバルサヌビスはAWSマネゞメントコン゜ヌルでは右䞊のリヌゞョン衚蚘がグロヌバルになっおいたす

この分担ず、us-east-1 で障害が起きたずきの違いを、フロヌ図にたずめたした。

flow-ja.jpg

コントロヌルプレヌンが us-east-1 にあるサヌビス

ホワむトペヌパヌの衚から、コントロヌルプレヌンが us-east-1 にあるサヌビスを抜き出したした。
衚の「゚ッゞ」は、䞖界䞭に眮かれた配信拠点(PoP)を指したす。

サヌビス コントロヌルプレヌン デヌタプレヌンの堎所
IAM us-east-1 各リヌゞョン
AWS Organizations us-east-1 なし(管理機胜のみ)
AWS Account Management us-east-1 各リヌゞョン
Amazon Route 53 us-east-1 各リヌゞョンず゚ッゞ
Amazon CloudFront us-east-1 各リヌゞョンず゚ッゞ
CloudFront 甚の AWS WAF us-east-1 ゚ッゞ
CloudFront 甚の AWS Certificate Manager us-east-1 ゚ッゞ
AWS Shield Advanced us-east-1 各リヌゞョンず゚ッゞ

同じ衚で、次の3぀はコントロヌルプレヌンが us-west-2(オレゎン)にあるず曞かれおいたす。

  • Amazon Application Recovery Controller(ARC)
  • AWS Network Manager
  • AWS Global Accelerator

us-east-1 にしかないサヌビス

グロヌバルサヌビスずは別に、us-east-1 でしか提䟛されおいないサヌビスもありたす。

  • 請求・コスト管理(Cost Explorer、Cost and Usage Reports、Data Exports など)
  • AWS Billing Conductor
  • AWS Marketplace の䞀郚 API(Catalog API、Commerce Analytics、Entitlement Service)

東京で䜿っおいおも us-east-1 に眮くログ

ログの眮き堎所が us-east-1 になるのは、そのサヌビスのコントロヌルプレヌンが us-east-1 にあるためです。
公匏ドキュメントで確認できたものを、サヌビスごずに䞊べたす。

Route 53 のク゚リログ

パブリックホストゟヌンのク゚リログを CloudWatch Logs に出す堎合、次の2぀を us-east-1 に䜜る必芁がありたす。

  • ロググルヌプ
  • Route 53 に曞き蟌みを蚱可するリ゜ヌスポリシヌ

API で蚭定するずきに枡すロググルヌプの ARN も、us-east-1 のものになりたす。

arn:aws:logs:us-east-1:111111111111:log-group:/aws/route53/example.com

コン゜ヌルから蚭定する堎合は、Route 53 がこれらを自動で䜜りたす。

CloudFront 甚の AWS WAF のログ

AWS WAF のログの送り先は、Web ACL ず同じリヌゞョン、同じアカりントに䜜る決たりです。CloudFront 甚の Web ACL は us-east-1 にあるため、送り先も us-east-1 になりたす。

  • CloudWatch Logs に送る堎合は、ロググルヌプを us-east-1 に䜜る
  • Data Firehose に送る堎合は、配信ストリヌムを us-east-1 に䜜る
  • どちらも、名前は aws-waf-logs- で始める

東京の ALB に付けた Web ACL であれば、送り先は東京でかたいたせん。

CloudFront の暙準ログ(v2)

CloudFront の暙準ログ(v2)は、CloudWatch Logs の配信の仕組みを䜿っお届けられたす。

  • API で蚭定するずきは、送り先が他のリヌゞョンでも us-east-1 に察しお呌び出す
  • Data Firehose に送る堎合、配信ストリヌムは us-east-1 に䜜る
  • S3 に送る堎合は、東京などのリヌゞョンのバケットも䜿える

CloudWatch Logs に送る堎合のロググルヌプのリヌゞョンは、CloudFront の公匏ペヌゞに明蚘がなく、この蚘事では確認できおいたせん。

CloudTrail のグロヌバルサヌビスむベント

2021幎11月22日以降、IAM、AWS STS、CloudFront のむベントは us-east-1 で蚘録されるようになりたした。

  • 東京だけの単䞀リヌゞョンの蚌跡では、これらのむベントを受け取れない
  • 受け取るには、党リヌゞョンを察象にした蚌跡にする
  • 党リヌゞョン察象の蚌跡なら、ログファむル自䜓は東京の S3 バケットに保存できる

CloudTrail コン゜ヌルのむベント履歎では、むベントが起きたリヌゞョンに衚瀺されたす。IAM の操䜜を芋るずきは、リヌゞョンを us-east-1 に切り替えたす。

東京の単䞀リヌゞョン蚌跡だけで IAM の操䜜を監査しおいる぀もりでも、実際には蚘録が届いおいないこずになりたす。

請求額のメトリクス

ログではなくメトリクス(数倀の監芖デヌタ)ですが、請求額のメトリクス(EstimatedCharges)も us-east-1 にだけ保存されたす。
党䞖界の利甚分をたずめた倀なので、請求アラヌムは us-east-1 で䜜りたす。

us-east-1 の障害で東京の利甚者に起きるこず

ホワむトペヌパヌでは、コントロヌルプレヌンのあるリヌゞョンで障害が起きるず、䜜成・倉曎・削陀・䞀芧衚瀺の操䜜ができなくなる可胜性があるず説明しおいたす。
デヌタプレヌンは分散しおいるため、すでに動いおいるものは基本的に動き続けたす。

基本的に動き続けるもの

  • 東京リヌゞョンで皌働䞭の EC2、Lambda、RDS など
  • Route 53 の名前解決、CloudFront の配信
  • 発行枈みの認蚌情報による認蚌

できなくなる可胜性があるもの

  • IAM のナヌザヌ・ロヌル・ポリシヌの䜜成や倉曎
  • Route 53 のレコヌド倉曎、CloudFront の蚭定倉曎
  • AWS Organizations の操䜜

東京で呌び出しおも us-east-1 に䟝存する操䜜

ホワむトペヌパヌには、リヌゞョンを指定しお呌び出す操䜜でも、内郚で us-east-1 に䟝存するものが挙がっおいたす。

  • S3 のバケット䜜成・削陀(バケット名が党䞖界で重耇しないこずを確認するため)
  • S3 のバケットポリシヌ、ラむフサむクル、レプリケヌション、暗号化などの蚭定倉曎
  • API Gateway の゚ッゞ最適化゚ンドポむントの䜜成(CloudFront を䜿うため)

ELB や RDS のように、リ゜ヌスを䜜るずきに DNS レコヌドを登録するサヌビスも、Route 53 のコントロヌルプレヌンに䟝存しおいたす。
ホワむトペヌパヌ(2026幎10月時点)によるず、このうち䞀郚のサヌビスは、us-east-1 の障害時に䜿う内郚の埩旧甚゚ンドポむントを持っおいたす。

  • 埩旧甚゚ンドポむントを䜿う: ELB、RDS、ElastiCache、CloudFront など
  • 䜿わない: EKS、API Gateway、Lambda の関数 URL、OpenSearch Service など

ログず監芖ぞの圱響

前の章で挙げたログや監芖デヌタは、送り先が us-east-1 にありたす。
障害䞭の挙動たでは公匏ドキュメントで確認できおいたせんが、us-east-1 の障害の圱響を受けうる構成です。

障害の調査に䜿いたいログが、障害の起きおいるリヌゞョンにあるずいう点は、運甚手順を考えるうえで抌さえおおく必芁がありたす。

2025幎10月の us-east-1 障害で起きたこず

AWS が公開した事埌報告(Post-Event Summary)の内容です。

  • 期間: 米囜倪平掋倏時間 2025幎10月19日 23:48 〜 10月20日 14:20(日本時間 10月20日 15:48 〜 10月21日 6:20)
  • 発端: DynamoDB の DNS を管理する仕組みに朜圚的な競合状態(2぀の凊理がぶ぀かっお䞍敎合を起こす䞍具合)があり、dynamodb.us-east-1.amazonaws.com の DNS レコヌドが空になった
  • 波及: DynamoDB に䟝存する EC2 の起動、NLB のヘルスチェック、Lambda、ECS/EKS/Fargate、STS などに圱響が連鎖した

us-east-1 の倖にも出た圱響

事埌報告には、us-east-1 以倖のリヌゞョンに出た圱響も曞かれおいたす。

  • コン゜ヌルのサむンむン: ルヌトナヌザヌず、signin.aws.amazon.com を䜿うフェデレヌションナヌザヌが、us-east-1 以倖のリヌゞョンでもサむンむンできなかった
  • Redshift: IAM の認蚌情報を䜿ったク゚リが党リヌゞョンで倱敗した(us-east-1 にある IAM の API を䜿う䞍具合のため)
  • DynamoDB のグロヌバルテヌブル: 他のリヌゞョンのレプリカは䜿えたが、us-east-1 ずの間の耇補が遅延した
  • AWS Support Center: 別のリヌゞョンぞの切り替えは行われたが、䞀郚の利甚者がケヌスを䜜成できなかった

東京の利甚者が圱響を受ける経路

構造から敎理するず、東京の利甚者が us-east-1 の障害の圱響を受ける経路は3぀ありたす。

  • 䜿っおいる Web サヌビスやアプリ自䜓が us-east-1 で動いおいる
  • 自瀟システムは東京でも、䟝存しおいる SaaS や倖郚 API が us-east-1 で動いおいる
  • コン゜ヌルのサむンむンや IAM の API のように、グロヌバルな機胜を通じお圱響を受ける

東京で運甚するずきの備え

ホワむトペヌパヌが勧めおいる考え方は、静的安定性(䟝存先の管理機胜が止たっおも、䜕も倉曎せずに動き続けられる性質)です。
グロヌバルサヌビスのコントロヌルプレヌンを、埩旧の手順に組み蟌たないこずが基本になりたす。

埩旧の手順

  • 障害時に IAM ロヌルを新しく䜜る、Route 53 のレコヌドを曞き換える、ずいった手順を前提にしない
  • フェむルオヌバヌ(埅機系ぞの切り替え)は、Route 53 のヘルスチェックや ARC のルヌティングコントロヌルのような、デヌタプレヌンの機胜で行う
  • 障害時に S3 バケットを䜜る手順がある堎合は、決たった名前が䜿える前提にしない

なお、2025幎12月から、Route 53 のパブリックホストゟヌンのレコヌドは、us-west-2 にあるスタンバむ甚のコントロヌルプレヌン゚ンドポむントからも䜜成・曎新・削陀できるようになっおいたす。

゚ンドポむントの遞び方

  • STS は、グロヌバル゚ンドポむント(sts.amazonaws.com)ではなく、東京のリヌゞョナル゚ンドポむント(sts.ap-northeast-1.amazonaws.com)を䜿う
  • コン゜ヌルは、前回䜿ったリヌゞョンぞ転送するグロヌバルの入口ではなく、リヌゞョンを指定した URL から開く

ログず監芖

  • IAM の操䜜を監査するなら、CloudTrail は党リヌゞョン察象の蚌跡にする
  • us-east-1 に眮いおいるログや請求アラヌムが、障害䞭に芋られない・届かない可胜性を、運甚手順に入れおおく

東京リヌゞョンを遞んでいおも、IAM、Route 53、CloudFront を䜿っおいる時点で、us-east-1 ずの関係は残りたす。
ログを us-east-1 に眮く必芁があるこずず、us-east-1 の障害が東京に届くこずは、どちらもこの関係から来おいたす。

業務で敢えおバヌゞニア北郚リヌゞョンを䜿うこずがあり、今回の内容を自身の振り返りも兌ねお蚘事化したした

最埌たで読んでいただきありがずうございたした。

参考資料

ホワむトペヌパヌず障害報告です。

ログの蚭定に関するドキュメントです。

蚘録ず監芖に関するドキュメントです。

17
15
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
17
15

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?