ISPワンオペ物語 ３
第3部 障害は、こちらの都合では起きてくれない
深夜でも休日でも、ISPは止まれない
土曜日の夜。
自宅で夕飯を食べていた。
電話が鳴る。
「インターネットにつながらないという問い合わせが増えています」
その一言で、休日は終わります。
ISPの障害は、こちらの都合など待ってくれません。
皆さんは、ISPと契約したのだから、インターネットが使えて当たり前と思っている方が多いかと思います。
私たち運営側も、お客さまに契約していただいて、その利用料金でご飯を食べさせてもらっています。
ですから、もちろん、しっかりと使っていただきたい気持ちは大いにあります。
はい。これは本当です。
どれだけ設備を整えても、障害は起きます。
まるで後ろで待ち構えている悪魔みたいに
障害と言っても、いろいろな障害が存在します。
お客さまから見れば、「つながらない」の一言です。
しかし運用側から見ると、その裏にはまったく違う原因が隠れています。
大きく分けると、こんな感じです。
インタネット全体の障害
上位回線キャリアの障害
自網内の障害
NTTのエリア障害
お客さま宅内の障害
は、世界中に影響するような障害。
は、私たちより上流にある回線キャリアの障害なので、こちらからは手が出せないところの話です。
は、自分たちが管理しているネットワーク内の障害。ただし、実際の運用は外部に委託している部分もあります。
は、フレッツ光などで、NTTの局舎設備などに障害が発生するケース。
は、お客さま宅内の機器や配線、Wi-Fiなどの障害です。
そして、実際の問い合わせでは、コンタクトセンターから、「お客さまが、つながらなくなったと言っています」と、一言だけ伝わってくることがあります。
……これでは、情報が少なすぎるんです。
早期解決には、もう少し情報が欲しい。
コンタクトセンターから伝わってくる情報は、
「つながらなくなったと言っています」だけだったりします。
正直、それだけでは何も分かりません。
そこで必要になるのが5W1Hです。
情報を漏れなく整理するための基本的な考え方ですね。
そこで、状況を整理するために5W1Hを使います。
When：いつから起きているのか
Where：どこで起きているのか
Who：誰に影響しているのか
What：何ができないのか
Why：どんな操作や条件のときに起きるのか
How：どの機器・接続方法で利用しているのか
ここでいうWhyは、原因をお客さまに判断してもらうことではありません。発生する状況や直前の操作を確認するための質問です。
最初に、同様の問い合わせがどのくらい入っているのかを確認します。
そして、基本的には、お客さまに近いところから考え始めます。
A：同様の入電はほとんどない
→ ５ お客さま宅内の可能性が高い
B：特定のエリアから入電が集中している
→ ４ NTTのエリア障害の可能性が高い
C：まとまった数の入電が入っている
→ ３ 自網内の障害の可能性が高い
D：入電が多く、上位キャリアからも障害情報が入ってきた
→ ２ 上位回線キャリアの障害の可能性が高い
E：SNSを含め、さまざまなところから障害情報が入っている
→ １ インターネット全体に関係する障害の可能性が高い
なぜ、お客さまに近いところから見るのか。
最近の上位ネットワークは、昔と比べて非常に安定しています。
20年前と比べたら、月とスッポン。
……古い！
くらいの差があります。
それに、回線障害などが発生すると、「確認します」と言って調べ始めるというより、センターには一度に大量の同様の問い合わせが入ってきます。
その時点で、ある程度、障害箇所が見えてくるわけです。
さて、ここからは、これまでに経験した障害をご紹介します。
一つ一つ詳しく書いていくと長くなってしまうので、ここではタイトルと原因だけ列記します。
① インターネット全体に関係する障害
・特定のサイトだけ閲覧速度が遅い
→ 戻りの経路だけが北米経由だった
・特定サイトだけ閲覧できない
→ 大量アクセスにより、該当IPレンジがブロックされた
② 上位回線キャリアの障害
・速度が遅くなった
→ 途中の経路にあるキャリアで問題が発生
・速度が遅くなった
→ 上位キャリアのメンテナンス時間が延長
③ 自網内の障害
・新規接続ができなくなった
→ 認証サーバー障害
・速度が遅くなった
→ 中継ルータのトラフィックが増大し、負荷が上昇
・数回に一度、サービスが利用できなくなる
→ 複数台あるDNSサーバーのうち、1台に障害
④ NTTのエリア障害
・特定の地域でインターネットが利用できない
→ 局舎障害に巻き込まれた
・IPv4 over IPv6サービスが利用できない
→ 収容局ルータの異常により、異なるプレフィックスが配布された
⑤ お客さま宅内の障害
・無線LANの速度が遅いが、有線LANの速度は普通
→ Wi-Fiのチャネルが干渉していた
・HUBに接続された特定のポートランプが異常点滅
→ ネットワークループが発生
これ以外にも、サービス運用では大小さまざまな障害が発生します。
検知システムも充実しています。
ISPには監視システムがあります。
アラートも飛びます。
ログも監視しています。
でも、25年以上やってきて思うことがあります。
一番優秀な監視システムは、
お客さまです。
「つながらない」
その一本の電話が、障害の始まりを教えてくれるのです。
私たちは、検知システムを監視しながら、同時にコールセンターからの入電数もチェックしています。
一件の問い合わせなのか。
同じ地域から何件も入っているのか。
全国から一斉に入っているのか。
それだけでも、障害の場所が少しずつ見えてきます。
ISPは、電気・ガス・水道と同じ、インフラの一つです。
普段は意識されません。
でも、止まった瞬間に、
「インターネットが使えない！」
となる。
普段は誰もISPのことなんて意識しません。
でも止まると困る。
電気やガスと同じです。
ISPは、インターネットにつながるための基盤を支える仕事です。普段は意識されなくても、止まると多くのサービスに影響が出ます。
目立たないけれど、生活や仕事に欠かせない通信を支える。それが、私たちの仕事です。
次は、第4部 一人しか分からない仕事は、会社にとって資産なのかリスクなのか になります。
＃この記事は全10回を掲載しています。目次はこちらからご覧ください。
