1Gなら安定するのに10Gにすると赤LED #7｜原因は設定ではなくTwinax/DACとSFP+の互換性だった
この記事で分かること
1Gbpsでは安定するのに、10Gへ上げた途端に不安定になった実例
UniFiのLED赤点灯とWeb UIのAnomaly 70〜80をどう切り分けたか
Switch初期化や抜き差しまでやっても直らなかった理由
10GではTwinax/DAC・SFP+モジュールの互換性が重要だったこと
安く済ませようとした結果、体感で約1週間と追加費用を使った話
⏪ 前の記事：#6 稼働中の自宅インフラを新ネットワークへ移した話
前回までで、稼働中のESXiやServerを新しいネットワークへ移した。
VLANも通った。
ARPも返る。
Gatewayへも到達できる。
これで10G化も終わり——と思っていた。
ところが、ここから別の沼が始まった。
1Gbpsなら普通に動くのに、Switch側を10Gへ変更すると途端に不安定になる。
しかも原因は、VLANでもLACPでもRSTPでもなかった。
最終的に問題だったのは、10G区間で使っていたTwinax/DACとSFP+モジュールの互換性だった。
[画像案：左に「1G＝緑・安定」、右に「10G＝赤LED・Anomaly 70〜80」、中央にTwinax/DACケーブル]
1Gbpsなら何事もなく動く
この症状が厄介だったのは、完全にLink Downするわけではなかったことだ。
Switch側を1Gbpsにしている間は、普通に通信できる。
管理画面も大きな異常はない。
ところが10Gへ変更すると、状況が一変する。
通信が不安定になる
Switch側のLEDが赤くなる
UniFiのWeb UIでAnomalyが70〜80付近まで上がる
管理Sessionまで不安定になる
「10Gだけ駄目」という状態だった。
この時点では、普通に設定を疑った。
最初は設定を疑い続けた
10G化の途中なので、疑う場所はいくらでもある。
Link Speed設定
Auto Negotiation
SFP+ Port設定
LACP / LAG
RSTP
ESXi側NIC
vSwitch
VLAN
Switch Firmware
Module認識
設定を見直し、ケーブルを何度も抜き差しした。
それでも直らない。
Switch側がおかしい可能性まで考えて、初期化もした。
さらに電源を落とし、しばらく置いて放電も試した。
それでも症状は変わらなかった。
1Gへ落とせば安定する。
10Gへ戻せば不安定になる。
この往復を何度やったか分からない。
体感では、この切り分けだけでほぼ1週間は潰したと思う。
「Link Upしているからケーブルは正常」が間違いだった
途中まで、ケーブルはあまり疑っていなかった。
理由は単純で、Link自体は上がるからだ。
完全断線しているなら分かりやすい。
でも今回のように、
1G → 安定
10G → Linkは上がるが不安定となると、ついSoftwareや設定を疑いたくなる。
しかし10Gでは、
Switch
NIC
SFP+モジュール
Twinax/DAC
Firmware
の組み合わせそのものが重要になる。
刺さることと、10Gで安定して使えることは別だった。
AIを使って調べて、ようやく「互換性」に辿り着いた
設定変更を繰り返しても直らないため、AIも使いながら症例や製品互換性を調べていった。
そこで見えてきたのが、10GのSFP+環境では、
メーカー純正品や、対象機器との互換性が明確に確認されているDAC/Twinax・SFP+モジュールを使わないと、Linkは上がっても不安定になることがある
という情報だった。
当時使っていたのは、手元にあったHP製のTwinax/DACなど。
ケーブル自体が粗悪品だったわけではない。
別メーカーの機器で使う前提まで保証されたものでもなかった。
1G相当では問題が表面化しなくても、10Gへ上げるとSignal Qualityや機器間互換性の問題が一気に出る。
症状とも一致していた。
結局、TwinaxとSFP+モジュールを買い直した
ここまで来ると、残る選択肢は試すしかない。
正直、かなり嫌だった。
SwitchやNetwork機器ですでに金を使っている。
そこへさらに、
メーカー製または互換性確認済みのTwinax/DAC
対応SFP+モジュール
を追加購入することになった。
「ケーブルなんて手元にあるものでいいだろう」と思っていたところへ、追加出費である。
泣く泣く買った。
そして交換した。
交換したら、あっさり安定した
新しいTwinax/DACとSFP+モジュールへ交換した後、あれだけ繰り返していた不安定動作は収まった。
10G設定でも安定する。
LEDも異常状態にならない。
UniFi側のAnomalyも、問題になっていた状態から解消した。
ここまで設定を疑っていたのに、最後は物理部材だった。
インフラではよくある話ではある。
でも10Gで実際に食らうと、かなり時間を持っていかれる。
我が家の10Gは基本Fiber。でもDAC区間でハマった
このシリーズでは、10G Backboneの基本はFiberで組んでいる。
ただし、機器間の短距離接続など、一部ではSFP+のTwinax/DACも使っている。
今回問題になったのは、そのDAC/Twinax・SFP+周辺だった。
なので「10G Fiberが不安定だった」という話ではない。
より正確には、
10G SFP+接続で、物理部材と機器の互換性にハマった
という話になる。
この違いは記事でも明確にしておきたい。
10Gは「設定」だけで完成しない
この経験以降、10Gで不安定な時は、設定だけでなく最初から物理層も候補に入れるようになった。
例えば、
1. Link Speed / Duplex
2. Error / Drop / Link flap
3. SFP+ Module
4. DAC/TwinaxまたはFiber
5. 対応機器との互換性
6. 別Cable / Moduleへの交換試験までを一つの切り分けとして見る。
特に、
1Gでは安定するが10Gでだけ壊れる
なら、Software設定だけに時間を使い続けない方がいい。
10Gは、Signal QualityやModule/Cable Compatibilityまで含めて成立して初めて「正常」だ。
安い部材を使ったから悪い、という話でもない
ここも誤解したくない。
HP製Twinaxが悪い製品だった、という話ではない。
その製品が想定している機器と、今回組み合わせた機器が違っただけだ。
Enterprise向けのNetwork機器では、ModuleやDACのCompatibility Listが用意されていることがある。
それを無視して、
SFP+だから刺さるだろう
で組むと、こういうことが起こる。
最初から互換性の確認された製品を買えば少し高い。
でも、今回のように1週間近く切り分けへ使って、最後に結局買い直すなら、最初から適合品を買った方が安かった。
一番高かったのはケーブル代ではなく時間だった
追加でTwinaxやSFP+モジュールを買った金額も痛かった。
でも、もっと大きかったのは時間だ。
抜き差しする。
設定を変える。
初期化する。
再設定する。
放電する。
また10Gへ戻す。
また赤くなる。
それを繰り返した。
最終的に学んだのは、
「安く構築する」と「手元の部材を何でも流用する」は同じではない
ということだった。
10Gでは、適合部材に金を払うこと自体がTroubleshooting Costを下げる場合がある。
そして、この大更改ではこういう追加費用が少しずつ積み重なった。
最終的には、Network機器だけでも約20万円近く使うことになる。
この話はシリーズ最終回で改めてまとめる。
次回は物理層から論理設計へ戻る。
同じ家にある端末でも、Home、Work、Guest、IoT、Serverを同じ信用度にはしていない。
⏩ 次の記事：#8 家庭LANに会社PCを混ぜない｜Home・Work・Guest・IoTを分離した理由
