ターゲットベースAF in Insta360 Z One

　この記事は、先般公開した『OM-1 MARKⅢを創る ターゲットベースAFアルゴリズムの詳細』

において、私はクアッドピクセルCMOSセンサーのポテンシャルを解放する「2つのLUT（ルックアップテーブル）による動的な引き算の思想」を明かした。
　画面全域の文鎮グリッドを排し、C-AF+TRの精度確保範囲だけをピンポイントに狙い撃つこのアルゴリズムは、ソフトウェアとして完璧な処方箋である。

　しかし、どれほど優れた思想（ソフトウェア）であっても、それを実行する半導体（画像処理エンジン）が旧世代のままであれば、物理的な熱と電気の壁にぶつかる。
　もし、このターゲットベースAFの思想を、年産数千万台の圧倒的なシリコン・スケーラビリティを持つ新興ITメーカーが、最先端のハードウェアへと持ち込んだらどうなるか。

　本稿では、噂される完全メカレスMFT機『Insta360 Z ONE』の3nmシリコン・アーキテクチャが、ターゲットベースAFと出会った瞬間に引き起こす、伝統的カメラの構造破壊について解説する。

【第1章】実質8000万画素の濁流と、既存エンジンの「ハリボテの防波堤」

　まず、私たちが対峙しているハードウェアの冷徹な物理天井を再定義する必要がある。
　MFTフラッグシップセンサーであるソニー製積層CMOS「IMX472」。
　カタログ上は「2000万画素」と記載されているが、技術的な実態は全く異なる。
　1つのカラーフィルターの下に4つの独立したフォトダイオードが敷き詰められたこの構造は、像面位相差データを生成する瞬間、物理的に「実質8000万画素（80MP）」の超高解像度センサーとして駆動している。

　このセンサーが本来の物理限界である120.53fpsのフルスキャンを行った際、センサー内部のAD変換器から湧き出る生データの総量は、実質的に毎秒約120Gbps（約15ギガバイト）という狂気的なデータストリームに達する。
　ソニーが用意した「14レーンのSLVS-EC」という超高速道路は、この120Gbpsの濁流をせき止めずに後段へ流すために敷かれたものだ。

　しかし、ここに日本の伝統的カメラメーカーの残酷な限界がある。
　出荷規模の縮小により、数百億円規模のマスク代（初期投資）を払って最先端プロセスを刷新できないMFTメーカーのエンジンは、実態として40nm〜28nm世代の古い固定ASICで止まっている。
　この骨董品のようなシリコンにとって、毎秒120Gbpsの生データは、まともに処理すれば一瞬で筐体が熱暴走を起こす「死のデータ量」だ。

　結果として、彼らはセンサーが吐き出した実質8000万画素の濃密な位相差データを、エンジンの手前で無理やり「1053点」という粗い格子（グリッド）の中に丸め込み、大半の情報をドロップ（デチューン）して処理するしかなかった。
　1053点AFとは、人間側のUIのためではなく、古いエンジンの窒息を防ぐために既存メーカーが逃げ込まざるを得なかった「ハリボテの防波堤」だったのである。

【第2章】3nmプロセスの超高効率NPUと「2つのLUT」の完全解放

　既存のカメラメーカーが毎秒120Gbpsのデータストリームを前にブレーキを踏み続ける中、新興ITメーカーであるInsta360のアプローチは全く異なる。
　彼らの背後には、年産数千万〜億単位の規模で超高速微細化を続ける、スマートフォンやAIデバイスの強力な半導体サプライチェーンが存在しているからだ。

　事実として、彼らはすでに市販のアクションカメラ「Ace Pro 2」において、イメージング専用ISPと、5nmプロセスで製造されたAI専用チップを同時駆動させる、業界初の「デュアルAIチップ」構造を量産・実装している。
　5000万画素センサーから吐き出される8K/30fps動画や4KアクティブHDR、さらにはRAW（DNG）段階の複数フレームをミリ秒単位で処理する低照度AIノイズリダクション（PureVideo）をリアルタイムで回しきる演算能力を、彼らはすでに日常の技術として有している。

　この圧倒的なサプライチェーンのスケールメリットが、最先端の「3nmプロセスSoC」としてMFTマウントをハックした機体、それこそが『Insta360 Z ONE』である。

　40nm〜28nm世代の古いプロセスルールで作られたTruePic Ⅺなどの伝統的エンジンは、同じ計算を1回行うための電気効率（ワットパフォーマンス）において、3nmシリコンの足元にも及ばない。
　古いエンジンは、いくらターゲットベースAFによってAF演算負荷を数十分の一に間引いたとしても、「1秒間に120回（120Hz）」という超高頻度で瞳や窓のトラッキング駆動をかければ、トランジスタの物理抵抗によるリーク電流と、それによる強烈な摩擦熱に直面する。間引いてなお120fps追従のためにエンジンをフル稼働させれば、筐体内は熱暴走の危機に瀕し、結果としてSH1モードの廃止といったハードウェア層での悲しい妥協（デチューン）を強いられる。

　しかし、Z ONEの3nmカスタムSoCの中に鎮座する、数十TOPS（毎秒数十兆回計算）の演算能力を持つ独立したNPU（ニューラル・プロセッシング・ユニット）にとって、ターゲットベースAFの処理などアイドリング（巡航速度）にすら達しない。

　3nmプロセスは、40nm比で消費電力・発熱量を最大80%〜90%以上削減している。さらに、Z ONEは1053点という中途半端なハリボテの格子を最初から挟まない。
　実質8000万画素の全フォトダイオードが生きている海の中から、撮影者のターゲット枠（第1のLUT）とAI部位認識（第2のLUT）に連動して、「C-AF+TRの精度を完璧に確保・維持できる最適な画素データ」だけを、120Gbpsの濁流から直接狙い撃ち（抽出）してNPUに放り込む。

　画面の9割以上の無駄な領域を、3nmの超高効率レシーバーが「完全スルー（引き算）」するため、120fpsの完全なC-AF+TRをノンストップで回し続けても、SoCは完全に冷徹なままである。
　日本のメーカーが古いシリコンの熱対策に血の滲むようなパッチワークを当てている横で、3nmの知性は、わずか数ミリワットの消費電力で、筐体を1ミリも過熱させることなく鳥の瞳や飛行機の窓を完全に捉え続ける。

　そしてこの「ターゲットベースAF」がもたらす圧倒的な演算の余白こそが、Insta360のお家芸である異次元のAI画質復元エフェクトをリアルタイムで駆動させるための巨大な「発射台」となるのである。

【第3章】SDカードの壁を超える「PureVideo」の4段階パイプライン

　実質8000万画素のセンサー（IMX472）が120fpsの本気で吐き出す、毎秒120Gbps（約15ギガバイト）というデータの質量は、後段の回路においてもう一つの物理的な壁に直面する。それが「メディアの書き込み速度」だ。

　現在フラッグシップ機で主流のUHS-II規格のSDカードは、最大でも約2.4Gbps（毎秒300メガバイト）程度の転送帯域しか持たない。既存の伝統的カメラメーカーは、センサーから降ってきた生データをバッファメモリに一時的に貯め込み、このカード側の細いパイプラインに合わせて必死に吐き出す「容量と時間の戦い」を強いられている。データが溢れれば連写はストップし、カメラは沈黙する。

　しかし、3nmプロセスの超広帯域メモリバス（LPDDR5Xなど）でNPUと直結されたInsta360 Z ONEのSoCは、この物理ボトルネックをカードに流す前の「メモリ内超高速演算」によって完全に無効化する。その核心にあるのが、低照度AI動画技術「PureVideo（ピュアビデオ）」の4段階の内部パイプライン（詳細プロセス）である。

　既存メーカーが「画素の周辺をぼかす」という、15年前から変わらない牧歌的な空間ノイズリダクションで解像度を犠牲にしている横で、Z ONEが展開するPureVideoのプロセスはあまりに未来的だ。

【プロセス1】時間軸マルチフレーム・アライメント

　センサーは120fpsのフルスピードで、1枚1枚が手ブレする前の極小露光（超高速シャッター）のベタRAWデータをひたすらSoCのメモリバスへ流し込む。
　3nmのNPUは、ターゲットベースAFが算出した「被写体の瞳や窓の正確な動き（トラッキングメタデータ）」と完全同期。撮影中の微細な手ブレや被写体の動きをサブピクセル単位で先回りして計算し、時間軸上で前後のRAWフレームの位置を完全に一致（アライメント）させる。

【プロセス2】ニューラル・ノイズセパレーション

アライメントされた連続する複数フレームのRAWデータに対し、NPU内のディープラーニングアルゴリズム（PureVideo専用学習モデル）が介入する。
　暗所でMFTのような小さなセンサー（実質8000万画素の極小フォトダイオード）を使った際に出るザラザラした「ランダムノイズ」と、被写体が本来持っている「固定の輪郭・テクスチャ（ディテール）」を、AIが毎秒数十兆回（TOPS）の演算で完全に分離。
　ノイズ成分だけを数学的に相殺・消去し、ダイナミックレンジを物理限界を超えて引き上げる。

【プロセス3】デモザイクとライカカラーマッピング

　NPUによって「完全にノイズが消去された極上のクリーンRAW」になった段階で、初めて隣接する独立イメージングISP（画像処理コア）へデータが渡される。
　ここで初めて、ベタRAWからRGBのカラー映像への変換（デモザイク処理）が行われる。すでにノイズが消えているため、無駄なシャープネスや強引なコントラスト調整をする必要がない。
　ライカと共同開発されたナチュラルで豊かな階調（カラープロファイル）を、そのままストレートにマッピングする。

【プロセス4】低照度 FlowState 空間復元

　通常のカメラは、暗所で電子手ブレ補正をかけると、ブレを補正した瞬間に映像がグニャグニャと歪む「モーションブラーの残像（ゴースト）」が発生する。PureVideoでは、前段のプロセスで完全に動きが分離され、ノイズが消えた映像に対して、6軸ジャイロセンサーのメタデータと同期した　「FlowState 手ブレ補正」を適用する。これにより、夜間であっても物理ジンバルやIBIS（ボディ内手ブレ補正）を一切使わずに、完全に水平が維持されたブレのないシネマティックな映像を合成する。

　この「ノイズを消してから色を塗る」という、3nm NPUの圧倒的な並列処理（ヘテロジニアス・アーキテクチャ）の力技があるからこそ、Z ONEは120fpsの生DNGデータをそのままカードへ垂れ流すような非効率な処理を行わない。

　NPUは、ターゲットベースAFによって完全に担保された高精度な位置情報を元に、メモリの中でミリ秒単位の超高速マルチフレームAI現像をノータイムで実行し、解像度を復元した「極上の1枚の軽量DNG」へとその場で圧縮・昇華させてから出力する。
　結果として、SDカードへと出力されるデータ量そのものが、ハードウェア側でスマートに「最適化（軽量化）」されるため、メディアの転送速度限界という物理的な檻はあっけなく爆破されるのである。

結論：精密機械の終焉と「計算生命体」の誕生

　カメラの強さは、もはや「何Gbpsの太いパイプラインを通せるか」というハードウェアの物量戦では決まらない。通したデータを、どれだけ最先端のシリコンで知的に処理できるか、その「計算密度（質）」の勝負へ移行している。

　同じソニー製クアッドピクセルセンサー（IMX472）を使いながらも、40nm〜28nm世代の固定ASICに縛られ、「1053点」のハリボテの格子でデータを丸めて自滅する既存メーカー。
　対して、3nm NPUという圧倒的なシリコンの暴力を背景に、ターゲットベースAFという「極上の引き算思想」を100%完全解放し、無熱・無音のまま120fps追従とPureVideo現像を回しきるInsta360 Z ONE。

　かつて、巨大な「フィルム現像機」がデジタルセンサーに駆逐されたように、今度はセンサーを動かす「磁石とガラス（IBIS）」や「シャッター幕」というアナログ機構が、最先端ナノメートルがもたらす知性によって過去のものになろうとしている。
　ターゲットベースAF in Insta360 Z ONE ── それは、カメラを「精密機械」から「光学レンズを載せた最先端の計算生命体」へと変貌させる、歴史の決定的な転換点なのかもしれない。

関連記事：

#カメラ #OMSYSTEM #マイクロフォーサーズ #オートフォーカス #ターゲットベースAF  #Insta360