ヒトはどこに視線を向けるのか

唐突に質問です。
次の画像を3秒だけ見たとき、どのあたりに視線を向けましたか？

たぶん次の赤丸のエリアかと思います。

一方で次の青丸のエリアはそこまで注視しなかったかと思います。

では、なぜそのエリアを注視したのでしょうか。そしてその認識は正しいでしょうか。

私の大学時代の研究範囲は、この「どのエリアを注視するのか」を推定するモデルを改良するとともに、実験を通じてその確からしさを検証するというものでした。

本稿では、どのようにして注視するエリアを推定するのかをざっくり書いて、その面白さを知っていただけるような記事にしていきたいと思います。

どう処理されているのか

ヒトが目で見た景色というのは、どういうフローで認識に至るのかを見ていきます。

まず前提として、この記事や研究の前段に、Ittiらの仕事である「サリエンシーマップ」（参考：Itti & Koch, 2000, Vision Research）があります。
この研究は、「人間はトップダウンの処理よりもボトムアップの処理の方が早い」という研究結果をもとにモデルを作成しています（参考）。

トップダウン処理：○○さんの顔、これはネコ、など学習に基づく認識
ボトムアップ処理：細胞やニューロンの反応による電気信号処理

なぜそのようなことが起きるのかと言えば、自然界において危険を察知する場合、のんびりと場面の認識を行っているようでは遅く、必要な情報を高速で察知することが必要なためです。
そのため、ボトムアップ処理で瞬時に認識できる範囲というのは、個人差に依存しにくく、推定が出来るのです。

そして付加的な情報ですが、人間の「注視できる範囲」というのは、実際の視野に対してかなり狭いです（「見えている」と「見ている」の違いと言えばいいでしょうか）。
この制約によって、個人差

冒頭の画像を例に言えば、「『2人の顔を見るだろう』という認識は、間違いでないにしても正しくはない」と言えます。では、ボトムアップの処理ではどのようなことが行われているのでしょうか。

・視覚野V1で処理される信号
今回解説していく範囲を低次の領域に絞ります。
処理としては眼球の網膜上にある細胞の反応と、その信号を処理する「V1」と呼ばれる視覚野になります。

視覚野V1で処理される信号には、桿体細胞の「明るさ（以下、輝度）」、錐体細胞の「色」、RGCと呼ばれる受容野の「方向」、の3つの細胞の反応が大きなところとなります。
この段階で言ってしまえば、画像を見てから僅かな時間の中で認識する領域は、「輝度」「色」「方向」の特徴量が大きい範囲となります。

輝度の処理は単純で、「特に明るい領域を注視する」「明るさに極端な差がある領域を注視する」という処理です。

方向の処理も比較的単純で、「特定の方向成分を持つ領域」に反応するので、単純化のために0°、45°、90°、135°などの刻みでモデル化します。

色の処理ですが、ある特定の色相に対してのみ反応する細胞の働きをモデル化します。V1の領域では「赤と緑の差」と「青と黄の差」に反応するニューロンが存在するので、この処理をモデル化します。
赤と緑を例にざっくり言えば、「赤だけ」「緑だけ」の時は強く反応し、「赤も緑も」の時は弱く反応する、といった感じです。

・ガウシアンピラミッド
人間の脳が画像を認識するとき、大域的な部分の処理をする細胞と、局所的もしくは詳細な部分の処理をする細胞とが仕事をします。
この処理をモデル化するのがガウシアン・ピラミッドです。

ガウシアン・ピラミッドをざっくり説明すると、「ぼかした画像からくっきりした画像まで色々用意」して、「それぞれの画像間での特徴量の差を計算」し、最後に全部の結果をくっつける処理です。
Ittiのモデルでは、8段階のガウシアンピラミッドを３つ生成（計24枚の画像）し、特徴量を計算します。

・結果
では計算した結果はどのようになるでしょうか。
ヘッダーと同じ画像ですが、次のようなヒートマップで表されます。

このマップを「サリエンシーマップ」と呼びます。
右の画像のうち、色が赤に近づくほど注視されやすい領域となります。

左の画像で言えば、予想通り花束が注視されやすいと示されています。特に葉の部分が強いように見えます。
一方で、パーカーや壁は予想通り注視されにくいエリアとして示されました。

この段階でのまとめとしては、

・瞬時に注視されやすい領域は個人差が少ないため、計算で推定できる
・概ね予想と同じような結果が得られる

一方で課題があるとすれば、

・ブーケのうち葉の部分（色が濃い部分）だけ強くなってしまう
・実際問題として顔は見る
　→トップダウン的アプローチも必要

となるでしょう。

いろんな画像でやってみる

まずはこの画像。

みなとみらいの観覧車の写真です。
サリエンシーマップでは、左上のビル群とチャペル、そして観覧車が注視領域と推定しました。
一方で、この写真で撮りたかった車のライトの残像はそこまで、と。
まだまだ修行が足りないようです。

続いてこの画像。

カラフルだし紙テープ沢山だしで推定が難しいだろうなと思った画像。
実際問題、顔以外の領域でどこ見てたか自分でもわからないです。

サリエンシーマップでは頭の上と胸元の辺りを示しています。
しかし広範囲に誘目領域があるということは、それだけ目線が動きやすい画像ということができます。

どう役に立つのか

さて、ここまで見ていただいた方の感想は「おお、すごい」とか「なるほど」と思います。
ですが、「…で？」でもあるでしょう。

そう、「人はこの部分を見ているんです \デデーン/」ってだけで、何の役に立つのよって話です。
例に挙げると次の通りになります。

・プロモーション
一番敏感に視線を気にする分野にプロモーションがあります。
すなわち、広告を打った時に「人はどこを見ているのか」、また「見てほしい領域に視線を向けるには」を考える材料になるわけです。

・運転時のドライバーの視線シミュレーション
自動車などを運転している時に、ドライバーはどこに目を奪われてしまうのか、逆に目線を向けなければならない領域に目が向けられるようにするには、を検討できます。
また自動運転をさせる場合、ドライバーが注視しているであろう領域を推定することで、画像内で処理する領域を絞ることができます。

・写真
これは個人的興味ですが。
SNSのタイムラインを流れる多くの情報の中で、目を止めてもらえるような写真にするにはどうしたらいいのか、を考える材料になります。
多くは行動心理学的なアプローチで考えられていますが、スクロールされる画面上に限って言えば、サリエンシーマップは一つの指針として十分だと思います。

もっと改良するには

Ittiのモデルが最初に出たのは2007年であり、その後多くの研究者によって改良がなされてきました。

多くはトップダウン的アプローチを加味したもので、人の顔の検出や、（標識など）特定のパターンの検出などが挙げられます。
一方でボトムアップ的アプローチも必要で、特に「動きに対する反応」は重要であり、実際に人間が見ている「動画の世界（連続の世界）」に対しての研究も多くなされています。

・研究範囲
私が研究で行っていた内容は、「サリエンシーマップ上で誘目領域とされる範囲の周囲も見られるのでは」という仮説をモデル化したものです。
ブーケの写真で言えば、「葉っぱを見たなら花も見るんじゃない？」という感じです。

少々専門的な用語を使えば、「画像内の誘目度が高い2点を選択し、その点を中心とした標準分布に則って誘目度を加算し、再度正規化する」となります。
言い換えれば「見られる点の近くは加点、遠くは減点」を行うのです。

そして新しく作ったモデルと、実際に人の視線を追跡した実験結果とを対比して、その確からしさを評価する手法についても提案しました。
実験結果に近づけるためにモデルを改良するという、ある意味トップダウン的アプローチも行っていたわけです。

その他、RGB色空間からHSB色空間に変換した際の明度と彩度を評価したり、各特徴量のパラメータを調整してみたりと、半年ほど四苦八苦しながら色々やっていました。。。

さいごに

サリエンシーの研究は、すなわち「人間の脳みそは何をしているのか」を理解する研究です。
なので、脳科学や認知科学の分野について調べつつ、専門の画像処理で実現するための手法を調べたりと、手も頭も動かす機会でした。
何より、自分の仮説が正しそうという事が確認できた時の達成感は、研究を行っている身ならではのものと思います。

苦手な英語で書かれた論文に目を通したり、TeXを勉強しようとしてあきらめたりと、面白い事だらけではなかったですが。。。

この記事に反応がある程度あれば、画像処理関連の記事も引き続き書いてみようかと思います。
最後までご覧いただきありがとうございました。