概要

新規性・差分

Faster R-CNNを用いて、すべての人と物体のインスタンスを検出
Human/Object Stream
- 人と物体のインスタンスの外観特徴をiCANモジュールに入れ、2層の全結合層に通して人スコア$s^a_o$と物体スコア$s^a_o$を取得
- iCANモジュール
  - 図の処理を行うことで、類似度などを使ってattentionマップを作成し、外観特徴$x^h_{inst}$と文脈特徴$x^h_{context}$を取得して、連結したものを出力する
Pairwise stream
- 人間の領域を1，それ以外を0とした2値画像と物体の領域を1，それ以外を0とした2値画像をCNNに入力して特徴抽出
  - 空間特徴を得ている
- 空間特徴のみではうまくいかないため，人間の外観特徴$x^h_{inst}$を連結してから2層の全結合層に通してペアスコア$s^a_{sp}$を取得
スコアの算出
- Late fusion：人スコア$s^a_o$と物体スコア$s^a_o$を足して、ペアスコア$s^a_{sp}$を掛けることでスコアを算出
- Early fusion：すべてのStreamのスコアを連結して、２つの全結合層に通してスコアを算出