軸屋敬介 | Keisuke Jikuya

Home Blog Note Post

Learning to Detect Human-Object Interactions

http://websites.umich.edu/~ywchao/hico/

Jul 15, 2022

Human-Object Interaction Detection, Dataset,

WACV (2018)

概要

• HOI検出 (Human-Object Interaction detection) 用の大規模データセットHICO-DETを提供
• HICO-DET用のモデルHuman-Object Region-based Convolutional Neural Networks (HO-RCNN)を提案
• HO-RCNNでは人間と物の空間的関係を利用することで、ベースラインよりも性能を大幅に向上

新規性・差分

• 人間と物のインタラクションの検出だけでなく位置を推定するHOI検出という研究の提案とデータセットの提供

手法

• MSCOCOで事前学習したFast-RCNNで人間と物を検出し、以下の3つのStramで使用（DNNはImageNetで事前学習されたCaffeNetを使用している）
  • Human Stream
    • Fast-RCNNが検出した人間の領域の特徴を切り取ってリサイズし、DNNでベクトルに
  • Object Stream
    • Fast-RCNNが検出した物体の領域の特徴を切り取ってリサイズし、DNNでベクトルに
  • Pairwise Stream
    • Fast-RCNNが検出した人間と物体の領域で切り取り、人間と物体の領域を1それ以外を0とする2値画像をリサイズorPadding埋めして、DNNでベクトルに
• 3つのStreamで作成したベクトルを足し合わせることで60個のクラススコアを予測

結果

• mAPの比較
  • 
  • Known Objectは曖昧と未知の画像を除いている
    • 曖昧：クラウドワーカーで意見が割れた画像
    • 未知：人物と他のオブジェクトカテゴリが含まれる画像
  • Fullはすべてのクラス(600)、Rareは学習データが10未満の滅多にないクラス(138)、Non-Rareは学習データが10以上のクラス(462)
  • Randomはランダムにスコアを当てる、unionは人間と物を合わせた領域をDNNでベクトルにしてスコアを算出、scoreは人間と物それぞれの領域をDNNでベクトルにしてから足し合わせてスコアを算出、IP1はPairwise Streamのリサイズでゼロパディングあり、+Sは物体検出スコアとHOIスコアを結ぶニューロン経路をつなぐ
• 画像の比較
  • 左：正しく検出、右：過検出