軸屋敬介 | Keisuke Jikuya

Home Blog Note Post

HICO: A Benchmark for Recognizing Human-Object Interactions in Images

http://websites.umich.edu/~ywchao/hico/

Jul 14, 2022

Human-Object Interaction Detection, Dataset,

ICCV (2015)

概要

• HOI (Human-Object Interaction) 分類用の大規模データセットHICOを紹介
• HICOを用いて、DNNを含む代表的な行動認識手法を比較
• 手法を詳細に分析して、課題と研究方向を明らかにした

新規性・差分

• HOI用として600カテゴリ,80物体,47,774枚の大規模データセットを公開
  • 単語ではなく文のクラス(Sence)と人間が検証した(Clean)の中では最大のHOIデータセット
  • 

手法

• アノテーション作業
  • 
• 評価
  • 既存手法
    • RF
    • FV
    • DNN (ImageNet事前学習Alex Netの出力をHOIクラスごとにSVM)
  • HOCNN
    • 
    • 
    • MS-COCOで学習したR-CNNで80物体のヒートマップを出力
    • Chenらの事前学習済み姿勢推定モデルで26の身体部位のヒートマップを出力
    • 合わせて106のヒートマップを入力とするCNNで600クラスを予測

結果

• mAPの比較
  • 
  • VOは動詞と物体のペア、Vは動詞だけ、Oは物体だけの分類
  • 上段は通常、下段は曖昧と未知の画像を除いている
    • 曖昧：クラウドワーカーで意見が割れた画像
    • 未知：人物と他のオブジェクトカテゴリが含まれる画像
  • (F)はすべてのクラス(600)、(R)は学習データが5未満の滅多にないクラス(167)
• トップの画像の比較
  •