軸屋敬介 | Keisuke Jikuya

Home Blog Note Post

QAHOI: Query-Based Anchors for Human-Object Interaction Detection

https://github.com/cjw2021/QAHOI

Mar 7, 2023

Human-Object Interaction, Transformer,

arXiv (2021)

概要

• transformerベースの手法QAHOI（Query-Based Anchors for Human-Object Interac tion detection）を提案
• マルチスケールで特徴を抽出し，クエリベースのアンカーを用いてHOIを予測する
• 強力なバックボーンによって、精度が大幅に向上した

新規性・差分

• 1ステージアプローチでは，物体の位置や大きさのばらつきを無視している

アイデア

• 階層型バックボーンで4段階の特徴マップを抽出し，1×1畳み込みで次元を整えて平坦化
• Deformable transformer Encoderでさらに特徴抽出
• Deformable transformer Decoder
  • クエリ埋め込みを，HOI問い合わせ埋め込みと位置埋め込みに等分割
  • 位置埋め込みからアンカーを作成
  • それらをTransformer Decoderで処理し，HOI埋め込みを取得
  • 
• Interaction Head
  • 
  • Decoderの出力とアンカーを利用して， 人間と物体のBB・物体のクラス・インタラクションを予測

結果

• HICO-DET
  •