軸屋敬介 | Keisuke Jikuya

Home Blog Note Post

Video Swin Transformer

https://github.com/SwinTransformer/Video-Swin-Transformer

Feb 15, 2024

Action Recognition, Transformer,

CVPR (2022)

概要

• 既存のビデオモデルは、空間的・時間的次元にわたってパッチをグローバルに接続するTransformer Layerを使用
• 提案ビデオアーキテクチャは局所性の帰納バイアスを持ち、従来のアプローチに比べて速度と精度のトレードオフを改善
• 小さな事前学習データセットとモデルサイズを使用しながらも、Kinetics-400とKinetics-600とSomething-Something v2でSoTA

新規性・差分

• ビデオ認識においてCNNからTransformerへのモデリングシフト

アイデア

• 
• 各フレームの3Dパッチをトークンとする
• 線形埋め込み層で任意の次元に東映
• Video Swin Transformer blocks
  • SwinTransformerのMSAモジュールを3D shifted windowsに基づくMSAモジュールに置き換え
    • 
  • 3D shifted windows
    • 

結果

• Kinetics-400
  • 84.9%(SoTA)
  • 
• Kinetics-600
  • 86.1%(SoTA)
  • 
• Something-Something v2
  • 69.6%(SoTA)
  •