軸屋敬介 | Keisuke Jikuya

Home Blog Note Post

Affine transformation of virtual 3D object using 2D localization of fingertips

https://www.sciencedirect.com/science/article/pii/S2096579620300917

Jul 8, 2022

Virtual Reality, Object Detection,

Virtual Reality & Intelligent Hardware (2020)

概要

• VR環境のオブジェクトの指先での操作を目指す
• 手の検出と指先の検出の２段階CNNを用いて、親指と人差し指のジェスチャーを検出
• ジェスチャーでVR環境内の物体をアフィン変換

新規性・差分

• 指先を2Dカメラで撮影し，AR/VR/MR空間のオブジェクトの操作が可能に

手法

• 指先検出システム
  • Hand Detection
    • 物体検出モデル(YOLO)で手を検出
  • Cropped & Resized
    • 手の領域で切り取り、指定のサイズに
  • Feature Learning
    • 分類モデル(VGG-16, InceptionV3, Xception, MobileNetV2)の特徴マップを平滑化し、NNで(親指のx,y座標, 人差し指のx,y座標)を出力するように学習

• Vuforiaを使用したインタラクションシステム
  • 手の検出
  • 指の検出
  • 指の距離、角度、重心を計算
  • 計算値からVRオブジェクトをアフィン変換（拡大縮小、回転、平行移動）

結果

• 分類モデルごとの性能比較
  • VGG16の損失関数(Loss)と座標の平均絶対誤差(MAE)が最小 = 最も良い
  • 
  • 
• 既存の指先検出手法との比較
  • 提案手法(Proposed Method)の座標のMAEが最小 = 最も良い
  • ただし、ネットワークが重いため一番遅い
  • 30FPSの33.33msは下回っているため問題なし
  • 
• オブジェクト操作のリアルタイムデモ
  • 拡大縮小、回転、平行移動
  •