軸屋敬介 | Keisuke Jikuya

Home Blog Note Post

GO-Finder: A Registration-Free Wearable System for Assisting Users in Finding Lost Objects via Hand-Held Object Discovery

https://dl.acm.org/doi/10.1145/3397481.3450664

Mar 14, 2023

Object Detection,

IUI (2021)

概要

• 登録不要のウェアラブルカメラを用いた物体の発見支援システムGO-Finderを提案
• 手持ちの物体を自動的に検出しグループ化しておくことで、アプリから対象物の最後の出現を取得できる
  • 手で扱う物体に限定することで、対象となる物体を大幅に削減
• 物体画像をクエリとして利用し、候補の中から物体を選択することができる

新規性・差分

• 従来のシステムではユーザーが事前に対象物を登録する必要があった

アイデア

• 概要
  • 必要なもの
    • ウェアラブルカメラ、処理サーバー、参照用スマートフォン
    • 
  • 観察フェーズ
    • ウェアラブルカメラで連続的に画像を撮って、サーバーに送信
    • サーバーは手持ちの物体を検出・追跡
    • 物体の外観によってクラスタリング
  • 検索フェーズ
    • 
    • スマートフォンのインターフェースを使って、処理結果を受信
    • 検索したい物体を選択
    • 物体が最後に出現したシーンがポップアップ画面で出てくる
• アルゴリズム
  • 
  • 手持ち物体の検出
    • 既存手法「Understanding Human Hands in Contact at Internet Scale」を用いて、バウンディングボックスと携帯型物体判定と接触状態を取得
    • 携帯型物体判定かつ接触状態の物体のバウンディングボックスを取得
    • フレームの半分の辺長はノイズとして除外
  • 検出されたバウンディングボックスを、外観特徴に基づいてクラスタリング
    • ステージ１：トラッキングしたものを同じクラスタへ(c)
    • ステージ２：トラッキングが失敗した場合、ImageNet学習済みResNetに通した特徴に対してコサイン類似度を計算し、閾値を超えたらクラスタへ(d上)
      • 条件を満たすクラスタが1つもない場合は新しいクラスタを作成
    • ステージ３：クラスタ単位でコサイン類似度行列を作成、最大値と中央値が閾値を超えたらクラスタへ(d下)
  • 手の外観や類似の質感による誤った関連付けを防ぐために、ヒューリスティックを導入
    • バウンディングボックスのアスペクト比が1.5より大きい場合
    • 肌色領域(カラーヒストグラム)の比率が0.3より大きい場合
    • 物体と手の面積比が1.5より大きい場合

結果

• 12名のボランティアに指定した場所に物体を隠してもらい、15分のインターバルで位置を忘れさせ、システムを利用しながら隠した物体の一部を持ち帰るように指示
  • 
  • パフォーマンス
    • 
  • タスク完了時間
    • 
  • クラスタの様子
    • 
    • いくつかのクラスタは分割され過ぎている