Posts | 6

Affine transformation of virtual 3D object using 2D localization of fingertips

• VR環境のオブジェクトの指先での操作を目指す
• 手の検出と指先の検出の２段階CNNを用いて、親指と人差し指のジェスチャーを検出
• ジェスチャーでVR環境内の物体をアフィン変換

Jul 8, 2022 VR Virtual Reality & Intelligent Hardware (2020)

The Unreasonable Effectiveness of Deep Features as a Perceptual Metric

• 知覚的な類似性としてPSNRやSSIMが広く使われているが、浅い関数のため人間の知覚の多くのニュアンスを説明することができない
• そこで、学習済みモデルの特徴を使用
• 教師あり、自己教師あり、教師なしを問わずに学習済みモデルの特徴がこれまでの指標を凌駕し、人間の知覚的判断に対応していることを確認

Jun 28, 2022 Perceptual Metrics CVPR (2018)

ShaRF: Shape-conditioned Radiance Fields from a Single View

• 1枚の画像からのNeRFの生成
• 形状表現と外観表現を分離したことで性能向上
• 学習領域外の画像にも汎化可

May 16, 2022 NeRF ICML (2021)

Portrait Neural Radiance Fields from a Single Image

• メタ学習を活用した1枚の顔写真からのNeRF生成
  • 顔だけでなく、頭頂部、髪、胴体、眼鏡などのアクセサリを含む
• 世界座標からの剛体変換を用いて、顔空間においてNeRFを事前学習させるアルゴリズムを提案
  • 学習データ間の形状のばらつき補正により、未見の被験者に対するモデルの汎化が大幅に改善
• 照明ステージでの制御されたキャプチャからなる多視点ポートレートデータセットを提供

May 13, 2022 NeRF arXiv (2020)

pixelNeRF: Neural Radiance Fields from One or Few Images

• 1枚または数枚の画像からNeRFを生成するpixelNeRFを提案
• NeRFは入力画像が少ない場合 、汎化できず、性能が低下する
• それに対し、pixelNeRFではCNNで抽出した特徴量で条件付けることで解決した

May 12, 2022 NeRF CVPR (2020)

Learned Initializations for Optimizing Coordinate-Based Neural Representations

• ランダム初期化した重みからの学習は非効率
• そこで，NeRFにメタ学習アルゴリズムを適用
• 学習の収束が速くなり、強力な事前分布によって部分的な入力の場合でもより良い汎化性能を得る

May 10, 2022 NeRF CVPR (2020)

pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis

• 3Dを考慮した高品質な画像合成のためのSIRENベースのπ-GANと呼ばれる新しい生成モデルを提案
  • GANはマルチビューの一貫性を保証できない
• 周期的な活性化関数を持つニューラル表現と古典的なボリュームレンダリングを活用している
• 複数の3Dを考慮した画像合成において最先端の結果

May 9, 2022 NeRF CVPR (2020)

GRF: Learning a General Radiance Field for 3D Scene Representation and Rendering

• NeRFの問題点：単一構造しか表現できない、豊富な幾何パターンを持たない
• 2次元画像の各画素の局所的な特徴を学習し、
  その特徴を3次元の点に投影することで、一般的で豊富な点表現を得る
• 複数の2次元画像から画素の特徴を集約するためのAttention機構を組み込んだ

Apr 26, 2022 NeRF ICCV (2020)