軸屋敬介 | Keisuke Jikuya
Home
Blog
Note
Post
GRF: Learning a General Radiance Field for 3D Scene Representation and Rendering
GRF: Learning a General Radiance Field for 3D Scene Representation and Rendering
https://arxiv.org/abs/2010.04595
Apr 26, 2022
NeRF, Attention,
ICCV (2020)
概要
NeRFの問題点:単一構造しか表現できない、豊富な幾何パターンを持たない
2次元画像の各画素の局所的な特徴を学習し、
その特徴を3次元の点に投影することで、一般的で豊富な点表現を得る
複数の2次元画像から画素の特徴を集約するためのAttention機構を組み込んだ
アイデア
M枚の入力画像(と座標と視点)をCNNに通し特徴抽出
CNNはすべての画像で共有
抽出した特徴をmulti-view geometryに従い3次元空間に投影
画像特徴$F_p$と座標pをMLPに通すことで位置認識特徴量$\hat F_p$を取得
これをAttention機構に通すことで座標 pに対して一意の特徴ベクトル$\bar F_p$を計算
特徴集約のためのAttention機構
特徴ベクトル$\bar F_p$と視点$\nu_p$からNeRF同様にRGBと密度を予測
結果
一覧へ戻る