軸屋敬介 | Keisuke Jikuya

Home Blog Note Post

GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis

https://avg.is.tuebingen.mpg.de/publications/schwarz2020neurips

Apr 18, 2022

NeRF, GAN,

NeurIPS (2020)

概要

• 畳み込みGANは高解像度で優秀だが，3次元形状や視点などの生成要因の分離に苦しんでいる
• そこで，NeRFを用いた生成モデルGRAFを提案
• 視覚的忠実性と3次元的一貫性の点で最先端手法と比較して有効

アイデア

モデルの概要

• 生成器$G_\theta$はカメラ行列K，カメラ姿勢ξ，サンプリングパターンν，形状$z_s$，外観$z_a$を入力とし，画像パッチ$P’$を予測する
• 識別機$D_\phi$は生成画像のパッチ$P’$と実画像のパッチPを比較する
  • 推論時にはピクセル毎，学習時には高速化のため$K\times K$の固定パッチを予測する

Ray Sampling

• カメラ姿勢ξから$K\times K$パッチの連続2次元変換uとスケールsを決定する
• 画像解像度に依存せずに識別機を使用できる

3D Point Sampling

• NaRFの計算のためにN個の点をサンプリング

Conditional Radiance Field

• NeRF箇所
• 密度σは座標xと形状$z_s$のみに依存し，色cは視線dと外観$z_a$にも依存する

結果

課題

単一の物体の単純なシーンに限定される