軸屋敬介 | Keisuke Jikuya

Home Blog Note Post

ShaRF: Shape-conditioned Radiance Fields from a Single View

https://arxiv.org/abs/2102.08860

May 16, 2022

NeRF, Sparse Views,

ICML (2021)

概要

• 1枚の画像からのNeRFの生成
• 形状表現と外観表現を分離したことで性能向上
• 学習領域外の画像にも汎化可

アイデア

• 形状ネットワーク$G$は潜在コード$\theta$から$128^3$のボクセルグリッドを生成する
  • ボクセル一つ一つには0~1の占有率$\alpha$が含まれている
• 外観ネットワーク$F$は座標$p$と方向$d$に加えて、占有率と先程の占有率$\alpha$と外観コード$\phi$から、色$c$と密度$\sigma$を推定する
• テスト時には2段階の最適化手順
  1. 外観ネットワーク$F$の重みを固定し、形状コード$\theta$と形状ネットワーク$G$と外観コード$\phi$を最適化する
     • 形状コードのみの最適化との比較
       
  2. 形状コード$\theta$と形状ネットワーク$G$の重みを固定し、外観コード$\phi$と外観ネットワーク$F$を最適化する
     • 外観コードのみの最適化との比較
       

結果

• ShapeNet-SRN
  

• pixelNeRFに勝っている例