軸屋敬介 | Keisuke Jikuya

Home Blog Note Post

pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis

https://marcoamonteiro.github.io/pi-GAN-website/

May 9, 2022

NeRF, GAN,

CVPR (2020)

概要

• 3Dを考慮した高品質な画像合成のためのSIRENベースのπ-GANと呼ばれる新しい生成モデルを提案
  • GANはマルチビューの一貫性を保証できない
• 周期的な活性化関数を持つニューラル表現と古典的なボリュームレンダリングを活用している
• 複数の3Dを考慮した画像合成において最先端の結果

アイデア

Generator

• 通常のGANのGeneratorは潜在変数から直接2次元画像を生成する
• StyleGANを模倣したMapping Networkを追加した
  • 潜在変数$z$から周波数$\gamma_i$と位相シフト$\beta_i$を出力し，SIRENの各層を条件付ける
• MLPの各層$\phi_i(x_i)$は下式で表される（図b）
  • $\phi_i(x_i)=sin(\gamma_i\cdot(W_ix_i+b_i)+\beta_i)$
• これを繰り返した出力を$\phi(x)$とすると，密度$\sigma$と色$c$は下式で表される（図a）
  • $\sigma(x)=W_\sigma\phi(x)+b_\sigma$
  • $c=W_c\phi_c((\phi(x),d)^T)+b_c$

Discriminator

• ProgressiveGANのように，初めは低解像度から学習し，学習が進むにつれて解像度を上げて新しい層を追加する
• Generatorでは代わりに光線の密度を上げていく

結果