軸屋敬介 | Keisuke Jikuya

Home Blog Note Post

Learned Initializations for Optimizing Coordinate-Based Neural Representations

https://arxiv.org/abs/2012.02189

May 10, 2022

NeRF, Meta Learning, Sparse Views,

CVPR (2020)

概要

• ランダム初期化した重みからの学習は非効率
• そこで，NeRFにメタ学習アルゴリズムを適用
• 学習の収束が速くなり、強力な事前分布によって部分的な入力の場合でもより良い汎化性能を得る

アイデア

• メタ学習アルゴリズムのMAML(Model-Agnostic Meta Learning)とReptileを使用した
• MAML：各タスクで今の初期値からSGDでの更新後にうまくいくような良い初期値を求める

結果

• メタ学習していないStandardに比べてメタ学習Metaは早く収束している
• また、メタ学習で人に特化した重みから他の自然画像(ホルン)の収束を早める役に立っている
  
• SV Meta(オブジェクトごとに複数のビューをメタ学習)，MV Meta(オブジェクトごとに単一のビューをメタ学習)では，1枚の画像から生成できているが，メタ学習していないStandardでは生成できていない