軸屋敬介 | Keisuke Jikuya

Home Blog Note Post

Automated Learning Rate Scheduler for Large-batch Training

https://arxiv.org/abs/2107.05855

Sep 16, 2021

Anomaly Detection,

ICML (2021)

1. どんなもの?

• 大規模なデータやモデルを使用する際に計算効率からバッチサイズを大きくする
• しかし、バッチサイズを大きくすると小さいものと同等の性能を出すのに特別設計の学習率が必要となることがある
• そこで、train_lossが減少しなくなるまで学習率を増加させ、終了までに０に減少させるというアルゴリズムを開発
• バッチサイズでチューニング済みのベースラインと同等以上の性能を達成

2. 先行研究と比べてどこがすごい？

• バッチサイズに合わせた学習率のチューニングが必要なくなる

3. 技術や手法の”キモ”はどこ？

変数定義

• $\theta$: 平均
• $K_{l,\sigma_f}$: 共分散カーネル
• $\sigma^2_n$: ノイズレベル

ウォームアップ段階

• train_lossが減少しなくなるまで学習率を増加させる

• Lossが減少する限り、$\rho_\omega T$ ステップの間 $\eta_t$ は$\eta_{max}$まで更新し続ける
  • 指数関数的な成長をする
    • 大規模バッチにおいて安定してきめ細かい学習率探索を可能にしている
• GP回帰を用いてLoss曲線を平滑化したものでLossが減少しているか判定する
  • 局所的変動対策
• 下の数式で終了したいが、計算が簡単ではないので、
• 下のような下界を計算する

減衰段階

• 終了までに0に減衰させる
• 以下の二つでスケジュール
  • cosine減衰のみ
  • 途中まで一定の学習率で、最後の20%でcosine減衰

4. どうやって有効だと検証した？

• 学習率とLoss

5. 議論はあるか？

6. 関連文献

1. Byeongho Heo, Sanghyuk Chun, Seong Joon Oh, Dongyoon Han, Sangdoo Yun, Gyuwan Kim, Youngjung Uh, and Jung-Woo Ha. Adamp: Slowing down the slowdown for momentum optimizers on scale-invariant weights. In International Conference on Learning Representations, 2021. URL https://openreview.net/forum?id=Iz3zU3M316D.