軸屋敬介 | Keisuke Jikuya

Home Blog Note Post

Iterative energy-based projection on a normal data manifold for anomaly localization

https://arxiv.org/abs/2002.03734

Aug 3, 2021

Anomaly Detection, Unsupervised Learning, VAE, Anomaly Localization,

ICLR (2020)

1. どんなもの?

• オートエンコーダで画像を再構成する際に画像全体を悪化させることがあるため、セグメンテーションを困難にしているという問題がある
• そこで、異常データを勾配降下法で正常データ多様体に投影することで、その問題を解決した

2. 先行研究と比べてどこがすごい？

• 似た潜在変数から持ってくるAnoGANは学習が難しかったり、モード崩壊に悩まされるが、この手法はAEベースなのでそういったことが少ない

3. 技術や手法の”キモ”はどこ？

変数定義

• $E()$: エネルギー関数
• $x_0$: 入力テスト画像
• $x_t$: t回更新したテスト画像
• $f_{VAE}$: 再構成画像

学習

• 通常のVAE

推論（異常度の算出）

• 概略図
  

• エネルギー関数
  • 左の項は再構成誤差でt時点の入力と出力を近づける、右の項は正則化項でtの入力と現画像を近づける
    \(E(x\_t) = \mathcal{L}\_r(x_t) + \lambda \cdot || x\_t - x\_0 ||\_1\)

• このエネルギー関数を最小化するように画像をt回更新
  \(x\_{t+1} = x\_t - \alpha \cdot \nabla\_x E(x\_t)\)

• さらにエネルギー関数と再構成二乗誤差の要素積で更新することで、誤差が大きい箇所を更新でき、収束を早くすることができる
  \(x\_{t+1} = x\_t - \alpha \cdot \big(\nabla\_x E(x\_t) \otimes \big(x\_t-f_{VAE}(x_t)\big)^2\big)\)

4. どうやって有効だと検証した？

• MVTecデータセット
  • -gradが提案手法
    
  • 異常箇所検知
    

5. 議論はあるか？

エネルギー関数の再構成誤差の中身

• 実装ではバイナリークロスエントロピー

6. 関連文献

1. Takashi Matsubara, Ryosuke Tachibana, and Kuniaki Uehara. Anomaly machine component detec- tion by deep generative model with unregularized score. CoRR, abs/1807.05800, 2018.
2. Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun (eds.), 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.
3. Thomas Schlegl, Philipp Seeböck, Sebastian M Waldstein, Ursula Schmidt-Erfurth, and Georg Langs. Unsupervised anomaly detection with generative adversarial networks to guide marker discovery. In International Conference on Information Processing in Medical Imaging, pp. 146– 157. Springer, 2017.