How Does Batch Normalization Help Optimization?

How Does Batch Normalization Help Optimization? [paper] は、タイトルの通り、Batch Normalization [脚注BN] がどのようにニューラルネットの最適化を促進するのかを検証した論文である。MIT の Shibani Santurkar らによって著され、2018 年の NeurIPS に採択された。

参考文献

paper

Shibani Santurkar, Dimitris Tsipras, Andrew Ilyas, Aleksander Mądry. How does batch normalization help optimization? Advances in Neural Information Processing Systems (NeurIPS 2018), vol. 31, 2018.

脚注

BN

ニューラルモデルの対象の層の出力を成分ごとにバッチ内で標準化し、改めて線形変換する操作。画像認識や音声認識などによく用いられる。