ニューラルネットワークについて学んでみた。（まとめ）

これまでの各記事は以下から。

ニューラルネットワークの構成
- 多層ネットワーク
  - ニューラルネットワークについて学んでみた。（その1） - いものやま。
- 活性化関数
  - ニューラルネットワークについて学んでみた。（その2） - いものやま。
ニューラルネットワークの学習

勾配消失問題

誤差逆伝播法では、勾配が出力層のデルタ $\boldsymbol{\delta}^{(L)}$ に関して線形計算になっている。
そのため、各層の重みが大きいと、デルタは急速に大きくなり、逆に、重みが小さいと、デルタは急速に小さくなる。
そのいずれの場合も学習が困難になってしまうので、層を深くするのが難しかった。
これを、勾配消失問題という。