読者です 読者をやめる 読者になる 読者になる

いものやま。

雑多な知識の寄せ集め

ニューラルネットワークについて学んでみた。(まとめ)

技術 AI ニューラルネットワーク まとめ

これまでの各記事は以下から。

勾配消失問題

誤差逆伝播法では、勾配が出力層のデルタ  \boldsymbol{\delta}^{(L)} に関して線形計算になっている。
そのため、各層の重みが大きいと、デルタは急速に大きくなり、逆に、重みが小さいと、デルタは急速に小さくなる。
そのいずれの場合も学習が困難になってしまうので、層を深くするのが難しかった。
これを、勾配消失問題という。

この問題を解決するために、深層学習のいろんな手法が出てきた。
それについては、また今度で。

今日はここまで!

深層学習 (機械学習プロフェッショナルシリーズ)

深層学習 (機械学習プロフェッショナルシリーズ)