ニューラルネットワークについて学んでみた。（その2）

昨日は基本的なニューラルネットワークの構成について説明した。

今日は昨日説明しなかった活性化関数について説明する。

活性化関数はニューラルネットワークを非線形にするための関数。
一般的には単調増加する非線形な関数で、微分可能なもの（もしくは似た関数）が使われる。

昔よく使われていたのは、シグモイド関数と総称される関数。
ロジスティック関数や双曲線正接関数がある。

また、最近は正規化線形関数やシグモイド関数を近似した関数が使われたりもする。

ロジスティック関数は、次のような関数：

定義域は $(- \infty, \infty)$ 、値域は $(0, 1)$ になる。

見た目は以下のとおり：

f:id:yamaimo0625:20160203163636p:plain

双曲線正接関数は、次のような関数：

定義域は $(- \infty, \infty)$ 、値域は $(-1, 1)$ になる。

見た目は以下のとおり：

f:id:yamaimo0625:20160203163649p:plain

正規化線形関数は、次のような関数：

定義域は $(- \infty, \infty)$ 、値域は $[0, \infty)$ になる。

見た目は以下のとおり：

f:id:yamaimo0625:20160203235827p:plain

シグモイド関数を区分的に直線で近似した、次のような関数を使うこともある：

定義域は $(- \infty, \infty)$ 、値域は $[-1, 1$ ]になる。

見た目は以下のとおり：

f:id:yamaimo0625:20160203235842p:plain

どの活性化関数を使うのかは、出力としてどの範囲の値を得たいのかによる。

なお、シグモイド関数は値域に上限と下限があるので、下手すると値がすぐに上限/下限に偏ってしまって、学習がうまくいかなくなってしまうことがある。
なので、そういった場合には正規化線形関数を使うといい。

また、シグモイド関数を区分的に直線で近似した関数も、出力に上限と下限を与えることが出来て、かつ、計算が軽いので、使い勝手がいい。

今日はここまで！

いものやま。