いものやま。

雑多な知識の寄せ集め

HME

強化学習用のニューラルネットワークをSwiftで書いてみた。(その8)

前回は○×ゲームをSwiftで実装した。 今日はSarsaComの実装。 なお、Rubyでの実装は、以下を参照: SarsaComクラス ということで、さっそく。 //============================== // TicTacToe //------------------------------ // SarsaCom.swift //========…

強化学習用のニューラルネットワークをSwiftで書いてみた。(その7)

昨日はValueNetworkの保存とロードの実装をした。 (ただ、いろいろ問題があったので、後で修正する予定) これで実際に学習をするために、今日は○×ゲームをSwiftで実装する。 Markクラス まずはマークを表すMarkクラスから。 enumで実装するのも一つの手だ…

強化学習用のニューラルネットワークをSwiftで書いてみた。(その6)

昨日は強化学習用のHMEの実装を行った。 今日はそれらのデータの保存とロードが出来るようにする。 (2016-04-08追記:いろいろ問題があったので、大幅に修正する予定) NSKeyedArchiver、NSKeyedUnarchiver データをファイルに保存し、ロードする一つの方法…

強化学習用のニューラルネットワークをSwiftで書いてみた。(その5)

昨日は強化学習用のHMEの計算を行列で表現した。 今日はそれを使って実際に実装していく。 なお、Rubyでの実装は、以下を参照: GateNetworkクラス まずはゲートネットワークの実装。 //============================== // ValueNetwork //-----------------…

強化学習用のニューラルネットワークをSwiftで書いてみた。(その4)

昨日は強化学習用のニューラルネットワークの実装を行った。 今日はHMEの実装を行うために、同様にHMEの計算を行列で表現していく。 強化学習用のHMEの計算 ここでは、HMEへの入力を 、出力を とする。 また、エキスパートネットワーク の出力を 、パラメー…

強化学習用のニューラルネットワークをSwiftで書いてみた。(その3)

昨日は強化学習用のニューラルネットワークの計算を行列で表現した。 今日はそれを使って実際に実装していく。 なお、Swiftでの行列演算については、以下を参照: ここで定義したMatrixクラス、Vectorクラスを使っていくことになる。 また、Rubyでの実装は以…

強化学習用のニューラルネットワークをSwiftで書いてみた。(その2)

昨日は乱数生成器の実装を行った。 今日は強化学習用のニューラルネットワークの計算を行列で表現する。 強化学習用のニューラルネットワークの計算 説明を簡単にするために、ここでは次のようなニューラルネットワークを考える: 3層ニューラルネットワーク…

強化学習用のニューラルネットワークをSwiftで書いてみた。(その1)

強化学習の関数近似にニューラルネットワークを組合せるということをやってきていた。 強化学習については以下から: ニューラルネットワークについては以下から: 複数のニューラルネットワークを組合せるHME(Hierarchical Mixtures of Experts)について…

強化学習とニューラルネットワークを組合せてみた。(まとめ)

これまでの各記事は以下から。 イントロ 強化学習とニューラルネットワークを組合せ中。 - いものやま。 ○×ゲームの実装 強化学習とニューラルネットワークを組合せてみた。(その3) - いものやま。 テーブル型Sarsa()法の実装 強化学習とニューラルネット…

強化学習とニューラルネットワークを組合せてみた。(その15)

昨日は関数近似にHMEを使ったSarsa()法の実装を行った。 今日はそれを使って実際に学習を行ってみる。 HMEの構成 学習を行うにあたって、HMEの構成は、TD Learning of Game Evaluation Functions with Hierarchical Neural Architecturesとほぼ同じ構成にし…

強化学習とニューラルネットワークを組合せてみた。(その14)

昨日は関数近似のためのHMEの実装を行った。 今日はいよいよHMEを関数近似に使ったSarsa()法の実装。 ファイルの整理 ただ、いざ実装しようと思うと、違ってくるのは関数近似の部分だけで、それ以外はまったく同じ。 なので、ちょっとバカらしい感じが。 そ…

強化学習とニューラルネットワークを組合せてみた。(その13)

昨日はゲートネットワークの実装を行った。 今日はそれを使って関数近似のためのHMEの実装を行う。 ValueHMEクラス 関数近似のためのHMEをValueHMEクラスとして実装していく。 #==================== # value_hme.rb #-------------------- # 価値ベクトルを…

強化学習とニューラルネットワークを組合せてみた。(その12)

昨日はHMEを強化学習の関数近似に使うときの勾配計算について説明した。 今日からは実際にRubyで実装を進めていく。 まずはゲートネットワークの実装から。 GateNNクラス ゲートネットワークをGateNNクラスとして実装していく。 #==================== # gat…

強化学習とニューラルネットワークを組合せてみた。(その11)

前回はドロップアウトを実装したニューラルネットワークを強化学習の関数近似に使う実験をした。 けど、結果としてはうまくいかなかった。 そこで、次はHMEを強化学習の関数近似に使うのを試してみる。 HMEについては、以下を参照: HMEの出力の重みに関する…

HMEについて学んでみた。(まとめ)

これまでの各記事は以下から。 HMEの構造と出力の計算 HMEについて学んでみた。(その1) - いものやま。 HMEでの学習 HMEについて学んでみた。(その2) - いものやま。 HMEの出した結果 HMEについて学んでみた。(その3) - いものやま。 HMEの構造 HMEは…

HMEについて学んでみた。(その3)

昨日はHMEでの学習について説明した。 これでHMEについての説明自体は終わりなんだけど、せっかくなので、論文内で言及されているHMEの成果についても。 参照している論文は、以下のもの: TD Learning of Game Evaluation Functions with Hierarchical Neur…

HMEについて学んでみた。(その2)

昨日はHMEの構造と出力の計算について説明した。 今日はHMEでの学習について説明する。 HMEでの学習 HMEでの学習は、HMEを一種の混合分布モデルとみなして、尤度が最大になるように学習を行う。 ・・・ということみたいなんだけど、これをまだ自分がちゃんと…

HMEについて学んでみた。(その1)

○×ゲームに対して、強化学習にニューラルネットワークを組み合わせるということをやってきた。 その中で、複数のインスタンスを同時に学習していくのは、ある程度有効だということが分かった。 ただし、それらの結果を組み合わせる方法が必要という話になっ…