AI
この前の木曜日に『人工知能のための哲学塾・未来社会編 第五夜「人工知能にとって幸福とは何か？」』に参加してきた。 難しいテーマだったけど、議論もとても面白く、すごく楽しめた。 ニコ生は以下から： そして、ちょっとしたショートショートを思いつい…
このブログでも何度か紹介している、『人工知能のための哲学塾』。 その第三弾ということで、未来社会編が現在進行形で開催されている。 その第参夜が1/29（火）に開かれて、自分も参加してきたのだけど、ちょっと考えたことがあったので、それについて書い…
『人工知能のための哲学塾』に続く第二弾、『人工知能のための哲学塾 東洋哲学篇』を読んだので、その感想とか。 人工知能のための哲学塾 東洋哲学篇作者: 三宅陽一郎出版社/メーカー: ビー・エヌ・エヌ新社発売日: 2018/04/20メディア: 単行本この商品を含…
以前、三宅先生の書いた『人工知能のための哲学塾』を読んだ感想を書いた。 その続きということで、東洋編が現在進行形で展開されている： 上に挙げた通り、ニコ生でタイムシフト視聴出来るので、両方とも観てみた。 で、第弐夜に関してちょっと思うことがあ…
『人工知能のための哲学塾』を読んだので、感想とか。 人工知能のための哲学塾作者: 三宅陽一郎出版社/メーカー: ビー・エヌ・エヌ新社発売日: 2016/08/11メディア: 単行本この商品を含むブログ (7件) を見る この本は「何を」扱っているのか ディープラーニ…
前回は○×ゲームをSwiftで実装した。 今日はSarsaComの実装。 なお、Rubyでの実装は、以下を参照： SarsaComクラス ということで、さっそく。 //============================== // TicTacToe //------------------------------ // SarsaCom.swift //========…
昨日はValueNetworkの保存とロードの実装をした。 （ただ、いろいろ問題があったので、後で修正する予定） これで実際に学習をするために、今日は○×ゲームをSwiftで実装する。 Markクラス まずはマークを表すMarkクラスから。 enumで実装するのも一つの手だ…
昨日は強化学習用のHMEの実装を行った。 今日はそれらのデータの保存とロードが出来るようにする。 (2016-04-08追記：いろいろ問題があったので、大幅に修正する予定） NSKeyedArchiver、NSKeyedUnarchiver データをファイルに保存し、ロードする一つの方法…
昨日は強化学習用のHMEの計算を行列で表現した。 今日はそれを使って実際に実装していく。 なお、Rubyでの実装は、以下を参照： GateNetworkクラス まずはゲートネットワークの実装。 //============================== // ValueNetwork //-----------------…
昨日は強化学習用のニューラルネットワークの実装を行った。 今日はHMEの実装を行うために、同様にHMEの計算を行列で表現していく。 強化学習用のHMEの計算 ここでは、HMEへの入力を 、出力を とする。 また、エキスパートネットワーク の出力を 、パラメー…
昨日は強化学習用のニューラルネットワークの計算を行列で表現した。 今日はそれを使って実際に実装していく。 なお、Swiftでの行列演算については、以下を参照： ここで定義したMatrixクラス、Vectorクラスを使っていくことになる。 また、Rubyでの実装は以…
昨日は乱数生成器の実装を行った。 今日は強化学習用のニューラルネットワークの計算を行列で表現する。 強化学習用のニューラルネットワークの計算 説明を簡単にするために、ここでは次のようなニューラルネットワークを考える： 3層ニューラルネットワーク…
強化学習の関数近似にニューラルネットワークを組合せるということをやってきていた。 強化学習については以下から： ニューラルネットワークについては以下から： 複数のニューラルネットワークを組合せるHME（Hierarchical Mixtures of Experts）について…
ここ数日、過去に書いた文章を引っ張り出してきてるけど、これも過去に書いたもの。 書いたのは2004年8月31日。 『ロボットの心 7つの哲学物語』（講談社現代新書、柴田正良 著）を読んでいてふと思ったことのメモ。 ロボットの心-7つの哲学物語 (講談社現代…
昨日、シンギュラリティに関する話をした。 ここでは最後にステークホルダーになるための身体の必要性について述べた。 そのことに関して、昔自分が書いた文章をちょっと思い出したので、紹介したいと思う。 ちょびっツのツの字 自分はCLAMPが好きなんだけど…
AlphaGoが囲碁のトップ棋士に4-1で勝ち越したことで、にわかにシンギュラリティ（技術的特異点ーー AIが人間を超えること）が起こる真実味が増してきた、というのがある。 これに関して、自分が思っていることを書いてみたい。 ちなみに、シンギュラリティに…
これまでの各記事は以下から。 イントロ 強化学習とニューラルネットワークを組合せ中。 - いものやま。 ○×ゲームの実装 強化学習とニューラルネットワークを組合せてみた。（その3） - いものやま。 テーブル型Sarsa()法の実装 強化学習とニューラルネット…
昨日は関数近似にHMEを使ったSarsa()法の実装を行った。 今日はそれを使って実際に学習を行ってみる。 HMEの構成 学習を行うにあたって、HMEの構成は、TD Learning of Game Evaluation Functions with Hierarchical Neural Architecturesとほぼ同じ構成にし…
昨日は関数近似のためのHMEの実装を行った。 今日はいよいよHMEを関数近似に使ったSarsa()法の実装。 ファイルの整理 ただ、いざ実装しようと思うと、違ってくるのは関数近似の部分だけで、それ以外はまったく同じ。 なので、ちょっとバカらしい感じが。 そ…
昨日はゲートネットワークの実装を行った。 今日はそれを使って関数近似のためのHMEの実装を行う。 ValueHMEクラス 関数近似のためのHMEをValueHMEクラスとして実装していく。 #==================== # value_hme.rb #-------------------- # 価値ベクトルを…
昨日はHMEを強化学習の関数近似に使うときの勾配計算について説明した。 今日からは実際にRubyで実装を進めていく。 まずはゲートネットワークの実装から。 GateNNクラス ゲートネットワークをGateNNクラスとして実装していく。 #==================== # gat…
前回はドロップアウトを実装したニューラルネットワークを強化学習の関数近似に使う実験をした。 けど、結果としてはうまくいかなかった。 そこで、次はHMEを強化学習の関数近似に使うのを試してみる。 HMEについては、以下を参照： HMEの出力の重みに関する…
これまでの各記事は以下から。 HMEの構造と出力の計算 HMEについて学んでみた。（その1） - いものやま。 HMEでの学習 HMEについて学んでみた。（その2） - いものやま。 HMEの出した結果 HMEについて学んでみた。（その3） - いものやま。 HMEの構造 HMEは…
昨日はHMEでの学習について説明した。 これでHMEについての説明自体は終わりなんだけど、せっかくなので、論文内で言及されているHMEの成果についても。 参照している論文は、以下のもの： TD Learning of Game Evaluation Functions with Hierarchical Neur…
昨日はHMEの構造と出力の計算について説明した。 今日はHMEでの学習について説明する。 HMEでの学習 HMEでの学習は、HMEを一種の混合分布モデルとみなして、尤度が最大になるように学習を行う。 ・・・ということみたいなんだけど、これをまだ自分がちゃんと…
○×ゲームに対して、強化学習にニューラルネットワークを組み合わせるということをやってきた。 その中で、複数のインスタンスを同時に学習していくのは、ある程度有効だということが分かった。 ただし、それらの結果を組み合わせる方法が必要という話になっ…
昨日はドロップアウトの実装を行った。 今日はそれで実際に学習を行ってみた。 中間層のユニット数: 128、ドロップさせるユニット数: 32 まず、中間層のユニット数を128、ドロップさせるユニット数を32にして、1,000,000回、2,000,000回、3,000,000回、学習…
昨日は複数のインスタンスを同時に学習するということを試してみた。 これ自体は有効に思われ、あとは複数のインスタンスの出す結果をどうやって統合するのかが課題になった。 その方法の一つとして考えられる、ドロップアウトの実装を行ってみた。 なお、ド…
昨日は中間層のユニット数を増やす実験をしてみた。 大体うまく動いていたけど、そこで出た課題として、自己対戦だと局所的な戦略に特化してしまって、他の場面に出くわしたときにうまく動けないことが多いようだった。 そこで、複数のインスタンスを用意し…
昨日はパラメータをいろいろ変える実験をやってみた。 結論から言えば、そもそも学習がうまくいっていない感じだった。 そして、論文をちょっと調べてみると、○×ゲームに対して関数近似にニューラルネットワーク（+α）を使うものだと、中間層のユニット数に8…
