いものやま。

雑多な知識の寄せ集め

顔画像から音楽を生成するサービスの紹介。

音楽を簡単に作れる方法ってないのかなぁ、と思って、いろいろ調べてみたら、顔画像から音楽を生成してくれるサービスを見つけた。

http://face.ipsa.co.jp

これがなかなか面白かったので、紹介。

FACE MELODY

f:id:yamaimo0625:20160225125033p:plain

サイトにアクセスすると、軽快なBGMが。
実際、このBGMで流れているような音楽が生成される。

音楽の生成を始めるには、STARTボタンを押す。

すると、利用規約が表示されるので、ざっと読んで、「同意する」のチェックボックスにチェックをいれる。

これで「カメラで写真を撮影する」と「お持ちの写真から選択」のボタンが有効になるので、いずれかを選択。
今回は「お持ちの写真から選択」を選ぶことにした。
ちなみに、「カメラで写真を撮影する」を選んだ場合、カメラへのアクセスが求められて、カメラで撮った写真を使える。

さて、「お持ちの写真から選択」を選ぶと、ファイルのアップロードが促されるので、適当な顔写真の入った画像を選んでアップロード。
そのあと、画像を拡大/縮小/移動することで、ガイドに目の位置が合うようにする。

f:id:yamaimo0625:20160225130533p:plain

使った画像は、みんな大好き福澤先生w

これで「この写真で生成する」をクリックすると、生成スタート。
モチーフとなる短いメロディ(これ自体はランダム?)を伴って、顔写真がいくつかの観点で分析される。
そして、その結果からパターンが組み合わされて、音楽が生成されるみたい。

最後に、曲のタイトルが表示されて、音楽が始まる。

ちなみにタイトルは、「夜のハイウェイ スタイルブック」だった。
なんじゃそりゃw

けど、音楽そのものはいい感じ。
謎アニメーションとともに、生成された音楽が再生される。

f:id:yamaimo0625:20160225131546p:plain

以下から実際に聞くことも出来るので、聞いてみたい人はぜひ。

http://face.ipsa.co.jp/videos/963469c5e6958f40487167723d75c40d

技術的な話

ちなみに、音楽の生成は、顔写真を次の4つの観点で分析することで、パターンを選択しているみたい:

  • 表情(Smile Level)→音楽の雰囲気?(Relaxed/Livelyなど)
  • バランス(Face Balance)→リズム(全12パターン)
  • 肌の色(Face Color)→サウンド(音源?/メロディ?)(全100パターン)
  • 明るさ(Lightness)→アレンジ(全18パターン)

こんな感じにあらかじめパターンを用意しておいて、それを組み合わせて音楽を作れば、確かにちゃんとした音楽になりそうね。
このサービスでは顔画像を分析していたけど、他の分析の仕方もありそう。
(それこそ、パターンを直に入力するのもあり)

他のサービス

ちなみに、画像から音楽を生成するサービスとしては、次のようなものもあった:

こちらはFACE MELODYとはまた違った方法で音楽を生成していて、アップロードされた画像を細かい区画に区切り、その1区切りをなんらかのアルゴリズムで音にして、それを順番に奏でていくことで音楽にしている感じ。
ただ、そのような方法で音楽にしているので、同じような色が(横に)続く画像だと、単調になってしまう感じだった。
それなりにキレイな音楽を生成はするんだけどね。

今日はここまで!