多様な映像コンテンツに向けた音源分離

入力された音から声と背景音を個別に学習し、遅延なく分離することを目指します。映像を見ながら声を聞き取りやすくしたり、背景音の大きさを調整したりできる機能につなげます。

映像を見ているとき、背景の音が大きくて人の声を聞き取りにくいことがあります。この研究では、混ざり合った音から声と背景音を分け、それぞれの音量を調整できるようにする方法を提案しました。このように、混ざった音を元の音ごとに分ける処理を「音源分離」と呼びます。

提案手法は、再生中に入力される音から声と背景音の特徴を別々に学習し、それぞれの音を推定します。事前に映像全体の音を調べるのではなく、その場で学習と分離を進めることで、遅延なく動作することを目指しています。

確認した範囲では、計算量が少なく、さまざまな端末で遅延なく処理でき、視聴中に効果を確かめながら利用できました。また、多様な映像コンテンツで声と背景音を精度よく推定できることを確認しました。声を聞きやすくする、背景音を抑える、スポーツの臨場感を調整する、歌の練習に使う、といった機能につなげることを狙っています。

• 広畑 誠, 小野 利幸, 西山 正志,
  多様な映像コンテンツに対応した遅延なし音源分離技術,
  日本音響学会 春季研究発表会, pp. 1-4, March, 2013.
• 西山 正志, 広畑 誠, 小野 利幸,
  声と背景音のボリュームバランス調整に向けた音源分離, 情処研報 CVIM187-46, pp. 1-5, May, 2013.