研究内容RESEARCHES

1秒間に1000枚以上の画像に対して実時間処理が可能な高速ビジョンの研究開発が進んでおり、人間の素早い動きにも対応可能な実時間インタラクション技術の実現が期待されている。 本研究では、このような視覚を用いた実時間インタラクションの考えとして、 視覚センサ情報を音声呈示情報に変換する実時間可聴化（VA: Visual Auditorization） の概念を提案し、そのデモンストレーションシステムとして、 高速ビジョンを用いたバーチャル楽器を開発した。

VAは、視覚情報の可聴化を意味し、実環境における対象の位置、速度・加速度情報などを視覚センサにより観測し、その情報を基に対象物からの仮想的な音声情報に変換した上で音声提示装置に出力することで、視覚 センサ情報を音声提示情報に変換する考えである。 このような概念を実現する上では、数kHz〜数十kHzレベルでの周波数帯域を持つ音声情報に対して十分に対応可能な高速ビジョンシステムが重要となる。

実時間VAシステムのデモシステムとして、バーチャル楽器を開発した。 本研究で提案するバーチャル楽器は、 高速メガピクセルビジョン、仮想楽器モデルを有するコンピュータ、 MIDI音源などの音声提示装置から構成される。仮想楽器モデルを入れ替えることにより、様々なバーチャル楽器を実現することが可能となる

以下に仮想楽器モデルを導入したいくつかのバーチャル楽器例について紹介する。


○バーチャルギター
バーチャルギターモデルは、人間の手の動きに合わせてギター音を鳴らす形態を持つ。 このモデルでは、仮想的な弦を弾く右手の動きのみに着目し、音階を決める左手の動きは自動的に決定している。演奏者の右手親指の先に標点があるとし、その座標が、仮想弦の位置を通過した瞬間に発音し、その大きさは通過した速度により決定される。