研究内容RESEARCHES

本研究では、高速ビジョンを用いて人間の指先で物体を叩く動作(タッピング動作) を解析し、その解析結果に基づき、指先の三次元位置情報と接触状態、接触力を高速同時計測する実時間インタフェースを提案した また、実際にインタフェースシステムを構築した。

本研究の着目点は、人間が自分自身の動きを能動的に制御しうる動作周波数帯は、接触など外的要因による受動的に生じた動きに含まれる高周波数成分を含まないという点にある。はじめに、この前提を検証するために、可能な限り素早く指先を上下運動する指先タッピング動作時において、接触の発生の有無でどのように指先の運動が変化するかを計測した。右図に、上下方向の指先変位とその動作周波数分布を示す。

これより、人間の能動的な指先動作と接触時の振動情報は、周波数帯が明確に異なることがわかり、周波数フィルタにより各動作を完全に分離して考えることができる。また、実験の結果、特定周波数成分の変動量ピーク値は、実際に計測した衝撃力と相関があり、視覚情報から接触の有無が推定可能であることが示された。

次に視覚情報に基づき接触の有無を判定可能とするタッピングインターフェイスシステムの構成を示す。 システムは高速ビジョンとその制御用PC から構成される。 高速ビジョンはMmVision PROTOTYPE-Iを用い、指先に貼りつけた直径5mmのマーカに対してウィンドウサイズ64×64画素で重心追跡処理を行った。 三次元測定には2台の平行カメラによるステレオ法を用いた。 計測フレームレートは指1本、2本、3本使用時にそれぞれ565、500、440[fps] である。 PCは高速ビジョンを制御するクライアント用2台、2台のPCを管理するサーバ用1台の計3台を使用した。 サーバ・クライアント間はLANで接続し、通信プロトコルとしてTCP/IPを用いた。

実際に、構築したタッピングインターフェイスを用いたデモシステムとして、高速にタッピング回数をカウントするタッピングカウンタ、紙に描いたピアノ鍵盤をタッピングする仮想楽器、タッピング動作をマウス代わりに使用するPCインタフェースを構築した。以下にこれらのデモシステムの動作の様子を撮影した動画を示す。