研究内容RESEARCHES

従来のジェスチャー認識におけるインタラクションは、人間の行動を見て、人間の行動が終わってから機械がそのジェスチャーを認識し、それに対する行動を起こすというものが一般的であった。ここでは、高速モーションキャプチャ情報を利用することにより、人間の行動が終了する前にその行動結果を予測し、それに対するリアクションを起こすことを可能とするシステムの一例として、ジャンケンに必ず勝つロボットシステムについて説明する。

ロボットが人間に対して必ずジャンケンに勝つためには右図に示す条件を満たす必要がある。これは、人間が手を出し始めてから手を出し終わるまでの時間（約0.2秒）に、ロボットは人間の指の状態を高速に認識し、それに対して勝つ手を高速に提示する必要があることを示す。なお、人間の手形状の認識は、3つの標点をマークされた黒い手袋を装着して行い、その3点の位置情報からグー、チョキ、パーを判別する。

下図にシステムの構成図を示す。視覚部としてiMVS-155を用いた高速メガピクセルビジョンを適用し、ジェスチャー提示部として高速な指の開閉が可能なロボットハンドを適用した。 PCでは、視覚部で得られた高速モーションキャプチャ情報を基に人間の手の認識を行い、それに対して勝つ手を常に提示するように、サーボドライバを介してロボットハンドを制御する。



最後に実際に本システムで人間とジャンケンを行った実験の動画を示す。このように人間の高速な動作に対しても、人間のジェスチャー行動終了時にはロボットが必ずジャンケンに勝っていることがわかる。なお、ここではロボットが必ず勝つ場合のジャンケンを紹介したが、同様に必ず負けるジャンケン、必ずアイコのジャンケンも可能となっている。