研究内容RESEARCHES
Smart Vision & Robotic Sensing
高速ビジョン・ロボットセンシング
- >> 研究テーマ
- 1秒間に1000コマ以上の実時間画像処理を実現する高速ビジョン技術を始めとして、人間の感覚能力を遥かに上回る実時間センシング技術の確立を目指した情報システム/デバイスの研究開発を行うとともに、高速化・集積化を念頭においたアルゴリズムの研究、さらには人間には感じとることが難しい振動ダイナミクス等の情報を積極的利用した新たなセンシング技術の実現を目指します。
高速ビデオ画像を用いた実験動物の自動行動認識システム
本研究では、HFRビデオ撮影された実験動物について、四肢の高速繰返動作を含む様々なモデル行動を同時定量化する行動認識アルゴリズムを提案する。
提案アルゴリズムは、極座標変換されたシルエット画像に基づき、四肢動作を部位毎にセグメントし、実験動物の位置や姿勢に依存することなく、複数のモデル行動を定量化する。
有効性を示すために、240fpsで撮影されたICRマウスを解析し、擦過運動やグルーミングを含む6種類のモデル行動の定量化を行う。
HFRビデオ撮影された実験動物について、四肢の高速な繰返し運動を含む複数の行動は、A) シルエット輪郭抽出のための極座標変換、B) 部位毎のフレーム差分特徴計算 C) 行動LUTを用いた行動判別といったアルゴリズムを経て分類される。分類される行動としては、immobility(IM): 一定時間運動がない状態、moving(MV): 歩くまたは走る状態、left-side scratching(SL): 左後肢で頭部を繰り返し引っ掻く状態、right-side scratching(SR): 右後肢で頭部を引っ掻く状態、head-grooming(HG): 前肢で頭部を毛繕いする状態、rearing(RE): 後肢を下に座るあるいは立つ状態 の6つのモデル行動がある。
構築した実験動物行動定量化システムは、実験用のマウスケージ、フレームレート240fpsで320×400画素の画像に対する高速ビジョンINCS1010、高フレームレート動画キャプチャシステム、近赤外LED照明、及び解析用パソコンから構成される。 構築した実験動物行動定量化システムを用いた動作検証実験を、典型的な実験用マウスの一種であるICRマウス3匹のICRマウスに対して行った。 下図にleft-side scrathingにおけるシルエット画像及び部位毎のフレーム間差分特徴を示した. また目視観察における行動判別との比較を行い、構築したシステムを用いて高い精度での行動判別を実現可能とすることが検証された。
HFRビデオ撮影された実験動物について、四肢の高速な繰返し運動を含む複数の行動は、A) シルエット輪郭抽出のための極座標変換、B) 部位毎のフレーム差分特徴計算 C) 行動LUTを用いた行動判別といったアルゴリズムを経て分類される。分類される行動としては、immobility(IM): 一定時間運動がない状態、moving(MV): 歩くまたは走る状態、left-side scratching(SL): 左後肢で頭部を繰り返し引っ掻く状態、right-side scratching(SR): 右後肢で頭部を引っ掻く状態、head-grooming(HG): 前肢で頭部を毛繕いする状態、rearing(RE): 後肢を下に座るあるいは立つ状態 の6つのモデル行動がある。
構築した実験動物行動定量化システムは、実験用のマウスケージ、フレームレート240fpsで320×400画素の画像に対する高速ビジョンINCS1010、高フレームレート動画キャプチャシステム、近赤外LED照明、及び解析用パソコンから構成される。 構築した実験動物行動定量化システムを用いた動作検証実験を、典型的な実験用マウスの一種であるICRマウス3匹のICRマウスに対して行った。 下図にleft-side scrathingにおけるシルエット画像及び部位毎のフレーム間差分特徴を示した. また目視観察における行動判別との比較を行い、構築したシステムを用いて高い精度での行動判別を実現可能とすることが検証された。
WMV動画(3MB) 6種類のモデル行動 |
参考文献
- Yuman Nie, Takeshi Takaki, Idaku Ishii, and Hiroshi Matsuda : Algorithm for Automatic Behavior Quantification of Laboratory Mice Using High-Frame-Rate Videos, SICE Journal of Control, Measurement, and System Integration, Vol.4, No.5, pp.322-331 (2011)
- Yuman Nie, Takeshi Takaki, Idaku Ishii, and Hiroshi Matsuda: Behavior Recognition in Laboratory Mice Using HFR Video Analysis, Proc. IEEE Int. Conf. on Robotics and Automation, pp.1595-1600, 2011.