研究内容RESEARCHES
Smart Vision & Robotic Sensing
高速ビジョン・ロボットセンシング
- >> 研究テーマ
- 1秒間に1000コマ以上の実時間画像処理を実現する高速ビジョン技術を始めとして、人間の感覚能力を遥かに上回る実時間センシング技術の確立を目指した情報システム/デバイスの研究開発を行うとともに、高速化・集積化を念頭においたアルゴリズムの研究、さらには人間には感じとることが難しい振動ダイナミクス等の情報を積極的利用した新たなセンシング技術の実現を目指します。
高速な機械動作を監視するインテリジェントHFRビデオロガー
本研究では、1000fpsでの実時間映像処理と記録を同時に実現可能とする高速ビジョン技術をベースに、高速かつ周期的な機械動作における異常動作を検知し、その様子をHFR映像として自動記録するサーベイランスシステムを提案した。
構築したサーベイランスシステムでは、画像における周期性を前提として、予め撮影した参照画像列から、入力画像と参照画像列とのマッチングにより周期位相を実時間検出する。 その上で、参照画像と入力画像の差分値が大きくなる瞬間が異常動作として検出することにより、異常動作のHFR映像ログを自動的に記録可能としている。構築したサーベイランスシステムでは、入力画像と参照画像とのマッチングによる周期位相検出を実時間動作させるために、二分決定木(BDT)を用いた周期位相検出アルゴリズムを導入した。 提案アルゴリズムでは、参照画像列に対して、周期を符号化するために有効な画素をBDTを用いてオフライン決定した上で、入力画像における選択画素での明るさの変化のみでのリアルタイム位相符号化を可能とした。 これによりマッチングされた参照画像と入力画像の差分を計算することにより、複雑な背景下で高速に運動する機械等の対象に対しても、難しい処理を行うことなく、HFR映像ログを記録するためのトリガ信号が決定することが可能となった。
構築したサーベイランスシステムは、高速ビジョンプラットフォームIDP Express上に、前述アルゴリズムを実装することにより動作するものである。 アルゴリズムはPC上にソフトウェア実装し、周期位相及び異常動作検出は8ビット128×128濃淡画像に対して1000fpsで実時間動作する。 なお最終的にログとして記録されるHFR映像は、IDP Expressフル解像度である512×512画像であり、PCメモリ上に1000fpsで記録される。 構築した監視装置の有効性を示すために、周期的な高速運動するミシンの針部分を撮影して検証し、長時間にわたる高速繰返動作の中で針が飛ぶ等の異常動作が起きた瞬間を検出し、その様子のHFR映像ログが自動的に記録できることを確認した。
ミシンの異常動作 MPG(8.9M) |
記録されたHFR映像 AVI(4.3M) |
参考文献
- Yao-Dong Wang, Idaku Ishii, and Takeshi Takaki : HFR-Video-Based Machinery Surveillance for High-Speed Periodic Operations, Journal of System Design and Dynamics, Vol.5, No.6, pp.1310-1325 (2011)
- Yao-Dong Wang, Idaku Ishii, Takeshi Takaki, and Kenji Tajima : An Intelligent High-Frame-Rate Video Logging System for Abnormal Behavior Analysis, Journal of Robotics and Mechatronics, Vol.23, No.1, pp.53-65 (2011)
- Idaku Ishii, Yang-Dong Wang, and Takeshi Takaki : Visual Machinery Surveillance for High-Speed Periodic Operations, Proc. IEEE Int. Conf. on Intelligent Robots and Systems, pp.1208-1213, 2011.