研究内容RESEARCHES
Smart Vision & Robotic Sensing
高速ビジョン・ロボットセンシング
- >> 研究テーマ
- 1秒間に1000コマ以上の実時間画像処理を実現する高速ビジョン技術を始めとして、人間の感覚能力を遥かに上回る実時間センシング技術の確立を目指した情報システム/デバイスの研究開発を行うとともに、高速化・集積化を念頭においたアルゴリズムの研究、さらには人間には感じとることが難しい振動ダイナミクス等の情報を積極的利用した新たなセンシング技術の実現を目指します。
セルベースドラベリングに基づく高速複数対象特徴抽出
本研究では、画像中の複数対象の位置や特徴量を高速計算する方法としてセルベースドラベリング法を提案し、様々な画像特徴量に対応したセルベースドラベリングアルゴリズムを高速ビジョンプラットフォームにハードウェア実装することにより、512×512画素画像に対して2000fpsでの複数対象の画像特徴量を実時間計算可能とした。
セルベースドラベリングは、加法性のある画像特徴量を計算する場合、画像を小さな画像領域(セル)に分割し、セル毎に画像特徴量の総和を計算した上で、セル単位でのラベリングを行う考えであり、空間解像度を低下させることなく、ラベリングにおける走査画素数及びラベルマップ等の記憶領域の削減を可能とする。 セルラベリングアルゴリズムは、(1) 分割されたセル単位での画像特徴量計算, (2) セルベースド画像特徴量を用いた対象レベルでのラベリングから構成される。 右図にその処理の流れを示す。
モーメント特徴、高次局所自己相関特徴(HLAC)、カラーヒストグラムなどの加法性のある画像特徴量計算を高速化するために、セルベースドラベリングに基づく様々なハードウェア回路をFPGAベースド高速ビジョンプラットフォームIDP Expressに実装し、様々な高速複数対象特徴抽出システムの構築に成功した。 これらのシステム実装では、512×512画像において、最大1024個の対象に対して、8×8セルでのセルベースドラベリングを用いることにより、大きさや位置を求めるための0次, 1次モーメント特徴と同時に、様々な画像特徴量を瞬時に計算できることを確認した。
512×512画像に対して2000fpsで動作する高速複数対象特徴抽出システムの性能は、高速な運動対象に対する様々な動作実験において既に検証されている。 以下にこれらの動画を示す。
セルベースドラベリング(モーメント特徴)
WMV動画(2.3M) 16rpsで回転する文字パターン |
|
WMV動画(2.2M) 複数トランプスーツパターンの2000fps投影 |
セルベースドラベリング(25個のHLAC特徴+モーメント特徴)
WMV動画(1.9M) 学習されたトランプスーツパターンの250fps投影 |
|
WMV動画(1.0M) 顔パターンの250fps投影 |
セルベースドラベリング(16カラービンヒストグラム+モーメント特徴)
WMV動画(2.1M) 16rpsで回転する16種類のカラーパターン |
|
WMV動画(0.9M) カラーボトルを持つ人間の手の反復動作 |
参考文献
- Qingyi Gu, Takeshi Takaki, and Idaku Ishii : Fast FPGA-Based Multi-Object Feature Extraction,IEEE Transactions on Circuits and Systems for Video Technology, Vol.23, No.1, pp.30-45 (2013)
- Qingyi Gu, Tadayoshi Aoyama, Takeshi Takaki, and Idaku Ishii : High Frame-rate Tracking of Multiple Color-patterned Objects, Journal of Real-Time Image Processing, doi: 10.1007/s11554-013-0349-y (online first) (2013)
- Qingyi Gu, Takeshi Takaki, and Idaku Ishii : 2000-fps Multi-Object Tracking Based on Color Histogram, Proc. SPIE 8437 (SPIE Photonics Europe / Real-Time Image and Video Processing), 8437E, 2012.
- Qingyi Gu, Takeshi Takaki, and Idaku Ishii : A Fast Multi-Object Extraction Algorithm Based on Cell-Based Connected Components Labeling, IEICE Transactions on Information and Systems, Vol.E95-D, No.2, pp.636-645 (2012)
- Qingyi Gu, Takeshi Takaki, and Idaku Ishii : 2000-fps Multi-Object Recognition Using Shift-Invariant Features, Proc. Int. Symp. Optomechatronic Technologies, 2011.
- Qingyi Gu, Takeshi Takaki, and Idaku Ishii : 2000-fps Multi-Object Extraction Based on Cell-Based Labeling, Proc. IEEE Int. Conf. on Image Processing, pp.3761-3764, 2010.