研究内容RESEARCHES
Smart Vision & Robotic Sensing
高速ビジョン・ロボットセンシング
- >> 研究テーマ
- 1秒間に1000コマ以上の実時間画像処理を実現する高速ビジョン技術を始めとして、人間の感覚能力を遥かに上回る実時間センシング技術の確立を目指した情報システム/デバイスの研究開発を行うとともに、高速化・集積化を念頭においたアルゴリズムの研究、さらには人間には感じとることが難しい振動ダイナミクス等の情報を積極的利用した新たなセンシング技術の実現を目指します。
小型高速ビジョンプラットフォーム IDP Express
本研究では、インテリジェント高速ビデオロガーとして動作する次世代の高速ビジョンとして、高フレームレートでの実時間画像処理機能と動画記録機能を併せ持つ小型高速ビジョンプラットフォームIDP Expressを(株)フォトロンと共同開発した。
IDP Expressは、2台の小型高速カメラヘッド、専用FPGA画像処理ボード (IDP Expressボード)、パソコンからなり、ハードウェア/ソフトウェアによる様々な画像処理アルゴリズムの高速実装による処理結果と同時に高フレームレート入力画像をパソコン汎用メモリに記録可能とした高速ビジョンシステムである。 小型高速カメラヘッドにより撮像された画像は、カメラ2ch入力を持つIDP Expressボードへ高速転送され、IDP Expressボード上においてユーザがハードウェア回路実装した任意の画像処理アルゴリズムを実行することができる。これらの処理結果及び高フレームレート画像は、PCI-e バスを介して、PC上の汎用メモリに直接高速転送され、外部機器に最終的な処理結果を出力する。
カメラヘッドはカラー/グレイレベル8bit画像に対して、512×512画素で2000fps、512×96画素で10000fpsのフレームレートで動作する。 2種類のカメラ筐体(キューブ型 35×35×34mm、90g;ペンシル型 23×23×77mm、145g) が用意されており、いずれも小型・軽量であり、マニピュレータなどの可動体に容易に搭載可能である。 IDP Expressボードは、2つのカメラヘッドから、2000fpsで転送される512×512画素画像を同時取得し、ハードウェア回路による高速処理と同時に、パソコン汎用メモリへの高フレームレート画像の高速転送を可能とし、カメラ入出力、PCI-eバス制御を行うFPGA(Xilinx XCVFX60)とユーザが任意のアルゴリズムを回路実装可能なFPGA(Xilinx XC3S5000)を搭載している。
IDP Express用のPCは、8レーン以上のPCI-eバス及びDMA機能を持ち、Windows XPまたは7がOSとして動作するコンピュータであれば動作する。 ユーザが画像処理アルゴリズムの実装先をFPGA, GPU, CPUと容易に選択可能とし、要求される処理内容・性能・開発時間などに合わせた形で、これらの処理をユーザが自在に組み合わせることができる柔軟な開発環境が用意されている。
インテリジェント高速ビデオロガーとしてのIDP Expressの有効性を示すために、2自由度アクティブビジョンを用いた高速対象追跡システムを構築し、運動対象における決定的な瞬間における高フレームレート映像の自動記録を行った。以下にそれらの結果を示す。
IDP Expressは、2台の小型高速カメラヘッド、専用FPGA画像処理ボード (IDP Expressボード)、パソコンからなり、ハードウェア/ソフトウェアによる様々な画像処理アルゴリズムの高速実装による処理結果と同時に高フレームレート入力画像をパソコン汎用メモリに記録可能とした高速ビジョンシステムである。 小型高速カメラヘッドにより撮像された画像は、カメラ2ch入力を持つIDP Expressボードへ高速転送され、IDP Expressボード上においてユーザがハードウェア回路実装した任意の画像処理アルゴリズムを実行することができる。これらの処理結果及び高フレームレート画像は、PCI-e バスを介して、PC上の汎用メモリに直接高速転送され、外部機器に最終的な処理結果を出力する。
カメラヘッドはカラー/グレイレベル8bit画像に対して、512×512画素で2000fps、512×96画素で10000fpsのフレームレートで動作する。 2種類のカメラ筐体(キューブ型 35×35×34mm、90g;ペンシル型 23×23×77mm、145g) が用意されており、いずれも小型・軽量であり、マニピュレータなどの可動体に容易に搭載可能である。 IDP Expressボードは、2つのカメラヘッドから、2000fpsで転送される512×512画素画像を同時取得し、ハードウェア回路による高速処理と同時に、パソコン汎用メモリへの高フレームレート画像の高速転送を可能とし、カメラ入出力、PCI-eバス制御を行うFPGA(Xilinx XCVFX60)とユーザが任意のアルゴリズムを回路実装可能なFPGA(Xilinx XC3S5000)を搭載している。
IDP Express用のPCは、8レーン以上のPCI-eバス及びDMA機能を持ち、Windows XPまたは7がOSとして動作するコンピュータであれば動作する。 ユーザが画像処理アルゴリズムの実装先をFPGA, GPU, CPUと容易に選択可能とし、要求される処理内容・性能・開発時間などに合わせた形で、これらの処理をユーザが自在に組み合わせることができる柔軟な開発環境が用意されている。
インテリジェント高速ビデオロガーとしてのIDP Expressの有効性を示すために、2自由度アクティブビジョンを用いた高速対象追跡システムを構築し、運動対象における決定的な瞬間における高フレームレート映像の自動記録を行った。以下にそれらの結果を示す。
WMV動画(0.7M) 落下するプリンの衝突 |
|
WMV動画(0.8M) 回転する風船の破裂 |
|
WMV動画(2.3M) トンボの飛翔 |
|
WMV動画(5.1M) バッタのジャンプ・着地 |
参考文献
- Yao-Dong Wang, Idaku Ishii, Takeshi Takaki, and Kenji Tajima : An Intelligent High-Frame-Rate Video Logging System for Abnormal Behavior Analysis, Journal of Robotics and Mechatronics, Vol.23, No.1, pp.53-65 (2011)
- Idaku Ishii, Tetsuro Tatebe, Qingyi Gu, Yuta Moriue, Takeshi Takaki, and Kenji Tajima : 2000 fps Real-time Vision System with High-frame-rate Video Recording, Proc. IEEE Int. Conf. on Robotics and Automation, pp. 1536-1541, 2010.