研究内容RESEARCHES
Smart Vision & Robotic Sensing
高速ビジョン・ロボットセンシング
- >> 研究テーマ
- 1秒間に1000コマ以上の実時間画像処理を実現する高速ビジョン技術を始めとして、人間の感覚能力を遥かに上回る実時間センシング技術の確立を目指した情報システム/デバイスの研究開発を行うとともに、高速化・集積化を念頭においたアルゴリズムの研究、さらには人間には感じとることが難しい振動ダイナミクス等の情報を積極的利用した新たなセンシング技術の実現を目指します。
特徴量に基づく500fps実時間ビデオモザイキング
本研究では、高速ビジョンプラットフォームのFPGA上へ改良型の特徴量に基づくビデオモザイキングアルゴリズムを回路実装することで、パノラマ画像を実時間合成するための高フレームレートビデオモザイキングを行う。
実装されたモザイキングアルゴリズムでは、Harrisの特徴点検出用の並列処理回路モジュールを高速ビジョンプラットフォーム上のFPGAに回路実装することにより、特徴点抽出が高速化されている。 高フレームレートビジョンでは、フレーム間の画像変化が非常に小さいと仮定し、1フレーム前の特徴点近傍を探索することで、現在のフレーム内に存在する抽出された数百の特徴点に対して特徴点マッチングが実行される。 構築したシステムは、推定されたフレーム間の平行移動と回転の変化に基づき画像を統合することで、500fpsで512×512画素画像を1つの合成された画像として実時間モザイク処理を行うことができる。
手に保持されたカメラヘッドを手動で高速に動作させ、取得された屋外の景色に対するビデオモザイキング実験を行い、構築されたシステムの有効性を実証した。
実装されたモザイキングアルゴリズムでは、Harrisの特徴点検出用の並列処理回路モジュールを高速ビジョンプラットフォーム上のFPGAに回路実装することにより、特徴点抽出が高速化されている。 高フレームレートビジョンでは、フレーム間の画像変化が非常に小さいと仮定し、1フレーム前の特徴点近傍を探索することで、現在のフレーム内に存在する抽出された数百の特徴点に対して特徴点マッチングが実行される。 構築したシステムは、推定されたフレーム間の平行移動と回転の変化に基づき画像を統合することで、500fpsで512×512画素画像を1つの合成された画像として実時間モザイク処理を行うことができる。
手に保持されたカメラヘッドを手動で高速に動作させ、取得された屋外の景色に対するビデオモザイキング実験を行い、構築されたシステムの有効性を実証した。
MPEG movie(3.7M) video mosaicing |
参考文献
- Qingyi Gu, Sushil Raut, Ken-ichi Okumura, Tadayoshi Aoyama, Takeshi Takaki, and Idaku Ishii, Real-Time Image Mosaicing System Using a High-Frame-Rate Video Sequence, Journal of Robotics and Mechatronics, Vol.27, No.1, pp. 12-23 (2015)
- Ken-ichi Okumura, Sushil Raut, Qingyi Gu, Tadayoshi Aoyama, Takeshi Takaki, and Idaku Ishii: Real-time Feature-based Video Mosaicing at 500 fps, Proceedings of 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.2665-2670, 2013.