研究内容RESEARCHES
Smart Vision & Robotic Sensing
高速ビジョン・ロボットセンシング
- >> 研究テーマ
- 1秒間に1000コマ以上の実時間画像処理を実現する高速ビジョン技術を始めとして、人間の感覚能力を遥かに上回る実時間センシング技術の確立を目指した情報システム/デバイスの研究開発を行うとともに、高速化・集積化を念頭においたアルゴリズムの研究、さらには人間には感じとることが難しい振動ダイナミクス等の情報を積極的利用した新たなセンシング技術の実現を目指します。
実時間高フレームレートオプティカルフロー推定
本研究では、輝度勾配に基づくオプティカルフロー推定法をベースとして、高速対象から低速対象まで同時計測可能とした可変フレームレート型オプティカルフロー検出アルゴリズムを提案し、提案アルゴリズムを高速ビジョンプラットフォームにハードウェア実装することにより、1000 fpsでの実時間高速オプティカルフロー検出を実現した。
オプティカルフロー検出法の代表的手法として、Lucas-Kanade法で代表される時空間微分法が知られているが、サブピクセル単位での解析が行える一方で、対象の速度が大きくなると推定精度が低下する問題がある。これはフレーム間に画像ずれが大きく生じるため起きる問題であり、高フレームレート化が解決策となる。また高速ビジョンでは、低速運動対象では、逆にフレーム間での画像ずれが微小になり、解析精度が低下する問題がある。
そこで本研究では、対象の運動状態に応じて時間方向に時空間微分値を加算することにより、擬似的にフレームレートを自動調節する手法を導入する。この手法では、低速動作対象を高フレームレートで撮影した場合、フレーム間での空間微分画像の画像変化も微小となる特性を用いた近似により、擬似的にフレームレートを1/n倍に変更するとして、微分積和値を求める。なおパラメータ nは、画像内での速度分布により決定するものとし、解析値に対し閾値を設定することで、この解析値を超えるよう累積数の自動選択を可能とする。
提案アルゴリズムを高速ビジョンプラットフォームH3 Vision上に実装した。画素レベルでの計算オーダーが必要とされる微分積和値計算は回路モジュールとして構築し、32×32画素ブロック領域毎に微分積和値をハードウェアにより計算した.これ以外の後段の処理はPC上のソフトウェア処理により実現した.また提案アルゴリズムの有効性を定量的に検証するとともに,人間の動きなどの高速な運動に対するオプティカルフロー検出について,1024×1024 画素画像に対して1000 fpsで実時間動作することを確認した.
オプティカルフロー検出法の代表的手法として、Lucas-Kanade法で代表される時空間微分法が知られているが、サブピクセル単位での解析が行える一方で、対象の速度が大きくなると推定精度が低下する問題がある。これはフレーム間に画像ずれが大きく生じるため起きる問題であり、高フレームレート化が解決策となる。また高速ビジョンでは、低速運動対象では、逆にフレーム間での画像ずれが微小になり、解析精度が低下する問題がある。
そこで本研究では、対象の運動状態に応じて時間方向に時空間微分値を加算することにより、擬似的にフレームレートを自動調節する手法を導入する。この手法では、低速動作対象を高フレームレートで撮影した場合、フレーム間での空間微分画像の画像変化も微小となる特性を用いた近似により、擬似的にフレームレートを1/n倍に変更するとして、微分積和値を求める。なおパラメータ nは、画像内での速度分布により決定するものとし、解析値に対し閾値を設定することで、この解析値を超えるよう累積数の自動選択を可能とする。
提案アルゴリズムを高速ビジョンプラットフォームH3 Vision上に実装した。画素レベルでの計算オーダーが必要とされる微分積和値計算は回路モジュールとして構築し、32×32画素ブロック領域毎に微分積和値をハードウェアにより計算した.これ以外の後段の処理はPC上のソフトウェア処理により実現した.また提案アルゴリズムの有効性を定量的に検証するとともに,人間の動きなどの高速な運動に対するオプティカルフロー検出について,1024×1024 画素画像に対して1000 fpsで実時間動作することを確認した.
人間の投球動作 MPG動画(2.2M)再生 |
|
回転するコマ MPG動画(4.5M)再生 |
参考文献
- Idaku Ishii, Taku Taniguchi, Kenkichi Yamamoto, and Takeshi Takaki : High-Frame-Rate Optical Flow System, IEEE Trans. on Circuits and Systems for Video Technology, Vol.22, No.1, pp.105-112 (2012)
- Idaku Ishii, Taku Taniguchi, Kenkichi Yamamoto, and Takeshi Takaki : 1000 fps Real-Time Optical Flow Detection System, Proc. SPIE-IS&T Electronics Imaging 2010 meeting, Vol.7538, pp.75380M-1–75380M-11, 2010.
- 石井抱, 谷口拓, 山本健吉, 高木健 : 高速実時間オプティカルフローシステム, 電子情報通信学会論文誌D, Vol.J93-D, No.1, pp.29-38 (2010)