研究内容RESEARCHES
Smart Vision & Robotic Sensing
高速ビジョン・ロボットセンシング
- >> 研究テーマ
- 1秒間に1000コマ以上の実時間画像処理を実現する高速ビジョン技術を始めとして、人間の感覚能力を遥かに上回る実時間センシング技術の確立を目指した情報システム/デバイスの研究開発を行うとともに、高速化・集積化を念頭においたアルゴリズムの研究、さらには人間には感じとることが難しい振動ダイナミクス等の情報を積極的利用した新たなセンシング技術の実現を目指します。
フレームレートストラドリングオプティカルフロー
本研究では、高フレームレート画像から異なるフレーム間隔を持つ画像ペアを選択するフレームストラドリング機能を導入し、高速及び低速な対象の両方の対象に対しても精度高くオプティカルフローを推定する方法を提案した。
フレームストラドリング機能は、高速対象には高フレームレート画像に対応した微小なフレーム間隔、低速対象には大きなフレーム間隔を適応的に選択することにより、オプティカルフローの測定可能範囲を飛躍的に向上させる。 提案するフレームストラドリングオプティカルフロー法は、フレーム間隔とオプティカルフロー精度の関係に基づき、高フレームレート画像の中で処理に必要なフレームだけ、推定されたオプティカルフロー強度に応じた形で最適なフレーム間隔を自動的に選択することにより、処理コストを大幅に削減することができ、実時間実装に向いたアルゴリズムとなっている。 実際に提案手法は高速ビジョンプラットフォームIDP Expressにソフトウェア実装され、2000fpsの512×512画像から、40ms間隔毎に選択された3対の画像を選択することにより、25fpsでの実時間オプティカルフロー推定を実現した。 選択された3対の画像のフレームストラドリング間隔は、0.5, 1.5, 5 msである。
高速運動対象に対する計測実験を行い、提案手法により、測定可能な範囲が飛躍的に拡張された形で精度高くオプティカルフローの実時間推定が実現可能であり、最終的なオプティカルフローの出力レートが25fpsといった標準的なビデオレートである場合でも有効なことを示した。
フレームストラドリング機能は、高速対象には高フレームレート画像に対応した微小なフレーム間隔、低速対象には大きなフレーム間隔を適応的に選択することにより、オプティカルフローの測定可能範囲を飛躍的に向上させる。 提案するフレームストラドリングオプティカルフロー法は、フレーム間隔とオプティカルフロー精度の関係に基づき、高フレームレート画像の中で処理に必要なフレームだけ、推定されたオプティカルフロー強度に応じた形で最適なフレーム間隔を自動的に選択することにより、処理コストを大幅に削減することができ、実時間実装に向いたアルゴリズムとなっている。 実際に提案手法は高速ビジョンプラットフォームIDP Expressにソフトウェア実装され、2000fpsの512×512画像から、40ms間隔毎に選択された3対の画像を選択することにより、25fpsでの実時間オプティカルフロー推定を実現した。 選択された3対の画像のフレームストラドリング間隔は、0.5, 1.5, 5 msである。
高速運動対象に対する計測実験を行い、提案手法により、測定可能な範囲が飛躍的に拡張された形で精度高くオプティカルフローの実時間推定が実現可能であり、最終的なオプティカルフローの出力レートが25fpsといった標準的なビデオレートである場合でも有効なことを示した。
パンチの動き WMV(5.3M) |
道路上の車の動き WMV(0.9M) |
参考文献
- Lei Chen, Hua Yang, Takeshi Takaki, and Idaku Ishii :Real-Time Optical Flow Estimation Using Multiple Frame-Straddling Intervals, Journal of Robotics and Mechatronics, Vol.24, No.4, pp.686-698 (2012)
- Lei Chen, Takeshi Takaki, and Idaku Ishii : Accuracy of Gradient-Based Optical Flow Estimation in High-Frame-Rate Video Analysis, IEICE Transactions on Information and Systems Vol.E95-D, No.4, pp.1130-1141 (2012)
- Lei Chen, Hua Yang, Takeshi Takaki, andIdaku Ishii : Real-Time Frame-Straddling-Based Optical Flow Detection, Proc. IEEE Int. Conf. Robotics and Biomimetics, pp.2447-2452, 2011.