研究内容RESEARCHES
Smart Vision & Robotic Sensing
高速ビジョン・ロボットセンシング
- >> 研究テーマ
- 1秒間に1000コマ以上の実時間画像処理を実現する高速ビジョン技術を始めとして、人間の感覚能力を遥かに上回る実時間センシング技術の確立を目指した情報システム/デバイスの研究開発を行うとともに、高速化・集積化を念頭においたアルゴリズムの研究、さらには人間には感じとることが難しい振動ダイナミクス等の情報を積極的利用した新たなセンシング技術の実現を目指します。
ネットワーク型高速ビジョンシステム INCS
人間の目では認識不能な高速現象を扱える画像処理技術への要求が高まる中、
これまでに幾つかの高速ビジョンシステムが開発されている。
本研究では、ネットワーク経由での制御およびデータ取得が可能な高速ビジョンシステム INCS(Intellgent Network Camera System)を開発した。
INCS は、INCS内におけるハードウェア処理により、計算された様々な画像特徴量について、LANを介して外部出力でき、また1台のPCで最大8台を制御可能であるため、 低コストかつ簡便な画像処理システムを実現でき、 生物行動解析などのバイオ分野や画像処理検査などの産業分野を中心に広くその利用が見込まれる。 ネットワーク型高速ビジョンシステム INCS の外観を右図に示す。 INCS の内部構成を下図に示す。 INCS は図のように、イメージセンサカード(IMGRカード)、メイン処理カード(FPGAカード)、画像出力カード(NTSCカード)、インタフェースカード(CPULカード) から構成されている。 IMGRカードにはCMOSイメージセンサが搭載されており、これらの制御信号入力、画像データ出力、電源供給をFPGAカードとの間で行う。 FPGAカードは、IMGRカードの制御を行い、IMGRカードからの画像データ処理をカード上のFPGAで行う。 FPGAの周辺デバイスとしてNTSC表示用のSSRAMと、ネットワーク転送用のSSRAMが接続され、画像出力および、CPULカードからのCPU要求に対応する。 NTSCカードは、画像データをNTSCへエンコードし出力する。 CPULカードは、ネットワーク通信のためのLANデバイスを搭載する。LANデバイスとFPGA間の通信はカード上のCPUが行い、外部からの設定要求に応じて制御する。
INCSでは、LANからの特徴量出力を行うと同時に、30fpsのNTSC出力を4系統持つため、モニタ機能としてだけではなく、複数の動画キャプチャ装置と組み合わせれば、フルフレームで120fps、分割フレームでは1000fps以上の速度での長時間動画記録が簡易に可能な構造をとっている。また、FPGAカード上に実装されるハードウェア処理については、使用用途によってユーザーが書き換え可能な構造となっており、外観検査などの特定用途のためのチューニングが容易に可能な構造となっている。
INCSのハードウェア仕様を右表に示す。
FPGAに実装される画像処理内容に対応して、現在、以下のようなINCSシリーズが既に開発されている。
INCS は、INCS内におけるハードウェア処理により、計算された様々な画像特徴量について、LANを介して外部出力でき、また1台のPCで最大8台を制御可能であるため、 低コストかつ簡便な画像処理システムを実現でき、 生物行動解析などのバイオ分野や画像処理検査などの産業分野を中心に広くその利用が見込まれる。 ネットワーク型高速ビジョンシステム INCS の外観を右図に示す。 INCS の内部構成を下図に示す。 INCS は図のように、イメージセンサカード(IMGRカード)、メイン処理カード(FPGAカード)、画像出力カード(NTSCカード)、インタフェースカード(CPULカード) から構成されている。 IMGRカードにはCMOSイメージセンサが搭載されており、これらの制御信号入力、画像データ出力、電源供給をFPGAカードとの間で行う。 FPGAカードは、IMGRカードの制御を行い、IMGRカードからの画像データ処理をカード上のFPGAで行う。 FPGAの周辺デバイスとしてNTSC表示用のSSRAMと、ネットワーク転送用のSSRAMが接続され、画像出力および、CPULカードからのCPU要求に対応する。 NTSCカードは、画像データをNTSCへエンコードし出力する。 CPULカードは、ネットワーク通信のためのLANデバイスを搭載する。LANデバイスとFPGA間の通信はカード上のCPUが行い、外部からの設定要求に応じて制御する。
Lens mount |
C/CS mount |
Image sensor |
Micron MT9V40312STC |
Max. framerate |
640×480 pixel @120fps 640×400 pixel @240fps 640×200 pixel @480fps 640×100 pixel @960fps |
Camera control |
LAN(100BASE-TX) |
Video output |
NTSC 4ch |
Size |
60mm(W)x60mm(H)x160mm(D) |
Weight |
450g |
Power Consumption |
7W |
INCSでは、LANからの特徴量出力を行うと同時に、30fpsのNTSC出力を4系統持つため、モニタ機能としてだけではなく、複数の動画キャプチャ装置と組み合わせれば、フルフレームで120fps、分割フレームでは1000fps以上の速度での長時間動画記録が簡易に可能な構造をとっている。また、FPGAカード上に実装されるハードウェア処理については、使用用途によってユーザーが書き換え可能な構造となっており、外観検査などの特定用途のためのチューニングが容易に可能な構造となっている。
INCSのハードウェア仕様を右表に示す。
FPGAに実装される画像処理内容に対応して、現在、以下のようなINCSシリーズが既に開発されている。
- INCS1010: 4色トラッキングカメラ (640×480画素@120fps、自動追跡時160×100画素@960fps)
- INCS1020: フレーム間差分カメラ (640×400画素@240fps、640×200画素@480fps)
- INCS1030/1031: 列方向モーメント計算カメラ (640×400画素@240fps、640×100画素@960fps)
- INCS1040: ラベリングカメラ (640×400画素@240fps、640×100画素@960fps)