RGB画像＋測距データを単眼で実現
JVCケンウッドのセンサーフュージョンカメラは、「RGBセンサー」と「ToFセンサー」の異なるセンサーデータを融合し、RGB画像と測距データを同時に取得します。3次元計測や物体検出などに最適化したカメラであり、LiDARをはじめとする既存の測距技術やステレオカメラでのAI画像解析代替え利用も可能です。
JVCケンウッド独自技術
業務用カメラで培ったカメラ画像処理技術と光学技術を応用し、RGBセンサーとToFセンサーの光軸を高精度に合わせる同光軸システムを開発。単眼でRGB画像と測距データの同時取得を実現しています。
また、単眼化により、ステレオカメラで発生していたデータのタイムラグと正確な位置角度の調整といった複雑なキャリブレーションが不要となり、瞬時に正確なデータを取得します。
同光軸システム（単眼化）
ユースケース
RGB画像に測距データが加わることで、AI画像処理の高精度化、正確な3次元計測が実現。
ロボティクス、ドローン、セキュリティ、AR/VR、スマートシティのインフラなど、幅広い応用が期待されています。
1. 自動運転/自律運転、ロボティクス等の眼となる
自動運搬装置などの視覚システムの向上、周囲の障害物検知や地形解析、SLAM*技術の発展に活用が可能です。
* SLAM=Simultaneous Localization and Mapping（自己位置推定と環境地図作成を同時に行う技術）
マテリアルハンドリング機器
- 2つのセンサーをカメラ1台に搭載し、最小限のカメラ構成で周囲を包括的に把握
- 赤外線干渉を受けずに障害物回避を実現
- リアルタイムモニタリングとフィードバックで安全な自律走行を提供
農機/建機
- 広角で周辺状況を把握し、作業領域の拡大と危険回避を実現
- 迅速な物体認識で自己位置推定精度を向上
- カメラヘッドの分離で設置スペース制約の解決と過酷な温度環境下でも利用が可能に
- 測距データ取得時に霧や外乱光による影響を低減
ロボティクス
- 対象物をリアルタイムで正確に認識し、高精度で高速な動作処理を実現
- 広い視野角により、対象物を見逃さずにピックアップ
2. 測距データの利用によりAI開発の負担を軽減
AIの代表的な利用であるオブジェクト検出や異常検出、姿勢推定、特定人物認識で、「対象物までの距離」や「対象物の大きさ」が不明で開発が中断するケースがあります。
JVCケンウッドのセンサーフュージョンカメラで取得する測距データをAIに組み込むことで、AIによる物体検出処理を大幅に向上させることが可能となります。
不良品検出
課題
AIカメラで表面の傷や形状の違いを検出したいが、AI単体では測距ができないため別のセンサーが必要。
解決
JVCケンウッドのセンサーフュージョンカメラなら、導入台数を抑えつつ測距データと形状情報をAIに素早く送信することが可能となります。
暗所での人物検出
課題
IR映像での人物検知精度が低くなってしまう。
解決
JVCケンウッドのセンサーフュージョンカメラで取得した部屋の3Dデータとリアルタイムに取得した測距データを比較して検出精度を向上させます。
オブジェクト検知時の誤検出防止
課題
AIカメラだけでは背景の他のオブジェクトや光の影響で誤検出が発生してしまう。
解決
JVCケンウッドのセンサーフュージョンカメラのToFセンサーで取得した測距データで背景をマスクし、AIへの入力前に前処理を行うことで、誤検出を防ぎます。
特長
単眼でRGB画像と測距データを同時取得
独自開発の同光軸システムにより、RGB画像と測距データ（＋IR画像）を同時に取得します。（ToFセンサーより測距データとIR画像が同時出力）
RGB画像
IR画像
測距データ
RGB画像＋IR画像＋測距データ
RGB画像＋測距データの視差を回避
カメラを単眼にすることで、ステレオ（2眼）カメラで必要だった複雑なキャリブレーションが不要となり、視差ずれの同期をとるための処理工数が大幅に削減されます。そのため、同期ずれのない高精度なデータをリアルタイムで取得します。
ToFの赤外線干渉を最小限に
ToFセンサーの赤外線干渉を最小限に抑えることで、干渉による測距データの誤差を低減し、信頼性の高い測定結果を得ることができます。
