インテリジェント車両のためのマルチセンサ・フュージョン校正

インテリジェント車両のマルチセンサーフュージョンキャリブレーションは、自動運転システムが「空間同期」と「時間同期」を実現するための重要なステップです。レーザーレーダー (LiDAR)、カメラ、ミリ波レーダー (Radar)、慣性計測装置/全地球航法衛星システム (IMU/GNSS) は、それぞれ独自の独立した座標系を持っています。フュージョン キャリブレーションの目的は、それらの間の相対的な位置と方向の関係 (外部行列) を計算し、車両が「見る」 2 次元画像、車両が「スキャン」する 3 次元点群、および車両が「測定する」速度と距離を完全にオーバーレイできるようにすることです。

以下は、インテリジェント車両におけるマルチセンサー フュージョン キャリブレーションの中心となるプロセスと主流の方法です。

1. 校正前のコアの準備

数学的計算を開始する前に、ハードウェアと環境が標準状態であることを確認する必要があります。

(1)タイムスタンプアライメント（時刻同期）：これは空間キャリブレーションの前提条件です。通常、PTP (ギガビット イーサネット時間同期プロトコル) または GPS/PPS の秒パルスを使用して、すべてのセンサーのサンプリング時間をマイクロ秒レベルに調整し、「センサーが同時に世界を見ている」ことを保証します。

(2)車両状態検査：車両を標準水平校正室に駐車し、タイヤ空気圧とサスペンションを標準荷重にし、車両を完全に静止させます。

(3) 校正オブジェクトの配置: 校正要件に従って、特別に作成された校正オブジェクトを車両の周囲に配置します。

(4) 一般的な校正対象物: 高反射率パターンを備えた校正プレート、3D ボックス、円筒、または特製の三角反射板 (ミリ波レーダーによく使用される)。

2. 炉心融合校正プロセスの分類

Fusion キャリブレーションは通常、センサーの組み合わせの「ペアワイズ アライメント」に基づいて実行され、最終的にはセンサーの組み合わせを車両/ベース リンク座標系に統合します。

(1) LiDARとカメラの共同キャリブレーション（LiDAR-to-Camera）

これは自動運転のコアキャリブレーションであり、点群と画像（カラー点群）の事前融合を実現するために使用されます。

【画像から2次元特徴点を抽出】──┐

§─> [対応関係の検索] §─> [再投影誤差の最小化] §─> [出力外部行列 [R|T]]

【点群から3D特徴点を抽出】──┘

①特徴抽出：

カメラ側: アルゴリズムは、2 次元画像内のキャリブレーション ボードの角、端、または中央ピクセルの座標 ((u, v)) を特定します。

LiDAR 側: アルゴリズムは、点群の反射強度 (または幾何学的平面フィッティング) に基づいて、3 次元空間におけるキャリブレーション ボードのエッジまたは中心点の座標 ((X, Y, Z)) を抽出します。

② 数学的解法: これは典型的な 3D から 2D への Perspective-n-Point (PnP) 問題です。最小二乗法または非線形最適化を使用して、回転行列 R と並進ベクトル T が計算されます。

③ オンライン/動的位置合わせ：日常の運転中に、道路の両側の電柱や建物の端などの自然の特徴を利用することにより、画像エッジと点群エッジの間の位置合わせが最適化され（相互情報量法を使用するなど）、外部パラメータをリアルタイムで微調整します。

(2)LiDARとミリ波レーダーの共同校正（LiDAR-to-Radar）

ミリ波レーダーは速度を測定でき、強力な透過力を持っていますが、その点群は非常にまばらでノイズが多くなります。 LiDAR 点群は密集しています。彼らの目標は「空間軌道の整合」を達成することです。

①静的方式（キャリブレーションチャンバー）：特定の位置に反射率の高いコーナーリフレクターを設置します。ミリ波レーダーはエネルギーマップ上で強い信号点として表示され、ライダーはコーナーリフレクターの三次元輪郭も正確に識別できます。外部パラメータは、2 つの中心点を一致させることによって計算されます。

②ダイナミック方式（路上走行）：前方の移動目標（他車など）を追従しながら一般道路を走行します。カルマンフィルターなどのアルゴリズムを使用して、LiDARによって追跡された物体の軌道とミリ波レーダーによって測定された動的ポイントの軌道が照合され、軌道相関を通じて外部パラメータが解決されます。

3. LiDAR/カメラと慣性計測ユニットの共同校正 (センサーから IMU)

知覚センサーを車両の運動学に合わせて調整し、「車両の揺れや衝突時にセンサーをどのように補正するか」という問題に対処します。

① ハンドアイキャリブレーション方法: 典型的な AX = XB 行列解法問題に属します。

② キャリブレーションプロセス: 車両は特定の軌道に従うように指示されます (「8」の字で走行する、頻繁に加減速する、方向転換するなど)。 IMU は車両の角速度と加速度をリアルタイムで記録し、車両自身の運動軌跡を推定します。同時に、LiDAR は点群オドメトリ (LOAM) を通じて運動軌跡を推定するか、カメラはビジュアル オドメトリ (VO) を通じて運動軌跡を推定します。

③ 解決策: アルゴリズムは、これら 2 つの運動軌跡の回転と変位を揃えることによって、IMU に対するセンサーの相対位置を計算します。

3. 統合された共同デバッグと複数のセンサーの閉ループ制御

すべてのペアごとのキャリブレーションが完了したら、グローバルな閉ループの最適化が必要になります。

(1)座標系の統一：すべての相対的な外部パラメータを車体中心座標系（リアアクスル中心を地面に投影した点など）に変換します。

(2)エラーの一貫性チェック: 伝送チェーンの閉ループを確認します。たとえば、LiDAR ightarrow Camera ightarrow IMU から計算された IMU 位置は、LiDAR ightarrow IMU から直接計算された結果と一致する必要があります。不一致がある場合は、グラフ最適化を使用してトポロジ ネットワーク全体でグローバル調整を実行します。

IV.校正の品質評価と効果検証

校正後、その精度を検証するために厳密な定量的指標を使用する必要があります。

①真値比較法：高精度・広範囲のトータルステーションやレーザートラッカーを用いて、車体座標系における各センサーハウジング上のマーク点の物理的絶対位置を手動で測定し、アルゴリズムで計算された外部パラメータ行列と比較します。外部パラメータの精度に対する一般的な要件は、距離誤差 < 1 ～ 2 cm、角度誤差 < 0.1° ～ 0.2° です。

②点群逆投影（カラーフュージョン投影）：LiDARで収集した3D点群を、計算された外部行列を介してカメラの2D画像上に投影します。電柱、道路標識、車両の輪郭の点群の色が、ずれや位置ずれがなく、画像のエッジと完全に一致している場合は、キャリブレーション品質が優れていることを示します。

③ 時空間整合性テスト：実車の動的走行中に、カメラで検出した 3D ボックス、LiDAR の点群クラスタリングボックス、同一障害物（先行車など）に対するミリ波レーダーの目標点が、Bird's Eye View（BEV）上で完全に重なり、車両の衝突による激しいジッターが発生しないことを確認します。