지능형 차량의 멀티 센서 퓨전 캘리브레이션

지능형 차량의 다중 센서 융합 교정은 자동 운전 시스템이 "공간 동기화"와 "시간 동기화"를 달성하는 데 중요한 단계입니다. 레이저 레이더(LiDAR), 카메라, 밀리미터파 레이더(Radar) 및 관성 측정 장치/지구 항법 위성 시스템(IMU/GNSS)은 각각 자체적인 독립적인 좌표계를 가지고 있습니다. 융합 교정의 목적은 이들 사이의 상대적인 위치와 방향 관계(외부 매트릭스)를 계산하여 차량이 "보는" 2차원 이미지, "스캔"하는 3차원 포인트 클라우드, "측정"하는 속도와 거리를 완벽하게 오버레이할 수 있도록 하는 것입니다.

다음은 지능형 차량의 다중 센서 융합 교정을 위한 핵심 프로세스와 주류 방법입니다.

1. 교정 전 코어 준비

수학적 계산을 시작하기 전에 하드웨어와 환경이 표준 상태인지 확인해야 합니다.

(1) 타임 스탬프 정렬(시간 동기화): 이는 공간 교정의 전제 조건입니다. 일반적으로 PTP(기가비트 이더넷 시간 동기화 프로토콜) 또는 GPS/PPS 두 번째 펄스를 사용하여 모든 센서의 샘플링 시간을 마이크로초 수준으로 정렬하여 "동시에 세상을 볼 수 있도록" 합니다.

(2) 차량 상태 검사: 차량은 표준 수평 교정실에 주차되어 있으며 타이어 공기압과 표준 하중 서스펜션이 있으며 차량은 완전히 정지되어 있습니다.

(3) 교정 대상 배치: 교정 요구 사항에 따라 차량 주변에 특별히 제작된 교정 대상을 배치합니다.

(4) 일반적인 교정 대상: 반사율이 높은 패턴이 있는 교정 플레이트, 3D 상자, 실린더 또는 특별히 제작된 삼각형 반사경(밀리미터파 레이더에 일반적으로 사용됨).

2. 핵융합 교정 과정의 분류

융합 보정은 일반적으로 센서 조합의 "쌍 정렬"을 기반으로 수행되며 궁극적으로 이를 차량/기지 링크 좌표계로 통합합니다.

(1) LiDAR와 카메라의 공동 교정(LiDAR-to-Camera)

이는 자율주행을 위한 핵심 캘리브레이션으로, 포인트 클라우드와 이미지(컬러 포인트 클라우드)의 사전 융합을 달성하는 데 사용됩니다.

[이미지에서 2D 특징점 추출] ──┐

├─> [일치 검색] ├─> [재투영 오류 최소화] ├─> [외재행렬 출력 [R|T]]

[포인트 클라우드에서 3D 특징점 추출] ──┘

① 특징 추출:

카메라 측: 알고리즘은 2차원 이미지에서 보정 보드의 모서리, 가장자리 또는 중앙 픽셀의 좌표((u, v))를 식별합니다.

LiDAR 측: 알고리즘은 포인트 클라우드(또는 기하학적 평면 피팅)의 반사 강도를 기반으로 3차원 공간에서 캘리브레이션 보드의 가장자리 또는 중심점의 좌표((X, Y, Z))를 추출합니다.

② 수학적 해법: 이는 일반적인 3D-2D Perspective-n-Point(PnP) 문제입니다. 최소 제곱법이나 비선형 최적화를 사용하여 회전 행렬 R과 변환 벡터 T가 계산됩니다.

③ 온라인/동적 정렬: 일상 주행 중 도로 양쪽의 전신주, 건물 가장자리 등의 자연적 특성을 활용하여 이미지 가장자리와 포인트 클라우드 가장자리 간의 정렬을 최적화(예: 상호 정보 방법 사용)하여 외부 매개변수를 실시간으로 미세 조정합니다.

(2)LiDAR와 밀리미터파 레이더의 공동 교정(LiDAR-to-Radar)

밀리미터파 레이더는 속도를 측정할 수 있고 침투력이 강력하지만 포인트 클라우드가 매우 희박하고 잡음이 많습니다. LiDAR 포인트 클라우드는 밀도가 높습니다. 그들의 목표는 "공간 궤적 정렬"을 달성하는 것입니다.

①정적 방식(교정실): 반사율이 높은 코너 반사경을 특정 위치에 배치합니다. 밀리미터파 레이더는 에너지 맵에서 강력한 신호 지점으로 나타나며 LiDAR는 코너 반사경의 3차원 윤곽도 정확하게 식별할 수 있습니다. 외부 매개변수는 두 매개변수의 중심점을 일치시켜 계산됩니다.

② 동적 방식(도로 주행): 차량이 열린 도로를 주행하며 전방의 움직이는 목표물(예: 다른 차량)을 추적합니다. Kalman Filter와 같은 알고리즘을 사용하여 LiDAR가 추적하는 물체의 궤적과 밀리미터파 레이더가 측정한 동적 지점의 궤적을 일치시키고, 궤적 상관 관계를 통해 외부 매개변수를 해결합니다.

3. LiDAR/카메라와 관성 측정 장치(센서-IMU)의 공동 교정

인식 센서를 차량 운동학과 정렬하여 "차량 흔들림 및 충돌 시 센서를 보상하는 방법" 문제를 해결합니다.

① 손-눈 교정 방법: 일반적인 AX = XB 행렬 해결 문제에 속합니다.

② 보정 과정: 차량이 특정 궤적('8'자 형태로 주행, 잦은 가감속 경험, 회전 등)을 따르도록 지시합니다. IMU는 차량의 각속도와 가속도를 실시간으로 기록하여 자체 운동 궤적을 추정합니다. 동시에 LiDAR는 LOAM(점군 주행 거리 측정)을 통해 동작 궤적을 추정하거나, 카메라는 VO(시각 주행 거리 측정)를 통해 동작 궤적을 추정합니다.

③ 해결 방법: 알고리즘은 이 두 모션 궤적의 회전과 변위를 정렬하여 IMU에 대한 센서의 상대적 위치를 계산합니다.

3. 여러 센서의 통합 조인트 디버깅 및 폐쇄 루프 제어

모든 쌍별 교정이 완료된 후 전역 폐쇄 루프 최적화가 필요합니다.

(1) 좌표계 통합: 모든 상대 외부 매개변수를 차체 중심 좌표계(예: 리어 액슬 중심이 지면에 투영되는 지점)로 변환합니다.

(2) 오류 일관성 검사: 전송 체인의 폐쇄 루프를 확인합니다. 예를 들어, LiDAR ightarrow Camera ightarrow IMU에서 계산된 IMU 위치는 LiDAR ightarrow IMU에서 직접 계산된 결과와 일치해야 합니다. 불일치가 있는 경우 그래프 최적화를 사용하여 전체 토폴로지 네트워크에 대해 전역 조정을 수행합니다.

IV. 교정 품질 평가 및 효과 검증

교정 후에는 정확성을 검증하기 위해 엄격한 정량 지표를 사용해야 합니다.

①참값 비교 방법: 고정밀, 광역 토탈 스테이션 또는 레이저 트래커를 사용하여 차체 좌표계에서 각 센서 하우징에 표시된 지점의 물리적 절대 위치를 수동으로 측정하고 이를 알고리즘으로 계산된 외부 매개변수 매트릭스와 비교합니다. 외부 매개변수 정확도에 대한 일반적인 요구 사항은 거리 오류 < 1~2cm, 각도 오류 < 0.1°~0.2°입니다.

② 포인트 클라우드 백 프로젝션(컬러 융합 프로젝션): LiDAR로 수집된 3차원 포인트 클라우드를 계산된 외부 행렬을 통해 카메라의 2차원 이미지에 투영합니다. 전신주, 도로 표지판, 차량 등고선의 포인트 클라우드 색상이 이미지 가장자리와 어긋남이나 어긋남 없이 완벽하게 정렬되어 있으면 뛰어난 보정 품질을 나타냅니다.

③ 시공간 일관성 테스트: 실제 차량의 동적 주행 중 카메라가 감지한 3D 박스와 LiDAR의 포인트 클라우드 클러스터링 박스, 동일한 장애물(선행 차량 등)에 대한 밀리미터파 레이더의 목표점이 조감도(BEV)에서 완전히 중첩되고 차량 충돌로 인한 심한 지터가 발생하지 않는지 확인합니다.