지능형 자동차 비전 시스템 캘리브레이션 룸 / 360도 서라운드 뷰 구축

지능형 차량의 시각 시스템 보정은 자율 주행 및 지능형 조종석(예: 360도 서라운드 뷰)의 정확한 인식을 위한 초석입니다. 카메라는 2차원 픽셀을 캡처하는 반면, 차량 의사결정에는 3차원 공간(차선, 장애물 거리 등)의 실제 물리적 위치가 필요한 반면, 캘리브레이션을 통해 "픽셀 좌표 카메라 좌표 신체 좌표/세계 좌표"의 수학적 매핑 관계를 구축해야 합니다.

지능형 자동차 비전 시스템의 전체 교정 프로세스는 일반적으로 생산 라인/정적 교정, 동적/온라인 교정 및 다중 센서 조인트 교정의 세 가지 차원으로 나뉩니다. 다음은 코어 교정 프로세스에 대한 자세한 설명입니다.

최신 회사 사례 지능형 자동차 비전 시스템 캘리브레이션 룸 / 360도 서라운드 뷰 구축

1. 핵심 교정 매개변수의 분류

프로세스를 시작하기 전에 교정이 정확히 무엇인지 알아야 합니다.

고유 매개변수: 카메라 렌즈 내부의 기하학적 왜곡 및 초점 거리 속성을 결정합니다. 예를 들어, 광각 렌즈의 "어안" 왜곡을 제거하고 곡선 이미지를 곧게 만듭니다.

외부 매개변수: 차량 좌표계(설치된 X, Y, Z 좌표 및 방향 각도 Pitch, Yaw, Roll)에서 카메라의 특정 위치와 방향을 결정합니다.

2. 생산 라인/정적 교정 프로세스(주류 기반)

정적 교정은 일반적으로 자동차가 공장을 떠나기 전이나 4S 매장에서 유지보수를 마친 후에 교정실에서 수행됩니다. 환경이 통제되고 정확도가 매우 높습니다.

(1) 준비 및 환경설정

교정 도구: 특정 기하학적 패턴(예: 체커보드, 도트 배열 다이어그램 또는 특수 파노라마 교정 천)이 있는 교정 보드를 준비합니다.

환경 요구 사항: 균일한 조명을 보장하고 강한 빛으로 인한 과다 노출이나 낮은 빛으로 인해 이미지 특징점을 추출할 수 없는 현상을 방지합니다.

차량 상태: 차량은 평지에 주차되어 있으며, 타이어 공기압은 표준 수치로 조정되어 있으며, 차량은 완전히 정지되어 있어야 합니다(서스펜션 흔들림 방지).

(2) 내부 매개변수 교정(보통 공급자 위치에서 또는 로딩 전에 완료됨)

데이터 수집: 카메라는 교정 보드를 가리키며 다양한 각도와 거리에서 여러 장의 사진(보통 10~20장)을 찍습니다.

알고리즘 해결: 업계에서는 일반적으로 Zhang Zhengyou 교정 방법을 채택합니다. 알고리즘은 교정 보드에서 코너 포인트(특징 포인트)를 식별하고 수학적 매트릭스를 사용하여 카메라의 초점 거리(f_x, f_y), 주요 포인트 위치(u-0, v-0) 및 왜곡 계수(방사형 및 접선 왜곡)를 해결합니다.

(3) 외부 매개변수 교정(로드 후 수행해야 함)

위치 레이아웃: 보정 플레이트 또는 보정 천을 차량 주변의 알려진 상대적 위치에 정확하게 배치합니다(토탈 스테이션 또는 레이저 거리 측정기를 사용하여 차량 축 및 중심선을 기준으로 보정 플레이트의 위치를 결정함).

특징 추출: 차량의 다양한 카메라가 캘리브레이션 플레이트가 포함된 이미지를 캡처하고 알고리즘은 이미지에서 캘리브레이션 플레이트의 해당 특징점(예: 서라운드 뷰 시스템의 4개 캘리브레이션 천의 모서리 지점)을 자동으로 감지합니다.

외부 매개변수 행렬 계산: 이미지 내 특징점의 "픽셀 좌표"와 실제 차량을 기준으로 한 "실제 물리적 좌표"를 기반으로 차량 좌표계를 기준으로 각 카메라의 회전 행렬 R 및 변위 벡터 T를 계산합니다.

접합 및 검사(360도 서라운드 뷰 사용): 계산된 외부를 사용하여 전면, 후면, 왼쪽, 오른쪽 카메라 4대의 이미지를 조감도(BEV) 관점에 투사하고 스티칭 간격(예: 접지선)이 정렬되었는지, 고스팅이 있는지 확인합니다.

3. 동적 교정/온라인 교정 프로세스(운전 중 최적화)

자동차 운전 과정에서 장기간의 충격, 열팽창 및 수축을 일으키는 온도 변화, 서스펜션 하중의 변화로 인해 카메라의 외부 카메라가 약간의 위치 변경을 경험하게 됩니다. 온라인 교정은 "운전 중 교정"을 달성할 수 있습니다.

[차량 운전] ->[자연 지형(차선/도로 표지판) 감지] ->[특징 추출 및 운동학 통합] ->[외부 매개변수 매트릭스의 온라인 반복 업데이트]

(1) 특징 트리거링 및 추출

차량이 고속도로나 도시 고가도로와 같은 일반 도로를 주행할 때 시각적 알고리즘은 환경에서 실시간으로 자연스러운 특징점을 추출합니다. 가장 일반적으로 사용되는 것은 차선 표시(차선 표시가 차량 앞에서 평행하고 무한대로 확장된다고 가정)와 소실점입니다.

(2) 다중 센서 융합 및 상태 추정

차량의 IMU(관성 측정 장치)와 속도 센서(휠 속도 게이지)를 결합하여 차량 자체의 자세 변화를 추정합니다.

(3) 반복 계산 및 수정

Kalman 필터링 또는 BA(빔 기반 조정)와 같은 알고리즘은 현재 프레임과 과거 프레임 간의 이미지 변화는 물론 차선의 기하학적 제약 조건을 비교하여 카메라의 피치 및 요 각도를 지속적으로 미세 조정하고 수정하여 원활한 동적 새로 고침을 달성합니다.

4. 관절 교정 과정(교차 센서 정렬)

현대의 스마트 자동차에는 카메라뿐만 아니라 LiDAR 및 밀리미터파 레이더도 탑재되어 있습니다. 사전 융합 인식을 수행하려면 데이터를 동일한 공간 좌표계에 정렬하세요.

예를 들어 카메라를 LiDAR로 가져가기(전방 카메라 및 Lidar 교정):

(1) 공통 시야 영역 획득: 카메라로 명확하게 캡처하고 레이저 레이더로 스캔할 수 있는 특별히 설계된 보정 플레이트(일반적으로 높은 반사율 패턴 또는 특정 기하학적 모양)를 차량 앞에 배치합니다.

(2) 데이터 추출: 카메라의 2D 이미지에서 교정 플레이트의 모서리 또는 가장자리의 픽셀 좌표를 추출합니다.

LiDAR의 3차원 포인트 클라우드에서 교정 플레이트에 해당하는 3차원 공간 특징점을 추출합니다(포인트 클라우드 반사 강도 또는 평면 피팅 사용).

(3) 제약 조건 해결: 두 특징점 세트 사이에서 가장 잘 일치하는 항목을 찾고, 최소 자승과 같은 최적화 알고리즘을 사용하고, LiDAR 좌표계에서 카메라 좌표계로 3D에서 2D로의 변환 행렬을 계산합니다.

(4) 정렬 효과 검증: LiDAR의 컬러 포인트 클라우드를 카메라 영상에 투영하고, 포인트 클라우드의 윤곽이 영상 속 차량, 건물, 차량 등의 객체와 완벽하게 맞는지 관찰합니다.

5. 교정 결과 검증 및 품질 평가

교정이 완료된 후 업무용으로 사용하기 전에 엄격한 표시기 평가를 거쳐야 합니다.

재투영 오류: 계산된 3D 공간 포인트는 보정 매개변수를 사용하여 2D 이미지로 다시 투영되고, 이미지의 실제 픽셀 포인트와의 편차가 계산됩니다. 자율주행에서 평균 재투영 오류는 일반적으로 0.5~1픽셀 미만이 필요합니다.

매개변수 안정성 검사: 왼쪽 및 오른쪽 쌍안경 카메라 또는 서라운드 뷰 카메라 사이의 상대적인 기하학적 관계가 기계 구조의 엄격한 상식을 준수하는지 확인하여 알고리즘이 로컬 최적 솔루션에 갇혀 "변형된" 매개변수를 계산하는 것을 방지합니다.