지능형 자동차 비전 시스템 캘리브레이션 룸 / 360도 서라운드 뷰 구축

지능형 차량의 시각 시스템 캘리브레이션은 자율주행 및 지능형 조종석 (예를 들어 360도 서라운드 뷰) 에서 정확한 인식의 초석입니다.카메라가 2차원 픽셀을 캡처하기 때문에차량의 의사 결정은 3차원 공간에서의 실제 물리적 위치 (선선, 장애물 거리 등) 를 필요로 합니다."픽셀 좌표, 카메라 좌표, 몸 좌표/세계 좌표"의 수학적 매핑 관계를 캘리브레이션을 통해 설정해야합니다..

지능형 자동차 비전 시스템의 완전한 캘리브레이션 과정은 일반적으로 세 가지 차원으로 나뉘어집니다: 생산 라인 / 정적 캘리브레이션, 동적 / 온라인 캘리브레이션,그리고 멀티 센서 합동 캘리브레이션다음은 핵심 캘리브레이션 과정에 대한 상세한 설명입니다:

1- 핵심 캘리브레이션 매개 변수의 분류

이 과정에 들어가기 전에, 우리는 정확히 캘리브레이션이 무엇인지 알아야 합니다.

내적 매개 변수: 카메라 렌즈 내부의 기하학적 왜곡과 초점 거리의 특성을 결정합니다. 예를 들어,광각 렌즈의 "물고래 눈" 왜곡을 제거하고 곡선 이미지를 곧게.

외부 매개 변수: 차량 좌표 시스템 (설치된 X, Y, Z 좌표 및 방향 각도 Pitch, Yaw, Roll) 에서 카메라의 특정 위치와 지향을 결정한다.

2생산 라인 / 정적 캘리브레이션 프로세스 (주류 기초)

정적 정정은 일반적으로 자동차가 공장을 떠나기 전에 정정실에서 또는 4S 상점에서 유지 보수 후 수행됩니다.환경은 통제되고 정확도는 매우 높습니다..

(1) 준비 및 환경 설정

캘리브레이션 도구: 특정 기하학적 패턴을 가진 캘리브레이션 보드를 준비하십시오. (체크보드, 점 배열 다이어그램 또는 전문 판로마 캘리브레이션 천과 같은 것).

환경 요구 사항: 균일한 조명을 보장하고 강한 빛이나 낮은 빛으로 인해 이미지 특징 포인트를 추출 할 수없는 과도한 노출을 피하십시오.

차량 상태: 차량은 평평한 표면에 주차되어 있으며, 타이어 압력이 표준값에 조정되어 있으며, 차량은 완전히 정지해야 합니다.

(2) 내부 매개 변수 캘리브레이션 (일반적으로 공급자 위치 또는 로딩 전에 완료)

데이터 수집: 카메라가 캘리브레이션 보드를 가리키고 다양한 각도와 거리에서 여러 장의 사진 (일반적으로 10-20) 을 찍습니다.

알고리즘 해결: 산업은 일반적으로 장 장유 측정 방법을 채택합니다.알고리즘은 캘리브레이션 보드 (feature points) 에 있는 각점을 식별하고, 수학 행렬을 사용하여 카메라의 초점 거리를 (f_x) 해결합니다., f_y), 주점 위치 (u-0, v-0) 및 왜곡 계수 (광선 및 접지 왜곡).

(3) 외부 파라미터 캘리브레이션 (부하 후 수행되어야 합니다)

위치 레이아웃: Place the calibration plate or calibration cloth accurately at known relative positions around the vehicle (using a total station or laser rangefinder to determine the position of the calibration plate relative to the vehicle axle and centerline).

특징 추출: 차량의 다양한 카메라가 캘리브레이션 플레이트를 포함하는 이미지를 캡처합니다.그리고 알고리즘은 자동으로 이미지의 캘리브레이션 플레이트의 대응된 특징 포인트를 감지합니다. (사방 뷰 시스템에서 네 개의 캘리브레이션 천의 각점과 같이).

외부 매개 변수 매트릭스 계산: 이미지의 특징 지점의 "픽셀 좌표"와 실제 차량에 대한 "실제 물리적 좌표"를 기반으로 합니다.각 카메라의 회전 행렬 R와 이동 벡터 T를 차량 좌표계와 비교하여 계산합니다..

스플라이싱 및 검사 (예컨대 360도 서라운드 뷰를 이용함): 계산된 외향을 사용하여 전면, 후면, 왼쪽, 오른쪽의 네 개의 카메라의 이미지를 투영합니다.새의 시선 (BEV) 관점에서, 그리고 꿰매기 간격 (지선과 같이) 이 정렬되고 유령이 있는지 확인합니다.

3동적 캘리브레이션/온라인 캘리브레이션 프로세스 (운전 중에 최적화)

자동차의 운전 과정에서 장기간 부딪히는 것, 열 확장과 수축을 일으키는 온도 변화 또는 서스펜션 부하의 변화로 인해카메라의 외부 카메라가 약간의 이동을 경험할 것입니다온라인 캘리브레이션은 "운전 중에 캘리브레이션"을 달성 할 수 있습니다.

[자동차 운전] ->[자연적인 특징을 탐지하는 것 (차선 선/도로 표지) ] ->[기능을 추출하고 운동학과 통합하는 것] ->[외부 매개 변수 매트릭스의 온라인 반복 업데이트]

(1) 특징 발동 및 추출

자동차가 고속도로와 도시 우수교 같은 일반 도로에서 운전할 때 시각 알고리즘은 자연적인 특징을 실시간으로 추출합니다.가장 일반적으로 사용되는 것은 차선 표시 (차선 표시가 평행하고 차량 앞까지 무한대로 확장되는 것을 가정하면) 및 피난 지점입니다.

(2) 멀티 센서 융합 및 상태 추정

차량의 내성 측정 단위 (IMU) 와 속도 센서 (Wheel Speed Gauge) 를 결합하여 차량의 자신의 자세 변화를 추정합니다.

(3) 반복 계산 및 수정

Algorithms such as Kalman filtering or beam based adjustment (BA) continuously fine tune and correct the pitch and yaw angles of the camera by comparing the image changes between the current frame and historical frames, 그리고 차선 라인의 기하학적 제약, 원활한 동적 갱신을 달성하기 위해.

4합동 캘리브레이션 과정 (차선 센서 정렬)

현대 스마트 자동차에는 카메라뿐만 아니라 리다르와 밀리미터 파동 레이더가 있습니다. 핵융합 전 인식을 수행하기 위해 동일한 공간 좌표 시스템에 데이터를 정렬합니다.

예를 들어 카메라를 리다르 (Forward Camera and Lidar Calibration) 로 옮기는 것:

(1) 공동 관점 영역 인수: Place a specially designed calibration plate (usually with high reflectivity patterns or specific geometric shapes) that can be captured clearly by a camera and scanned by a laser radar in front of the car.

(2) 데이터 추출: 카메라의 2차원 이미지에서 캘리브레이션 플레이트의 모서리 또는 가장자리의 픽셀 좌표를 추출합니다.

Extract the three-dimensional spatial feature points corresponding to the calibration plate from the three-dimensional point cloud of the LiDAR (using point cloud reflection intensity or plane fitting).

(3) 제약 해결: 두 개의 특징 포인트 집합 사이에서 가장 잘 일치하는 것을 찾습니다. 최소 제곱과 같은 최적화 알고리즘을 사용하십시오.그리고 3D에서 2D 변환 행렬을 계산합니다..

(4) 정렬 효과 검증: 카메라 이미지에 LiDAR의 색상의 점 구름을 프로젝팅합니다.그리고 점 구름의 윤곽이 차량과 같은 물체에 완벽하게 맞는지 관찰, 건물, 그리고 이미지의 차량.

5캘리브레이션 결과 확인 및 품질 평가

캘리브레이션이 완료되면 사업용으로 사용하기 전에 엄격한 지표 평가를 받아야합니다.

재계산 오류: 계산된 3차원 공간 지점은 캘리브레이션 매개 변수를 사용하여 2차원 이미지로 다시 투영되고 이미지의 실제 픽셀 지점과의 편차가 계산됩니다.자율주행, 평균 재사용 오류는 일반적으로 0.5에서 1 픽셀 이하로 요구됩니다.

파라미터 안정성 검사:왼쪽과 오른쪽 쌍안경 카메라 또는 서라운드 뷰 카메라 사이의 상대적인 기하학적 관계가 기계 구조의 딱딱한 상식과 일치하는지 확인하십시오., 알고리즘이 로컬 최적 솔루션에 갇히고 "변형" 매개 변수를 계산하는 것을 방지하기 위해.