Xây dựng phòng hiệu chuẩn hệ thống nhìn xe thông minh / 360 độ nhìn xung quanh

Việc hiệu chuẩn hệ thống thị giác của các phương tiện thông minh là nền tảng cho nhận thức chính xác trong lái xe tự động và buồng lái thông minh (chẳng hạn như xem xung quanh 360 độ).Do thực tế là máy ảnh ghi lại các pixel hai chiều, trong khi việc ra quyết định xe đòi hỏi vị trí vật lý thực tế trong không gian ba chiều (chẳng hạn như đường làn, khoảng cách chướng ngại vật),cần thiết để thiết lập một mối quan hệ lập bản đồ toán học của "đồng độ pixel camera coordinate body coordinate/world coordinate" thông qua hiệu chuẩn.

Quá trình hiệu chuẩn hoàn chỉnh của các hệ thống thị giác ô tô thông minh thường được chia thành ba chiều: hiệu chuẩn dây chuyền sản xuất / tĩnh, hiệu chuẩn động / trực tuyến,và hiệu chuẩn khớp đa cảm biếnSau đây là một lời giải thích chi tiết về quy trình hiệu chuẩn lõi:

1. Phân loại các thông số hiệu chuẩn lõi

Trước khi tham gia vào quá trình, chúng ta cần biết chính xác hiệu chuẩn là gì:

Các thông số nội tại: Xác định các đặc tính biến dạng hình học và độ dài tiêu cự bên trong ống kính máy ảnh.loại bỏ sự biến dạng "mắt cá" của ống kính góc rộng và thẳng hình ảnh cong.

Các thông số bên ngoài: Xác định vị trí và định hướng cụ thể của máy ảnh trong hệ thống tọa độ xe (được lắp đặt tọa độ X, Y, Z và góc hướng Pitch, Yaw, Roll).

2. Dòng sản xuất / quy trình hiệu chuẩn tĩnh (cơ sở chính)

Chuẩn chuẩn tĩnh thường được thực hiện trong phòng chuẩn trước khi xe rời nhà máy hoặc sau khi bảo trì tại cửa hàng 4S.Môi trường được kiểm soát và độ chính xác là cực kỳ cao.

(1) Chuẩn bị và thiết lập môi trường

Công cụ hiệu chuẩn: Chuẩn bị một bảng hiệu chuẩn với một mẫu hình học cụ thể (chẳng hạn như bàn cờ, sơ đồ mảng chấm hoặc vải hiệu chuẩn toàn cảnh chuyên biệt).

Yêu cầu về môi trường: Đảm bảo ánh sáng đồng đều và tránh phơi sáng quá mức do ánh sáng mạnh hoặc không thể trích xuất các điểm đặc trưng của hình ảnh do ánh sáng yếu.

Tình trạng xe: Xe đỗ trên một bề mặt bằng phẳng, với áp suất lốp xe được điều chỉnh theo giá trị tiêu chuẩn, và xe cần phải hoàn toàn tĩnh (để ngăn ngừa lắc treo).

(2) Kiểm tra tham số nội bộ (thường được hoàn thành tại vị trí của nhà cung cấp hoặc trước khi tải)

Thu thập dữ liệu: Máy ảnh chỉ vào bảng hiệu chuẩn và chụp nhiều bức ảnh (thường là 10-20) từ các góc độ và khoảng cách khác nhau.

Giải quyết thuật toán: Ngành công nghiệp thường áp dụng phương pháp hiệu chuẩn Zhang Zhengyou.Các thuật toán xác định các điểm góc (điểm đặc điểm) trên bảng hiệu chuẩn và sử dụng ma trận toán học để giải quyết cho độ dài tiêu cự của máy ảnh (f_x, f_y), vị trí điểm chính (u-0, v-0) và hệ số biến dạng (điều biến dạng bán kính và tiếp xúc).

(3) Kiểm tra tham số bên ngoài (phải được thực hiện sau khi nạp)

Định dạng vị trí: Place the calibration plate or calibration cloth accurately at known relative positions around the vehicle (using a total station or laser rangefinder to determine the position of the calibration plate relative to the vehicle axle and centerline).

Lấy đặc điểm: Các máy ảnh khác nhau của xe chụp hình ảnh có chứa tấm hiệu chuẩn,và thuật toán tự động phát hiện các điểm đặc trưng tương ứng của các tấm hiệu chuẩn trong hình ảnh (chẳng hạn như các điểm góc của bốn vải hiệu chuẩn trong hệ thống xem xung quanh).

Tính toán ma trận tham số bên ngoài: Dựa trên "định vị pixel" của các điểm đặc trưng trong hình ảnh và "định vị vật lý thực tế" của chúng so với xe trong thực tế,tính toán ma trận xoay R và vector di chuyển T của mỗi camera so với hệ thống tọa độ của xe.

Splicing và kiểm tra (sử dụng 360 độ xung quanh xem như một ví dụ): Sử dụng tính toán bên ngoài để chiếu hình ảnh của bốn máy ảnh, phía trước, phía sau, trái và phải,vào góc nhìn từ góc nhìn chim (BEV), và kiểm tra xem các khoảng trống khâu (chẳng hạn như đường đất) có thẳng hàng không và nếu có bất kỳ bóng ma nào.

3. Quá trình hiệu chuẩn động / hiệu chuẩn trực tuyến (được tối ưu hóa trong khi lái xe)

Trong quá trình lái xe của một chiếc xe, do va chạm lâu dài, thay đổi nhiệt độ gây ra sự mở rộng và co lại nhiệt, hoặc thay đổi tải trọng treo,Máy ảnh bên ngoài của máy ảnh sẽ bị dịch chuyển nhẹ. Định chuẩn trực tuyến có thể đạt được "định chuẩn trong khi lái xe".

[Lái xe] ->[Phát hiện các tính năng tự nhiên (dòng đường / biển báo đường) ] ->[Tái xuất các tính năng và tích hợp với động học] ->[Tái cập nhật lặp đi lặp lại trực tuyến của ma trận tham số bên ngoài]

(1) Khả năng kích hoạt và chiết xuất

Khi xe đang lái trên đường thông thường như đường cao tốc và đường băng đô thị, các thuật toán trực quan sẽ trích xuất các điểm đặc trưng tự nhiên từ môi trường trong thời gian thực,với các dấu hiệu làn xe được sử dụng phổ biến nhất (giả sử các dấu hiệu làn xe song song và mở rộng vô hạn phía trước xe) và các điểm biến mất.

(2) Phối hợp đa cảm biến và ước tính trạng thái

Bằng cách kết hợp IMU của xe (Inertial Measurement Unit) và cảm biến tốc độ (Wheel Speed Gauge), ước tính sự thay đổi tư thế của xe.

(3) Tính toán và điều chỉnh lặp lại

Algorithms such as Kalman filtering or beam based adjustment (BA) continuously fine tune and correct the pitch and yaw angles of the camera by comparing the image changes between the current frame and historical frames, cũng như các hạn chế hình học của các đường làn, để đạt được việc làm mới năng động liền mạch.

4. Quá trình hiệu chuẩn chung (định chỉnh cảm biến chéo)

Những chiếc xe thông minh hiện đại không chỉ có máy ảnh, mà còn có LiDAR và radar sóng milimet.

Lấy Camera để LiDAR (Front Camera và Lidar Calibration) như một ví dụ:

(1) Việc mua lại khu vực nhìn chung: Place a specially designed calibration plate (usually with high reflectivity patterns or specific geometric shapes) that can be captured clearly by a camera and scanned by a laser radar in front of the car.

(2) Xóa dữ liệu: Xóa tọa độ pixel của các góc hoặc cạnh của tấm hiệu chuẩn từ hình ảnh 2D của máy ảnh.

Extract the three-dimensional spatial feature points corresponding to the calibration plate from the three-dimensional point cloud of the LiDAR (using point cloud reflection intensity or plane fitting).

(3) Giải quyết hạn chế: Tìm sự phù hợp tốt nhất giữa hai bộ điểm đặc điểm, sử dụng các thuật toán tối ưu hóa như vuông nhỏ nhất,và tính toán ma trận chuyển đổi 3D-to-2D từ hệ thống tọa độ LiDAR đến hệ thống tọa độ máy ảnh.

(4) Xác minh hiệu ứng sắp xếp: Dự án đám mây điểm màu của LiDAR lên hình ảnh của máy ảnh,và quan sát xem đường viền của đám mây điểm hoàn toàn phù hợp với các đối tượng như xe, tòa nhà, và phương tiện trong hình ảnh.

5. Kiểm tra kết quả hiệu chuẩn và đánh giá chất lượng

Sau khi hiệu chuẩn được hoàn thành, nó phải trải qua đánh giá chỉ số nghiêm ngặt trước khi nó có thể được đưa vào sử dụng kinh doanh:

Lỗi chiếu lại: Các điểm không gian 3D được tính toán được chiếu lại thành một hình ảnh 2D bằng các tham số hiệu chuẩn và độ lệch từ các điểm pixel thực tế trong hình ảnh được tính toán.Trong lái xe tự động, sai sót tái chiếu trung bình thường được yêu cầu là nhỏ hơn 0,5 đến 1 pixel.

Kiểm tra độ ổn định của tham số:Kiểm tra xem mối quan hệ hình học tương đối giữa máy ảnh ống nhòm bên trái và bên phải hoặc máy ảnh nhìn xung quanh phù hợp với ý nghĩa chung cứng nhắc của cấu trúc cơ học, để ngăn chặn thuật toán bị mắc kẹt trong các giải pháp tối ưu cục bộ và tính toán các tham số "biến dạng".