Chuẩn đoán hợp nhất đa cảm biến cho xe thông minh

Hiệu chuẩn hợp nhất đa cảm biến cho xe thông minh là bước quan trọng để hệ thống lái tự động đạt được "đồng bộ không gian" và "đồng bộ thời gian". Radar laser (LiDAR), camera, radar sóng milimet (Radar) và đơn vị đo lường quán tính/hệ thống định vị vệ tinh toàn cầu (IMU/GNSS) mỗi loại đều có hệ tọa độ độc lập riêng. Mục đích của hiệu chuẩn hợp nhất là tính toán mối quan hệ vị trí và hướng tương đối (ma trận ngoại suy) giữa chúng, cho phép xe chồng khớp hoàn hảo hình ảnh hai chiều mà nó "nhìn thấy", đám mây điểm ba chiều mà nó "quét" và tốc độ, khoảng cách mà nó "đo lường".

Sau đây là các quy trình cốt lõi và phương pháp chính cho hiệu chuẩn hợp nhất đa cảm biến trong xe thông minh:

1. Chuẩn bị cốt lõi trước khi hiệu chuẩn

Trước khi bắt đầu tính toán toán học, cần đảm bảo phần cứng và môi trường ở trạng thái tiêu chuẩn:

(1) Đồng bộ hóa dấu thời gian (đồng bộ thời gian): Đây là điều kiện tiên quyết cho hiệu chuẩn không gian. Thông thường, PTP (Giao thức Đồng bộ hóa Thời gian Ethernet Gigabit) hoặc xung giây GPS/PPS được sử dụng để căn chỉnh thời gian lấy mẫu của tất cả các cảm biến đến cấp độ micro giây, đảm bảo "chúng nhìn thế giới cùng một thời điểm".

(2) Kiểm tra trạng thái xe: Xe được đỗ trong phòng hiệu chuẩn ngang tiêu chuẩn, với áp suất lốp và hệ thống treo ở tải trọng tiêu chuẩn, và xe hoàn toàn đứng yên.

(3) Triển khai đối tượng hiệu chuẩn: Theo yêu cầu hiệu chuẩn, sắp xếp các đối tượng hiệu chuẩn được chế tạo đặc biệt xung quanh xe.

(4) Đối tượng hiệu chuẩn phổ biến: bảng hiệu chuẩn với các mẫu phản xạ cao, hộp 3D, hình trụ hoặc bộ phản xạ hình tam giác được chế tạo đặc biệt (thường dùng cho radar sóng milimet).

2. Phân loại quy trình hiệu chuẩn hợp nhất cốt lõi

Hiệu chuẩn hợp nhất thường được thực hiện dựa trên "căn chỉnh theo cặp" của các tổ hợp cảm biến, cuối cùng hợp nhất chúng vào hệ tọa độ liên kết thân xe/cơ sở.

(1) Hiệu chuẩn chung LiDAR và camera (LiDAR-to-Camera)

Đây là hiệu chuẩn cốt lõi cho lái xe tự động, được sử dụng để đạt được hợp nhất trước đám mây điểm và hình ảnh (đám mây điểm màu).

[Trích xuất điểm đặc trưng 2D từ ảnh] ──┐

 ├─> [Tìm kiếm sự tương ứng] ├─> [Giảm thiểu lỗi chiếu lại] ├─> [Xuất ma trận ngoại suy [R|T]]

[Trích xuất điểm đặc trưng 3D từ đám mây điểm] ──┘

① Trích xuất đặc trưng:

Phía camera: Thuật toán xác định tọa độ ((u, v)) của các góc, cạnh hoặc pixel trung tâm của bảng hiệu chuẩn trong ảnh hai chiều.

Phía LiDAR: Thuật toán trích xuất tọa độ ((X, Y, Z)) của các cạnh hoặc điểm trung tâm của bảng hiệu chuẩn trong không gian ba chiều dựa trên cường độ phản xạ của đám mây điểm (hoặc khớp mặt phẳng hình học).

② Giải pháp toán học: Đây là một bài toán Perspective-n-Point (PnP) 3D-to-2D điển hình. Sử dụng phương pháp bình phương nhỏ nhất hoặc tối ưu hóa phi tuyến, ma trận xoay R và vector tịnh tiến T được tính toán.

③ Căn chỉnh trực tuyến/động: Trong quá trình lái xe hàng ngày, bằng cách sử dụng các đặc trưng tự nhiên như cột điện hai bên đường và cạnh tòa nhà, sự căn chỉnh giữa các cạnh ảnh và cạnh đám mây điểm được tối ưu hóa (ví dụ: sử dụng phương pháp thông tin tương hỗ) để tinh chỉnh các tham số ngoại suy theo thời gian thực.

(2) Hiệu chuẩn chung LiDAR và radar sóng milimet (LiDAR-to-Radar)

Radar sóng milimet có thể đo tốc độ và có khả năng xuyên mạnh, nhưng đám mây điểm của nó cực kỳ thưa và nhiễu; đám mây điểm LiDAR dày đặc. Mục tiêu của chúng là đạt được "căn chỉnh quỹ đạo không gian".

① Phương pháp tĩnh (buồng hiệu chuẩn): Đặt một bộ phản xạ góc có độ phản xạ cao tại một vị trí cụ thể. Radar sóng milimet xuất hiện dưới dạng một điểm tín hiệu mạnh trên bản đồ năng lượng, và LiDAR cũng có thể xác định chính xác đường viền ba chiều của bộ phản xạ góc. Các tham số ngoại suy được tính toán bằng cách khớp các điểm trung tâm của hai loại.

② Phương pháp động (lái xe trên đường): Xe di chuyển trên đường mở, theo dõi một mục tiêu di chuyển phía trước (ví dụ: một phương tiện khác). Sử dụng các thuật toán như Bộ lọc Kalman, quỹ đạo của đối tượng được theo dõi bởi LiDAR và quỹ đạo của điểm động được đo bởi radar sóng milimet được khớp, và các tham số ngoại suy được giải thông qua tương quan quỹ đạo.

3. Hiệu chuẩn chung LiDAR/camera và đơn vị đo lường quán tính (Sensor-to-IMU)

Căn chỉnh cảm biến nhận thức với động học xe để giải quyết vấn đề "làm thế nào để bù trừ cho cảm biến trong quá trình xe rung lắc và va chạm".

① Phương pháp hiệu chuẩn tay-mắt: Nó thuộc về bài toán giải ma trận AX = XB điển hình.

② Quy trình hiệu chuẩn: Xe được yêu cầu đi theo một quỹ đạo cụ thể (ví dụ: lái theo hình "8", trải qua gia tốc và giảm tốc thường xuyên, và thực hiện các khúc cua). IMU ghi lại vận tốc góc và gia tốc của xe theo thời gian thực để ước tính quỹ đạo chuyển động của chính nó. Đồng thời, LiDAR ước tính quỹ đạo chuyển động thông qua odometry đám mây điểm (LOAM) hoặc camera ước tính quỹ đạo chuyển động thông qua odometry thị giác (VO).

③ Giải pháp: Thuật toán tính toán vị trí tương đối của cảm biến so với IMU bằng cách căn chỉnh phép xoay và dịch chuyển của hai quỹ đạo chuyển động này.

3. Gỡ lỗi chung tích hợp và điều khiển vòng kín của nhiều cảm biến

Sau khi tất cả các hiệu chuẩn theo cặp hoàn thành, cần tối ưu hóa vòng kín toàn cục:

(1) Hợp nhất hệ tọa độ: Chuyển đổi tất cả các tham số ngoại suy tương đối sang hệ tọa độ trung tâm thân xe (ví dụ: điểm mà tâm trục sau được chiếu lên mặt đất).

(2) Kiểm tra tính nhất quán của lỗi: Đảm bảo một vòng kín trong chuỗi truyền dẫn. Ví dụ, vị trí IMU được tính toán từ LiDAR ightarrow Camera ightarrow IMU phải nhất quán với kết quả được tính toán trực tiếp từ LiDAR ightarrow IMU. Nếu có sự khác biệt, thực hiện điều chỉnh toàn cục trên toàn bộ mạng lưới topo bằng cách tối ưu hóa đồ thị.

IV. Đánh giá chất lượng hiệu chuẩn và xác minh hiệu quả

Sau khi hiệu chuẩn, các chỉ số định lượng nghiêm ngặt phải được sử dụng để xác minh độ chính xác của nó:

① Phương pháp so sánh giá trị thực: Với sự hỗ trợ của máy toàn đạc có độ chính xác cao, phạm vi rộng hoặc bộ theo dõi laser, đo thủ công các vị trí tuyệt đối vật lý của các điểm đánh dấu trên mỗi vỏ cảm biến trong hệ tọa độ thân xe, và so sánh chúng với ma trận tham số ngoại suy được tính toán bởi thuật toán. Các yêu cầu điển hình về độ chính xác của tham số ngoại suy là: lỗi khoảng cách < 1~2 cm, lỗi góc < 0.1°~0.2°.

② Chiếu ngược đám mây điểm (chiếu hợp nhất màu): Đám mây điểm 3D được thu thập bởi LiDAR được chiếu lên ảnh 2D của camera thông qua ma trận ngoại suy đã tính toán. Nếu màu sắc của đám mây điểm tại các đường viền của cột điện, biển báo đường phố và xe cộ hoàn toàn khớp với các cạnh ảnh, không có sự dịch chuyển hoặc sai lệch nào, điều đó cho thấy chất lượng hiệu chuẩn tuyệt vời.

③ Kiểm tra tính nhất quán không gian-thời gian: Trong quá trình lái xe động của một chiếc xe thực tế, kiểm tra xem hộp 3D được phát hiện bởi camera, hộp phân cụm đám mây điểm của LiDAR và điểm mục tiêu của radar sóng milimet cho cùng một chướng ngại vật (ví dụ: xe phía trước) có chồng lên nhau hoàn toàn trong Chế độ xem từ trên xuống (BEV) và không bị rung lắc mạnh do va chạm xe hay không.