Kalibrasi fusi multi-sensor untuk kendaraan cerdas

Kalibrasi fusi multi-sensor kendaraan cerdas adalah langkah penting bagi sistem drive otomatis untuk mencapai "sinkronisasi spasial" dan "sinkronisasi temporal".kamera, radar gelombang milimeter (Radar), dan unit pengukuran inersia / sistem satelit navigasi global (IMU / GNSS) masing-masing memiliki sistem koordinat independen mereka sendiri.Tujuan kalibrasi fusi adalah untuk menghitung posisi relatif dan hubungan orientasi (matriks ekstrinsik) antara mereka, yang memungkinkan kendaraan untuk secara sempurna melapisi gambar dua dimensi yang "ditemukan", awan titik tiga dimensi yang "dipindai", dan kecepatan dan jarak yang "dit ukur".

Berikut adalah proses inti dan metode arus utama untuk kalibrasi fusi multi-sensor di kendaraan cerdas:

1. Persiapan inti sebelum kalibrasi

Sebelum memulai perhitungan matematis, perlu untuk memastikan bahwa perangkat keras dan lingkungan berada dalam keadaan standar:

(1) Penataan time stamp (sinkronisasi waktu): Ini adalah prasyarat untuk kalibrasi spasial.PTP (Gigabit Ethernet Time Synchronization Protocol) atau GPS/PPS pulsa kedua digunakan untuk menyelaraskan waktu pengambilan sampel dari semua sensor ke tingkat mikrosekund, memastikan bahwa "mereka melihat dunia pada saat yang sama".

(2) Pemeriksaan status kendaraan: Kendaraan diparkir di ruang kalibrasi horizontal standar, dengan tekanan ban dan suspensi pada beban standar, dan kendaraan benar-benar diam.

(3) Penempatan objek kalibrasi: Sesuai dengan persyaratan kalibrasi, susun objek kalibrasi yang dibuat khusus di sekitar kendaraan.

(4) Objek kalibrasi umum: lempeng kalibrasi dengan pola reflektivitas tinggi, kotak 3D, silinder, atau reflektor segitiga yang dibuat khusus (biasanya digunakan untuk radar gelombang milimeter).

2. Klasifikasi proses kalibrasi fusi inti

Kalibrasi fusi biasanya dilakukan berdasarkan "alignment pairwise" dari kombinasi sensor, akhirnya menyatukan mereka ke dalam sistem koordinat kendaraan/baseline.

(1) Kalibrasi bersama LiDAR dan kamera (LiDAR-to-Camera)

Ini adalah kalibrasi inti untuk mengemudi otonom, digunakan untuk mencapai pra-fusi awan titik dan gambar (awan titik warna).

[Keluarkan poin fitur 2D dari gambar]

[Mencari korespondensi] [Minimalkan kesalahan reprojection] [Output extrinsic matrix]

[Mengekstrak titik fitur 3D dari awan titik] ──

1 Ekstraksi fitur:

Sisi kamera: Algoritma mengidentifikasi koordinat ((u, v)) dari sudut, tepi, atau piksel pusat papan kalibrasi dalam gambar dua dimensi.

Sisi LiDAR: Algoritma mengekstrak koordinat ((X, Y,Z)) dari tepi atau titik pusat papan kalibrasi dalam ruang tiga dimensi berdasarkan intensitas refleksi awan titik (atau pemasangan bidang geometris).

2 Solusi matematis: Ini adalah masalah Perspektif-n-Point (PnP) 3D-ke-2D yang khas.Matriks rotasi R dan vektor translasi T dihitung.

3 Online / dinamika penyelarasan: Selama mengemudi sehari-hari, dengan memanfaatkan fitur alami seperti tiang utilitas di kedua sisi jalan dan tepi bangunan,keselarasan antara tepi gambar dan tepi awan titik dioptimalkan (e.g., menggunakan metode informasi timbal balik) untuk menyempurnakan parameter ekstrinsik secara real-time.

(2) Kalibrasi bersama LiDAR dan radar gelombang milimeter (LiDAR-to-Radar)

Radar gelombang milimeter dapat mengukur kecepatan dan memiliki penetrasi yang kuat, tetapi awan titiknya sangat jarang dan bising; awan titik LiDAR padat.Tujuannya adalah untuk mencapai "alignment lintasan spasial".

Metode statis (kamar kalibrasi): Tempatkan reflektor sudut dengan reflektivitas tinggi di lokasi tertentu.dan lidar juga dapat secara akurat mengidentifikasi kontur tiga dimensi sudut reflektor. Parameter eksternal dihitung dengan mencocokkan titik pusat dari dua.

2 Metode Dinamis (pendaratan jalan): Kendaraan mengemudi di jalan terbuka, melacak target bergerak di depan (seperti kendaraan lain).lintasan objek yang dilacak oleh LiDAR dan lintasan titik dinamis yang diukur oleh radar gelombang milimeter cocok, dan parameter eksternal diselesaikan melalui korelasi lintasan.

3Kalibrasi bersama LiDAR/kamera dan unit pengukuran inersia (Sensor-to-IMU)

Sesuaikan sensor persepsi dengan kinematik kendaraan untuk mengatasi masalah "bagaimana mengkompensasi sensor selama kendaraan gemetar dan benturan".

1 Metode kalibrasi tangan-mata: Ini termasuk dalam masalah pemecahan matriks khas AX = XB.

2 Proses kalibrasi: Kendaraan diberi instruksi untuk mengikuti lintasan tertentu (seperti mengemudi dalam bentuk "8", mengalami percepatan dan perlambatan yang sering, dan membuat tikungan).IMU mencatat kecepatan sudut dan percepatan kendaraan secara real time untuk memperkirakan lintasan gerakannya sendiriPada saat yang sama, LiDAR memperkirakan lintasan gerak melalui odometry titik awan (LOAM) atau kamera memperkirakan lintasan gerak melalui odometry visual (VO).

3 Solusi: Algoritma menghitung posisi relatif sensor sehubungan dengan IMU dengan menyelaraskan rotasi dan pergeseran kedua lintasan gerak ini.

3. Debugging gabungan terintegrasi dan kontrol loop tertutup dari beberapa sensor

Setelah semua kalibrasi berpasangan selesai, diperlukan optimasi global loop tertutup:

(1) Sistem koordinat seragam: Mengkonversi semua parameter eksternal relatif ke sistem koordinat pusat tubuh (seperti titik di mana pusat poros belakang diproyeksikan ke tanah).

(2)Pemeriksaan konsistensi kesalahan: Memastikan loop tertutup dalam rantai transmisi.posisi IMU yang dihitung dari LiDAR ightarrow Camera ightarrow IMU harus konsisten dengan hasil yang dihitung langsung dari LiDAR ightarrow IMU. Jika ada perbedaan, melakukan penyesuaian global pada seluruh jaringan topologi menggunakan optimasi grafik.

IV. Penilaian kualitas kalibrasi dan verifikasi efek

Setelah kalibrasi, indikator kuantitatif yang ketat harus digunakan untuk memverifikasi keakuratan:

Metode perbandingan nilai sebenarnya: Dengan bantuan stasiun total jarak jauh yang sangat presisi atau pelacak laser,secara manual mengukur posisi mutlak fisik dari titik-titik yang ditandai pada setiap sensor dalam sistem koordinat tubuh kendaraan, dan bandingkan dengan matriks parameter ekstrinsik yang dihitung oleh algoritma. persyaratan khas untuk akurasi parameter ekstrinsik adalah: kesalahan jarak < 1 ~ 2 cm, kesalahan sudut < 0,1 ° ~ 0,2 °.

Proyeksi kembali awan titik 2 (proyeksi fusi warna): Awan titik 3D yang dikumpulkan oleh LiDAR diproyeksikan ke gambar 2D kamera melalui matriks ekstrinsik yang dihitung.Jika titik awan warna di kontur tiang utilitas, tanda jalan, dan kendaraan selaras sempurna dengan tepi gambar, tanpa pergeseran atau salah selaras, ini menunjukkan kualitas kalibrasi yang sangat baik.

3 Tes konsistensi spasial-waktu: Selama mengemudi dinamis kendaraan nyata, periksa apakah kotak 3D yang terdeteksi oleh kamera, kotak pengelompokan awan titik LiDAR, and the target point of the millimeter-wave radar for the same obstacle (such as the preceding vehicle) completely overlap in the Bird's Eye View (BEV) and do not undergo severe jitter due to vehicle bumps.