Konstruksi ruang kalibrasi sistem visi mobil cerdas / tampilan surround 360 derajat

Kalibrasi sistem visual pada kendaraan cerdas merupakan landasan untuk persepsi akurat dalam berkendara otonom dan kokpit cerdas (seperti tampilan sekeliling 360 derajat). Karena kamera menangkap piksel dua dimensi, sedangkan pengambilan keputusan kendaraan memerlukan posisi fisik nyata dalam ruang tiga dimensi (seperti garis jalur, jarak rintangan), maka perlu dibuat hubungan pemetaan matematis "koordinat kamera koordinat piksel koordinat tubuh/koordinat dunia" melalui kalibrasi.

Proses kalibrasi lengkap sistem penglihatan otomotif cerdas biasanya dibagi menjadi tiga dimensi: kalibrasi lini produksi/statis, kalibrasi dinamis/online, dan kalibrasi sambungan multi-sensor. Berikut penjelasan detail proses kalibrasi inti:

1. Klasifikasi parameter kalibrasi inti

Sebelum masuk ke prosesnya, kita perlu mengetahui apa sebenarnya kalibrasi itu:

Parameter Intrinsik: Tentukan distorsi geometris dan properti panjang fokus di dalam lensa kamera. Misalnya, menghilangkan distorsi "fisheye" pada lensa sudut lebar dan meluruskan gambar melengkung.

Parameter Eksterior: Menentukan posisi spesifik dan orientasi kamera pada sistem koordinat kendaraan (terpasang koordinat X, Y, Z dan sudut arah Pitch, Yaw, Roll).

2. Lini produksi/proses kalibrasi statis (fondasi arus utama)

Kalibrasi statis biasanya dilakukan di ruang kalibrasi sebelum mobil meninggalkan pabrik atau setelah perawatan di toko 4S. Lingkungan terkendali dan akurasinya sangat tinggi.

(1) Persiapan dan penataan lingkungan

Alat kalibrasi: Siapkan papan kalibrasi dengan pola geometris tertentu (seperti papan catur, diagram susunan titik, atau kain kalibrasi panorama khusus).

Persyaratan lingkungan: Pastikan pencahayaan seragam dan hindari pencahayaan berlebih yang disebabkan oleh cahaya yang kuat atau ketidakmampuan mengekstrak titik fitur gambar karena cahaya redup.

Status kendaraan: Kendaraan diparkir pada permukaan yang rata, dengan tekanan ban disesuaikan dengan nilai standar, dan kendaraan harus benar-benar diam (untuk mencegah guncangan suspensi).

(2) Kalibrasi parameter internal (biasanya diselesaikan di lokasi pemasok atau sebelum pemuatan)

Pengumpulan data: Kamera menunjuk ke papan kalibrasi dan mengambil beberapa foto (biasanya 10-20) dari sudut dan jarak berbeda.

Pemecahan algoritma: Industri umumnya mengadopsi metode kalibrasi Zhang Zhengyou. Algoritme ini mengidentifikasi titik sudut (titik fitur) pada papan kalibrasi dan menggunakan matriks matematika untuk menyelesaikan panjang fokus kamera (f_x, f_y), posisi titik utama (u-0, v-0), dan koefisien distorsi (distorsi radial dan tangensial).

(3) Kalibrasi parameter eksternal (harus dilakukan setelah pemuatan)

Tata letak lokasi: Tempatkan pelat kalibrasi atau kain kalibrasi secara akurat pada posisi relatif yang diketahui di sekitar kendaraan (menggunakan stasiun total atau pengintai laser untuk menentukan posisi pelat kalibrasi relatif terhadap poros dan garis tengah kendaraan).

Ekstraksi fitur: Berbagai kamera kendaraan menangkap gambar yang berisi pelat kalibrasi, dan algoritme secara otomatis mendeteksi titik fitur yang sesuai dari pelat kalibrasi dalam gambar (seperti titik sudut dari empat kain kalibrasi di sistem tampilan sekeliling).

Perhitungan matriks parameter eksternal: Berdasarkan "koordinat piksel" titik fitur pada gambar dan "koordinat fisik nyata" relatif terhadap kendaraan di dunia nyata, hitung matriks rotasi R dan vektor perpindahan T setiap kamera relatif terhadap sistem koordinat kendaraan.

Penyambungan dan inspeksi (menggunakan tampilan sekeliling 360 derajat sebagai contoh): Gunakan perhitungan ekstrinsik untuk memproyeksikan gambar keempat kamera, depan, belakang, kiri, dan kanan, ke perspektif pandangan mata burung (BEV), dan periksa apakah celah jahitan (seperti garis tanah) sejajar dan apakah ada bayangan.

3. Kalibrasi dinamis/proses kalibrasi online (dioptimalkan saat berkendara)

Selama proses mengemudi mobil, akibat benturan jangka panjang, perubahan suhu yang menyebabkan pemuaian dan kontraksi termal, atau perubahan beban suspensi, kamera eksternal kamera akan mengalami sedikit perpindahan. Kalibrasi online dapat mencapai "kalibrasi saat mengemudi".

[Mengemudi Kendaraan] ->[Mendeteksi Fitur Alam (Garis Lajur/Rambu Jalan)] ->[Mengekstraksi Fitur dan Mengintegrasikan dengan Kinematika] ->[Pembaruan Iteratif Online Matriks Parameter Eksternal]

(1) Pemicu dan ekstraksi fitur

Saat kendaraan melaju di jalan biasa seperti jalan raya dan jalan layang perkotaan, algoritme visual akan mengekstraksi titik fitur alam dari lingkungan secara real time, dengan yang paling umum digunakan adalah marka lajur (dengan asumsi marka lajur sejajar dan memanjang hingga tak terbatas di depan kendaraan) dan titik hilang.

(2) Penggabungan multi sensor dan estimasi keadaan

Dengan menggabungkan IMU (Inertial Measurement Unit) kendaraan dan sensor kecepatan (Wheel Speed Gauge), perkirakan perubahan sikap kendaraan itu sendiri.

(3) Perhitungan dan koreksi berulang

Algoritme seperti pemfilteran Kalman atau penyesuaian berbasis sinar (BA) secara terus-menerus menyempurnakan dan mengoreksi sudut pitch dan yaw kamera dengan membandingkan perubahan gambar antara bingkai saat ini dan bingkai historis, serta batasan geometris garis jalur, untuk mencapai penyegaran dinamis yang mulus.

4. Proses kalibrasi sambungan (penyelarasan lintas sensor)

Mobil pintar modern tidak hanya memiliki kamera, tetapi juga LiDAR dan radar gelombang milimeter. Menyelaraskan datanya dalam sistem koordinat spasial yang sama untuk melakukan persepsi prafusi.

Mengambil Kamera ke LiDAR (Kamera Depan dan Kalibrasi Lidar) sebagai contoh:

(1) Akuisisi area tampilan umum: Tempatkan pelat kalibrasi yang dirancang khusus (biasanya dengan pola reflektifitas tinggi atau bentuk geometris tertentu) yang dapat ditangkap dengan jelas oleh kamera dan dipindai oleh radar laser di depan mobil.

(2) Ekstraksi data: Ekstrak koordinat piksel sudut atau tepi pelat kalibrasi dari gambar 2D kamera.

Ekstrak titik fitur spasial tiga dimensi yang sesuai dengan pelat kalibrasi dari titik awan tiga dimensi LiDAR (menggunakan intensitas refleksi titik awan atau pemasangan bidang).

(3) Pemecahan kendala: Temukan kecocokan terbaik antara dua kumpulan titik fitur, gunakan algoritme pengoptimalan seperti kuadrat terkecil, dan hitung matriks transformasi 3D ke 2D dari sistem koordinat LiDAR ke sistem koordinat kamera.

(4) Verifikasi efek penyelarasan: Proyeksikan titik awan berwarna LiDAR ke gambar kamera, dan amati apakah kontur titik awan benar-benar sesuai dengan objek seperti kendaraan, bangunan, dan kendaraan dalam gambar.

5. Verifikasi hasil kalibrasi dan penilaian mutu

Setelah kalibrasi selesai, indikator tersebut harus menjalani evaluasi indikator yang ketat sebelum dapat digunakan dalam bisnis:

Kesalahan Proyeksi Ulang: Titik spasial 3D yang dihitung diproyeksikan kembali menjadi gambar 2D menggunakan parameter kalibrasi, dan penyimpangan dari titik piksel sebenarnya dalam gambar dihitung. Dalam mengemudi otonom, rata-rata kesalahan proyeksi ulang biasanya harus kurang dari 0,5 hingga 1 piksel.

Pemeriksaan stabilitas parameter: Periksa apakah hubungan geometris relatif antara kamera binokular kiri dan kanan atau kamera tampilan sekeliling sesuai dengan akal sehat struktur mekanis, untuk mencegah algoritme terjebak dalam solusi optimal lokal dan menghitung parameter "cacat".