Konstruksi ruang kalibrasi sistem visi mobil cerdas / tampilan surround 360 derajat

Kalibrasi sistem visual kendaraan cerdas adalah landasan untuk persepsi yang akurat dalam mengemudi otonom dan kokpit cerdas (seperti 360 derajat surround view).Karena kamera menangkap piksel dua dimensi, sedangkan pengambilan keputusan kendaraan membutuhkan posisi fisik yang sebenarnya dalam ruang tiga dimensi (seperti garis jalur, jarak rintangan),perlu untuk membangun hubungan pemetaan matematis dari "piksel koordinat kamera koordinat badan koordinat/koordinat dunia" melalui kalibrasi.

Proses kalibrasi lengkap sistem visi otomotif cerdas biasanya dibagi menjadi tiga dimensi: kalibrasi jalur produksi/statis, kalibrasi dinamis/online,dan kalibrasi sendi multi-sensorBerikut ini adalah penjelasan rinci tentang proses kalibrasi inti:

kasus perusahaan terbaru tentang Konstruksi ruang kalibrasi sistem visi mobil cerdas / tampilan surround 360 derajat

1. Klasifikasi parameter kalibrasi inti

Sebelum memasuki proses, kita perlu tahu apa sebenarnya kalibrasi:

Parameter intrinsik: Menentukan distorsi geometris dan sifat panjang fokus di dalam lensa kamera.menghilangkan distorsi mata ikan dari lensa sudut lebar dan meluruskan gambar melengkung.

Parameter eksterior: Tentukan posisi spesifik dan orientasi kamera dalam sistem koordinat kendaraan (koordinat X, Y, Z yang dipasang dan sudut arah Pitch, Yaw, Roll).

2. jalur produksi / proses kalibrasi statis (dasar utama)

Kalibrasi statis biasanya dilakukan di ruang kalibrasi sebelum mobil meninggalkan pabrik atau setelah pemeliharaan di toko 4S.Lingkungan dikendalikan dan akurasi sangat tinggi.

(1) Persiapan dan pengaturan lingkungan

Alat kalibrasi: Siapkan papan kalibrasi dengan pola geometris tertentu (seperti papan catur, diagram array titik, atau kain kalibrasi panorama khusus).

Persyaratan lingkungan: Memastikan pencahayaan yang seragam dan menghindari paparan berlebihan yang disebabkan oleh cahaya yang kuat atau ketidakmampuan untuk mengekstrak titik fitur gambar karena cahaya yang rendah.

Status kendaraan: Kendaraan diparkir di permukaan datar, dengan tekanan ban disesuaikan dengan nilai standar, dan kendaraan harus benar-benar diam (untuk mencegah guncangan suspensi).

(2) Kalibrasi parameter internal (biasanya selesai di lokasi pemasok atau sebelum pemuatan)

Pengumpulan data: Kamera menunjuk ke papan kalibrasi dan mengambil beberapa foto (biasanya 10-20) dari sudut dan jarak yang berbeda.

Solusi algoritma: Industri umumnya mengadopsi metode kalibrasi Zhang Zhengyou.Algoritma mengidentifikasi titik sudut (titik fitur) pada papan kalibrasi dan menggunakan matriks matematika untuk memecahkan jarak fokus kamera (f_x, f_y), posisi titik utama (u-0, v-0) dan koefisien distorsi (distorsi radial dan tangensial).

(3) Kalibrasi parameter eksternal (harus dilakukan setelah memuat)

Tata letak lokasi: Place the calibration plate or calibration cloth accurately at known relative positions around the vehicle (using a total station or laser rangefinder to determine the position of the calibration plate relative to the vehicle axle and centerline).

Ekstraksi fitur: Berbagai kamera kendaraan menangkap gambar yang berisi plat kalibrasi,dan algoritma secara otomatis mendeteksi titik fitur yang sesuai dari pelat kalibrasi dalam gambar (seperti titik sudut dari empat kain kalibrasi dalam sistem tampilan surround).

Perhitungan matriks parameter eksternal: Berdasarkan "koordinat piksel" dari titik fitur dalam gambar dan "koordinat fisik riil" mereka relatif terhadap kendaraan dalam kenyataan,menghitung rotasi matriks R dan vektor perpindahan T dari setiap kamera relatif terhadap sistem koordinat kendaraan.

Splicing dan inspeksi (menggunakan 360 derajat surround view sebagai contoh): Gunakan ekstrinsik yang dihitung untuk memproyeksikan gambar dari empat kamera, depan, belakang, kiri, dan kanan,ke perspektif pandangan mata burung (BEV), dan periksa apakah celah jahitan (seperti garis tanah) sejajar dan apakah ada hantu.

3Proses kalibrasi dinamis/kalibrasi online (dioptimalkan selama mengemudi)

Selama proses mengemudi mobil, karena benjolan jangka panjang, perubahan suhu yang menyebabkan ekspansi termal dan kontraksi, atau perubahan beban suspensi,kamera eksternal kamera akan mengalami sedikit perpindahanKalibrasi online dapat mencapai "kalibrasi saat mengemudi".

[Mengemudi Kendaraan] -> [Mengidentifikasi Fitur Alam (Line Lines / Tanda Jalan) ] -> [Mengekstraksi Fitur dan Mengintegrasikan dengan Kinematik] -> [Online Iterative Updating of External Parameter Matrix]

(1) Fitur pemicu dan ekstraksi

Ketika kendaraan mengemudi di jalan biasa seperti jalan raya dan jalan tol kota, algoritma visual akan mengekstrak titik fitur alami dari lingkungan secara real time,dengan yang paling umum digunakan adalah tanda jalur (dengan asumsi bahwa tanda jalur sejajar dan meluas ke tak terhingga di depan kendaraan) dan titik menghilang.

(2) Fusi multi sensor dan estimasi keadaan

Dengan menggabungkan IMU kendaraan (Inertial Measurement Unit) dan sensor kecepatan (Wheel Speed Gauge), perkiraan perubahan sikap kendaraan sendiri.

(3) Perhitungan dan koreksi berulang

Algorithms such as Kalman filtering or beam based adjustment (BA) continuously fine tune and correct the pitch and yaw angles of the camera by comparing the image changes between the current frame and historical frames, serta kendala geometris garis jalur, untuk mencapai pembaharuan dinamis yang mulus.

4. Proses kalibrasi sendi (alignment sensor silang)

Mobil pintar modern tidak hanya memiliki kamera, tetapi juga LiDAR dan radar gelombang milimeter.

Mengambil Kamera ke LiDAR (Forward Camera and Lidar Calibration) sebagai contoh:

(1) Akuisisi area pandangan umum: Place a specially designed calibration plate (usually with high reflectivity patterns or specific geometric shapes) that can be captured clearly by a camera and scanned by a laser radar in front of the car.

(2) Ekstraksi data: Ekstraksi koordinat piksel sudut atau tepi pelat kalibrasi dari gambar 2D kamera.

Extract the three-dimensional spatial feature points corresponding to the calibration plate from the three-dimensional point cloud of the LiDAR (using point cloud reflection intensity or plane fitting).

(3) pemecahan kendala: Menemukan pencocokan terbaik antara dua set titik fitur, menggunakan algoritma pengoptimalan seperti kuadrat terkecil,dan menghitung matriks transformasi 3D-ke-2D dari sistem koordinat LiDAR ke sistem koordinat kamera.

(4) Verifikasi efek keselarasan: memproyeksikan awan titik berwarna dari LiDAR ke atas gambar kamera,dan mengamati apakah kontur awan titik sempurna sesuai dengan objek seperti kendaraan, bangunan, dan kendaraan dalam gambar.

5. Verifikasi hasil kalibrasi dan penilaian kualitas

Setelah kalibrasi selesai, ia harus menjalani evaluasi indikator yang ketat sebelum dapat digunakan oleh bisnis:

Kesalahan Reproyeksi: Titik spasial 3D yang dihitung diproyeksikan kembali ke gambar 2D menggunakan parameter kalibrasi, dan penyimpangan dari titik piksel aktual dalam gambar dihitung.Dalam mengemudi otonom, rata-rata kesalahan proyeksi ulang biasanya diperlukan kurang dari 0,5 sampai 1 piksel.

Pemeriksaan stabilitas parameter:Periksa apakah hubungan geometris relatif antara kamera teropong kiri dan kanan atau kamera surround view sesuai dengan akal sehat struktur mekanik yang kaku, untuk mencegah algoritma terjebak dalam solusi optimal lokal dan menghitung parameter "deformed".