Costruzione di una sala di calibrazione per sistemi di visione intelligente per auto / vista surround a 360 gradi

La calibrazione del sistema visivo dei veicoli intelligenti è la pietra angolare per una percezione accurata nella guida autonoma e negli abitacoli intelligenti (come la vista panoramica a 360 gradi). Poiché la telecamera cattura pixel bidimensionali, mentre il processo decisionale del veicolo richiede la posizione fisica reale nello spazio tridimensionale (come le linee di corsia, le distanze degli ostacoli), è necessario stabilire una relazione di mappatura matematica di "coordinate pixel-coordinate telecamera-coordinate veicolo/coordinate mondo" attraverso la calibrazione.

Il processo completo di calibrazione dei sistemi di visione automobilistica intelligenti è solitamente diviso in tre dimensioni: calibrazione in linea di produzione/statica, calibrazione dinamica/online e calibrazione congiunta multisensore. Di seguito è riportata una spiegazione dettagliata del processo di calibrazione principale:

ultimo caso aziendale circa Costruzione di una sala di calibrazione per sistemi di visione intelligente per auto / vista surround a 360 gradi

1. Classificazione dei parametri di calibrazione principali

Prima di entrare nel processo, dobbiamo sapere cos'è esattamente la calibrazione:

Parametri intrinseci: determinano la distorsione geometrica e le proprietà della lunghezza focale all'interno dell'obiettivo della telecamera. Ad esempio, eliminare la distorsione "a occhio di pesce" degli obiettivi grandangolari e raddrizzare le immagini curve.

Parametri estrinseci: determinano la posizione e l'orientamento specifici della telecamera nel sistema di coordinate del veicolo (coordinate X, Y, Z installate e angoli di beccheggio, imbardata, rollio).

2. Processo di calibrazione in linea di produzione/statica (fondamento principale)

La calibrazione statica viene solitamente eseguita nella sala di calibrazione prima che l'auto lasci la fabbrica o dopo la manutenzione presso il negozio 4S. L'ambiente è controllato e l'accuratezza è estremamente elevata.

(1) Preparazione e configurazione dell'ambiente

Strumento di calibrazione: preparare una tavola di calibrazione con uno schema geometrico specifico (come una scacchiera, un diagramma a punti o un panno di calibrazione panoramico specializzato).

Requisiti ambientali: garantire un'illuminazione uniforme ed evitare sovraesposizioni dovute a luce intensa o incapacità di estrarre punti caratteristici dell'immagine a causa di scarsa illuminazione.

Stato del veicolo: il veicolo è parcheggiato su una superficie piana, con la pressione degli pneumatici regolata al valore standard e il veicolo deve essere completamente fermo (per evitare scuotimenti delle sospensioni).

(2) Calibrazione dei parametri interni (solitamente completata presso la sede del fornitore o prima del caricamento)

Raccolta dati: la telecamera punta sulla tavola di calibrazione ed esegue più foto (solitamente 10-20) da diverse angolazioni e distanze.

Risoluzione algoritmica: l'industria adotta generalmente il metodo di calibrazione di Zhang Zhengyou. L'algoritmo identifica i punti d'angolo (punti caratteristici) sulla tavola di calibrazione e utilizza matrici matematiche per risolvere la lunghezza focale della telecamera (f_x, f_y), la posizione del punto principale (u-0, v-0) e il coefficiente di distorsione (distorsione radiale e tangenziale).

(3) Calibrazione dei parametri esterni (deve essere eseguita dopo il caricamento)

Disposizione della posizione: posizionare la tavola di calibrazione o il panno di calibrazione in modo accurato in posizioni relative note attorno al veicolo (utilizzando una stazione totale o un telemetro laser per determinare la posizione della tavola di calibrazione rispetto all'asse del veicolo e alla linea centrale).

Estrazione delle caratteristiche: le varie telecamere del veicolo acquisiscono immagini contenenti tavole di calibrazione e l'algoritmo rileva automaticamente i punti caratteristici corrispondenti delle tavole di calibrazione nelle immagini (come i punti d'angolo delle quattro telecamere panoramiche nel sistema di visione surround).

Calcolo della matrice dei parametri esterni: sulla base delle "coordinate pixel" dei punti caratteristici nell'immagine e delle loro "coordinate fisiche reali" relative al veicolo nella realtà, calcolare la matrice di rotazione R e il vettore di spostamento T di ciascuna telecamera rispetto al sistema di coordinate del veicolo.

Giunzione e ispezione (utilizzando la vista panoramica a 360 gradi come esempio): utilizzare gli estrinseci calcolati per proiettare le immagini delle quattro telecamere, anteriore, posteriore, sinistra e destra, su una vista a volo d'uccello (BEV) e verificare se gli spazi di giunzione (come le linee del terreno) sono allineati e se ci sono immagini fantasma.

3. Processo di calibrazione dinamica/online (ottimizzato durante la guida)

Durante il processo di guida di un'auto, a causa di urti a lungo termine, variazioni di temperatura che causano espansione e contrazione termica, o variazioni del carico delle sospensioni, l'esterno della telecamera subirà lievi spostamenti. La calibrazione online può ottenere la "calibrazione durante la guida".

[Guida del veicolo] ->[Rilevamento di caratteristiche naturali (linee di corsia/segnali stradali)] ->[Estrazione di caratteristiche e integrazione con la cinematica] ->[Aggiornamento iterativo online della matrice dei parametri esterni]

(1) Attivazione ed estrazione delle caratteristiche

Quando il veicolo guida su strade regolari come autostrade e cavalcavia urbani, gli algoritmi visivi estraggono punti caratteristici naturali dall'ambiente in tempo reale, i più comunemente utilizzati sono le marcature delle corsie (ipotizzando che le marcature delle corsie siano parallele e si estendano all'infinito di fronte al veicolo) e i punti di fuga.

(2) Fusione multisensore e stima dello stato

Combinando l'IMU (unità di misura inerziale) del veicolo e il sensore di velocità (tachimetro), stimare le variazioni di assetto del veicolo stesso.

(3) Calcolo iterativo e correzione

Algoritmi come il filtro di Kalman o l'aggiustamento basato su raggi (BA) affinano e correggono continuamente gli angoli di beccheggio e imbardata della telecamera confrontando le variazioni dell'immagine tra il fotogramma corrente e i fotogrammi storici, nonché i vincoli geometrici delle linee di corsia, per ottenere un aggiornamento dinamico senza interruzioni.

4. Processo di calibrazione congiunta (allineamento tra sensori)

Le moderne auto intelligenti non dispongono solo di telecamere, ma anche di LiDAR e radar a onde millimetriche. Allineare i loro dati nello stesso sistema di coordinate spaziali per eseguire una percezione pre-fusione.

Prendendo come esempio la calibrazione telecamera-LiDAR (calibrazione telecamera anteriore e LiDAR):

(1) Acquisizione dell'area di visualizzazione comune: posizionare una tavola di calibrazione appositamente progettata (solitamente con motivi ad alta riflettività o forme geometriche specifiche) che possa essere catturata chiaramente da una telecamera e scansionata da un radar laser di fronte all'auto.

(2) Estrazione dei dati: estrarre le coordinate pixel degli angoli o dei bordi della tavola di calibrazione dall'immagine 2D della telecamera.

Estrarre i punti caratteristici spaziali tridimensionali corrispondenti alla tavola di calibrazione dalla nuvola di punti tridimensionale del LiDAR (utilizzando l'intensità di riflessione della nuvola di punti o l'adattamento di piani).

(3) Risoluzione dei vincoli: trovare la migliore corrispondenza tra i due set di punti caratteristici, utilizzare algoritmi di ottimizzazione come i minimi quadrati e calcolare la matrice di trasformazione 3D-2D dal sistema di coordinate LiDAR al sistema di coordinate della telecamera.

(4) Verifica dell'effetto di allineamento: proiettare la nuvola di punti colorata del LiDAR sull'immagine della telecamera e osservare se il contorno della nuvola di punti si adatta perfettamente agli oggetti come veicoli, edifici e veicoli nell'immagine.

5. Verifica dei risultati della calibrazione e valutazione della qualità

Dopo che la calibrazione è stata completata, deve essere sottoposta a una rigorosa valutazione degli indicatori prima di poter essere utilizzata commercialmente:

Errore di riproiezione: i punti spaziali 3D calcolati vengono riproiettati in un'immagine 2D utilizzando i parametri di calibrazione e viene calcolata la deviazione dai punti pixel effettivi nell'immagine. Nella guida autonoma, l'errore medio di riproiezione è solitamente richiesto essere inferiore a 0,5-1 pixel.

Controllo della stabilità dei parametri: verificare se la relazione geometrica relativa tra le telecamere binoculari sinistra e destra o la telecamera surround è conforme al buon senso rigido della struttura meccanica, per evitare che l'algoritmo rimanga bloccato in soluzioni ottimali locali e calcoli parametri "deformati".