Costruzione di una sala di calibrazione per sistemi di visione intelligente per auto / vista surround a 360 gradi

La calibrazione del sistema visivo dei veicoli intelligenti costituisce la pietra angolare per una percezione accurata nella guida autonoma e nelle cabine di pilotaggio intelligenti (come la visione a 360 gradi).A causa del fatto che la fotocamera cattura pixel bidimensionali, mentre il processo decisionale del veicolo richiede la posizione fisica reale nello spazio tridimensionale (come linee di corsia, distanze di ostacolo),è necessario stabilire una relazione di mappatura matematica di "coordinata del pixel, coordinata della fotocamera, coordinata del corpo/coordinata del mondo" attraverso la taratura.

Il processo completo di taratura dei sistemi intelligenti di visione automobilistica è generalmente suddiviso in tre dimensioni: linea di produzione/taratura statica, taratura dinamica/online,e calibrazione articolare multi-sensoreLa seguente spiegazione dettagliata del processo di taratura del nucleo:

1. Classificazione dei parametri di taratura del nucleo

Prima di iniziare il processo, dobbiamo sapere cos'è esattamente la taratura:

Parametri intrinseci: Determinare la distorsione geometrica e le proprietà della lunghezza focale all'interno dell'obiettivo della fotocamera.eliminazione della distorsione "occhio di pesce" delle lenti grandangolari e raddrizzamento delle immagini curve.

Parametri esterni: determinare la posizione specifica e l'orientamento della telecamera nel sistema di coordinate del veicolo (coordinate X, Y, Z installate e angoli di marcia Pitch, Yaw, Roll).

2. linea di produzione/processo di taratura statica (fondamento tradizionale)

La taratura statica viene solitamente eseguita nella sala di taratura prima che l'auto lasci la fabbrica o dopo la manutenzione presso il magazzino 4S.L'ambiente è controllato e la precisione è estremamente elevata..

(1) Preparazione e impostazione ambientale

Strumento di taratura: preparare una tavola di taratura con uno specifico disegno geometrico (come una scacchiera, un diagramma a punti o un panno di taratura panoramica specializzato).

Requisiti ambientali: garantire un'illuminazione uniforme ed evitare una sovraesposizione causata da una forte luce o dall'incapacità di estrarre i punti caratteristici dell'immagine a causa di una scarsa illuminazione.

Lo stato del veicolo: il veicolo è parcheggiato su una superficie piana, con la pressione dei pneumatici regolata al valore standard, e il veicolo deve essere completamente fermo (per evitare che la sospensione scuoti).

(2) Calibrazione dei parametri interni (di solito effettuata presso il fornitore o prima del carico)

Raccolta dati: la fotocamera punta sulla tavola di taratura e scatta più foto (di solito 10-20) da diverse angolazioni e distanze.

Risoluzione degli algoritmi: l'industria adotta generalmente il metodo di taratura Zhang Zhengyou.L'algoritmo identifica i punti angolari (punti caratteristici) sulla scheda di taratura e utilizza matrici matematiche per risolvere la distanza focale della fotocamera (f_x, f_y), posizione del punto principale (u-0, v-0) e coefficiente di distorsione (distorsione radiale e tangenziale).

(3) Calibrazione dei parametri esterni (deve essere effettuata dopo il carico)

Disegno della posizione: Place the calibration plate or calibration cloth accurately at known relative positions around the vehicle (using a total station or laser rangefinder to determine the position of the calibration plate relative to the vehicle axle and centerline).

Estrazione delle caratteristiche: le varie telecamere del veicolo catturano immagini contenenti piastre di taratura,e l'algoritmo rileva automaticamente i punti caratteristici corrispondenti delle piastre di taratura nelle immagini (come i punti angolari dei quattro pannelli di taratura nel sistema di visualizzazione surround).

Calcolo della matrice dei parametri esterni: basato sulle "coordinate pixel" dei punti caratteristici dell'immagine e sulle loro "coordinate fisiche reali" relative al veicolo nella realtà,calcolare la matrice di rotazione R e il vettore di spostamento T di ciascuna telecamera rispetto al sistema di coordinate del veicolo.

Splicing e ispezione (usando come esempio la vista surround a 360 gradi): utilizzare l'estrinsico calcolato per proiettare le immagini delle quattro telecamere, anteriore, posteriore, sinistra e destra,in prospettiva a volo d'uccello (BEV), e verificare se gli spazi di cucitura (come le linee di terra) sono allineati e se vi sono dei fantasmi.

3. Processo di taratura dinamica/taratura online (ottimizzato durante la guida)

Durante il processo di guida di un'auto, a causa di urti a lungo termine, cambiamenti di temperatura che causano espansione e contrazione termica, o cambiamenti nel carico della sospensione,la fotocamera esterna della fotocamera subirà un leggero spostamentoLa taratura online consente di realizzare la "taratura durante la guida".

[Guida del veicolo] ->[Rilevamento delle caratteristiche naturali (linee di corsia/segnali stradali) ] ->[Rilevamento delle caratteristiche e integrazione con la cinematica] ->[Aggiornamento iterativo online della matrice dei parametri esterni]

(1) Azionamento e estrazione delle caratteristiche

Quando il veicolo guida su strade normali come autostrade e passerelle urbane, gli algoritmi visivi estrarranno in tempo reale punti caratteristici naturali dall'ambiente,con il più comunemente utilizzato marchi di corsia (supponendo che i marchi di corsia siano paralleli e si estendano all'infinito davanti al veicolo) e punti di fuga.

(2) Fusione multi-sensore e stima dello stato

Combinando l'IMU (unità di misura inerziale) del veicolo e il sensore di velocità (velocimetro), calcolare le variazioni di posizione del veicolo.

(3) Calcolo e correzione iterativi

Algorithms such as Kalman filtering or beam based adjustment (BA) continuously fine tune and correct the pitch and yaw angles of the camera by comparing the image changes between the current frame and historical frames, nonché i vincoli geometrici delle linee di corsia, per ottenere un aggiornamento dinamico senza soluzione di continuità.

4Processo di taratura articolare (allineamento dei sensori)

Le moderne auto intelligenti non hanno solo telecamere, ma anche LiDAR e radar a onde millimetriche.

Prendendo Camera a LiDAR (Forward Camera e Lidar Calibration) come esempio:

(1) Acquisizione di aree di vista comune: Place a specially designed calibration plate (usually with high reflectivity patterns or specific geometric shapes) that can be captured clearly by a camera and scanned by a laser radar in front of the car.

(2) Estrazione dei dati: estrarre le coordinate dei pixel degli angoli o dei bordi della piastra di taratura dall'immagine 2D della fotocamera.

Extract the three-dimensional spatial feature points corresponding to the calibration plate from the three-dimensional point cloud of the LiDAR (using point cloud reflection intensity or plane fitting).

(3) Risoluzione di vincoli: trovare la migliore corrispondenza tra due gruppi di punti caratteristici, utilizzare algoritmi di ottimizzazione come i minimi quadrati,e calcolare la matrice di trasformazione da 3D a 2D dal sistema di coordinate LiDAR al sistema di coordinate della fotocamera.

(4) Verifica dell'effetto di allineamento: proiettare la nube di punti colorata del LiDAR sull'immagine della telecamera,e osservare se il contorno della nube di punti si adatta perfettamente gli oggetti come veicoli, edifici e veicoli nella foto.

5Verifica dei risultati di taratura e valutazione della qualità

Una volta completata la taratura, deve essere sottoposta a una rigorosa valutazione degli indicatori prima di poter essere messa in servizio:

Errore di riproiezione: i punti spaziali 3D calcolati vengono riproiettati in un'immagine 2D utilizzando parametri di taratura e viene calcolata la deviazione dai punti pixel effettivi dell'immagine.Nella guida autonoma, l'errore medio di riproiezione deve essere di solito inferiore a 0,5 a 1 pixel.

Controllo della stabilità dei parametri:Verificare se la relazione geometrica relativa tra le fotocamere binoculari sinistra e destra o la fotocamera surround view è conforme al senso comune rigido della struttura meccanica, per evitare che l'algoritmo si blocchi nelle soluzioni ottimali locali e calcoli i parametri "deformati".