Calibrazione della fusione multisensore per veicoli intelligenti

La calibrazione a fusione multi-sensore dei veicoli intelligenti è un passo cruciale per il sistema di guida automatica per raggiungere la "sincronizzazione spaziale" e la "sincronizzazione temporale".fotocamera, radar a onde millimetriche (Radar) e unità di misura inerziale/sistema globale di navigazione satellitare (IMU/GNSS) hanno ciascuno un proprio sistema di coordinate indipendente.Lo scopo della taratura di fusione è di calcolare la posizione relativa e la relazione di orientamento (matrice estrinseca) tra loro, permettendo al veicolo di sovrapporre perfettamente le immagini bidimensionali che "vede", le nuvole a punti tridimensionali che "scanna" e la velocità e la distanza che "misura".

I seguenti sono i processi di base e i metodi di base per la taratura a fusione multi-sensore nei veicoli intelligenti:

1Preparazione del nucleo prima della taratura

Prima di iniziare i calcoli matematici, è necessario assicurarsi che l'hardware e l'ambiente siano in uno stato standard:

(1)Allineamento del timbre (sincronizzazione temporale): è il prerequisito per la taratura spaziale.PTP (Gigabit Ethernet Time Synchronization Protocol) o GPS/PPS secondo impulso viene utilizzato per allineare il tempo di campionamento di tutti i sensori al livello di microsecondi, assicurando che "vedano il mondo nello stesso momento".

(2) Ispezione dello stato del veicolo: il veicolo è parcheggiato in una sala di taratura orizzontale standard, con pressione dei pneumatici e sospensione a carichi standard, e il veicolo è completamente fermo.

(3) Distribuzione degli oggetti di taratura: secondo i requisiti di taratura, disposere intorno al veicolo oggetti di taratura appositamente realizzati.

(4)Oggetti di taratura comuni: piastre di taratura con modelli ad alta riflettività, scatole 3D, cilindri o riflettori triangolari appositamente realizzati (comunemente utilizzati per il radar a onde millimetriche).

2. Classificazione dei processi di taratura a fusione nucleare

La calibrazione a fusione è in genere eseguita in base all'"allineamento a coppie" delle combinazioni di sensori, unificandole infine nel sistema di coordinate veicolo/legame di base.

(1) Calibrazione congiunta di LiDAR e fotocamera (LiDAR-to-Camera)

Questa è la calibrazione di base per la guida autonoma, utilizzata per ottenere la prefusione di nube di punti e immagine (nube di punti a colori).

[Estrarre i punti caratteristici 2D dall'immagine]

[Ricerca di corrispondenza] [Ricerca di corrispondenza] [Ricerca di corrispondenza]

[Estrarre punti caratteristici 3D dalla nuvola di punti] ──

1 Estrazione delle caratteristiche:

lato della fotocamera: l'algoritmo identifica le coordinate ((u, v)) degli angoli, bordi o pixel centrali della scheda di taratura nell'immagine bidimensionale.

lato LiDAR: L'algoritmo estrae le coordinate ((X, Y,Z)) dei bordi o dei punti centrali della tavola di taratura nello spazio tridimensionale in base all'intensità di riflessione della nuvola di punti (o all'allineamento geometrico del piano).

2 Soluzione matematica: si tratta di un tipico problema 3D-a-2D Perspective-n-Point (PnP).la matrice di rotazione R e il vettore di traslazione T sono calcolati.

3 Allineamento online/dinamico: durante la guida quotidiana, utilizzando caratteristiche naturali come pali di servizio su entrambi i lati della strada e bordi degli edifici,l'allineamento tra i bordi dell'immagine e i bordi della nube di punti è ottimizzato (e.g., utilizzando il metodo dell'informazione reciproca) per regolare i parametri estranei in tempo reale.

(2) Calibrazione congiunta del LiDAR e del radar a onde millimetriche (LiDAR-Radar)

Il radar a onde millimetriche può misurare la velocità e ha una forte penetrazione, ma la sua nube di punti è estremamente scarsa e rumorosa; la nube di punti LiDAR è densa.Il loro obiettivo è quello di raggiungere "l'allineamento della traiettoria spaziale".

1Metodo statico (camera di taratura): posizionare un riflettore angolare ad alta riflettività in una posizione specifica.e il lidar può anche identificare con precisione il contorno tridimensionale del riflettore d'angoloI parametri esterni sono calcolati abbinando i punti centrali dei due.

2 Metodo dinamico (guida su strada): il veicolo guida su una strada aperta, seguendo un bersaglio in movimento davanti (come un altro veicolo).la traiettoria dell'oggetto tracciato dal LiDAR e la traiettoria del punto dinamico misurato dal radar a onde millimetriche sono abbinate, e i parametri esterni sono risolti attraverso la correlazione di traiettoria.

3. Calibrazione congiunta di LiDAR/camera e unità di misurazione inerziale (Sensor-to-IMU)

Allineare il sensore di percezione con la cinematica del veicolo per risolvere il problema di "come compensare il sensore durante le scosse e i urti del veicolo".

1 Metodo di calibrazione mano-occhio: appartiene al tipico problema di risoluzione della matrice AX = XB.

2 Processo di taratura: il veicolo riceve istruzioni per seguire una traiettoria specifica (come guidare in forma di "8", accelerare e decelerare frequentemente e fare curve).L'IMU registra la velocità angolare e l'accelerazione del veicolo in tempo reale per stimare la propria traiettoria di movimentoSimultaneamente, il LiDAR stima una traiettoria di movimento attraverso l'odometria della nuvola di punti (LOAM) o la telecamera stima una traiettoria di movimento attraverso l'odometria visiva (VO).

3 Soluzione: l'algoritmo calcola la posizione relativa del sensore rispetto all'IMU allineando la rotazione e lo spostamento di queste due traiettorie di movimento.

3- Debugging congiunto integrato e controllo a circuito chiuso di più sensori

Dopo aver completato tutte le tarature a coppia, è necessaria l'ottimizzazione globale a circuito chiuso:

(1) Unificare il sistema di coordinate: convertire tutti i parametri esterni relativi al sistema di coordinate del centro del corpo (come il punto in cui il centro dell'asse posteriore è proiettato sul terreno).

(2) Controllo della coerenza degli errori: assicurare un ciclo chiuso nella catena di trasmissione.la posizione dell'IMU calcolata da LiDAR ightarrow Camera ightarrow IMU dovrebbe essere coerente con il risultato calcolato direttamente da LiDAR ightarrow IMU. Se vi è una discrepanza, eseguire un aggiustamento globale su tutta la rete topologica utilizzando l'ottimizzazione grafica.

IV. Valutazione della qualità della taratura e verifica degli effetti

Dopo la taratura, devono essere utilizzati indicatori quantitativi rigorosi per verificare la sua accuratezza:

1Metodo di confronto dei valori veri: con l'aiuto di una stazione totale ad ampio raggio e di alta precisione o di un laser tracker,misurare manualmente le posizioni fisiche assolute dei punti contrassegnati su ciascun alloggiamento del sensore nel sistema di coordinate del corpo del veicoloI requisiti tipici per la precisione dei parametri estranei sono: errore di distanza < 1 ~ 2 cm, errore d'angolo < 0,1 ° ~ 0,2 °.

Proiezione retro nuvola di due punti (proiezione di fusione cromatica): la nuvola di punti 3D raccolta dal LiDAR viene proiettata sull'immagine 2D della fotocamera attraverso la matrice estrinseca calcolata.Se il punto nuvola colori ai contorni di pali di servizio, segnali stradali e veicoli sono perfettamente allineati con i bordi dell'immagine, senza alcun spostamento o disallineamento, indica un'ottima qualità di taratura.

3 Prova di coerenza spazio-temporale: durante la guida dinamica di un veicolo reale, verificare se la casella 3D rilevata dalla telecamera, la casella di raggruppamento delle nuvole di punti del LiDAR, and the target point of the millimeter-wave radar for the same obstacle (such as the preceding vehicle) completely overlap in the Bird's Eye View (BEV) and do not undergo severe jitter due to vehicle bumps.