Kalibratie van multi-sensorfusie voor intelligente voertuigen

De multi-sensor fusie kalibratie van intelligente voertuigen is een cruciale stap voor het automatische aandrijfsysteem om "ruimtelijke synchronisatie" en "tijds synchronisatie" te bereiken.camera, millimetergolfradar (Radar) en traagheidsmetingseenheid/global navigatie satellietsysteem (IMU/GNSS) hebben elk hun eigen onafhankelijke coördinaten.Het doel van de fusie-kalibratie is de relatieve positie en oriëntatieverhouding (extrinsieke matrix) tussen hen te berekenen., waardoor het voertuig de tweedimensionale beelden die het "ziet", de driedimensionale puntwolken die het "scan" en de snelheid en afstand die het "meet" perfect kan overlappen.

De volgende kernprocessen en gangbare methoden voor multi-sensor fusie kalibratie in intelligente voertuigen:

1Voorbereiding van de kern vóór kalibratie

Voordat met de wiskundige berekeningen wordt begonnen, moet worden gewaarborgd dat de hardware en de omgeving in een standaardtoestand zijn:

(1)Tijdstempelopstelling (tijdsynchronisatie): dit is de voorwaarde voor ruimtelijke kalibratie.PTP (Gigabit Ethernet Time Synchronization Protocol) of GPS/PPS second pulse wordt gebruikt om de bemonsteringstijd van alle sensoren op microsecondeniveau af te stemmen, zodat ze "de wereld tegelijkertijd zien".

(2) Controle van de toestand van het voertuig: het voertuig is geparkeerd in een standaard horizontale kalibratieruimte, met bandenspanning en ophanging bij standaardbelastingen, en het voertuig staat volledig stil.

(3) Uitbreiding van de kalibratie-objecten: volgens de kalibratie-eisen worden speciaal voor de kalibratie gemaakte kalibratie-objecten rond het voertuig geplaatst.

(4)Gebruikelijke kalibratieobjecten: kalibratieplaten met hoge reflectiviteitspatronen, 3D-dozen, cilinders of speciaal vervaardigde driehoekige reflectoren (meestal gebruikt voor millimetergolfradar).

2. Classificatie van kernfusieskalibratieprocessen

Fusiekalibratie wordt doorgaans uitgevoerd op basis van de "parige uitlijning" van sensorcombinaties, die uiteindelijk worden verenigd in het coördinatensysteem voertuig/basisverbinding.

(1) Gezamenlijke kalibratie van LiDAR en camera (LiDAR-to-Camera)

Dit is de kernkalibratie voor autonoom rijden, die wordt gebruikt om de pre-fusie van puntwolk en beeld (kleurpuntwolk) te bereiken.

[Extracteer 2D-functiepunten uit afbeelding]

De volgende functies worden toegevoegd aan de volgende functies:

[Extraheren van 3D kenmerken uit puntwolk]

1 Extractie van kenmerken:

Camerazijde: Het algoritme identificeert de coördinaten ((u, v)) van de hoeken, randen of centrale pixels van het kalibratiebord in het tweedimensionale beeld.

LiDAR-zijde: Het algoritme haalt de coördinaten ((X, Y,Z)) van de randen of middenpunten van de kalibratieplaat in driedimensionale ruimte op basis van de reflectieintensiteit van de puntwolk (of geometrische vlakverbinding).

2 Wiskundige oplossing: Dit is een typisch 3D-naar-2D Perspective-n-Point (PnP) probleem.de rotatiematrix R en de translatievector T worden berekend.

3 Online/dynamische uitlijning: Tijdens het dagelijks rijden wordt gebruik gemaakt van natuurlijke elementen zoals elektrische palen aan beide zijden van de weg en de randen van gebouwen.de uitlijning tussen beeldranden en puntwolkranden is geoptimaliseerd (e.g., met behulp van de wederzijdse informatie methode) om de extrinsieke parameters in realtime te verfijnen.

(2) Gezamenlijke kalibratie van LiDAR en millimetergolfradar (LiDAR-to-Radar)

Millimetergolfradar kan snelheid meten en heeft een sterke penetratie, maar de puntwolk is extreem dun en luidruchtig; LiDAR-puntwolk is dicht.Hun doel is het bereiken van "ruimtelijke baan uitlijning".

1Statische methode (kalibratiekamer): plaats een hoekreflector met een hoge reflectiviteit op een specifieke locatie.en lidar kan ook nauwkeurig de driedimensionale contour van de hoek reflector identificerenDe externe parameters worden berekend door de middelpunten van de twee te matchen.

2 Dynamische methode (wegrijden): het voertuig rijdt op een open weg en volgt een bewegende doelwit voor zich (zoals een ander voertuig).het traject van het door het LiDAR gevolgde object en het traject van het dynamische punt gemeten door de millimetergolfradar overeenkomen, en de externe parameters worden opgelost door trajectcorrelatie.

3. Gezamenlijke kalibratie van LiDAR/camera en traagheidsmetingseenheid (Sensor-to-IMU)

De sensor moet worden afgestemd op de kinematica van het voertuig om het probleem op te lossen van "hoe de sensor moet worden gecompenseerd tijdens het schudden en botsen van het voertuig".

1 Hand-oog kalibratiemethode: Behoort tot het typische AX = XB-matrixoplossingsprobleem.

2 Kalibratieproces: het voertuig krijgt instructies om een bepaald traject te volgen (bijvoorbeeld rijden in een "8"-vorm, frequente versnelling en vertraging en bochten maken).De IMU registreert de hoeksnelheid en versnelling van het voertuig in realtime om het eigen bewegingspad te schattenTegelijkertijd schat de LiDAR een bewegingsbaan door middel van de puntwolk-odometrie (LOAM) of de camera een bewegingsbaan door middel van de visuele odometrie (VO).

3 Oplossing: Het algoritme berekent de relatieve positie van de sensor ten opzichte van de IMU door de rotatie en verplaatsing van deze twee bewegingsbanen in lijn te brengen.

3Geïntegreerde gezamenlijke debugging en gesloten-loopcontrole van meerdere sensoren

Na voltooiing van alle parenafmetingen is een globale gesloten-lus-optimalisatie vereist:

(1)Eenvoudig coördinatensysteem: alle relatieve externe parameters worden omgezet in het coördinatensysteem voor het midden van het lichaam (zoals het punt waar het midden van de achteras op de grond wordt geprojecteerd).

(2)Foutconsistentiecontrole: zorgt voor een gesloten kringloop in de transmissie keten.de IMU-positie berekend op basis van de LiDAR ightarrow Camera ightarrow IMU moet overeenkomen met het resultaat dat rechtstreeks is berekend op basis van de LiDAR ightarrow IMU. Als er een discrepantie is, voer een globale aanpassing uit op het gehele topologische netwerk met behulp van grafiekoptimalisatie.

IV. Kalibratie-kwaliteitsbeoordeling en effectverificatie

Na de kalibratie moeten strikte kwantitatieve indicatoren worden gebruikt om de nauwkeurigheid ervan te verifiëren:

1Methode voor de vergelijking van de werkelijke waarde: met behulp van een zeer nauwkeurig totaalstation met een breed bereik of een lasertrackerhandmatig de fysieke absolute posities van de gemarkeerde punten op elke sensorbehuising in het coördinatensysteem van het voertuigkoornis metenDe typische vereisten voor de nauwkeurigheid van de extrinsieke parameters zijn: afstandsfout < 1 ~ 2 cm, hoekfout < 0,1 ° ~ 0,2 °.

2 puntwolk backprojection (kleurfusieprojectie): De 3D puntwolk verzameld door de LiDAR wordt geprojecteerd op het 2D-beeld van de camera via de berekende extrinsieke matrix.Als de puntwolk kleuren op de contouren van nutsstaven, verkeersborden en voertuigen zijn perfect uitgelijnd met de beeldranden, zonder verplaatsing of verkeerd uitlijning, dit geeft uitstekende kalibratie kwaliteit.

3 Ruimte-tijd consistentietest: tijdens dynamisch rijden van een echt voertuig wordt gecontroleerd of de door de camera gedetecteerde 3D-box, de puntwolkclusterbox van de LiDAR, and the target point of the millimeter-wave radar for the same obstacle (such as the preceding vehicle) completely overlap in the Bird's Eye View (BEV) and do not undergo severe jitter due to vehicle bumps.