Multi-Sensor-Fusionskalibrierung für intelligente Fahrzeuge

Die Multi-Sensor-Fusionskalibrierung intelligenter Fahrzeuge ist ein entscheidender Schritt für die automatische Antriebssysteme, um "räumliche Synchronisierung" und "Zeitliche Synchronisierung" zu erreichen.Kamera, Millimeterwellenradar (Radar) und Trägheitsmessgerät/global navigation satellite system (IMU/GNSS) haben jeweils ein eigenständiges Koordinatensystem.Der Zweck der Fusionskalibrierung besteht darin, die relative Position und Orientierungsbeziehung (extrinsische Matrix) zwischen ihnen zu berechnen., so dass das Fahrzeug die zweidimensionalen Bilder, die es "sieht", die dreidimensionalen Punktwolken, die es "scannt", und die Geschwindigkeit und Entfernung, die es "messt", perfekt überlagern kann.

Die folgenden Kernverfahren und üblichen Methoden für die Multi-Sensor-Fusionskalibrierung in intelligenten Fahrzeugen:

1. Kernvorbereitung vor der Kalibrierung

Vor Beginn der mathematischen Berechnungen ist sicherzustellen, dass die Hardware und die Umgebung in einem Standardzustand sind:

(1)Zeitstempel-Ausrichtung (Zeitsynchronisierung): Dies ist die Voraussetzung für die räumliche Kalibrierung.PTP (Gigabit Ethernet Time Synchronization Protocol) oder GPS/PPS Sekundenimpuls wird verwendet, um die Probenahmezeit aller Sensoren auf Mikrosekundenniveau auszurichten, um sicherzustellen, dass "sie die Welt im selben Moment sehen".

(2)Zustandskontrollen des Fahrzeugs: Das Fahrzeug ist in einem standardmäßigen horizontalen Kalibrierraum geparkt, mit Reifendruck und Fahrwerk bei Standardlast und das Fahrzeug steht völlig still.

(3)Aufstellung der Kalibriervorrichtungen: Entsprechend den Kalibriervorgaben sollen speziell dafür hergestellte Kalibriervorrichtungen um das Fahrzeug herum angeordnet werden.

(4)Allgemeine Kalibrierobjekte: Kalibrierplatten mit hohen Reflexionsmustern, 3D-Boxen, Zylinder oder speziell hergestellte dreieckige Reflektoren (allgemein für Millimeterwellenradar verwendet).

2. Klassifizierung von Kernfusionskalibrierungsprozessen

Die Fusionskalibrierung erfolgt typischerweise auf der Grundlage der "paarweise Ausrichtung" von Sensorkombinationen, die letztendlich in das Koordinatensystem Fahrzeug/Basisverbindung vereint werden.

(1) Gemeinsame Kalibrierung von LiDAR und Kamera (LiDAR-to-Camera)

Dies ist die Kernkalibrierung für autonomes Fahren, die zur Vorfusion von Punktwolke und Bild (Farbpunktwolke) verwendet wird.

[Extraktion von 2D-Funktionspunkten aus dem Bild]

[Suche nach Übereinstimmungen] [Minimalisieren von Fehlern bei der Wiederaufnahme] [Ausgabe extrinsischer Matrix]

[Extraktionieren von 3D-Feature-Punkten aus der Punktwolke]

1 Merkmalentnahme:

Kamera-Seite: Der Algorithmus identifiziert die Koordinaten ((u, v)) der Ecken, Kanten oder zentralen Pixel der Kalibrierplatine im zweidimensionalen Bild.

LiDAR Seite: Der Algorithmus extrahiert die Koordinaten ((X, Y,Z)) der Kanten oder Mittelpunkte der Kalibrierplatte im dreidimensionalen Raum auf der Grundlage der Reflexionsstärke der Punktwolke (oder geometrischer Ebene).

2 Mathematische Lösung: Dies ist ein typisches 3D-zu-2D Perspektive-n-Point (PnP) Problem.Die Rotationsmatrix R und der Translationsvektor T werden berechnet..

3 Online-/dynamische Ausrichtung: Bei der täglichen Fahrt werden natürliche Merkmale wie Strompfosten auf beiden Seiten der Straße und Gebäudekanten genutzt.die Ausrichtung zwischen Bildkanten und Punktwolkenkanten wird optimiert (e.g., unter Verwendung der gegenseitigen Informationsmethode) die extrinsischen Parameter in Echtzeit zu optimieren.

(2)Gemeinsame Kalibrierung von LiDAR und Millimeterwellenradar (LiDAR-Radar)

Millimeterwellenradar kann Geschwindigkeit messen und hat eine starke Durchdringung, aber seine Punktwolke ist extrem spärlich und laut; LiDAR-Punktwolke ist dicht.Ihr Ziel ist es, "räumliche Flugbahn-Ausrichtung" zu erreichen..

1Statische Methode (Kalibrierkammer): Ein Eckreflektor mit hoher Reflektivität an einem bestimmten Ort platzieren.und Lidar kann auch genau die dreidimensionale Kontur des Eckreflektors identifizierenDie äußeren Parameter werden berechnet, indem die Mittelpunkte der beiden Punkte abgeglichen werden.

2 Dynamische Methode (Straßenfahrt): Das Fahrzeug fährt auf einer offenen Straße und verfolgt ein vor sich bewegtes Ziel (z. B. ein anderes Fahrzeug).die Flugbahn des vom LiDAR verfolgten Objekts und die Flugbahn des dynamischen Punktes, der mit dem Millimeterwellenradar gemessen wird, sind übereinstimmend, und die äußeren Parameter werden durch Flugbahnkorrelation gelöst.

3. Gemeinsame Kalibrierung von LiDAR/Kamera und Trägheitsmessgerät (Sensor-IMU)

Ausrichtung des Wahrnehmungssensors auf die Fahrzeugkinematik, um die Frage "Wie kann der Sensor während des Fahrzeugschüttelns und -stoßes kompensiert werden?" zu lösen?

1 Hand-Auge-Kalibrierungsmethode: Sie gehört zum typischen Matrixproblem AX = XB.

2 Kalibrierungsprozess: Das Fahrzeug wird angewiesen, einer bestimmten Flugbahn zu folgen (z. B. im "8"-Formfahren, häufiger Beschleunigung und Verzögerung sowie Kurven).Die IMU erfasst die Winkelgeschwindigkeit und Beschleunigung des Fahrzeugs in Echtzeit, um seine eigene Bewegungsbahn abzuschätzen.Gleichzeitig schätzt das LiDAR eine Bewegungsbahn durch die Punktwolken-Odometrie (LOAM) oder die Kamera schätzt eine Bewegungsbahn durch die visuelle Odometrie (VO).

3 Lösung: Der Algorithmus berechnet die relative Position des Sensors in Bezug auf die IMU, indem er die Rotation und Verschiebung dieser beiden Bewegungsbahnen ausrichtet.

3. Integrierte gemeinsame Debugging und geschlossene Schleife Steuerung von mehreren Sensoren

Nach Abschluss aller paarweise Kalibrierungen ist eine globale Optimierung im geschlossenen Kreislauf erforderlich:

(1)Einheitliches Koordinatensystem: Alle relativen äußeren Parameter in das Koordinatensystem für die Karosseriezentrum umwandeln (z. B. den Punkt, an dem die Hinterachsmitte auf den Boden projiziert wird).

(2)Fehlerkonsistenzprüfung: Sicherstellung einer geschlossenen Schleife in der Übertragungskette.Die von der LiDAR ightarrow Camera ightarrow IMU berechnete IMU-Position sollte mit dem direkt von der LiDAR ightarrow IMU berechneten Ergebnis übereinstimmen.. Wenn eine Diskrepanz besteht, führen Sie eine globale Anpassung an das gesamte topologische Netzwerk durch Graphoptimierung durch.

IV. Bewertung der Kalibrierqualität und Prüfung der Wirkung

Nach der Kalibrierung müssen strenge quantitative Indikatoren verwendet werden, um die Richtigkeit zu überprüfen:

1Vergleichsverfahren: Mit Hilfe einer hochpräzisen Gesamtstation mit großer Reichweite oder eines Laser-Trackersmanuell die physikalischen absoluten Positionen der markierten Punkte auf jedem Sensorgehäuse im Koordinatensystem des Fahrzeugkörpers messenDie typischen Anforderungen an die Genauigkeit der äußeren Parameter sind: Abstandsfehler < 1 ~ 2 cm, Winkelfehler < 0,1 ° ~ 0,2 °.

2 Punktewolken-Rückprojektion (Farbfusionsprojektion): Die vom LiDAR gesammelte 3D-Punktewolke wird über die berechnete extrinsische Matrix auf das 2D-Bild der Kamera projiziert.Wenn die Punktwolke Farben an den Konturen von Versorgungspfosten, Straßenschilder und Fahrzeuge sind perfekt mit den Bildkanten ausgerichtet, ohne Verschiebung oder Fehlausrichtung, dies zeigt eine ausgezeichnete Kalibrierqualität.

3 Raum-Zeit-Konsistenz-Test: Während des dynamischen Fahrens eines realen Fahrzeugs ist zu prüfen, ob die von der Kamera erkannte 3D-Box, die Punktwolken-Clusterbox des LiDAR, and the target point of the millimeter-wave radar for the same obstacle (such as the preceding vehicle) completely overlap in the Bird's Eye View (BEV) and do not undergo severe jitter due to vehicle bumps.