Bau eines intelligenten Fahrzeug-Vision-Systems Kalibrierraums / 360-Grad-Surround-Ansicht

Die Kalibrierung des visuellen Systems intelligenter Fahrzeuge ist der Grundstein für eine genaue Wahrnehmung im autonomen Fahren und in intelligenten Cockpits (z. B. 360-Grad-Surround-Ansicht).Aufgrund der Tatsache, dass die Kamera zweidimensionale Pixel erfasst, während die Entscheidungsfindung des Fahrzeugs die tatsächliche physische Position im dreidimensionalen Raum erfordert (z. B. Spurlinien, Hindernisstrecken),Es ist notwendig, durch Kalibrierung eine mathematische Abbildung von "Pixelkoordinate Kamera Koordinate Körperkoordinate/Weltkoordinate" herzustellen..

Der vollständige Kalibrierungsprozess intelligenter Fahrzeugsichtsysteme gliedert sich in der Regel in drei Dimensionen: Produktionslinie/statische Kalibrierung, dynamische/online Kalibrierung,und Multi-Sensor-GelenkkalibrierungIm Folgenden wird der Kernkalibrierungsprozess detailliert erläutert:

1. Klassifizierung der Kernkalibrierparameter

Bevor wir den Prozess beginnen, müssen wir wissen, was genau Kalibrierung ist:

Intrinsische Parameter: Bestimmung der geometrischen Verzerrungen und der Brennweite innerhalb der Kameraobjektive.Beseitigung der "Fischenauge"-Verzerrung von Weitwinkelobjektiven und Geradigung von gebogenen Bildern.

Außenparameter: Bestimmung der spezifischen Position und Ausrichtung der Kamera im Fahrzeugkoordinatensystem (eingesetzte X-, Y- und Z-Koordinaten und Fahrwinkel Pitch, Yaw, Roll).

2Produktionslinie/statisches Kalibrierverfahren (Mainstream-Grundlage)

Die statische Kalibrierung erfolgt in der Regel im Kalibrierraum, bevor das Fahrzeug die Fabrik verlässt oder nach der Wartung im 4S-Lager.Die Umgebung ist kontrolliert und die Genauigkeit ist extrem hoch..

(1) Vorbereitung und Umgebung

Kalibrierwerkzeug: Bereiten Sie ein Kalibrierbrett mit einem spezifischen geometrischen Muster vor (z. B. ein Schachbrett, ein Punktdiagramm oder ein spezialisiertes Panorama-Kalibriertuch).

Umweltanforderungen: Eine einheitliche Beleuchtung ist sicherzustellen und eine Überbelichtung durch starkes Licht oder die Unfähigkeit, Bildmerkmale aufgrund schwacher Beleuchtung zu extrahieren, zu vermeiden.

Fahrzeugzustand: Das Fahrzeug ist auf einer ebenen Fläche geparkt, der Reifendruck ist auf den Normwert angepasst, und das Fahrzeug muss völlig stillstehen (um zu verhindern, dass die Federung zittert).

(2) Interne Parameterkalibrierung (in der Regel am Standort des Lieferanten oder vor dem Verladen abgeschlossen)

Datenerhebung: Die Kamera zeigt auf das Kalibrierbrett und macht mehrere Fotos (in der Regel 10 bis 20) aus verschiedenen Winkeln und Abständen.

Algorithmuslösung: Die Branche verwendet im Allgemeinen die Kalibriermethode von Zhang Zhengyou.Der Algorithmus identifiziert Eckpunkte (Feature Points) auf der Kalibrierplatte und verwendet mathematische Matrizen, um die Brennweite der Kamera (f_x) zu lösen, f_y), Hauptpunktposition (u-0, v-0) und Verzerrungskoeffizient (Radial- und Tangenzverzerrung).

(3) Kalibrierung der äußeren Parameter (nach dem Beladen)

Layout des Standorts: Place the calibration plate or calibration cloth accurately at known relative positions around the vehicle (using a total station or laser rangefinder to determine the position of the calibration plate relative to the vehicle axle and centerline).

Merkmalentnahme: Die verschiedenen Kameras des Fahrzeugs erfassen Bilder mit Kalibrierplatten,und der Algorithmus erkennt automatisch die entsprechenden Merkmalpunkte der Kalibrierplatten in den Bildern (z. B. die Eckpunkte der vier Kalibrierplatten im Surround-View-System).

Berechnung der Matrix der äußeren Parameter: Basierend auf den "Pixelkoordinaten" von Merkmalpunkten im Bild und ihren "realen physikalischen Koordinaten" im Verhältnis zum Fahrzeug in der Realität,Berechnung der Rotationsmatrix R und des Verschiebungsvektors T jeder Kamera im Verhältnis zum Fahrzeugkoordinatensystem.

Splicing und Inspektion (beispielsweise mit 360-Grad-Surround-Ansicht): Verwenden Sie das berechnete Extrinsic, um die Bilder der vier Kameras vorne, hinten, links und rechts zu projizieren,auf eine Vogelperspektive (BEV), und prüfen, ob die Nählücken (z. B. Bodenlinien) ausgerichtet sind und ob es Spukflächen gibt.

3Dynamische Kalibrierung/Online-Kalibrierung (im Fahrbetrieb optimiert)

Während des Fahrprozesses eines Fahrzeugs aufgrund von langfristigen Unebenheiten, Temperaturänderungen, die thermische Ausdehnung und Kontraktion verursachen, oder Änderungen der AufhängungslastDie externe Kamera der Kamera wird leicht verschobenDie Online-Kalibrierung ermöglicht eine "Kalibrierung während der Fahrt".

[Fahrzeugfahrt] ->[Erkennung natürlicher Merkmale (Lane-Linien/Signalzeichen) ] ->[Extraktion von Merkmalen und Integration mit der Kinematik] ->[Online-Iterative Aktualisierung der externen Parametermatrix]

(1) Feature-Triggering und -Extraktion

Wenn das Fahrzeug auf normalen Straßen wie Autobahnen und städtischen Überführungen fährt, werden visuelle Algorithmen natürliche Merkmale aus der Umgebung in Echtzeit extrahieren,wobei die am häufigsten verwendeten Spurmarkierungen (vorausgesetzt, dass die Spurmarkierungen parallel sind und sich bis zur Unendlichkeit vor dem Fahrzeug erstrecken) und Verschwindungspunkte sind.

(2) Multi-Sensor-Fusion und Zustandsschätzung

Durch die Kombination der IMU (Inertial Measurement Unit) des Fahrzeugs und des Geschwindigkeitssensors (Wheel Speed Gauge) wird die Haltung des Fahrzeugs geschätzt.

(3) Iterative Berechnung und Korrektur

Algorithms such as Kalman filtering or beam based adjustment (BA) continuously fine tune and correct the pitch and yaw angles of the camera by comparing the image changes between the current frame and historical frames, sowie die geometrischen Einschränkungen von Spurlinien, um eine nahtlose dynamische Aktualisierung zu erreichen.

4. Prozess der gemeinsamen Kalibrierung (Kreuzsensorausrichtung)

Moderne Smart Cars haben nicht nur Kameras, sondern auch LiDAR und Millimeterwellenradar.

Ein Beispiel für die Verwendung von LiDAR (Forward Camera and Lidar Calibration) ist:

(1) Erwerb eines gemeinsamen Blickbereichs: Place a specially designed calibration plate (usually with high reflectivity patterns or specific geometric shapes) that can be captured clearly by a camera and scanned by a laser radar in front of the car.

(2) Datenextraktion: Die Pixelkoordinaten der Ecken oder Kanten der Kalibrierplatte aus dem 2D-Bild der Kamera extrahieren.

Extract the three-dimensional spatial feature points corresponding to the calibration plate from the three-dimensional point cloud of the LiDAR (using point cloud reflection intensity or plane fitting).

(3) Einschränkung lösen: Finden Sie die beste Übereinstimmung zwischen zwei Sätzen von Merkmalpunkten, verwenden Sie Optimierungsalgorithmen wie Mindestquadrate,und berechnen Sie die 3D-zu-2D-Transformationsmatrix vom LiDAR-Koordinatensystem zum Kamera-Koordinatensystem.

(4) Überprüfung des Ausrichtungseffekts: Projektion der farbigen Punktwolke des LiDAR auf das Bild der Kamera,und beobachten, ob die Kontur der Punktwolke perfekt auf die Objekte wie Fahrzeuge passt, Gebäude und Fahrzeuge im Bild.

5. Überprüfung der Kalibrierresultate und Qualitätsbewertung

Nach Abschluss der Kalibrierung muss es einer strengen Indikatorenbewertung unterzogen werden, bevor es in den Betrieb genommen werden kann:

Reprojektionsfehler: Die berechneten 3D-Raumpunkte werden mit Hilfe von Kalibrierparametern in ein 2D-Bild zurückgeprojiziert und die Abweichung von den tatsächlichen Pixelpunkten des Bildes berechnet.Bei autonomem Fahren, ist der durchschnittliche Wiederaufnahmefehler in der Regel kleiner als 0,5 bis 1 Pixel.

Überprüfung der Parameterstabilität:Überprüfen Sie, ob die relative geometrische Beziehung zwischen der linken und der rechten Fernglaskamera oder der Surround-View-Kamera dem starren gesunden Menschenverstand der mechanischen Struktur entspricht, um zu verhindern, dass der Algorithmus in lokalen Optimallösungen steckt und "deformierte" Parameter berechnet.