Opbouw van een kalibratieruimte voor een intelligent systeem voor het zien van auto's / 360 graden surround view

De kalibratie van het visuele systeem van intelligente voertuigen vormt de hoeksteen voor nauwkeurige waarneming in autonoom rijden en intelligente cockpits (zoals 360 graden surround view).Door het feit dat de camera tweedimensionale pixels vastlegt, terwijl de besluitvorming van het voertuig de werkelijke fysieke positie in de driedimensionale ruimte vereist (zoals rijstrooklijnen, hindernisafstanden),het is noodzakelijk om een wiskundige mappingrelatie van "pixelcoördinaten cameracoördinaten lichaamcoördinaten/wereldcoördinaten" door kalibratie vast te stellen.

Het volledige kalibratieproces van intelligente visie-systemen voor auto's is meestal verdeeld in drie dimensies: productielijn/statische kalibratie, dynamische/online kalibratie,met een vermogen van niet meer dan 50 WHieronder volgt een gedetailleerde uitleg van het proces van kernkalibratie:

1. Classificatie van kernkalibratieparameters

Voordat we het proces beginnen, moeten we weten wat kalibratie precies is:

Intrinsieke parameters: bepalen de geometrische vervorming en brandpuntsafstand eigenschappen in de camera lens.het elimineren van de visogenvervorming van groothoeklenzen en het rechtzetten van gebogen beelden.

Externe parameters: bepalen van de specifieke positie en oriëntatie van de camera in het coördinatsysteem van het voertuig (geïnstalleerde X-, Y- en Z-coördinaten en koershoeken Pitch, Yaw, Roll).

2Productielijn/statisch kalibratieproces

Statische kalibratie wordt gewoonlijk uitgevoerd in de kalibratiezaal voordat de auto de fabriek verlaat of na onderhoud in de 4S-winkel.De omgeving is gecontroleerd en de nauwkeurigheid is extreem hoog..

(1) Voorbereiding en omgevingsopstelling

Kalibratietool: Bereid een kalibratietafel met een specifiek geometrisch patroon voor (zoals een schaakbord, een stippeldiagram of een gespecialiseerd panorama-kalibratietappeltje).

Omgevingsvereisten: zorgen voor een gelijkmatige verlichting en vermijden van overexpositie als gevolg van sterk licht of het onvermogen om de kenmerkende punten van het beeld te extraheren als gevolg van weinig licht.

Voertuigstatus: het voertuig staat op een vlak oppervlak geparkeerd, de bandenspanning is ingesteld op de standaardwaarde en het voertuig moet volledig stilstaan (om te voorkomen dat de ophanging trilt).

(2) Interne kalibratie van de parameters (meestal afgerond op de locatie van de leverancier of vóór het laden)

Gegevensverzameling: De camera wijst op het kalibratiebord en maakt meerdere foto's (meestal 10-20) vanuit verschillende hoeken en afstanden.

Algoritmeoplossing: de industrie gebruikt over het algemeen de kalibratiemethode van Zhang Zhengyou.Het algoritme identificeert hoekpunten (feature points) op het kalibratiebord en gebruikt wiskundige matrices om de brandpuntsafstand van de camera (f_x) op te lossen., f_y), hoofdpuntpositie (u-0, v-0) en vervormingscoëfficiënt (radiële en tangentiële vervorming).

(3) Kalibratie van externe parameters (moet na het laden worden uitgevoerd)

Plaatsopstelling: Place the calibration plate or calibration cloth accurately at known relative positions around the vehicle (using a total station or laser rangefinder to determine the position of the calibration plate relative to the vehicle axle and centerline).

Extractie van kenmerken: De verschillende camera's van het voertuig maken afbeeldingen met kalibratieplaten,en het algoritme detecteert automatisch de overeenkomstige kenmerkende punten van de kalibratieplaten in de beelden (zoals de hoekpunten van de vier kalibratieplaten in het surround view-systeem).

Berekening van de matrix van externe parameters: op basis van de "pixelcoördinaten" van kenmerkende punten op de afbeelding en hun "echte fysieke coördinaten" ten opzichte van het voertuig in werkelijkheid,berekenen de rotatiematrix R en de verplaatsingsvector T van elke camera ten opzichte van het voertuigcoördinatenstelsel.

Splicing en inspectie (bijvoorbeeld met 360 graden surround view): gebruik de berekende extrinsic om de beelden van de vier camera's, voor, achter, links en rechts, te projecteren,naar een vogelperspectief (BEV), en controleer of de hechtingen (zoals grondlijnen) zijn uitgelijnd en of er sprake is van spookvlekken.

3. Dynamisch kalibratieproces/online kalibratieproces (geoptimaliseerd tijdens het rijden)

Tijdens het rijproces van een auto, als gevolg van langdurige hobbels, temperatuurveranderingen die thermische uitbreiding en samentrekking veroorzaken, of veranderingen in de ophangbelasting,de externe camera van de camera zal een lichte verplaatsing ervarenOnline kalibratie kan "kalibratie tijdens het rijden" bereiken.

[Voertuigrijden] ->[Detectie van natuurlijke kenmerken (baanlijnen/wegborden) ] ->[Extraheren van kenmerken en integratie met kinematica] ->[Online iteratieve update van externe parametertrix]

(1) Feature triggering en extractie

Wanneer het voertuig op gewone wegen rijdt, zoals snelwegen en stedelijke bovenpassages, zullen visuele algoritmen in realtime natuurlijke kenmerken uit de omgeving halen,de meest gebruikte rijstrookmarkering (als de rijstrookmarkering parallel is aan de voorzijde van het voertuig) en verdwijnpunten.

(2) Multi-sensor fusie en staatsschat

Door de IMU (Inertiaal Measurement Unit) van het voertuig en de snelheidsmeter (Wheel Speed Gauge) te combineren, wordt de houdingsverandering van het voertuig berekend.

(3) Iteratieve berekening en correctie

Algorithms such as Kalman filtering or beam based adjustment (BA) continuously fine tune and correct the pitch and yaw angles of the camera by comparing the image changes between the current frame and historical frames, evenals de geometrische beperkingen van rijstrooklijnen, om een naadloze dynamische vernieuwing te bereiken.

4. Gezamenlijk kalibratieproces (cross sensor alignment)

Moderne slimme auto's hebben niet alleen camera's, maar ook LiDAR en millimeterwave radar.

Neem bijvoorbeeld Camera to LiDAR (Forward Camera and Lidar Calibration):

(1) Verwerving van gemeenschappelijk zichtgebied: Place a specially designed calibration plate (usually with high reflectivity patterns or specific geometric shapes) that can be captured clearly by a camera and scanned by a laser radar in front of the car.

(2) Data-extractie: de pixelcoördinaten van de hoeken of randen van de kalibratieplaat worden uit het 2D-beeld van de camera gehaald.

Extract the three-dimensional spatial feature points corresponding to the calibration plate from the three-dimensional point cloud of the LiDAR (using point cloud reflection intensity or plane fitting).

(3) Beperkingen oplossen: het vinden van de beste match tussen twee sets van kenmerkenpunten, het gebruik van optimalisatie-algoritmen zoals kleinste vierkanten,en berekenen de 3D-naar-2D transformatie matrix van het LiDAR coördinatensysteem naar de camera coördinatensysteem.

(4) Verificatie van het afstemmingseffect: projecteren van de gekleurde puntwolk van de LiDAR op het beeld van de camera,en observeren of de contour van de puntwolk perfect past op de objecten zoals voertuigen, gebouwen en voertuigen in het beeld.

5. Verificatie van kalibratieresultaten en kwaliteitsbeoordeling

Nadat de kalibratie is voltooid, moet het een strenge indicatorbeoordeling ondergaan voordat het in bedrijfsgebruik kan worden gebracht:

Reprojectiefout: De berekende 3D-ruimtepunten worden met behulp van kalibratieparameters opnieuw in een 2D-beeld geprojecteerd en de afwijking van de werkelijke pixelpunten in het beeld wordt berekend.In autonoom rijden, moet de gemiddelde herprojectiefout meestal kleiner zijn dan 0,5 tot 1 pixel.

Parameterstabiliteitscontrole:Controleer of de relatieve geometrische relatie tussen de linker- en de rechterbinoculaire camera of de surround view camera voldoet aan het starre gezonde verstand van de mechanische structuur, om te voorkomen dat het algoritme vast komt te zitten in lokale optimale oplossingen en "vervormde" parameters berekent.