Opbouw van een kalibratieruimte voor een intelligent systeem voor het zien van auto's / 360 graden surround view

De visuele systeemkalibratie van intelligente voertuigen is de hoeksteen voor nauwkeurige perceptie in autonoom rijden en intelligente cockpits (zoals 360 graden surround view). Aangezien de camera tweedimensionale pixels vastlegt, terwijl voertuigbesluitvorming de werkelijke fysieke positie in driedimensionale ruimte vereist (zoals rijstrooklijnen, obstakelafstanden), is het noodzakelijk om een wiskundige mappingrelatie van "pixelcoördinaat camera coördinaat carrosserie coördinaat/wereld coördinaat" tot stand te brengen door middel van kalibratie.

Het volledige kalibratieproces van intelligente automotive visionsystemen wordt meestal verdeeld in drie dimensies: productielijn/statische kalibratie, dynamische/online kalibratie en gezamenlijke kalibratie van meerdere sensoren. Hieronder volgt een gedetailleerde uitleg van het kernkalibratieproces:

laatste bedrijfscasus over Opbouw van een kalibratieruimte voor een intelligent systeem voor het zien van auto's / 360 graden surround view

1. Classificatie van kernkalibratieparameters

Voordat we het proces ingaan, moeten we weten wat kalibratie precies is:

Intrinsieke parameters: Bepalen de geometrische vervorming en brandpuntsafstandseigenschappen binnen de cameralens. Bijvoorbeeld, het elimineren van de "fisheye" vervorming van groothoeklenzen en het rechtzetten van gebogen beelden.

Externe parameters: Bepalen de specifieke positie en oriëntatie van de camera in het voertuigcoördinatensysteem (geïnstalleerde X, Y, Z coördinaten en richtingshoeken Pitch, Yaw, Roll).

2. Productielijn/statisch kalibratieproces (mainstream basis)

Statische kalibratie wordt meestal uitgevoerd in de kalibratieruimte voordat de auto de fabriek verlaat of na onderhoud in de 4S-winkel. De omgeving is gecontroleerd en de nauwkeurigheid is extreem hoog.

(1) Voorbereiding en omgevingsopstelling

Kalibratietool: Bereid een kalibratiebord voor met een specifiek geometrisch patroon (zoals een schaakbord, puntarraydiagram of gespecialiseerde panoramische kalibratiedoek).

Omgevingsvereisten: Zorg voor uniforme verlichting en vermijd overbelichting veroorzaakt door sterk licht of het onvermogen om beeldkenmerkpunten te extraheren vanwege weinig licht.

Voertuigstatus: Het voertuig staat op een vlakke ondergrond, met een bandenspanning aangepast aan de standaardwaarde, en het voertuig moet volledig stil staan (om schudden van de ophanging te voorkomen).

(2) Kalibratie van interne parameters (meestal voltooid op locatie van de leverancier of vóór het laden)

Gegevensverzameling: De camera richt zich op het kalibratiebord en maakt meerdere foto's (meestal 10-20) vanuit verschillende hoeken en afstanden.

Algoritme-oplossing: De industrie neemt over het algemeen de Zhang Zhengyou kalibratiemethode aan. Het algoritme identificeert hoekpunten (kenmerkpunten) op het kalibratiebord en gebruikt wiskundige matrices om de brandpuntsafstand (f_x, f_y), de positie van het hoofd punt (u-0, v-0) en de vervormingscoëfficiënt (radiale en tangentiële vervorming) van de camera te berekenen.

(3) Kalibratie van externe parameters (moet na het laden worden uitgevoerd)

Locatie-indeling: Plaats het kalibratiebord of de kalibratiedoek nauwkeurig op bekende relatieve posities rond het voertuig (gebruikmakend van een total station of laser afstandsmeter om de positie van het kalibratiebord ten opzichte van de voertuigas en middenlijn te bepalen).

Kenmerkextractie: De verschillende camera's van het voertuig maken beelden met kalibratieborden, en het algoritme detecteert automatisch de corresponderende kenmerkpunten van de kalibratieborden in de beelden (zoals de hoekpunten van de vier kalibratiedoeken in het surround view systeem).

Berekening van de externe parameter matrix: Op basis van de "pixelcoördinaten" van kenmerkpunten in het beeld en hun "werkelijke fysieke coördinaten" ten opzichte van het voertuig in werkelijkheid, worden de rotatiematrix R en de verplaatsingsvector T van elke camera ten opzichte van het voertuigcoördinatensysteem berekend.

Splicing en inspectie (met 360 graden surround view als voorbeeld): Gebruik de berekende extrinsieke om de beelden van de vier camera's, voor, achter, links en rechts, te projecteren op een vogelperspectief (BEV) en controleer of de stiknaden (zoals grondlijnen) zijn uitgelijnd en of er sprake is van spookbeelden.

3. Dynamisch kalibratie/online kalibratieproces (geoptimaliseerd tijdens het rijden)

Tijdens het rijden van een auto, door langdurige hobbels, temperatuurveranderingen die thermische uitzetting en krimp veroorzaken, of veranderingen in de ophangingsbelasting, zal de externe camera van de camera lichte verplaatsing ervaren. Online kalibratie kan "kalibratie tijdens het rijden" bereiken.

[Voertuig rijden] ->[Detecteren van natuurlijke kenmerken (rijstrooklijnen/wegmarkeringen)] ->[Extraheren van kenmerken en integreren met kinematica] ->[Online iteratieve update van de externe parameter matrix]

(1) Kenmerk trigging en extractie

Wanneer het voertuig op reguliere wegen rijdt, zoals snelwegen en stedelijke viaducten, extraheren visuele algoritmen in realtime natuurlijke kenmerkpunten uit de omgeving, waarbij de meest gebruikte rijstrookmarkeringen zijn (ervan uitgaande dat de rijstrookmarkeringen parallel lopen en zich oneindig ver voor het voertuig uitstrekken) en verdwijnpunten.

(2) Fusie van meerdere sensoren en toestandsestimatie

Door de IMU (Inertial Measurement Unit) en snelheidsensor (wielsnelheidsmeter) van het voertuig te combineren, worden de houdingsveranderingen van het voertuig zelf geschat.

(3) Iteratieve berekening en correctie

Algoritmen zoals Kalman filtering of beam-based adjustment (BA) verfijnen en corrigeren continu de pitch- en yawhoeken van de camera door de beeldveranderingen tussen het huidige frame en historische frames te vergelijken, evenals de geometrische beperkingen van rijstrooklijnen, om een naadloze dynamische vernieuwing te bereiken.

4. Gezamenlijk kalibratieproces (cross-sensor uitlijning)

Moderne slimme auto's hebben niet alleen camera's, maar ook LiDAR en millimetergolfradar. Hun gegevens worden uitgelijnd in hetzelfde ruimtelijke coördinatensysteem om pre-fusie perceptie uit te voeren.

Met Camera naar LiDAR (voorste camera en LiDAR kalibratie) als voorbeeld:

(1) Gemeenschappelijke weergavegebied acquisitie: Plaats een speciaal ontworpen kalibratiebord (meestal met hoog reflecterende patronen of specifieke geometrische vormen) dat duidelijk kan worden vastgelegd door een camera en gescand door een laser radar voor de auto.

(2) Gegevens extractie: Extraheer de pixelcoördinaten van de hoeken of randen van het kalibratiebord uit het 2D-beeld van de camera.

Extraheer de driedimensionale ruimtelijke kenmerkpunten die overeenkomen met het kalibratiebord uit de driedimensionale puntwolk van de LiDAR (met behulp van puntwolk reflectie-intensiteit of vlakfitting).

(3) Beperkingsoplossing: Vind de beste overeenkomst tussen twee sets kenmerkpunten, gebruik optimalisatie-algoritmen zoals kleinste kwadraten, en bereken de 3D-naar-2D transformatiematrix van het LiDAR-coördinatensysteem naar het camerasysteem.

(4) Verificatie van uitlijningseffect: Projecteer de gekleurde puntwolk van de LiDAR op het beeld van de camera en observeer of de contour van de puntwolk perfect past bij objecten zoals voertuigen, gebouwen en voertuigen in het beeld.

5. Verificatie van kalibratieresultaten en kwaliteitsbeoordeling

Nadat de kalibratie is voltooid, moet deze worden onderworpen aan een rigoureuze indicator evaluatie voordat deze in commercieel gebruik kan worden genomen:

Reprojectiefout: De berekende 3D-ruimtelijke punten worden opnieuw geprojecteerd in een 2D-beeld met behulp van kalibratieparameters, en de afwijking van de werkelijke pixelpunten in het beeld wordt berekend. In autonoom rijden wordt meestal een gemiddelde reprojectiefout van minder dan 0,5 tot 1 pixel vereist.

Controle van parameterstabiliteit: Controleer of de relatieve geometrische relatie tussen de linker en rechter binoculaire camera's of de surround view camera voldoet aan de rigide logica van de mechanische structuur, om te voorkomen dat het algoritme vastloopt in lokale optimale oplossingen en "vervormde" parameters berekent.