Construction d'une salle d'étalonnage du système de vision de voiture intelligent / vue panoramique à 360 degrés

L'étalonnage du système visuel des véhicules intelligents est la pierre angulaire d'une perception précise dans la conduite autonome et les cockpits intelligents (comme la vue en 360 degrés).En raison du fait que la caméra capture des pixels bidimensionnels, alors que la prise de décision du véhicule exige la position physique réelle dans l'espace tridimensionnel (comme les lignes de voie, les distances d'obstacles),il est nécessaire d'établir une relation de cartographie mathématique de "coordonnée pixel, coordonnée caméra, coordonnée corps/coordonnée monde" par étalonnage.

Le processus complet d'étalonnage des systèmes de vision automobile intelligents est généralement divisé en trois dimensions: étalonnage en ligne de production/étatique, étalonnage dynamique/en ligne,et étalonnage conjoint multi-capteurs. Voici une explication détaillée du processus d'étalonnage du noyau:

dernière affaire concernant Construction d'une salle d'étalonnage du système de vision de voiture intelligent / vue panoramique à 360 degrés

1. Classification des paramètres d'étalonnage du noyau

Avant d'entrer dans le processus, nous devons savoir ce qu'est exactement l'étalonnage:

Paramètres intrinsèques: déterminer la distorsion géométrique et les propriétés de la distance focale à l'intérieur de l'objectif de l'appareil photo.élimination de la distorsion "oeil de poisson" des lentilles grand angle et redressement des images courbes.

Paramètres extérieurs: déterminer la position spécifique et l'orientation de la caméra dans le système de coordonnées du véhicule (coordonnées X, Y, Z et angles de captage installés: enfoncement, enfoncement, roulement).

2- ligne de production/processus d'étalonnage statique (fondation principale)

L'étalonnage statique est généralement effectué dans la salle d'étalonnage avant que la voiture ne quitte l'usine ou après l'entretien au magasin 4S.L'environnement est contrôlé et la précision est extrêmement élevée..

(1) Préparation et mise en place environnementale

Outil d'étalonnage: Préparez un tableau d'étalonnage avec un motif géométrique spécifique (comme un échiquier, un diagramme de tableau de points ou un chiffon d'étalonnage panoramique spécialisé).

Exigences environnementales: assurer un éclairage uniforme et éviter une surexposition causée par une lumière forte ou l'incapacité d'extraire les points caractéristiques de l'image en raison d'une faible luminosité.

Statut du véhicule: le véhicule est garé sur une surface plane, la pression des pneus est ajustée à la valeur standard et le véhicule doit être complètement stationnaire (pour éviter que la suspension ne tremble).

(2) Étalonnage des paramètres internes (généralement effectué chez le fournisseur ou avant le chargement)

Collecte de données: l'appareil photo pointe vers le tableau d'étalonnage et prend plusieurs photos (généralement 10-20) sous différents angles et à différentes distances.

Résolution d'algorithmes: l'industrie adopte généralement la méthode d'étalonnage Zhang Zhengyou.L'algorithme identifie les points d'angle (points caractéristiques) sur la carte d'étalonnage et utilise des matrices mathématiques pour résoudre la distance focale de la caméra (f_x, f_y), la position du point principal (u-0, v-0) et le coefficient de distorsion (distorsion radiale et tangentielle).

(3) Étalonnage des paramètres extérieurs (à effectuer après chargement)

L' emplacement: Place the calibration plate or calibration cloth accurately at known relative positions around the vehicle (using a total station or laser rangefinder to determine the position of the calibration plate relative to the vehicle axle and centerline).

Extraction des caractéristiques: les différentes caméras du véhicule capturent des images contenant des plaques d'étalonnage,et l'algorithme détecte automatiquement les points caractéristiques correspondants des plaques d'étalonnage dans les images (tels que les points angulaires des quatre étiquettes d'étalonnage dans le système de visualisation surround).

Calcul de la matrice des paramètres externes: basé sur les "coordonnées pixel" des points caractéristiques de l'image et leurs "coordonnées physiques réelles" par rapport au véhicule dans la réalité,calculer la matrice de rotation R et le vecteur de déplacement T de chaque caméra par rapport au système de coordonnées du véhicule.

L'épissage et l'inspection (à titre d'exemple, en utilisant la vue surround à 360 degrés): Utilisez l'extrinsèque calculé pour projeter les images des quatre caméras, avant, arrière, gauche et droite,sur une perspective de vue d'oiseau (BEV), et vérifier si les espaces de couture (tels que les lignes de sol) sont alignés et s'il y a des fantômes.

3. Processus d'étalonnage dynamique/étalonnage en ligne (optimisé pendant la conduite)

Pendant le processus de conduite d'une voiture, en raison de bosses de longue durée, de changements de température provoquant une expansion et une contraction thermiques ou de changements de charge de la suspension,la caméra externe de la caméra subira un léger déplacement. L'étalonnage en ligne permet d'obtenir un "étalonnage en conduisant".

[Conduction du véhicule] -> [Détection des caractéristiques naturelles (lignes de voie/signes routiers) ] -> [Extraction des caractéristiques et intégration avec la cinématique] -> [Mise à jour itérative en ligne de la matrice de paramètres externes]

(1) Déclenchement et extraction des caractéristiques

Lorsque le véhicule roule sur des routes ordinaires telles que les autoroutes et les passerelles urbaines, les algorithmes visuels extrairont en temps réel les caractéristiques naturelles de l'environnement,dont les plus couramment utilisés sont les marquages de voie (en supposant que les marquages de voie soient parallèles et s'étendent à l'infini devant le véhicule) et les points de fuite.

(2) Fusion multi-capteurs et estimation de l'état

En combinant l'unité de mesure de l'inertie du véhicule (IMU) et le capteur de vitesse (vérificateur de vitesse des roues), estimer les changements de position du véhicule.

(3) Calculs et corrections itératifs

Algorithms such as Kalman filtering or beam based adjustment (BA) continuously fine tune and correct the pitch and yaw angles of the camera by comparing the image changes between the current frame and historical frames, ainsi que les contraintes géométriques des lignes de voie, pour obtenir un rafraîchissement dynamique sans heurts.

4. procédé d'étalonnage conjoint (alignement croisé des capteurs)

Les voitures intelligentes modernes disposent non seulement de caméras, mais aussi de LiDAR et de radar à ondes millimétriques.

Prenons l'exemple de la caméra à LiDAR (calibration de caméra avant et de lidar):

(1) Acquisition d'une zone de vue commune: Place a specially designed calibration plate (usually with high reflectivity patterns or specific geometric shapes) that can be captured clearly by a camera and scanned by a laser radar in front of the car.

(2) Extraction de données: extraction des coordonnées pixel des coins ou des bords de la plaque d'étalonnage de l'image 2D de l'appareil photo.

Extract the three-dimensional spatial feature points corresponding to the calibration plate from the three-dimensional point cloud of the LiDAR (using point cloud reflection intensity or plane fitting).

(3) Résolution de contraintes: trouver la meilleure correspondance entre deux ensembles de points de caractéristique, utiliser des algorithmes d'optimisation tels que les moindres carrés,et calculer la matrice de transformation 3D à 2D du système de coordonnées LiDAR au système de coordonnées de la caméra.

(4) Vérification de l'effet d'alignement: projeter le nuage de points coloré du LiDAR sur l'image de la caméra,et d'observer si le contour du nuage de points s'adapte parfaitement aux objets tels que les véhicules, bâtiments et véhicules sur l'image.

5. Vérification des résultats d'étalonnage et évaluation de la qualité

Une fois l'étalonnage terminé, il doit être soumis à une évaluation rigoureuse des indicateurs avant de pouvoir être mis en service:

Erreur de réprojection: les points spatiaux 3D calculés sont projetés à nouveau dans une image 2D à l'aide de paramètres d'étalonnage, et l'écart par rapport aux points pixel réels de l'image est calculé.Dans la conduite autonome, l'erreur de reprojection moyenne doit généralement être inférieure à 0,5 à 1 pixel.

Vérification de la stabilité des paramètres:Vérifiez si la relation géométrique relative entre les caméras binoculaires gauche et droite ou la caméra surround est conforme au bon sens rigide de la structure mécanique, afin d'éviter que l'algorithme ne soit coincé dans des solutions optimales locales et de calculer des paramètres "déformés".