Construction d'une salle d'étalonnage du système de vision de voiture intelligent / vue panoramique à 360 degrés

L'étalonnage du système visuel des véhicules intelligents est la pierre angulaire d'une perception précise dans la conduite autonome et les cockpits intelligents (comme la vue panoramique à 360 degrés). Étant donné que la caméra capture des pixels bidimensionnels, alors que la prise de décision du véhicule nécessite la position physique réelle dans l'espace tridimensionnel (comme les lignes de voie, les distances d'obstacles), il est nécessaire d'établir une relation de cartographie mathématique de « coordonnées de pixels coordonnées de la caméra coordonnées du corps/coordonnées mondiales » par étalonnage.

Le processus d'étalonnage complet des systèmes de vision automobile intelligents est généralement divisé en trois dimensions : chaîne de production/étalonnage statique, étalonnage dynamique/en ligne et étalonnage conjoint multi-capteurs. Ce qui suit est une explication détaillée du processus d’étalonnage de base :

1. Classification des paramètres d'étalonnage de base

Avant d’entrer dans le processus, nous devons savoir ce qu’est exactement l’étalonnage :

Paramètres intrinsèques : Déterminez les propriétés de distorsion géométrique et de distance focale à l’intérieur de l’objectif de la caméra. Par exemple, éliminer la distorsion « fisheye » des objectifs grand angle et redresser les images courbes.

Paramètres extérieurs : déterminez la position et l'orientation spécifiques de la caméra dans le système de coordonnées du véhicule (coordonnées X, Y, Z installées et angles de cap Pitch, Yaw, Roll).

2. Ligne de production/processus d'étalonnage statique (fondation principale)

L'étalonnage statique est généralement effectué dans la salle d'étalonnage avant que la voiture ne quitte l'usine ou après l'entretien au magasin 4S. L'environnement est contrôlé et la précision est extrêmement élevée.

(1) Préparation et configuration environnementale

Outil d'étalonnage : préparez une carte d'étalonnage avec un motif géométrique spécifique (tel qu'un damier, un diagramme de matrice de points ou un tissu d'étalonnage panoramique spécialisé).

Exigences environnementales : garantissez un éclairage uniforme et évitez la surexposition causée par une lumière forte ou l'incapacité d'extraire les points caractéristiques de l'image en raison d'une faible luminosité.

Statut du véhicule : Le véhicule est garé sur une surface plane, avec une pression des pneus réglée à la valeur standard et le véhicule doit être complètement à l'arrêt (pour éviter les secousses de la suspension).

(2) Étalonnage des paramètres internes (généralement effectué chez le fournisseur ou avant le chargement)

Collecte de données : l'appareil photo pointe vers la carte d'étalonnage et prend plusieurs photos (généralement 10 à 20) sous différents angles et distances.

Résolution d'algorithmes : l'industrie adopte généralement la méthode d'étalonnage de Zhang Zhengyou. L'algorithme identifie les points d'angle (points caractéristiques) sur la carte d'étalonnage et utilise des matrices mathématiques pour résoudre la distance focale de la caméra (f_x, f_y), la position du point principal (u-0, v-0) et le coefficient de distorsion (distorsion radiale et tangentielle).

(3) Calibrage des paramètres externes (doit être effectué après le chargement)

Disposition de l'emplacement : placez la plaque d'étalonnage ou le tissu d'étalonnage avec précision à des positions relatives connues autour du véhicule (à l'aide d'une station totale ou d'un télémètre laser pour déterminer la position de la plaque d'étalonnage par rapport à l'essieu et à la ligne centrale du véhicule).

Extraction des caractéristiques : les différentes caméras du véhicule capturent des images contenant des plaques d'étalonnage, et l'algorithme détecte automatiquement les points caractéristiques correspondants des plaques d'étalonnage dans les images (tels que les points d'angle des quatre tissus d'étalonnage dans le système de vue panoramique).

Calcul de la matrice des paramètres externes : sur la base des « coordonnées de pixels » des points caractéristiques de l'image et de leurs « coordonnées physiques réelles » par rapport au véhicule en réalité, calculez la matrice de rotation R et le vecteur de déplacement T de chaque caméra par rapport au système de coordonnées du véhicule.

Épissage et inspection (en utilisant la vue panoramique à 360 degrés comme exemple) : utilisez l'extrinsèque calculée pour projeter les images des quatre caméras, avant, arrière, gauche et droite, dans une perspective de vue à vol d'oiseau (BEV), et vérifiez si les espaces de couture (tels que les lignes de sol) sont alignés et s'il y a des images fantômes.

3. Processus d'étalonnage dynamique/étalonnage en ligne (optimisé pendant la conduite)

Pendant le processus de conduite d'une voiture, en raison de chocs à long terme, de changements de température provoquant une dilatation et une contraction thermiques ou de changements dans la charge de suspension, la caméra externe de la caméra subira un léger déplacement. L'étalonnage en ligne peut réaliser un « étalonnage pendant la conduite ».

[Conduite de véhicules] ->[Détection de caractéristiques naturelles (lignes de voie/panneaux routiers)] ->[Extraction de caractéristiques et intégration avec la cinématique] ->[Mise à jour itérative en ligne de la matrice de paramètres externes]

(1) Déclenchement et extraction de fonctionnalités

Lorsque le véhicule circule sur des routes ordinaires telles que des autoroutes et des viaducs urbains, des algorithmes visuels extrairont en temps réel les points caractéristiques naturels de l'environnement, les plus couramment utilisés étant les marquages au sol (en supposant que les marquages au sol soient parallèles et s'étendent à l'infini devant le véhicule) et les points de fuite.

(2) Fusion multi-capteurs et estimation d'état

En combinant l'IMU (unité de mesure inertielle) et le capteur de vitesse (jauge de vitesse de roue) du véhicule, estimez les propres changements d'attitude du véhicule.

(3) Calcul itératif et correction

Des algorithmes tels que le filtrage de Kalman ou l'ajustement basé sur le faisceau (BA) ajustent et corrigent en permanence les angles de tangage et de lacet de la caméra en comparant les changements d'image entre l'image actuelle et les images historiques, ainsi que les contraintes géométriques des lignes de voie, pour obtenir un rafraîchissement dynamique transparent.

4. Processus d'étalonnage conjoint (alignement croisé des capteurs)

Les voitures intelligentes modernes disposent non seulement de caméras, mais également de LiDAR et de radars à ondes millimétriques. Alignez leurs données dans le même système de coordonnées spatiales afin d'effectuer une perception pré-fusion.

Prenons l'exemple de la caméra vers le LiDAR (calibrage de la caméra avant et du Lidar) :

(1) Acquisition de zone de vue commune : placez une plaque d'étalonnage spécialement conçue (généralement avec des motifs à haute réflectivité ou des formes géométriques spécifiques) qui peut être clairement capturée par une caméra et scannée par un radar laser devant la voiture.

(2) Extraction de données : extrayez les coordonnées de pixels des coins ou des bords de la plaque d'étalonnage de l'image 2D de la caméra.

Extrayez les points de caractéristiques spatiales tridimensionnelles correspondant à la plaque d’étalonnage du nuage de points tridimensionnel du LiDAR (en utilisant l’intensité de réflexion du nuage de points ou l’ajustement plan).

(3) Résolution de contraintes : trouvez la meilleure correspondance entre deux ensembles de points caractéristiques, utilisez des algorithmes d'optimisation tels que les moindres carrés et calculez la matrice de transformation 3D en 2D du système de coordonnées LiDAR au système de coordonnées de la caméra.

(4) Vérification de l'effet d'alignement : projetez le nuage de points coloré du LiDAR sur l'image de la caméra et observez si le contour du nuage de points s'adapte parfaitement aux objets tels que les véhicules, les bâtiments et les véhicules dans l'image.

5. Vérification des résultats d'étalonnage et évaluation de la qualité

Une fois l’étalonnage terminé, il doit faire l’objet d’une évaluation rigoureuse des indicateurs avant de pouvoir être utilisé en entreprise :

Erreur de reprojection : les points spatiaux 3D calculés sont reprojetés dans une image 2D à l'aide des paramètres d'étalonnage, et l'écart par rapport aux points de pixels réels de l'image est calculé. En conduite autonome, l’erreur moyenne de reprojection doit généralement être inférieure à 0,5 à 1 pixel.

Contrôle de stabilité des paramètres : vérifiez si la relation géométrique relative entre les caméras binoculaires gauche et droite ou la caméra à vision panoramique est conforme au bon sens rigide de la structure mécanique, pour éviter que l'algorithme ne reste bloqué dans des solutions optimales locales et calcule des paramètres « déformés ».