Fusion de calibration multi-capteurs pour véhicules intelligents

L'étalonnage par fusion multi-capteurs des véhicules intelligents est une étape cruciale pour le système de conduite automatique afin d'obtenir une "synchronisation spatiale" et une "synchronisation temporelle".appareil photo, le radar à ondes millimétriques (Radar) et l'unité de mesure inertielle/système de navigation par satellite global (IMU/GNSS) ont chacun leur propre système de coordonnées indépendant.Le but de l'étalonnage par fusion est de calculer la position relative et la relation d'orientation (matrice extrinsèque) entre elles., permettant au véhicule de superposer parfaitement les images bidimensionnelles qu'il " voit ", les nuages de points tridimensionnels qu'il " scanne " et la vitesse et la distance qu'il " mesure ".

Les processus de base et les méthodes courantes d'étalonnage par fusion multi-capteurs dans les véhicules intelligents sont les suivants:

1. Préparation du noyau avant étalonnage

Avant de commencer les calculs mathématiques, il est nécessaire de s'assurer que le matériel et l'environnement sont dans un état standard:

(1)Alignement du timestamp (synchronisation du temps): c'est la condition préalable à l'étalonnage spatial.PTP (Gigabit Ethernet Time Synchronization Protocol) ou GPS/PPS seconde impulsion est utilisé pour aligner le temps d'échantillonnage de tous les capteurs au niveau des microsecondes, assurant que "ils voient le monde en même temps".

(2) Inspection de l'état du véhicule: le véhicule est garé dans une salle d'étalonnage horizontale standard, avec pression des pneus et suspension à charges standard, et le véhicule est complètement stationnaire.

(3) Déploiement des objets d'étalonnage: selon les exigences d'étalonnage, placer des objets d'étalonnage spécialement conçus autour du véhicule.

(4)Objets d'étalonnage courants: plaques d'étalonnage avec des motifs à haute réflectivité, boîtes 3D, cylindres ou réflecteurs triangulaires spécialement conçus (généralement utilisés pour les radars à ondes millimétriques).

2. Classification des procédés d'étalonnage de la fusion nucléaire

L'étalonnage par fusion est généralement effectué sur la base de l'"alignement par paires" des combinaisons de capteurs, les unifiant finalement dans le système de coordonnées véhicule/lien de base.

(1) Étalonnage conjoint du LiDAR et de la caméra (LiDAR-à-caméra)

Il s'agit de l'étalonnage de base pour la conduite autonome, utilisé pour réaliser la pré-fusion du nuage de points et de l'image (nuage de points de couleur).

[Extraire les points de caractéristique 2D de l'image]

[Recherche de correspondance] [Recherche de correspondance] [Réduire au minimum l'erreur de reprojection]

[Extraire les points de caractéristique 3D du nuage de points]

1 Extraction des caractéristiques:

Côté caméra: L'algorithme identifie les coordonnées ((u, v)) des coins, des bords ou des pixels centraux de la carte d'étalonnage dans l'image bidimensionnelle.

Côté LiDAR: L'algorithme extrait les coordonnées ((X, Y,Z)) des bords ou des points centraux de la carte d'étalonnage dans l'espace tridimensionnel en fonction de l'intensité de réflexion du nuage de points (ou du montage géométrique du plan).

2 Solution mathématique: Il s'agit d'un problème typique de perspective n-point (PnP) 3D à 2D.la matrice de rotation R et le vecteur de traduction T sont calculés.

3 Alignement en ligne/dynamique: au cours de la conduite quotidienne, en utilisant des éléments naturels tels que des poteaux de service sur les deux côtés de la route et les bords des bâtiments,l'alignement entre les bords de l'image et les bords du nuage de points est optimisé (e.g., en utilisant la méthode de l'information mutuelle) pour affiner les paramètres extrinsèques en temps réel.

(2) Étalonnage conjoint du radar LiDAR et du radar à ondes millimétriques (LiDAR-Radar)

Le radar à ondes millimétriques peut mesurer la vitesse et a une forte pénétration, mais son nuage de points est extrêmement rare et bruyant; le nuage de points LiDAR est dense.Leur but est d'atteindre "l'alignement de la trajectoire spatiale".

1Méthode statique (chambre d'étalonnage): placer un réflecteur d'angle à haute réflectivité à un emplacement spécifique.et le lidar peut également identifier avec précision le contour tridimensionnel du réflecteur d'angleLes paramètres externes sont calculés en faisant correspondre les points centraux des deux.

2 Méthode dynamique (conduite routière): le véhicule roule sur une route ouverte, en suivant une cible en mouvement devant lui (comme un autre véhicule).la trajectoire de l'objet suivi par le LiDAR et la trajectoire du point dynamique mesurée par le radar à ondes millimétriques sont correspondantes, et les paramètres externes sont résolus par la corrélation de trajectoire.

3. Étalonnage conjoint du LiDAR/caméra et de l'unité de mesure de l'inertie (Sensor-to-IMU)

Aligner le capteur de perception avec la cinématologie du véhicule pour résoudre le problème de "comment compenser le capteur pendant les tremblements et les bosses du véhicule".

1 Méthode d'étalonnage main-œil: elle appartient au problème typique de résolution de matrice AX = XB.

2 Procédure d'étalonnage: le véhicule reçoit des instructions pour suivre une trajectoire spécifique (par exemple, conduire en forme de "8", accélérer et décélérer fréquemment et faire des virages).L'IMU enregistre la vitesse angulaire et l'accélération du véhicule en temps réel pour estimer sa propre trajectoire de mouvementSimultanément, le LiDAR évalue une trajectoire de mouvement à travers l'odométrie des nuages de points (LOAM) ou la caméra évalue une trajectoire de mouvement à travers l'odométrie visuelle (VO).

3 Solution: L'algorithme calcule la position relative du capteur par rapport à l'UMI en alignant la rotation et le déplacement de ces deux trajectoires de mouvement.

3. Débogage conjoint intégré et contrôle en boucle fermée de plusieurs capteurs

Une fois tous les étalonnages par paires terminés, une optimisation globale en boucle fermée est requise:

(1)Unifier le système de coordonnées: convertir tous les paramètres externes relatifs au système de coordonnées du centre de la carrosserie (comme le point où le centre de l'essieu arrière est projeté sur le sol).

(2)Vérification de la cohérence des erreurs: assurer une boucle fermée dans la chaîne de transmission.la position de l'UIM calculée à partir de l'UIM de détection de la caméra doit être conforme au résultat directement calculé à partir de l'UIM de détection de la caméra. S'il y a une divergence, effectuer un ajustement global sur l'ensemble du réseau topologique en utilisant l'optimisation de graphe.

IV. Évaluation de la qualité de l'étalonnage et vérification des effets

Après l'étalonnage, des indicateurs quantitatifs stricts doivent être utilisés pour vérifier son exactitude:

1Méthode de comparaison des valeurs réelles: à l'aide d'une station totale à large portée ou d'un traceur laser de haute précision,mesurer manuellement les positions physiques absolues des points marqués sur chaque boîtier de capteur dans le système de coordonnées du corps du véhiculeLes exigences typiques pour la précision des paramètres extrinsèques sont les suivantes: erreur de distance < 1 ~ 2 cm, erreur d'angle < 0,1 ° ~ 0,2 °.

Projection arrière du nuage de 2 points (projection de fusion des couleurs): le nuage de points 3D recueilli par le LiDAR est projeté sur l'image 2D de la caméra à travers la matrice extrinsèque calculée.Si le nuage de points couleurs sur les contours des poteaux d'électricité, les panneaux de signalisation routière et les véhicules sont parfaitement alignés sur les bords de l'image, sans déplacement ni désalignement, ce qui indique une excellente qualité d'étalonnage.

3 Test de cohérence spatio-temporelle: lors de la conduite dynamique d'un véhicule réel, vérifier si la boîte 3D détectée par la caméra, la boîte de regroupement des nuages de points du LiDAR, and the target point of the millimeter-wave radar for the same obstacle (such as the preceding vehicle) completely overlap in the Bird's Eye View (BEV) and do not undergo severe jitter due to vehicle bumps.