Calibración de fusión de sensores múltiples para vehículos inteligentes

La calibración de fusión de múltiples sensores de vehículos inteligentes es un paso crucial para que el sistema de conducción automática logre la "sincronización espacial" y la "sincronización temporal".la cámara, radar de ondas milimétricas (Radar) y unidad de medición inercial/sistema de navegación por satélite global (IMU/GNSS) cada uno tiene sus propios sistemas de coordenadas independientes.El propósito de la calibración de fusión es calcular la posición relativa y la relación de orientación (matriz extrínseca) entre ellos., permitiendo al vehículo superponer perfectamente las imágenes bidimensionales que "ve", las nubes puntuales tridimensionales que "escanea" y la velocidad y la distancia que "mide".

Los siguientes son los procesos básicos y métodos generales para la calibración de fusión de sensores múltiples en vehículos inteligentes:

1Preparación del núcleo antes de la calibración

Antes de comenzar los cálculos matemáticos, es necesario asegurarse de que el hardware y el entorno estén en un estado estándar:

(1)Alineación del sello de tiempo (sincronización del tiempo): Este es el requisito previo para la calibración espacial.PTP (Gigabit Ethernet Time Synchronization Protocol) o GPS/PPS pulso de segundo se utiliza para alinear el tiempo de muestreo de todos los sensores al nivel de microsegundos, asegurando que "ven el mundo al mismo tiempo".

(2) Inspección del estado del vehículo: el vehículo está estacionado en una sala de calibración horizontal estándar, con presión de neumáticos y suspensión a cargas estándar, y el vehículo está completamente parado.

(3) Despliegue de los objetos de calibración: de acuerdo con los requisitos de calibración, colocar objetos de calibración especialmente fabricados alrededor del vehículo.

(4)Objetos de calibración comunes: placas de calibración con patrones de alta reflectividad, cajas 3D, cilindros o reflectores triangulares especialmente fabricados (usualmente utilizados para el radar de ondas milimétricas).

2. Clasificación de los procesos de calibración de la fusión nuclear

La calibración de fusión se realiza típicamente sobre la base de la "alineación por pares" de combinaciones de sensores, unificándolas finalmente en el sistema de coordenadas vehículo/enlace base.

(1) Calibración conjunta del LiDAR y de la cámara (LiDAR-a-cámara)

Esta es la calibración básica para la conducción autónoma, utilizada para lograr la prefusión de la nube de puntos y la imagen (nube de puntos de color).

[Extrae puntos de características 2D de la imagen]

Se trata de una matriz extrínseca de salida.

[Extraer puntos de características 3D de la nube de puntos] ──

1 Extracción de las características:

Lado de la cámara: El algoritmo identifica las coordenadas ((u, v)) de las esquinas, bordes o píxeles centrales del tablero de calibración en la imagen bidimensional.

Lado LiDAR: El algoritmo extrae las coordenadas ((X, Y,Z)) de los bordes o puntos centrales del tablero de calibración en el espacio tridimensional basado en la intensidad de reflexión de la nube de puntos (o el ajuste del plano geométrico).

2 Solución matemática: Este es un problema típico de perspectiva 3D a 2D en n puntos (PnP).se calculan la matriz de rotación R y el vector de traslación T.

3 Alineación en línea/dinámica: durante la conducción diaria, mediante la utilización de elementos naturales como postes de servicios públicos a ambos lados de la carretera y los bordes de los edificios,la alineación entre los bordes de la imagen y los bordes de la nube de puntos está optimizada (e.g., utilizando el método de información mutua) para ajustar los parámetros extrínsecos en tiempo real.

(2) Calibración conjunta del radar LiDAR y del radar de ondas milimétricas (LiDAR-Radar)

El radar de onda milimétrica puede medir la velocidad y tiene una fuerte penetración, pero su nube de puntos es extremadamente escasa y ruidosa; la nube de puntos LiDAR es densa.Su objetivo es lograr "alineación de trayectoria espacial".

1Método estático (cámara de calibración): coloque un reflector de esquina de alta reflectividad en un lugar específico.y el lidar también puede identificar con precisión el contorno tridimensional del reflector de la esquinaLos parámetros externos se calculan haciendo coincidir los puntos centrales de los dos.

2 Método dinámico (conducción en carretera): el vehículo conduce en una carretera abierta, siguiendo un objetivo en movimiento por delante (como otro vehículo).la trayectoria del objeto rastreado por el LiDAR y la trayectoria del punto dinámico medido por el radar de ondas milimétricas coinciden, y los parámetros externos se resuelven mediante correlación de trayectoria.

3Calibración conjunta del LiDAR/cámara y de la unidad de medición inercial (Sensor-IMU)

Alinear el sensor de percepción con la cinemática del vehículo para resolver el problema de "cómo compensar el sensor durante la sacudida y los golpes del vehículo".

1 Método de calibración mano-ojo: Pertenece al típico problema de resolución de matrices AX = XB.

Proceso de calibración: se instruye al vehículo para que siga una trayectoria específica (por ejemplo, conducir en forma de "8", experimentar aceleraciones y desaceleraciones frecuentes y hacer giros).El IMU registra la velocidad angular y la aceleración del vehículo en tiempo real para estimar su propia trayectoria de movimientoSimultáneamente, el LiDAR estima una trayectoria de movimiento a través de la odometría de la nube de puntos (LOAM) o la cámara estima una trayectoria de movimiento a través de la odometría visual (VO).

3 Solución: El algoritmo calcula la posición relativa del sensor con respecto a la UMI alineando la rotación y el desplazamiento de estas dos trayectorias de movimiento.

3. Descomposición conjunta integrada y control de circuito cerrado de múltiples sensores

Una vez completadas todas las calibraciones por pares, se requiere una optimización global de circuito cerrado:

(1)Unificar el sistema de coordenadas: Convertir todos los parámetros externos relativos al sistema de coordenadas del centro del cuerpo (como el punto en el que el centro del eje trasero se proyecta sobre el suelo).

(2)Comprobar la coherencia de los errores: garantizar un circuito cerrado en la cadena de transmisión.la posición de la UMI calculada a partir de la UMI de detección de imagen de cámara de detección de imagen de radar debe ser coherente con el resultado calculado directamente a partir de la UMI de detección de imagen de radar de radar.. Si hay una discrepancia, realizar el ajuste global en toda la red topológica utilizando la optimización de gráficos.

IV. Evaluación de la calidad de la calibración y verificación de los efectos

Después de la calibración, deben utilizarse indicadores cuantitativos estrictos para verificar su exactitud:

1Método de comparación de valores reales: con la ayuda de una estación total de gran precisión y amplio alcance o de un rastreador láser,medir manualmente las posiciones físicas absolutas de los puntos marcados en cada carcasa del sensor en el sistema de coordenadas del cuerpo del vehículo.Los requisitos típicos para la precisión de los parámetros extrínsecos son: error de distancia < 1 ~ 2 cm, error de ángulo < 0,1 ° ~ 0,2 °.

Proyección de nube de 2 puntos (proyección de fusión de color): La nube de puntos 3D recogida por el LiDAR se proyecta en la imagen 2D de la cámara a través de la matriz extrínseca calculada.Si la nube de puntos colores en los contornos de los postes de servicios públicos, señales de la calle, y los vehículos están perfectamente alineados con los bordes de la imagen, sin ningún desplazamiento o desalineación, indica una excelente calidad de calibración.

3 Prueba de coherencia espacio-temporal: durante la conducción dinámica de un vehículo real, comprobar si la caja 3D detectada por la cámara, la caja de agrupación de nubes puntuales del LiDAR, and the target point of the millimeter-wave radar for the same obstacle (such as the preceding vehicle) completely overlap in the Bird's Eye View (BEV) and do not undergo severe jitter due to vehicle bumps.