Construcción de sala de calibración de sistema de visión de coche inteligente / vista envolvente de 360 grados

La calibración del sistema visual de los vehículos inteligentes es la piedra angular para una percepción precisa en la conducción autónoma y las cabinas inteligentes (como la vista envolvente de 360 grados). Debido a que la cámara captura píxeles bidimensionales, mientras que la toma de decisiones del vehículo requiere la posición física real en el espacio tridimensional (como las líneas de carril, las distancias a los obstáculos), es necesario establecer una relación matemática de mapeo de "coordenadas de píxeles, coordenadas de cámara, coordenadas del cuerpo/coordenadas del mundo" a través de la calibración.

El proceso completo de calibración de los sistemas de visión automotriz inteligente se divide generalmente en tres dimensiones: calibración en línea de producción/estática, calibración dinámica/en línea y calibración conjunta de múltiples sensores. A continuación, se presenta una explicación detallada del proceso de calibración central:

1. Clasificación de los parámetros de calibración centrales

Antes de entrar en el proceso, necesitamos saber qué es exactamente la calibración:

Parámetros intrínsecos: Determinan la distorsión geométrica y las propiedades de la distancia focal dentro de la lente de la cámara. Por ejemplo, eliminar la distorsión de "ojo de pez" de las lentes gran angular y enderezar las imágenes curvas.

Parámetros extrínsecos: Determinan la posición y orientación específicas de la cámara en el sistema de coordenadas del vehículo (coordenadas X, Y, Z instaladas y ángulos de cabeceo, guiñada y balanceo).

2. Proceso de calibración en línea de producción/estática (base principal)

La calibración estática se realiza generalmente en la sala de calibración antes de que el coche salga de fábrica o después del mantenimiento en el taller 4S. El entorno está controlado y la precisión es extremadamente alta.

(1) Preparación y configuración del entorno

Herramienta de calibración: Preparar una placa de calibración con un patrón geométrico específico (como un tablero de ajedrez, un diagrama de matriz de puntos o un paño de calibración panorámico especializado).

Requisitos ambientales: Asegurar una iluminación uniforme y evitar la sobreexposición causada por la luz fuerte o la incapacidad de extraer puntos de características de la imagen debido a la poca luz.

Estado del vehículo: El vehículo está estacionado en una superficie nivelada, con la presión de los neumáticos ajustada al valor estándar, y el vehículo debe estar completamente inmóvil (para evitar el balanceo de la suspensión).

(2) Calibración de parámetros internos (generalmente completada en la ubicación del proveedor o antes de la carga)

Recopilación de datos: La cámara apunta a la placa de calibración y toma múltiples fotos (generalmente 10-20) desde diferentes ángulos y distancias.

Resolución de algoritmos: La industria adopta generalmente el método de calibración de Zhang Zhengyou. El algoritmo identifica los puntos de esquina (puntos de características) en la placa de calibración y utiliza matrices matemáticas para resolver la distancia focal de la cámara (f_x, f_y), la posición del punto principal (u-0, v-0) y el coeficiente de distorsión (distorsión radial y tangencial).

(3) Calibración de parámetros externos (debe realizarse después de la carga)

Diseño de la ubicación: Colocar la placa de calibración o el paño de calibración con precisión en posiciones relativas conocidas alrededor del vehículo (utilizando una estación total o un telémetro láser para determinar la posición de la placa de calibración en relación con el eje y la línea central del vehículo).

Extracción de características: Las diversas cámaras del vehículo capturan imágenes que contienen placas de calibración, y el algoritmo detecta automáticamente los puntos de características correspondientes de las placas de calibración en las imágenes (como los puntos de esquina de los cuatro paños de calibración en el sistema de vista envolvente).

Cálculo de la matriz de parámetros externos: Basándose en las "coordenadas de píxeles" de los puntos de características en la imagen y sus "coordenadas físicas reales" relativas al vehículo en la realidad, calcular la matriz de rotación R y el vector de desplazamiento T de cada cámara en relación con el sistema de coordenadas del vehículo.

Empalme e inspección (usando la vista envolvente de 360 grados como ejemplo): Utilizar los extrínsecos calculados para proyectar las imágenes de las cuatro cámaras, delantera, trasera, izquierda y derecha, en una perspectiva de vista aérea (BEV), y comprobar si las brechas de empalme (como las líneas del suelo) están alineadas y si hay alguna imagen fantasma.

3. Proceso de calibración dinámica/en línea (optimizado durante la conducción)

Durante el proceso de conducción de un coche, debido a los baches a largo plazo, los cambios de temperatura que causan expansión y contracción térmica, o los cambios en la carga de la suspensión, el exterior de la cámara experimentará un ligero desplazamiento. La calibración en línea puede lograr "calibración mientras se conduce".

[Conducción del Vehículo] ->[Detección de Características Naturales (Líneas de Carril/Señales de Tráfico)] ->[Extracción de Características e Integración con Cinemática] ->[Actualización Iterativa en Línea de la Matriz de Parámetros Externos]

(1) Disparo y extracción de características

Cuando el vehículo circula por carreteras regulares como autopistas y pasos elevados urbanos, los algoritmos visuales extraen puntos de características naturales del entorno en tiempo real, siendo las más utilizadas las marcas de carril (suponiendo que las marcas de carril son paralelas y se extienden hasta el infinito delante del vehículo) y los puntos de fuga.

(2) Fusión de múltiples sensores y estimación de estado

Combinando la IMU (Unidad de Medición Inercial) del vehículo y el sensor de velocidad (velocímetro de rueda), se estiman los cambios de actitud del propio vehículo.

(3) Cálculo y corrección iterativos

Algoritmos como el filtro de Kalman o el ajuste basado en haces (BA) ajustan y corrigen continuamente los ángulos de cabeceo y guiñada de la cámara comparando los cambios de imagen entre el fotograma actual y los fotogramas históricos, así como las restricciones geométricas de las líneas de carril, para lograr una actualización dinámica sin interrupciones.

4. Proceso de calibración conjunta (alineación entre sensores)

Los coches inteligentes modernos no solo tienen cámaras, sino también LiDAR y radares de onda milimétrica. Alinear sus datos en el mismo sistema de coordenadas espaciales para realizar una percepción de pre-fusión.

Tomando como ejemplo la calibración de cámara a LiDAR (cámara frontal y calibración LiDAR):

(1) Adquisición de área de vista común: Colocar una placa de calibración especialmente diseñada (generalmente con patrones de alta reflectividad o formas geométricas específicas) que pueda ser capturada claramente por una cámara y escaneada por un radar láser delante del coche.

(2) Extracción de datos: Extraer las coordenadas de píxeles de las esquinas o bordes de la placa de calibración de la imagen 2D de la cámara.

Extraer los puntos de características espaciales tridimensionales correspondientes a la placa de calibración de la nube de puntos tridimensional del LiDAR (utilizando la intensidad de reflexión de la nube de puntos o el ajuste de plano).

(3) Resolución de restricciones: Encontrar la mejor coincidencia entre los dos conjuntos de puntos de características, utilizar algoritmos de optimización como mínimos cuadrados y calcular la matriz de transformación 3D a 2D del sistema de coordenadas LiDAR al sistema de coordenadas de la cámara.

(4) Verificación del efecto de alineación: Proyectar la nube de puntos coloreada del LiDAR sobre la imagen de la cámara y observar si el contorno de la nube de puntos se ajusta perfectamente a los objetos como vehículos, edificios y vehículos en la imagen.

5. Verificación de los resultados de la calibración y evaluación de la calidad

Una vez completada la calibración, debe someterse a una rigurosa evaluación de indicadores antes de poder ser utilizada comercialmente:

Error de reproyección: Los puntos espaciales 3D calculados se reproyectan de nuevo en una imagen 2D utilizando los parámetros de calibración, y se calcula la desviación de los puntos de píxeles reales en la imagen. En la conducción autónoma, generalmente se requiere que el error de reproyección promedio sea inferior a 0,5 a 1 píxel.

Comprobación de la estabilidad de los parámetros: Comprobar si la relación geométrica relativa entre las cámaras binoculares izquierda y derecha o la cámara de vista envolvente se ajusta al sentido común rígido de la estructura mecánica, para evitar que el algoritmo se quede atascado en soluciones óptimas locales y calcule parámetros "deformados".