Construção de sala de calibração do sistema de visão inteligente do carro / visão envolvente de 360 graus

A calibração do sistema visual dos veículos inteligentes é a pedra angular para uma percepção precisa na condução autónoma e nos cockpits inteligentes (como a visão envolvente a 360 graus).Devido ao facto de a câmara capturar pixels bidimensionais, enquanto a tomada de decisão do veículo exige a posição física real no espaço tridimensional (tais como linhas de faixa, distâncias de obstáculos),É necessário estabelecer uma relação de mapeamento matemático de "coordenada de pixel, coordenada de câmera, coordenada de corpo/coordenada do mundo" através de calibração.

O processo completo de calibração dos sistemas de visão automotiva inteligente é normalmente dividido em três dimensões: linha de produção/calibração estática, calibração dinâmica/online,e calibração conjunta multi-sensorA seguir está apresentada uma explicação pormenorizada do processo de calibração do núcleo:

1Classificação dos parâmetros de calibração do núcleo

Antes de entrar no processo, precisamos saber o que exatamente é calibração:

Parâmetros intrínsecos: Determinar as propriedades de distorção geométrica e distância focal dentro da lente da câmera.Eliminação da distorção do "olho de peixe" das lentes de grande angular e endireitação das imagens curvas.

Parâmetros exteriores: Determinar a posição e a orientação específicas da câmara no sistema de coordenadas do veículo (coordenadas X, Y, Z e ângulos de rotação instalados: Pitch, Yaw, Roll).

2- Linha de produção/processo de calibração estática (fundamento convencional)

A calibração estática é geralmente realizada na sala de calibração antes de o carro sair da fábrica ou após a manutenção na loja 4S.O ambiente é controlado e a precisão é extremamente alta..

(1) Preparação e instalação ambiental

Ferramenta de calibração: Prepare um quadro de calibração com um padrão geométrico específico (como um tabuleiro de xadrez, diagrama de matriz de pontos ou pano de calibração panorâmica especializado).

Requisitos ambientais: assegurar uma iluminação uniforme e evitar a sobreexposição causada por luz forte ou a impossibilidade de extrair pontos característicos da imagem devido a pouca luz.

Condição do veículo: o veículo está estacionado numa superfície plana, com a pressão dos pneus ajustada ao valor normal, e o veículo deve estar completamente parado (para evitar a sacudida da suspensão).

(2) Calibração dos parâmetros internos (geralmente efectuada no local do fornecedor ou antes do carregamento)

Recolha de dados: A câmara aponta para a placa de calibração e tira várias fotos (geralmente 10-20) de diferentes ângulos e distâncias.

Resolução de algoritmos: a indústria geralmente adota o método de calibração Zhang Zhengyou.O algoritmo identifica pontos de canto (pontos de características) na placa de calibração e usa matrizes matemáticas para resolver a distância focal da câmera (f_x, f_y), posição do ponto principal (u-0, v-0) e coeficiente de distorção (distorção radial e tangencial).

(3) Calibração dos parâmetros externos (deve ser efectuada após carga)

Layout de localização: Place the calibration plate or calibration cloth accurately at known relative positions around the vehicle (using a total station or laser rangefinder to determine the position of the calibration plate relative to the vehicle axle and centerline).

Extração de características: as várias câmaras do veículo captam imagens que contêm placas de calibração,e o algoritmo detecta automaticamente os pontos característicos correspondentes das placas de calibração nas imagens (como os pontos angulares dos quatro tecidos de calibração no sistema de visão envolvente).

Calculo da matriz de parâmetros externos: baseado nas "coordenadas de pixels" dos pontos de características na imagem e nas suas "coordenadas físicas reais" em relação ao veículo na realidade,Calcular a matriz de rotação R e o vetor de deslocamento T de cada câmara em relação ao sistema de coordenadas do veículo.

Splicing e inspeção (usando 360 graus de visão envolvente como exemplo): Use o extrínseco calculado para projetar as imagens das quatro câmeras, dianteira, traseira, esquerda e direita,para uma perspectiva de vista de pássaro (BEV), e verificar se as lacunas de costura (tais como as linhas de terra) estão alinhadas e se há algum fantasma.

3. Processo de calibração dinâmica/on-line (otimizado durante a condução)

Durante o processo de condução de um automóvel, devido a colisões de longa duração, alterações de temperatura que causam expansão e contração térmicas ou alterações na carga da suspensão,a câmara externa da câmara experimentará um ligeiro deslocamento. A calibração online pode alcançar a "calibração durante a condução".

[Condução de veículos] ->[Detecção de características naturais (linhas de estrada/sinal de estrada) ] ->[Extração de características e integração com cinemática] ->[Atualização online iterativa da matriz de parâmetros externos]

(1) Função de desencadeamento e extração

Quando o veículo está a conduzir em estradas normais, como autoestradas e passagens superiores urbanas, os algoritmos visuais extraem pontos naturais do ambiente em tempo real,com a utilização mais frequente de marcas de faixa (supondo que as marcas de faixa sejam paralelas e se estendam até ao infinito na frente do veículo) e pontos de fuga.

(2) Fusão de sensores múltiplos e estimativa do estado

Combinando a IMU (unidade de medição inercial) do veículo e o sensor de velocidade (indicador de velocidade das rodas), estimar as mudanças de posição do próprio veículo.

(3) Cálculo e correcção iterativos

Algorithms such as Kalman filtering or beam based adjustment (BA) continuously fine tune and correct the pitch and yaw angles of the camera by comparing the image changes between the current frame and historical frames, bem como as restrições geométricas das linhas de faixa, para obter uma atualização dinâmica contínua.

4Processo de calibração conjunta (alinhamento cruzado do sensor)

Os carros inteligentes modernos não só têm câmeras, mas também LiDAR e radar de ondas milimétricas.

Tomando a Câmera para LiDAR (Câmera Avançada e Calibração Lidar) como exemplo:

(1) Aquisição de áreas de visão comum: Place a specially designed calibration plate (usually with high reflectivity patterns or specific geometric shapes) that can be captured clearly by a camera and scanned by a laser radar in front of the car.

(2) Extração de dados: extrair as coordenadas de pixel dos cantos ou bordas da placa de calibração da imagem 2D da câmera.

Extract the three-dimensional spatial feature points corresponding to the calibration plate from the three-dimensional point cloud of the LiDAR (using point cloud reflection intensity or plane fitting).

(3) Resolução de restrições: encontrar a melhor correspondência entre dois conjuntos de pontos de características, usar algoritmos de otimização, como mínimos quadrados,e calcular a matriz de transformação 3D para 2D do sistema de coordenadas LiDAR para o sistema de coordenadas da câmera.

(4) Verificação do efeito de alinhamento: Projecção da nuvem de pontos coloridos do LiDAR sobre a imagem da câmara,e observar se o contorno da nuvem de pontos se encaixa perfeitamente os objetos como veículos, edifícios e veículos na imagem.

5Verificação dos resultados da calibração e avaliação da qualidade

Após a conclusão da calibração, deve ser submetido a uma avaliação rigorosa dos indicadores antes de poder ser colocado em utilização comercial:

Erro de reprojeção: os pontos espaciais 3D calculados são reprojetados de volta para uma imagem 2D usando parâmetros de calibração, e o desvio dos pontos de pixels reais na imagem é calculado.Na condução autónoma, o erro médio de reprojecção é normalmente exigido para ser inferior a 0,5 a 1 pixel.

Verificação da estabilidade dos parâmetros:Verifique se a relação geométrica relativa entre as câmeras binoculares esquerda e direita ou a câmera de visão surround está em conformidade com o senso comum rígido da estrutura mecânica, para evitar que o algoritmo fique preso em soluções ótimas locais e calcule parâmetros "deformados".