Fusão de múltiplos sensores para calibração de veículos inteligentes

A calibração de fusão de sensores múltiplos de veículos inteligentes é um passo crucial para o sistema de condução automática para alcançar a "sincronização espacial" e a "sincronização temporal".câmara, radar de ondas milimétricas (Radar) e unidade de medição inercial/sistema global de navegação por satélite (IMU/GNSS) têm cada um seus próprios sistemas de coordenadas independentes.O objectivo da calibração de fusão é calcular a posição relativa e a relação de orientação (matriz extrínseca) entre elas., permitindo ao veículo sobrepor perfeitamente as imagens bidimensionais que "vê", as nuvens pontuais tridimensionais que "escaneia" e a velocidade e a distância que "medem".

Os seguintes são os principais processos e métodos de calibração de fusão multi-sensor em veículos inteligentes:

1Preparação do núcleo antes da calibração

Antes de iniciar os cálculos matemáticos, é necessário assegurar que o hardware e o ambiente estejam num estado normal:

(1)Alineamento do carimbo horário (sincronização do tempo): este é o pré-requisito para a calibração espacial.PTP (Gigabit Ethernet Time Synchronization Protocol) ou GPS/PPS segundo pulso é usado para alinhar o tempo de amostragem de todos os sensores ao nível de microssegundos, garantindo que "eles vejam o mundo no mesmo momento".

(2) Inspecção do estado do veículo: o veículo está estacionado numa sala de calibração horizontal padrão, com a pressão dos pneus e a suspensão a cargas normais, e o veículo está completamente parado.

(3) Disposição dos objetos de calibração: De acordo com os requisitos de calibração, colocar objetos de calibração especialmente concebidos em torno do veículo.

(4)Objetos de calibração comuns: placas de calibração com padrões de elevada refletividade, caixas 3D, cilindros ou reflectores triangulares especialmente fabricados (geralmente utilizados para radar de ondas milimétricas).

2Classificação dos processos de calibração de fusão de núcleo

A calibração por fusão é normalmente realizada com base no "alinhamento por pares" de combinações de sensores, unificando-as em última análise no sistema de coordenadas veículo/ligação de base.

(1) Calibração conjunta do LiDAR e da câmara (LiDAR-to-Camera)

Esta é a calibração básica para a condução autónoma, utilizada para obter a pré-fusão de nuvem de pontos e imagem (nuvem de pontos de cor).

[Extrair pontos de características 2D da imagem]

[Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência] [Pesquisa de correspondência]

[Extrair pontos de características 3D da nuvem de pontos] ──

1 Características de extracção:

Lado da câmara: O algoritmo identifica as coordenadas ((u, v)) dos cantos, bordas ou pixels centrais da placa de calibração na imagem bidimensional.

Lado LiDAR: O algoritmo extrai as coordenadas ((X, Y,Z)) das bordas ou pontos centrais da placa de calibração no espaço tridimensional com base na intensidade de reflexão da nuvem de pontos (ou montagem em plano geométrico).

2 Solução matemática: Este é um problema típico de perspectiva n-ponto (PnP) 3D a 2D. Usando o método dos menores quadrados ou otimização não linear,são calculadas a matriz de rotação R e o vetor de translação T.

3 Alinhamento online/dinâmico: durante a condução diária, utilizando elementos naturais, como postes de serviços públicos em ambos os lados da estrada e nas bordas dos edifícios,O alinhamento entre as bordas da imagem e as bordas da nuvem de pontos é otimizado (e.g., utilizando o método de informação mútua) para ajustar os parâmetros extrínsecos em tempo real.

(2) Calibração conjunta do LiDAR e do radar de ondas milimétricas (LiDAR-Radar)

O radar de ondas milimétricas pode medir a velocidade e tem uma forte penetração, mas sua nuvem de pontos é extremamente escassa e barulhenta; a nuvem de pontos LiDAR é densa.O seu objectivo é alcançar o "alinhamento da trajetória espacial".

Método estático (câmara de calibração): coloque um reflector de canto com elevada reflectância num local específico.e lidar também pode identificar com precisão o contorno tridimensional do reflector de cantoOs parâmetros externos são calculados combinando os pontos centrais dos dois.

2 Método dinâmico (condução rodoviária): o veículo dirige-se em uma estrada aberta, seguindo um alvo em movimento à frente (como outro veículo).A trajetória do objeto rastreado pelo LiDAR e a trajetória do ponto dinâmico medido pelo radar de ondas milimétricas são correspondentes, e os parâmetros externos são resolvidos através de correlação de trajetória.

3. Calibração conjunta do LiDAR/câmara e da unidade de medição inercial (Sensor-IMU)

Alinhar o sensor de percepção com a cinemática do veículo para resolver a questão de "como compensar o sensor durante os tremores e choques do veículo".

1 Método de calibração mão-olho: pertence ao típico problema de resolução de matriz AX = XB.

2 Processo de calibração: o veículo é instruído a seguir uma trajetória específica (por exemplo, condução em forma de "8", aceleração e desaceleração frequentes e curvas).O IMU registra a velocidade angular e a aceleração do veículo em tempo real para estimar a sua própria trajetória de movimentoSimultaneamente, o LiDAR estima uma trajetória de movimento através da odometria da nuvem de pontos (LOAM) ou a câmara estima uma trajetória de movimento através da odometria visual (VO).

3 Solução: O algoritmo calcula a posição relativa do sensor em relação à UMI alinhando a rotação e o deslocamento destas duas trajetórias de movimento.

3. Debuggem conjunta integrada e controlo de circuito fechado de sensores múltiplos

Após a conclusão de todas as calibrações por pares, é necessária uma otimização global de circuito fechado:

(1) Unificar o sistema de coordenadas: converter todos os parâmetros externos relativos no sistema de coordenadas do centro da carroceria (como o ponto em que o centro do eixo traseiro é projetado sobre o solo).

(2) Verificação da consistência dos erros: assegurar um circuito fechado na cadeia de transmissão.A posição da UIM calculada a partir da UIM ightarrow da câmara ightarrow do LiDAR deve ser consistente com o resultado calculado diretamente a partir da UIM ightarrow do LiDAR.. Se houver uma discrepância, realizar ajuste global em toda a rede topológica usando otimização de gráfico.

IV. Avaliação da qualidade da calibração e verificação dos efeitos

Após a calibração, devem ser utilizados indicadores quantitativos rigorosos para verificar a sua exactidão:

1Método de comparação dos valores reais: Com o auxílio de uma estação total de grande alcance de alta precisão ou de um localizador a laser,Medir manualmente as posições físicas absolutas dos pontos marcados em cada caixa do sensor no sistema de coordenadas da carroceria do veículoOs requisitos típicos para a precisão dos parâmetros extrínsecos são: erro de distância < 1 ~ 2 cm, erro de ângulo < 0,1 ° ~ 0,2 °.

Projeção de nuvem de 2 pontos (projeção de fusão de cores): A nuvem de pontos 3D coletada pelo LiDAR é projetada na imagem 2D da câmera através da matriz extrínseca calculada.Se a nuvem ponto cores nos contornos dos postes de utilidade, sinais de rua e veículos estão perfeitamente alinhados com as bordas da imagem, sem qualquer deslocamento ou desalinhamento, indica excelente qualidade de calibração.

3 Teste de consistência espacial-temporal: durante a condução dinâmica de um veículo real, verificar se a caixa 3D detectada pela câmara, a caixa de agrupamento de nuvens de pontos do LiDAR, and the target point of the millimeter-wave radar for the same obstacle (such as the preceding vehicle) completely overlap in the Bird's Eye View (BEV) and do not undergo severe jitter due to vehicle bumps.