Калибровка мультисенсорного синтеза для интеллектуальных транспортных средств

Мультисенсорная калибровка слияния интеллектуальных транспортных средств является важным шагом для системы автоматического привода для достижения "пространственной синхронизации" и "временной синхронизации".Камера, миллиметроволновой радар (Радар) и инерциальное измерительное устройство/глобальная навигационная спутниковая система (IMU/GNSS) имеют свои собственные независимые системы координат.Целью калибровки синтеза является вычисление относительной позиции и ориентации (внешняя матрица) между ними., что позволяет автомобилю идеально перекрывать двумерные изображения, которые он "видит", трехмерные точечные облака, которые он "сканирует", и скорость и расстояние, которые он "измеряет".

Ниже приведены основные процессы и основные методы калибровки мультисенсорного синтеза в интеллектуальных транспортных средствах:

1. Подготовка ядра перед калибровкой

Перед началом математических вычислений необходимо убедиться, что аппаратное обеспечение и окружающая среда находятся в стандартном состоянии:

(1)Сравнение часовых знаков (синхронизация времени): это предпосылка для пространственной калибровки.PTP (Gigabit Ethernet Time Synchronization Protocol) или GPS/PPS второй импульс используется для согласования времени отбора проб всех датчиков с уровнем микросекунд, гарантируя, что "они видят мир в один и тот же момент".

(2)Проверка состояния транспортного средства: транспортное средство припарковано в стандартном горизонтальном калибровочном помещении с давлением в шинах и подвеской при стандартных нагрузках, и транспортное средство полностью не движется.

(3)Размещение калибровочных объектов: в соответствии с требованиями к калибровке расположить специально изготовленные калибровочные объекты вокруг транспортного средства.

(4)Обычные объекты калибровки: калибровочные пластины с высокой отражательной способностью, 3D-коробки, цилиндры или специально изготовленные треугольные отражатели (обычно используемые для миллиметровых радиолокационных станций).

2. Классификация процессов калибровки ядерного синтеза

Калибровка слияния обычно выполняется на основе "парного выравнивания" комбинаций датчиков, в конечном итоге объединяя их в координатную систему транспортного средства / базовой связи.

(1) Совместная калибровка LiDAR и камеры

Это основная калибровка для автономного вождения, используемая для достижения предварительного слияния точечного облака и изображения (цветного точечного облака).

[Выделить 2D-точки из изображения]

[Поиск соответствия] [Минимизировать ошибку репроекции] [Внешняя матрица вывода]

[Взять 3D-точки из облака]

1 Экстракция:

Камера: алгоритм определяет координаты ((u, v)) углов, краев или центральных пикселей калибровочной доски в двумерном изображении.

Лидарная сторона: алгоритм извлекает координаты ((X, Y,Z)) краев или центральных точек калибровочной доски в трехмерном пространстве на основе интенсивности отражения точечного облака (или геометрической плоскости).

2 Математическое решение: это типичная задача с точки зрения 3D-to-2D-n-Point (PnP).рассчитывается матрица вращения R и вектор трансляции T.

3 Онлайн/динамическое выравнивание: во время ежедневного вождения, используя природные особенности, такие как столбы на обеих сторонах дороги и краях здания,выровнение между краями изображения и краями точечного облака оптимизировано (e.g., используя метод взаимной информации) для тонкой настройки внешних параметров в режиме реального времени.

(2)Совместная калибровка LiDAR и радара миллиметровых волн (LiDAR-Radar)

Радар с миллиметровыми волнами может измерять скорость и имеет сильное проникновение, но его точечное облако чрезвычайно редко и шумно; точечное облако LiDAR является плотным.Их цель - достичь "пространственного выровнения траектории".

1Статический метод (камеру калибровки): разместите угловой рефлектор с высокой рефлективностью в определенном месте.и лидар также может точно определить трехмерный контур углового рефлектораВнешние параметры рассчитываются путем сопоставления центральных точек двух.

2 Динамический метод (дорожное управление): транспортное средство движется по открытой дороге, отслеживая движущуюся цель впереди (например, другое транспортное средство).траектория объекта, отслеживаемого LiDAR, и траектория динамической точки, измеренной радаром миллиметровой волны, совпадают;, и внешние параметры решаются путем корреляции траекторий.

3Совместная калибровка LiDAR/камеры и инерциального измерительного устройства (Сенсор-IMU)

Выровнять датчик восприятия с кинематикой транспортного средства для решения вопроса "как компенсировать датчик во время трясения и ударов транспортного средства".

1 Метод калибровки рукой и глазом: он относится к типичной проблеме решения матрицы AX = XB.

2 Процесс калибровки: транспортное средство получает инструкцию следовать определенной траектории (например, ездить в форме "8", часто ускоряться и замедляться, делать повороты).IMU записывает угловую скорость и ускорение транспортного средства в режиме реального времени для оценки собственной траектории движенияОдновременно, LiDAR оценивает траекторию движения через точечную облачную одометрию (LOAM) или камера оценивает траекторию движения через визуальную одометрию (VO).

3 Решение: алгоритм вычисляет относительное положение датчика по отношению к МУМ путем выравнивания вращения и смещения этих двух траекторий движения.

3. Интегрированная совместная отладка и замкнутый цикл управления несколькими датчиками

После завершения всех паравых калибровок требуется глобальная оптимизация замкнутого цикла:

(1)Унифицировать систему координат: преобразовать все относительные внешние параметры в систему координат центра тела (например, точку, где центр задней оси проецируется на землю).

(2)Проверка последовательности ошибок: обеспечение замкнутого цикла в цепочке передачи.Положение ИМУ, рассчитанное с помощью ИМУ LiDAR ightarrow Camera ightarrow, должно соответствовать результату, прямо вычисленному с помощью ИМУ LiDAR ightarrow. Если есть расхождение, выполните глобальную корректировку на всей топологической сети с помощью оптимизации графа.

IV. Оценка качества калибровки и проверка эффекта

После калибровки для проверки точности должны использоваться строгие количественные показатели:

1Метод сравнения истинных значений: с помощью высокоточной общей станции с большим диапазоном действия или лазерного трекеравручную измерить физические абсолютные положения отмеченных точек на каждом корпусе датчика в системе координат корпуса транспортного средстваТипичными требованиями к точности внешних параметров являются: ошибка расстояния < 1 ~ 2 см, ошибка угла < 0,1 ° ~ 0,2 °.

Проекция обратного поворота облака с двумя точками (проекция цветового синтеза): 3D облако с точки, собранное LiDAR, проецируется на 2D изображение камеры через рассчитанную внешнюю матрицу.Если точка облака цвета на контурах полезных столбов, уличные знаки и транспортные средства идеально выровнены с краями изображения, без каких-либо смещений или неправильного выровнения, это указывает на отличное качество калибровки.

3 Испытание пространственно-временной согласованности: во время динамического вождения реального транспортного средства проверяется, обнаружен ли 3D-коробка, обнаруженная камерой, точка облака кластеризации коробки LiDAR, and the target point of the millimeter-wave radar for the same obstacle (such as the preceding vehicle) completely overlap in the Bird's Eye View (BEV) and do not undergo severe jitter due to vehicle bumps.