Строительство интеллектуальной системы автомобильного зрения калибровочный зал / 360-градусный обзор

Калибровка визуальной системы интеллектуальных транспортных средств является краеугольным камнем для точного восприятия при автономном вождении и интеллектуальных кабинах (например, круговой обзор на 360 градусов). В связи с тем, что камера захватывает двумерные пиксели, а для принятия решений транспортного средства требуется реальное физическое положение в трехмерном пространстве (например, линии полосы движения, расстояния до препятствий), необходимо посредством калибровки установить математическое отображение взаимосвязи «координата пикселя, координата камеры, координата тела/мировая координата».

Полный процесс калибровки интеллектуальных систем автомобильного зрения обычно делится на три направления: статическая калибровка производственной линии, динамическая/онлайн-калибровка и калибровка соединения нескольких датчиков. Ниже приводится подробное объяснение процесса калибровки ядра:

1. Классификация параметров калибровки керна

Прежде чем приступить к процессу, нам необходимо знать, что именно представляет собой калибровка:

Внутренние параметры: Определите свойства геометрического искажения и фокусного расстояния внутри объектива камеры. Например, устранение искажения «рыбий глаз» широкоугольных объективов и выпрямление искривленных изображений.

Внешние параметры: определяют конкретное положение и ориентацию камеры в системе координат автомобиля (установленные координаты X, Y, Z и углы курса Pitch, Yaw, Roll).

2. Производственная линия/процесс статической калибровки (основной фундамент)

Статическая калибровка обычно выполняется в калибровочной комнате перед отправкой автомобиля с завода или после технического обслуживания в магазине 4S. Среда контролируется, а точность чрезвычайно высока.

(1) Подготовка и настройка окружающей среды

Инструмент для калибровки: подготовьте калибровочную доску с определенным геометрическим рисунком (например, шахматную доску, точечную диаграмму или специальную ткань для панорамной калибровки).

Требования к окружающей среде: Обеспечьте равномерное освещение и избегайте передержки, вызванной сильным освещением или невозможностью выделить характерные точки изображения из-за слабого освещения.

Состояние автомобиля: Автомобиль припаркован на ровной поверхности, давление в шинах отрегулировано до стандартного значения, автомобиль должен быть полностью неподвижен (во избежание тряски подвески).

(2) Внутренняя калибровка параметров (обычно выполняется на месте поставщика или перед погрузкой)

Сбор данных: камера направляется на калибровочную доску и делает несколько фотографий (обычно 10–20) с разных углов и расстояний.

Решение алгоритма: в отрасли обычно применяется метод калибровки Чжан Чжэнъю. Алгоритм определяет угловые точки (характерные точки) на калибровочной плате и использует математические матрицы для определения фокусного расстояния камеры (f_x, f_y), положения главной точки (u-0, v-0) и коэффициента искажения (радиальное и тангенциальное искажение).

(3) Калибровка внешних параметров (необходимо выполнить после загрузки)

Схема расположения: точно разместите калибровочную пластину или калибровочную ткань в известных относительных положениях вокруг транспортного средства (с помощью тахеометра или лазерного дальномера определите положение калибровочной пластины относительно оси и центральной линии транспортного средства).

Извлечение признаков: различные камеры транспортного средства захватывают изображения, содержащие калибровочные пластины, и алгоритм автоматически определяет соответствующие характерные точки калибровочных пластин на изображениях (например, угловые точки четырех калибровочных тканей в системе кругового обзора).

Расчет матрицы внешних параметров: на основе «координат пикселей» характерных точек на изображении и их «реальных физических координат» относительно транспортного средства в реальности рассчитывается матрица вращения R и вектор смещения T каждой камеры относительно системы координат транспортного средства.

Сращивание и проверка (на примере кругового обзора на 360 градусов): используйте рассчитанную внешнюю величину для проецирования изображений с четырех камер (передней, задней, левой и правой) на вид с высоты птичьего полета (BEV) и проверьте, совмещены ли зазоры сшивания (например, линии земли) и нет ли каких-либо ореолов.

3. Динамическая калибровка/процесс онлайн-калибровки (оптимизируется во время вождения)

В процессе вождения автомобиля из-за длительных ударов, изменений температуры, вызывающих тепловое расширение и сжатие, или изменения нагрузки на подвеску внешняя камера камеры будет испытывать небольшое смещение. Онлайн-калибровка позволяет добиться «калибровки во время вождения».

[Вождение автомобиля] ->[Обнаружение природных объектов (линии полосы движения/дорожные знаки)] ->[Извлечение объектов и интеграция с кинематикой] ->[Итеративное онлайн-обновление матрицы внешних параметров]

(1) Запуск и извлечение функций

Когда транспортное средство движется по обычным дорогам, таким как автомагистрали и городские эстакады, визуальные алгоритмы извлекают естественные характерные точки из окружающей среды в режиме реального времени, при этом наиболее часто используются разметка полос (при условии, что разметка полос параллельны и простираются до бесконечности перед транспортным средством) и точки схода.

(2) Объединение нескольких датчиков и оценка состояния

Объединив IMU (инерциальный измерительный блок) и датчик скорости (колесный датчик скорости) автомобиля, оцените изменения положения автомобиля.

(3) Итеративный расчет и коррекция.

Такие алгоритмы, как фильтрация Калмана или регулировка на основе луча (BA), непрерывно настраивают и корректируют углы наклона и отклонения камеры, сравнивая изменения изображения между текущим кадром и историческими кадрами, а также геометрические ограничения линий полосы движения, чтобы добиться плавного динамического обновления.

4. Процесс совместной калибровки (перекрестное выравнивание датчиков)

Современные умные автомобили оснащены не только камерами, но также LiDAR и радаром миллиметрового диапазона. Выровняйте их данные в одной и той же системе пространственных координат, чтобы выполнить предварительное восприятие.

Пример переноса камеры на LiDAR (передняя камера и калибровка лидара):

(1) Получение общей зоны обзора: поместите перед автомобилем специально разработанную калибровочную пластину (обычно с высокой отражающей способностью или определенной геометрической формой), которую можно четко захватить камерой и сканировать лазерным радаром.

(2) Извлечение данных: Извлеките пиксельные координаты углов или краев калибровочной пластины из 2D-изображения камеры.

Извлеките трехмерные пространственные характерные точки, соответствующие калибровочной пластине, из трехмерного облака точек LiDAR (используя интенсивность отражения облака точек или аппроксимацию плоскости).

(3) Решение ограничений: найдите наилучшее соответствие между двумя наборами характерных точек, используйте алгоритмы оптимизации, такие как метод наименьших квадратов, и рассчитайте матрицу преобразования 3D в 2D из системы координат LiDAR в систему координат камеры.

(4) Проверка эффекта выравнивания: спроецируйте цветное облако точек LiDAR на изображение камеры и посмотрите, идеально ли контур облака точек соответствует таким объектам, как транспортные средства, здания и транспортные средства на изображении.

5. Проверка результатов калибровки и оценка качества.

После завершения калибровки он должен пройти строгую индикаторную оценку, прежде чем его можно будет использовать в бизнесе:

Ошибка перепроецирования: рассчитанные трехмерные пространственные точки проецируются обратно в двухмерное изображение с использованием параметров калибровки, и вычисляется отклонение от фактических точек пикселей на изображении. При автономном вождении средняя ошибка перепроецирования обычно должна составлять от 0,5 до 1 пикселя.

Проверка стабильности параметров: проверьте, соответствует ли относительное геометрическое соотношение между левой и правой бинокулярными камерами или камерой кругового обзора жесткому здравому смыслу механической структуры, чтобы алгоритм не застревал в локальных оптимальных решениях и не вычислял «деформированные» параметры.