Строительство интеллектуальной системы автомобильного зрения калибровочный зал / 360-градусный обзор

Калибровка визуальной системы интеллектуальных транспортных средств является краеугольным камнем точного восприятия в автономном вождении и интеллектуальных кабинах (например, круговой обзор 360 градусов). Поскольку камера захватывает двумерные пиксели, в то время как принятие решений автомобилем требует реального физического положения в трехмерном пространстве (например, полосы движения, расстояния до препятствий), необходимо установить математическую зависимость отображения «пиксельные координаты — координаты камеры — координаты кузова/мировые координаты» посредством калибровки.

Полный процесс калибровки интеллектуальных автомобильных систем технического зрения обычно делится на три этапа: калибровка на производственной линии/статическая калибровка, динамическая/онлайн-калибровка и совместная калибровка нескольких датчиков. Ниже приведено подробное объяснение основного процесса калибровки:

последний случай компании о Строительство интеллектуальной системы автомобильного зрения калибровочный зал / 360-градусный обзор

1. Классификация основных параметров калибровки

Прежде чем приступить к процессу, нам нужно понять, что именно представляет собой калибровка:

Внутренние параметры: Определяют геометрические искажения и характеристики фокусного расстояния линзы камеры. Например, устранение искажений типа «рыбий глаз» широкоугольных объективов и выпрямление изогнутых изображений.

Внешние параметры: Определяют конкретное положение и ориентацию камеры в системе координат автомобиля (установленные координаты X, Y, Z и углы рыскания, тангажа, крена).

2. Процесс калибровки на производственной линии/статическая калибровка (основная основа)

Статическая калибровка обычно выполняется в калибровочной комнате перед выходом автомобиля с завода или после технического обслуживания в сервисном центре 4S. Среда контролируется, и точность чрезвычайно высока.

(1) Подготовка и настройка среды

Инструмент калибровки: Подготовьте калибровочную доску с определенным геометрическим рисунком (например, шахматную доску, диаграмму точечной матрицы или специальную панорамную калибровочную ткань).

Требования к среде: Обеспечьте равномерное освещение и избегайте переэкспонирования из-за сильного света или невозможности извлечения точек признаков изображения из-за слабого освещения.

Состояние автомобиля: Автомобиль припаркован на ровной поверхности, давление в шинах отрегулировано до стандартного значения, и автомобиль должен быть полностью неподвижен (чтобы предотвратить раскачивание подвески).

(2) Калибровка внутренних параметров (обычно выполняется у поставщика или перед загрузкой)

Сбор данных: Камера направляется на калибровочную доску и делает несколько снимков (обычно 10-20) с разных углов и расстояний.

Решение алгоритма: Отрасль в целом использует метод калибровки Чжан Чжэнъю. Алгоритм идентифицирует угловые точки (точки признаков) на калибровочной доске и использует математические матрицы для определения фокусного расстояния камеры (f_x, f_y), положения главной точки (u-0, v-0) и коэффициентов искажения (радиальное и тангенциальное искажение).

(3) Калибровка внешних параметров (должна выполняться после загрузки)

Размещение: Точно разместите калибровочную доску или калибровочную ткань в известных относительных положениях вокруг автомобиля (используя тахеометр или лазерный дальномер для определения положения калибровочной доски относительно оси автомобиля и центральной линии).

Извлечение признаков: Различные камеры автомобиля делают снимки, содержащие калибровочные доски, и алгоритм автоматически обнаруживает соответствующие точки признаков калибровочных досок на изображениях (например, угловые точки четырех калибровочных тканей в системе кругового обзора).

Расчет матрицы внешних параметров: На основе «пиксельных координат» точек признаков на изображении и их «реальных физических координат» относительно автомобиля в реальности рассчитывается матрица вращения R и вектор смещения T каждой камеры относительно системы координат автомобиля.

Сшивка и проверка (на примере кругового обзора 360 градусов): Используйте рассчитанные внешние параметры для проецирования изображений четырех камер (передней, задней, левой и правой) на вид сверху (BEV) и проверьте, совпадают ли зазоры сшивки (например, линии разметки) и нет ли двоения.

3. Процесс динамической калибровки/онлайн-калибровки (оптимизация во время движения)

Во время движения автомобиля из-за длительных ударов, изменений температуры, вызывающих тепловое расширение и сжатие, или изменений нагрузки на подвеску, внешние параметры камеры могут незначительно смещаться. Онлайн-калибровка позволяет выполнять «калибровку во время движения».

[Движение автомобиля] -> [Обнаружение естественных признаков (линии разметки/дорожные знаки)] -> [Извлечение признаков и интеграция с кинематикой] -> [Онлайн-итеративное обновление матрицы внешних параметров]

(1) Запуск и извлечение признаков

Когда автомобиль движется по обычным дорогам, таким как автомагистрали и городские эстакады, визуальные алгоритмы в реальном времени извлекают естественные точки признаков из окружающей среды, наиболее часто используемыми из которых являются линии разметки (при условии, что линии разметки параллельны и простираются до бесконечности перед автомобилем) и точки схода.

(2) Слияние нескольких датчиков и оценка состояния

Объединяя данные IMU (инерциального измерительного блока) и датчика скорости (спидометра) автомобиля, оцениваются изменения положения самого автомобиля.

(3) Итеративный расчет и коррекция

Алгоритмы, такие как фильтрация Калмана или оптимизация на основе лучей (BA), непрерывно настраивают и корректируют углы тангажа и рыскания камеры, сравнивая изменения изображения между текущим и предыдущими кадрами, а также геометрические ограничения линий разметки, для достижения бесшовного динамического обновления.

4. Процесс совместной калибровки (выравнивание между датчиками)

Современные умные автомобили оснащены не только камерами, но и лидарами и радарами миллиметрового диапазона. Их данные выравниваются в одной и той же пространственной системе координат для выполнения предварительного слияния данных восприятия.

На примере калибровки камеры и лидара (калибровка передней камеры и лидара):

(1) Получение общей области просмотра: Разместите специально разработанную калибровочную доску (обычно с высокоотражающими узорами или специфическими геометрическими формами), которая может быть четко захвачена камерой и просканирована лазерным радаром перед автомобилем.

(2) Извлечение данных: Извлеките пиксельные координаты углов или краев калибровочной доски из 2D-изображения камеры.

Извлеките трехмерные пространственные точки признаков, соответствующие калибровочной доске, из трехмерного облака точек лидара (используя интенсивность отражения облака точек или подгонку плоскости).

(3) Решение ограничений: Найдите наилучшее соответствие между двумя наборами точек признаков, используйте алгоритмы оптимизации, такие как метод наименьших квадратов, и рассчитайте матрицу преобразования 3D в 2D из системы координат лидара в систему координат камеры.

(4) Проверка эффекта выравнивания: Проецируйте цветное облако точек лидара на изображение камеры и наблюдайте, идеально ли контур облака точек совпадает с объектами, такими как транспортные средства, здания и объекты на изображении.

5. Проверка результатов калибровки и оценка качества

После завершения калибровки она должна пройти строгую оценку показателей, прежде чем может быть введена в эксплуатацию:

Ошибка перепроецирования: Рассчитанные трехмерные пространственные точки повторно проецируются обратно в 2D-изображение с использованием параметров калибровки, и рассчитывается отклонение от фактических пиксельных точек на изображении. В автономном вождении средняя ошибка перепроецирования обычно должна быть менее 0,5-1 пикселя.

Проверка стабильности параметров: Проверьте, соответствует ли относительное геометрическое соотношение между левой и правой бинокулярными камерами или камерой кругового обзора здравому смыслу жесткой механической конструкции, чтобы предотвратить застревание алгоритма в локальных оптимальных решениях и расчет «искаженных» параметров.