Budowa pokoju kalibracji inteligentnego systemu widzenia samochodu / 360 stopni widoku otoczenia

Kalibracja systemu wizyjnego pojazdów inteligentnych jest kamieniem węgielnym dokładnego postrzegania w autonomicznej jeździe i inteligentnych kokpitach (takich jak widok 360 stopni). Ze względu na fakt, że kamera przechwytuje dwuwymiarowe piksele, podczas gdy podejmowanie decyzji przez pojazd wymaga rzeczywistej pozycji fizycznej w przestrzeni trójwymiarowej (takiej jak linie pasa ruchu, odległości od przeszkód), konieczne jest ustanowienie matematycznej relacji odwzorowania „współrzędnych pikseli współrzędnych kamery współrzędnych nadwozia/współrzędnych świata” poprzez kalibrację.

Kompletny proces kalibracji inteligentnych systemów wizyjnych pojazdów jest zazwyczaj podzielony na trzy wymiary: kalibracja produkcyjna/statyczna, kalibracja dynamiczna/online i wspólna kalibracja wielu czujników. Poniżej znajduje się szczegółowe wyjaśnienie kluczowego procesu kalibracji:

najnowsza sprawa firmy na temat Budowa pokoju kalibracji inteligentnego systemu widzenia samochodu / 360 stopni widoku otoczenia

1. Klasyfikacja kluczowych parametrów kalibracji

Zanim przejdziemy do procesu, musimy wiedzieć, czym dokładnie jest kalibracja:

Parametry wewnętrzne: Określają właściwości zniekształceń geometrycznych i ogniskowej obiektywu kamery. Na przykład eliminacja zniekształceń „rybiego oka” obiektywów szerokokątnych i prostowanie zakrzywionych obrazów.

Parametry zewnętrzne: Określają konkretną pozycję i orientację kamery w układzie współrzędnych pojazdu (zainstalowane współrzędne X, Y, Z i kąty nachylenia, odchylenia, przechylenia).

2. Proces kalibracji produkcyjnej/statycznej (główna podstawa)

Kalibracja statyczna jest zazwyczaj przeprowadzana w pomieszczeniu kalibracyjnym przed opuszczeniem fabryki przez samochód lub po konserwacji w serwisie 4S. Środowisko jest kontrolowane, a dokładność jest niezwykle wysoka.

(1) Przygotowanie i konfiguracja środowiska

Narzędzie kalibracyjne: Przygotuj tablicę kalibracyjną o określonym wzorze geometrycznym (np. szachownicę, diagram z rozmieszczeniem kropek lub specjalistyczną tkaninę do kalibracji panoramicznej).

Wymagania środowiskowe: Zapewnij jednolite oświetlenie i unikaj prześwietlenia spowodowanego silnym światłem lub niemożności ekstrakcji punktów cech obrazu z powodu słabego oświetlenia.

Stan pojazdu: Pojazd jest zaparkowany na równej powierzchni, ciśnienie w oponach jest dostosowane do wartości standardowej, a pojazd musi być całkowicie nieruchomy (aby zapobiec drganiom zawieszenia).

(2) Kalibracja parametrów wewnętrznych (zazwyczaj zakończona u dostawcy lub przed załadunkiem)

Zbieranie danych: Kamera skierowana jest na tablicę kalibracyjną i wykonuje wiele zdjęć (zazwyczaj 10-20) pod różnymi kątami i z różnych odległości.

Rozwiązywanie algorytmiczne: Branża generalnie przyjmuje metodę kalibracji Zhang Zhengyou. Algorytm identyfikuje punkty narożne (punkty cech) na tablicy kalibracyjnej i wykorzystuje macierze matematyczne do obliczenia ogniskowej kamery (f_x, f_y), pozycji punktu głównego (u-0, v-0) oraz współczynnika zniekształcenia (zniekształcenie radialne i styczne).

(3) Kalibracja parametrów zewnętrznych (musi być wykonana po załadunku)

Rozmieszczenie lokalizacji: Dokładnie umieść tablicę kalibracyjną lub tkaninę kalibracyjną w znanych względnych pozycjach wokół pojazdu (używając tachimetru lub dalmierza laserowego do określenia pozycji tablicy kalibracyjnej względem osi pojazdu i linii środkowej).

Ekstrakcja cech: Różne kamery pojazdu przechwytują obrazy zawierające tablice kalibracyjne, a algorytm automatycznie wykrywa odpowiadające punkty cech tablic kalibracyjnych na obrazach (takie jak punkty narożne czterech tkanin kalibracyjnych w systemie widoku otoczenia).

Obliczanie macierzy parametrów zewnętrznych: Na podstawie „współrzędnych pikseli” punktów cech na obrazie i ich „rzeczywistych współrzędnych fizycznych” względem pojazdu w rzeczywistości, oblicza się macierz obrotu R i wektor przesunięcia T każdej kamery względem układu współrzędnych pojazdu.

Składanie i inspekcja (na przykładzie widoku otoczenia 360 stopni): Użyj obliczonych parametrów zewnętrznych, aby rzutować obrazy z czterech kamer, z przodu, z tyłu, z lewej i z prawej strony, na widok z lotu ptaka (BEV) i sprawdzić, czy szczeliny składania (takie jak linie naziemne) są wyrównane i czy nie ma żadnych duchów.

3. Proces kalibracji dynamicznej/online (optymalizacja podczas jazdy)

Podczas jazdy samochodem, z powodu długotrwałych wstrząsów, zmian temperatury powodujących rozszerzalność i kurczliwość cieplną lub zmian obciążenia zawieszenia, zewnętrzne kamery mogą ulec niewielkim przesunięciom. Kalibracja online pozwala na „kalibrację podczas jazdy”.

[Jazda pojazdem] ->[Wykrywanie naturalnych cech (linie pasa ruchu/znaki drogowe)] ->[Ekstrakcja cech i integracja z kinematyką] ->[Online iteracyjne aktualizowanie macierzy parametrów zewnętrznych]

(1) Wyzwalanie i ekstrakcja cech

Gdy pojazd porusza się po regularnych drogach, takich jak autostrady i wiadukty miejskie, algorytmy wizyjne w czasie rzeczywistym ekstrakują naturalne punkty cech z otoczenia, najczęściej używane są oznaczenia pasów ruchu (zakładając, że oznaczenia pasów ruchu są równoległe i rozciągają się w nieskończoność przed pojazdem) oraz punkty zbiegu.

(2) Fuzja wielu czujników i estymacja stanu

Poprzez połączenie IMU pojazdu (jednostka pomiaru inercyjnego) i czujnika prędkości (prędkościomierz kołowy), szacuje się zmiany postawy samego pojazdu.

(3) Obliczenia iteracyjne i korekta

Algorytmy takie jak filtrowanie Kalmana lub regulacja oparta na wiązkach (BA) stale dostrajają i korygują kąty pochylenia i odchylenia kamery, porównując zmiany obrazu między bieżącą klatką a klatkami historycznymi, a także ograniczenia geometryczne linii pasa ruchu, aby osiągnąć płynne odświeżanie dynamiczne.

4. Proces wspólnej kalibracji (wyrównanie między czujnikami)

Nowoczesne inteligentne samochody posiadają nie tylko kamery, ale także LiDAR i radary fal milimetrowych. Dane te są wyrównywane w tym samym układzie współrzędnych przestrzennych w celu przeprowadzenia wstępnej fuzji percepcji.

Na przykładzie kalibracji kamery do LiDAR (kalibracja kamery przedniej i LiDAR):

(1) Pozyskiwanie wspólnego obszaru widzenia: Umieść specjalnie zaprojektowaną tablicę kalibracyjną (zazwyczaj z wzorami o wysokiej odblaskowości lub specyficznymi kształtami geometrycznymi), która może być wyraźnie uchwycona przez kamerę i zeskanowana przez radar laserowy przed samochodem.

(2) Ekstrakcja danych: Wyodrębnij współrzędne pikseli narożników lub krawędzi tablicy kalibracyjnej z dwuwymiarowego obrazu kamery.

Wyodrębnij trójwymiarowe przestrzenne punkty cech odpowiadające tablicy kalibracyjnej z trójwymiarowej chmury punktów LiDAR (używając intensywności odbicia chmury punktów lub dopasowania płaszczyzn).

(3) Rozwiązywanie ograniczeń: Znajdź najlepsze dopasowanie między dwoma zestawami punktów cech, użyj algorytmów optymalizacyjnych, takich jak metoda najmniejszych kwadratów, i oblicz macierz transformacji 3D-na-2D z układu współrzędnych LiDAR do układu współrzędnych kamery.

(4) Weryfikacja efektu wyrównania: Rzutuj kolorową chmurę punktów LiDAR na obraz kamery i obserwuj, czy kontur chmury punktów idealnie pasuje do obiektów, takich jak pojazdy, budynki i pojazdy na obrazie.

5. Weryfikacja wyników kalibracji i ocena jakości

Po zakończeniu kalibracji musi ona przejść rygorystyczną ocenę wskaźników, zanim będzie mogła zostać oddana do użytku komercyjnego:

Błąd reprojekcji: Obliczone trójwymiarowe punkty przestrzenne są ponownie rzutowane na dwuwymiarowy obraz za pomocą parametrów kalibracji, a odchylenie od rzeczywistych punktów pikselowych na obrazie jest obliczane. W autonomicznej jeździe średni błąd reprojekcji jest zazwyczaj wymagany na poziomie mniejszym niż 0,5 do 1 piksela.

Sprawdzenie stabilności parametrów: Sprawdź, czy wzajemna relacja geometryczna między lewą i prawą kamerą stereoskopową lub kamerą widoku otoczenia jest zgodna z sztywnym zdrowym rozsądkiem konstrukcji mechanicznej, aby zapobiec utknięciu algorytmu w lokalnych rozwiązaniach optymalnych i obliczeniu „zdeformowanych” parametrów.