Budowa pokoju kalibracji inteligentnego systemu widzenia samochodu / 360 stopni widoku otoczenia

Kalibracja systemu wizualnego inteligentnych pojazdów jest podstawą dokładnej percepcji w przypadku jazdy autonomicznej i inteligentnych kokpitów (np. 360 stopni surround view).Ze względu na to, że aparat uchwycił dwuwymiarowe piksele, podczas gdy podejmowanie decyzji dotyczących pojazdów wymaga rzeczywistej pozycji fizycznej w trójwymiarowej przestrzeni (np. linii pasów ruchu, odległości od przeszkód),konieczne jest ustalenie matematycznego związku mapowania "spójności pikseli, współrzędnej kamery, współrzędnej ciała/spójności świata" poprzez kalibrację.

Cały proces kalibracji inteligentnych systemów widzenia samochodowego jest zazwyczaj podzielony na trzy wymiary: kalibracja linii produkcyjnej/statyczna, kalibracja dynamiczna/online,i kalibracja wielo-czujnikówPoniżej przedstawiono szczegółowe wyjaśnienie procesu kalibracji rdzenia:

1. Klasyfikacja parametrów kalibracji rdzenia

Przed rozpoczęciem procesu musimy wiedzieć, czym dokładnie jest kalibracja:

Parametry wewnętrzne: określają geometryczne zniekształcenie i właściwości odległości ogniskowej wewnątrz obiektywu aparatu.wyeliminowanie zniekształceń "oczami rybnymi" soczewek szerokokątnych i wyprostowanie krzywych obrazów.

Parametry zewnętrzne: Określenie konkretnej pozycji i orientacji kamery w systemie współrzędnych pojazdu (zainstalowane współrzędne X, Y, Z i kąty kierunku: Pitch, Yaw, Roll).

2. Linia produkcyjna/proces kalibracji statycznej (główna podstawa)

Kalibracja statyczna jest zwykle wykonywana w pomieszczeniu kalibracyjnym przed opuszczeniem fabryki lub po konserwacji w magazynie 4S.Środowisko jest kontrolowane i dokładność jest bardzo wysoka..

(1) Przygotowanie i ustawienie środowiska

Narzędzie kalibracyjne: Przygotuj tablicę kalibracyjną z określonym wzorem geometrycznym (np. szachownicę, schemat zestawu kropek lub specjalistyczną tkaninę panoramiczną do kalibracji).

Wymagania dotyczące środowiska: zapewnienie jednolitego oświetlenia i unikanie nadmiernego narażenia spowodowanego silnym światłem lub niemożnością wydobycia punktów charakterystycznych obrazu z powodu niskiego oświetlenia.

Stan pojazdu: pojazd jest zaparkowany na płaskiej powierzchni, ciśnienie w oponach jest dostosowane do wartości standardowej, a pojazd musi być całkowicie nieruchomy (w celu zapobiegania wstrząsowi zawieszenia).

(2) Kalibracja parametrów wewnętrznych (zwykle wykonana w miejscu dostawcy lub przed załadunkiem)

Zbieranie danych: aparat fotograficzny wskazuje na tablicę kalibracyjną i robi wiele zdjęć (zwykle 10-20) z różnych kątów i odległości.

Rozwiązywanie algorytmów: Branża generalnie stosuje metodę kalibracji Zhang Zhengyou.Algorytm identyfikuje punkty kątowe (punkty cech) na tablicy kalibracyjnej i wykorzystuje matryce matematyczne do rozwiązania dla ogniskowej kamery (f_x, f_y), pozycja punktu głównego (u-0, v-0) i współczynnik zniekształcenia (zniekształcenie promieniowe i dotykowe).

(3) Kalibracja parametrów zewnętrznych (muszą być wykonane po załadunku)

Układ lokalizacji: Place the calibration plate or calibration cloth accurately at known relative positions around the vehicle (using a total station or laser rangefinder to determine the position of the calibration plate relative to the vehicle axle and centerline).

Wykrywanie cech: różne kamery pojazdu rejestrują obrazy zawierające tablice kalibracyjne,a algorytm automatycznie wykrywa odpowiednie punkty charakterystyczne płyt kalibracyjnych na obrazach (np. punkty kątowe czterech płyt kalibracyjnych w systemie widzenia surround).

Obliczenie macierzy parametrów zewnętrznych: na podstawie "spójności pikseli" punktów charakterystycznych na obrazie i ich "prawdziwych współrzędnych fizycznych" w stosunku do pojazdu w rzeczywistości,obliczyć macierz obrotową R i wektor przemieszczenia T każdej kamery w stosunku do układu współrzędnych pojazdu.

Splicing i inspekcja (wykorzystując 360 stopni widok otoczenia jako przykład): Użyj obliczonej zewnętrznej do projekcji obrazów czterech kamer, przedniej, tylnej, lewej i prawej,w perspektywie widzenia z lotu ptaka (BEV), i sprawdź, czy szwy (np. linie naziemne) są wyrównane i czy występują jakieś szpary.

3Dynamiczna kalibracja/proces kalibracji online (optymalizowany podczas jazdy)

W trakcie jazdy samochodem, z powodu długotrwałych uderzeń, zmian temperatury powodujących rozszerzenie i skurczenie cieplne lub zmiany obciążenia zawieszenia,zewnętrzna kamera aparatu będzie doświadczać lekkiego przesunięcia. Kalibracja online może osiągnąć "kalibrację podczas jazdy".

[Kierowanie pojazdem] ->[Wykrywanie cech naturalnych (linie ruchu drogowego / znaki drogowe) ] ->[Wykrywanie cech i integracja z kinematyką] ->[Online iteratywna aktualizacja matrycy parametrów zewnętrznych]

(1) Wykorzystanie funkcji uruchamiania i ekstrakcji

Gdy pojazd jeździ po zwykłych drogach, takich jak autostrady i miejskie przejścia, algorytmy wizualne w czasie rzeczywistym wyodrębniają naturalne elementy otoczenia,najczęściej stosowane są oznakowania pasów ruchu (założywszy, że oznakowania pasów ruchu są równoległe i rozciągają się do nieskończoności przed pojazdem) i punkty zniknięcia.

(2) Fuzja wielosensorów i oszacowanie stanu

Połączenie jednostki pomiarowej bezwładności (IMU) i czujnika prędkości (kołowskościarka) oznacza, że zmiana nastawienia pojazdu jest oszacowana.

(3) Iteracyjne obliczenia i korekty

Algorithms such as Kalman filtering or beam based adjustment (BA) continuously fine tune and correct the pitch and yaw angles of the camera by comparing the image changes between the current frame and historical frames, a także ograniczenia geometryczne linii pasów, aby uzyskać płynne odświeżenie dynamiczne.

4. Proces kalibracji stawów (przystosowanie czujników krzyżowych)

Nowoczesne inteligentne samochody posiadają nie tylko kamery, ale także LiDAR i radar fal milimetrowych.

Przykładem jest kamera do LiDAR (Forward Camera and Lidar Calibration):

(1) Zakup wspólnego obszaru widzenia: Place a specially designed calibration plate (usually with high reflectivity patterns or specific geometric shapes) that can be captured clearly by a camera and scanned by a laser radar in front of the car.

(2) Wyciąganie danych: Wyciąganie współrzędnych pikseli kątów lub krawędzi płyty kalibracyjnej z obrazu 2D aparatu.

Extract the three-dimensional spatial feature points corresponding to the calibration plate from the three-dimensional point cloud of the LiDAR (using point cloud reflection intensity or plane fitting).

(3) Rozwiązywanie ograniczeń: Znajdź najlepsze dopasowanie między dwoma zestawami punktów cech, użyj algorytmów optymalizacji, takich jak najmniejsze kwadraty,i obliczyć matrycę transformacji 3D-to-2D z układu współrzędnych LiDAR do układu współrzędnych kamery.

(4) Weryfikacja efektu wyrównania: projekcja kolorowej chmury punktów LiDAR na obraz aparatu,i obserwować, czy kontur chmury punktowej idealnie pasuje do obiektów takich jak pojazdy, budynki i pojazdy na zdjęciu.

5. Weryfikacja wyników kalibracji i ocena jakości

Po zakończeniu kalibracji musi zostać poddany rygorystycznej ocenie wskaźników przed wprowadzeniem go do użytku gospodarczego:

Błąd w projekcji: obliczone punkty przestrzenne 3D są ponownie projekcjonowane do obrazu 2D przy użyciu parametrów kalibracyjnych, a odchylenie od rzeczywistych punktów pikseli na obrazie jest obliczane.W przypadku jazdy autonomicznej, średni błąd ponownej projekcji musi być zwykle mniejszy niż 0,5 do 1 piksela.

Kontrola stabilności parametrów:Sprawdź, czy względny związek geometryczny pomiędzy lewą i prawą kamerą lornetką lub kamerą widoku przestrzennego jest zgodny ze sztywnym zdrowym rozsądkiem struktury mechanicznej, aby zapobiec zablokowaniu algorytmu w lokalnych optymalnych rozwiązaniach i obliczaniu "deformowanych" parametrów.