Kalibracja fuzji wielu czujników dla pojazdów inteligentnych

Kalibracja wielosensorowa w inteligentnych pojazdach jest kluczowym krokiem dla automatycznego układu napędowego w celu osiągnięcia "synchronizacji przestrzennej" i "synchronizacji czasu".aparat, radar fal milimetrowych (Radar) oraz jednostka pomiaru inercji/globalny system nawigacji satelitarnej (IMU/GNSS) posiadają własne niezależne systemy współrzędnych.Celem kalibracji fuzji jest obliczenie względnej pozycji i orientacji (matryca zewnętrzna) między nimi, co pozwala pojazdowi na doskonałe nakładanie dwuwymiarowych obrazów, które "widzi", trójwymiarowych chmur punktowych, które "skanuje", oraz prędkości i odległości, które "mierzy".

Następujące są podstawowe procesy i główne metody kalibracji syntezy wielosensorów w inteligentnych pojazdach:

1. Przygotowanie rdzenia przed kalibracją

Przed rozpoczęciem obliczeń matematycznych należy upewnić się, że sprzęt i środowisko są w stanie standardowym:

(1)Zaliczanie znacznika czasu (synchronizacja czasu): jest to warunek wstępny kalibracji przestrzennej.PTP (Gigabit Ethernet Time Synchronization Protocol) lub GPS/PPS puls sekundy jest używany do dostosowania czasu pobierania próbek wszystkich czujników do poziomu mikrosekund, zapewniając, że "widzą świat w tym samym momencie".

(2)Przegląd stanu pojazdu: pojazd jest zaparkowany w standardowym poziomym pomieszczeniu kalibracyjnym, z ciśnieniem w oponach i zawieszeniem przy standardowych obciążeniach, a pojazd jest całkowicie nieruchomy.

(3) Rozmieszczenie obiektów kalibracyjnych: Zgodnie z wymaganiami kalibracyjnymi należy rozmieścić specjalnie wykonane obiekty kalibracyjne wokół pojazdu.

(4)Powszechne obiekty kalibracyjne: płyty kalibracyjne o wysokiej odblaskowości, pudełka 3D, cylindry lub specjalnie wykonane trójkątne odblaski (powszechnie stosowane w radarach fal milimetrowych).

2. Klasyfikacja procesów kalibracji jądrowej fuzji

Kalibracja fuzyjna jest zazwyczaj wykonywana na podstawie "sposobienia par" kombinacji czujników, ostatecznie jednocząc je w układ współrzędnych pojazdu/łącza bazowego.

(1) Wspólna kalibracja LiDAR i kamery (LiDAR-to-Camera)

Jest to podstawowa kalibracja dla jazdy autonomicznej, wykorzystywana do osiągnięcia wstępnego połączenia chmury punktów i obrazu (kolorowa chmura punktów).

[Wyciągnij 2D punktów charakterystycznych z obrazu]

[Szukaj zgodności] [Zminimalizuj błąd ponownej projekcji] [Matryca zewnętrzna wyjścia]

[Extract 3D feature points from point cloud] - - -

1 Ekstrakcja cech:

Strona kamery: algorytm identyfikuje współrzędne ((u, v)) kątów, krawędzi lub centralnych pikseli deski kalibracyjnej w dwuwymiarowym obrazie.

Strona LiDAR: Algorytm wyciąga współrzędne ((X, Y,Z)) krawędzi lub punktów środkowych deski kalibracyjnej w trójwymiarowej przestrzeni na podstawie intensywności odbicia chmury punktowej (lub geometrycznego montażu płaszczyzny).

2 Rozwiązanie matematyczne: Jest to typowy problem z perspektywy n-punktu (PnP) 3D do 2D.oblicza się macierz obrotową R i wektor przekładniczy T.

3 Online/dynamiczne ustawianie: podczas codziennej jazdy, wykorzystując naturalne elementy, takie jak słupki użyteczności publicznej po obu stronach drogi i krawędzie budynku,W przypadku, gdy optymalizowane jest ustawienie krawędzi obrazu i krawędzi chmury punktowej (e.g., wykorzystując metodę wzajemnej informacji) do precyzyjnego dostosowania parametrów zewnętrznych w czasie rzeczywistym.

(2) Wspólna kalibracja LiDAR i radaru fal milimetrowych (LiDAR-to-Radar)

Radary fal milimetrowych mogą mierzyć prędkość i mają silną penetrację, ale ich chmury punktowe są niezwykle rzadkie i hałaśliwe; chmury punktowe LiDAR są gęste.Ich celem jest osiągnięcie "spatial trajectory alignment".

1Metoda statyczna (komora kalibracyjna): umieszczenie w określonym miejscu reflektora kątowego o wysokiej odblaskowości.i LIDAR może również dokładnie zidentyfikować trójwymiarowy kontur kątowego reflektoraParametry zewnętrzne są obliczane poprzez dopasowanie punktów środkowych tych dwóch.

2 Metoda dynamiczna (jeździec po drodze): pojazd jeździ po otwartej drodze, śledząc poruszający się cel (np. inny pojazd).trajektoria obiektu śledzonego przez LiDAR i trajektoria punktu dynamicznego mierzonego przez radar fal milimetrowych są dopasowane, a parametry zewnętrzne są rozwiązywane poprzez korelację trajektorii.

3. Wspólna kalibracja LiDAR/kamery i jednostki pomiarowej inercji (Sensor-to-IMU)

Wyrównanie czujnika percepcji z kinematyką pojazdu w celu rozwiązania problemu "jak skompensować czujnik podczas wstrząsów i uderzeń pojazdu".

1 Metoda kalibracji ręka-oko: Należy do typowego problemu rozwiązywania macierzy AX = XB.

2 Proces kalibracji: Pojazd otrzymuje instrukcje, aby podążał określoną trajektorią (np. jeździć w kształcie "8", często przyspieszać i opóźniać i skręcać).IMU rejestruje prędkość kątową i przyspieszenie pojazdu w czasie rzeczywistym w celu oszacowania własnej trajektorii ruchuJednocześnie LiDAR oszacowuje trajektorię ruchu poprzez odometrię chmur punktowych (LOAM) lub kamera oszacowuje trajektorię ruchu poprzez odometrię wizualną (VO).

3 Rozwiązanie: algorytm oblicza względne położenie czujnika w stosunku do IMU poprzez wyrównanie obrotu i przemieszczenia tych dwóch trajektorii ruchu.

3. Zintegrowane łączne debugowanie i sterowanie zamkniętą pętlą wielu czujników

Po zakończeniu wszystkich parnych kalibracji wymagana jest globalna optymalizacja pętli zamkniętej:

(1) Zjednoczenie układu współrzędnych: Konwersja wszystkich względnych parametrów zewnętrznych do układu współrzędnych środka nadwozia (takich jak punkt, w którym środek tylnej osi jest wyrzucony na ziemię).

(2)Kontrolowanie spójności błędów: zapewnienie zamkniętej pętli w łańcuchu przesyłowym.Pozycja IMU obliczona z LiDAR ightarrow Camera ightarrow IMU powinna być zgodna z wynikiem obliczonym bezpośrednio z LiDAR ightarrow IMU.. Jeśli wystąpi rozbieżność, wykonaj globalną korektę na całej sieci topologicznej za pomocą optymalizacji grafu.

IV. Ocena jakości kalibracji i weryfikacja skutków

Po kalibracji należy stosować ścisłe wskaźniki ilościowe w celu zweryfikowania jej dokładności:

1Metoda porównania wartości rzeczywistych: za pomocą wysokiej precyzji, szerokiego zasięgu stacji całkowitej lub laserowego monitoringuręcznie zmierzyć fizyczne pozycje bezwzględne oznaczonych punktów na każdej obudowie czujnika w układzie współrzędnych nadwozia pojazduTypowe wymagania dotyczące dokładności parametrów zewnętrznych to: błąd odległości < 1 ~ 2 cm, błąd kąta < 0,1 ° ~ 0,2 °.

Projekcja chmury 2 punktów wstecz (projekcja fuzji kolorów): Chmura punktów 3D zebrana przez LiDAR jest projekcjonowana na obraz 2D aparatu za pośrednictwem obliczonej matrycy zewnętrznej.Jeśli chmury punkt kolory na kontury słupów użyteczności, znaków drogowych i pojazdów są idealnie wyrównane z krawędziami obrazu, bez żadnych przesunięć lub niewłaściwego wyrównania, co wskazuje na doskonałą jakość kalibracji.

3 Badanie spatio-czasowej spójności: podczas jazdy dynamicznej prawdziwego pojazdu sprawdź, czy wykryte przez kamerę pudełko 3D, pudełko klasterowania chmur punktowych LiDAR, and the target point of the millimeter-wave radar for the same obstacle (such as the preceding vehicle) completely overlap in the Bird's Eye View (BEV) and do not undergo severe jitter due to vehicle bumps.