Akıllı araçlar için çoklu sensörlü füzyon kalibrasyonu

Akıllı araçların çoklu sensör füzyon kalibrasyonu, otomatik sürüş sisteminin "uzaysal senkronizasyon" ve "zamansal senkronizasyon" elde etmesi için çok önemli bir adımdır. Lazer radar (LiDAR), kamera, milimetre dalga radarı (Radar) ve eylemsiz ölçüm birimi/küresel navigasyon uydu sisteminin (IMU/GNSS) her birinin kendi bağımsız koordinat sistemleri vardır. Füzyon kalibrasyonunun amacı, aracın "gördüğü" iki boyutlu görüntüleri, "taradığı" üç boyutlu nokta bulutlarını ve "ölçtüğü" hız ve mesafeyi mükemmel bir şekilde üst üste bindirmesine olanak tanıyarak aralarındaki göreceli konum ve yönelim ilişkisini (dışsal matris) hesaplamaktır.

Akıllı araçlarda çoklu sensör füzyon kalibrasyonuna yönelik temel süreçler ve ana yöntemler aşağıda verilmiştir:

1. Kalibrasyondan önce çekirdek hazırlığı

Matematiksel hesaplamalara başlamadan önce donanımın ve ortamın standart durumda olduğundan emin olmak gerekir:

(1)Zaman damgası hizalaması (zaman senkronizasyonu): Bu, mekansal kalibrasyonun ön şartıdır. Tipik olarak PTP (Gigabit Ethernet Zaman Senkronizasyon Protokolü) veya GPS/PPS ikinci darbesi, tüm sensörlerin örnekleme zamanını mikrosaniye düzeyine hizalamak ve "dünyayı aynı anda görmelerini" sağlamak için kullanılır.

(2) Araç durum denetimi: Araç, standart yüklerde lastik basıncı ve süspansiyonla standart bir yatay kalibrasyon odasına park edilir ve araç tamamen sabittir.

(3) Kalibrasyon nesnelerinin yerleştirilmesi: Kalibrasyon gerekliliklerine göre, özel olarak yapılmış kalibrasyon nesnelerini aracın çevresine yerleştirin.

(4) Ortak kalibrasyon nesneleri: yüksek yansıtma modellerine sahip kalibrasyon plakaları, 3 boyutlu kutular, silindirler veya özel olarak yapılmış üçgen reflektörler (genellikle milimetre dalga radarı için kullanılır).

2. Çekirdek füzyon kalibrasyon işlemlerinin sınıflandırılması

Füzyon kalibrasyonu tipik olarak sensör kombinasyonlarının "ikili hizalanmasına" dayalı olarak gerçekleştirilir ve sonuçta bunları araç/temel bağlantı koordinat sisteminde birleştirir.

(1) LiDAR ve kameranın ortak kalibrasyonu (LiDAR'dan Kameraya)

Bu, nokta bulutu ile görüntünün (renk nokta bulutu) ön birleşimini elde etmek için kullanılan, otonom sürüşe yönelik temel kalibrasyondur.

[Görüntüden 2B özellik noktalarını çıkarın] ──┐

├─> [Yazışma ara] ├─> [Yeniden yansıtma hatasını en aza indirin] ├─> [Çıktı dışsal matrisi [R|T]]

[Nokta bulutundan 3B özellik noktalarını çıkarın] ──┘

① Özellik çıkarma:

Kamera tarafı: Algoritma, iki boyutlu görüntüdeki kalibrasyon panosunun köşelerinin, kenarlarının veya merkezi piksellerinin koordinatlarını ((u, v)) tanımlar.

LiDAR tarafı: Algoritma, nokta bulutunun (veya geometrik düzlem uydurmanın) yansıma yoğunluğuna bağlı olarak kalibrasyon panosunun kenarlarının veya merkez noktalarının koordinatlarını ((X, Y, Z)) üç boyutlu uzayda çıkarır.

② Matematiksel çözüm: Bu tipik bir 3B'den 2B'ye Perspektif-n-Nokta (PnP) problemidir. En küçük kareler yöntemi veya doğrusal olmayan optimizasyon kullanılarak, dönme matrisi R ve öteleme vektörü T hesaplanır.

③ Çevrimiçi/dinamik hizalama: Günlük sürüş sırasında, yolun her iki tarafındaki elektrik direkleri ve bina kenarları gibi doğal özellikler kullanılarak, dışsal parametrelere gerçek zamanlı olarak ince ayar yapmak için görüntü kenarları ve nokta bulutu kenarları arasındaki hizalama optimize edilir (örneğin, karşılıklı bilgi yöntemi kullanılarak).

(2)LiDAR ve milimetre dalga radarının (LiDAR'dan Radara) ortak kalibrasyonu

Milimetre dalga radarı hızı ölçebilir ve güçlü bir nüfuza sahiptir, ancak nokta bulutu son derece seyrek ve gürültülüdür; LiDAR nokta bulutu yoğundur. Amaçları "uzaysal yörünge hizalaması" elde etmektir.

①Statik yöntem (kalibrasyon odası): Belirli bir konuma yüksek yansıtıcılığa sahip bir köşe reflektörü yerleştirin. Milimetre dalga radarı, enerji haritasında güçlü bir sinyal noktası olarak görünür ve Lidar, köşe reflektörünün üç boyutlu konturunu da doğru bir şekilde tanımlayabilir. Dış parametreler, ikisinin merkez noktaları eşleştirilerek hesaplanır.

② Dinamik yöntem (yolda sürüş): Araç, ilerideki hareketli bir hedefi (başka bir araç gibi) takip ederek açık bir yolda ilerler. Kalman Filtresi gibi algoritmalar kullanılarak LiDAR tarafından takip edilen nesnenin yörüngesi ile milimetre-dalga radarı tarafından ölçülen dinamik noktanın yörüngesi eşleştirilmekte ve dış parametreler yörünge korelasyonu yoluyla çözülmektedir.

3. LiDAR/kamera ve atalet ölçüm ünitesinin ortak kalibrasyonu (Sensörden IMU'ya)

"Aracın sarsılması ve çarpmalar sırasında sensörün nasıl telafi edileceği" sorununu çözmek için algılama sensörünü araç kinematiğiyle hizalayın.

① El-göz kalibrasyon yöntemi: Tipik AX = XB matris çözme problemine aittir.

② Kalibrasyon süreci: Araca belirli bir yörüngeyi takip etmesi talimatı verilir ("8" şeklinde sürüş yapmak, sık hızlanma ve yavaşlama yaşamak ve dönüş yapmak gibi). IMU, kendi hareket yörüngesini tahmin etmek için aracın açısal hızını ve ivmesini gerçek zamanlı olarak kaydeder. Eş zamanlı olarak LiDAR, nokta bulutu odometrisi (LOAM) aracılığıyla bir hareket yörüngesini tahmin eder veya kamera, görsel odometri (VO) aracılığıyla bir hareket yörüngesini tahmin eder.

③ Çözüm: Algoritma, bu iki hareket yörüngesinin dönüşünü ve yer değiştirmesini hizalayarak sensörün IMU'ya göre göreceli konumunu hesaplar.

3. Birden fazla sensörün entegre ortak hata ayıklaması ve kapalı döngü kontrolü

Tüm ikili kalibrasyonlar tamamlandıktan sonra küresel kapalı döngü optimizasyonu gerekir:

(1) Koordinat sistemini birleştirin: Tüm ilgili harici parametreleri gövde merkezi koordinat sistemine dönüştürün (arka aks merkezinin yere yansıtıldığı nokta gibi).

(2)Hata tutarlılığı kontrolü: İletim zincirinde kapalı bir döngü sağlayın. Örneğin, LiDAR ightarrow Camera ightarrow IMU'dan hesaplanan IMU konumu, doğrudan LiDAR ightarrow IMU'dan hesaplanan sonuçla tutarlı olmalıdır. Bir tutarsızlık varsa grafik optimizasyonunu kullanarak topolojik ağın tamamında genel ayarlama yapın.

IV. Kalibrasyon kalite değerlendirmesi ve etki doğrulaması

Kalibrasyondan sonra doğruluğunu doğrulamak için katı niceliksel göstergeler kullanılmalıdır:

①Gerçek değer karşılaştırma yöntemi: Yüksek hassasiyetli, geniş aralıklı bir total station veya lazer takip cihazı yardımıyla, araç gövdesi koordinat sistemindeki her bir sensör yuvası üzerindeki işaretli noktaların fiziksel mutlak konumlarını manuel olarak ölçün ve bunları algoritma tarafından hesaplanan dışsal parametre matrisiyle karşılaştırın. Dışsal parametre doğruluğu için tipik gereksinimler şunlardır: mesafe hatası < 1~2 cm, açı hatası < 0,1°~0,2°.

② Nokta bulutu geri projeksiyonu (renk füzyon projeksiyonu): LiDAR tarafından toplanan 3 boyutlu nokta bulutu, hesaplanan dışsal matris yoluyla kameranın 2 boyutlu görüntüsüne yansıtılır. Elektrik direklerinin, sokak tabelalarının ve araçların konturlarındaki nokta bulutu renkleri herhangi bir yer değiştirme veya yanlış hizalama olmadan görüntü kenarlarıyla mükemmel şekilde hizalanmışsa, bu mükemmel kalibrasyon kalitesini gösterir.

③ Uzaysal-zamansal tutarlılık testi: Gerçek bir aracın dinamik sürüşü sırasında, kamera tarafından algılanan 3 boyutlu kutunun, LiDAR'ın nokta bulut kümeleme kutusunun ve aynı engel için (öndeki araç gibi) milimetre dalga radarının hedef noktasının Kuş Bakışı Görünümde (BEV) tamamen örtüşüp örtüşmediğini ve araç çarpmaları nedeniyle ciddi titremeye maruz kalıp kalmadığını kontrol edin.