การปรับระดับการหลอมรวมหลายเซนเซอร์สําหรับยานที่มีความฉลาด

การสอบเทียบฟิวชันหลายเซ็นเซอร์ของยานพาหนะอัจฉริยะเป็นขั้นตอนสำคัญสำหรับระบบขับเคลื่อนอัตโนมัติเพื่อให้ได้ "การซิงโครไนซ์เชิงพื้นที่" และ "การซิงโครไนซ์เวลา" เรดาร์เลเซอร์ (LiDAR) กล้อง เรดาร์คลื่นมิลลิเมตร (เรดาร์) และหน่วยวัดแรงเฉื่อย/ระบบดาวเทียมนำทางทั่วโลก (IMU/GNSS) ต่างก็มีระบบพิกัดที่เป็นอิสระของตัวเอง วัตถุประสงค์ของการสอบเทียบฟิวชันคือการคำนวณความสัมพันธ์ของตำแหน่งสัมพัทธ์และการวางแนว (เมทริกซ์ภายนอก) ระหว่างสิ่งเหล่านี้ ช่วยให้ยานพาหนะสามารถซ้อนทับภาพสองมิติที่ "มองเห็น" ได้อย่างสมบูรณ์แบบ จุดสามมิติที่ "สแกน" ซ้อนเมฆ และความเร็วและระยะทางที่ "วัด" ได้อย่างสมบูรณ์แบบ

ต่อไปนี้เป็นกระบวนการหลักและวิธีการทั่วไปสำหรับการสอบเทียบฟิวชันหลายเซ็นเซอร์ในยานพาหนะอัจฉริยะ:

1. การเตรียมแกนก่อนการสอบเทียบ

ก่อนที่จะเริ่มการคำนวณทางคณิตศาสตร์ จำเป็นต้องตรวจสอบให้แน่ใจว่าฮาร์ดแวร์และสภาพแวดล้อมอยู่ในสถานะมาตรฐาน:

(1) การจัดตำแหน่งการประทับเวลา (การซิงโครไนซ์เวลา): นี่เป็นข้อกำหนดเบื้องต้นสำหรับการสอบเทียบเชิงพื้นที่ โดยทั่วไป PTP (Gigabit Ethernet Time Synchronization Protocol) หรือพัลส์วินาที GPS/PPS ใช้เพื่อจัดเวลาสุ่มตัวอย่างของเซ็นเซอร์ทั้งหมดให้อยู่ในระดับไมโครวินาที เพื่อให้แน่ใจว่า "พวกเขามองเห็นโลกในเวลาเดียวกัน"

(2) การตรวจสอบสถานะของยานพาหนะ: ยานพาหนะจะจอดอยู่ในห้องสอบเทียบแนวนอนมาตรฐาน โดยมีแรงดันลมยางและระบบกันสะเทือนที่น้ำหนักมาตรฐาน และรถอยู่กับที่โดยสมบูรณ์

(3) การปรับใช้วัตถุสอบเทียบ: ตามข้อกำหนดในการสอบเทียบ ให้จัดเตรียมวัตถุสอบเทียบที่ทำขึ้นเป็นพิเศษรอบๆ ยานพาหนะ

(4) วัตถุสอบเทียบทั่วไป: แผ่นสอบเทียบที่มีรูปแบบการสะท้อนแสงสูง กล่อง 3 มิติ ทรงกระบอก หรือตัวสะท้อนแสงสามเหลี่ยมที่ทำขึ้นเป็นพิเศษ (โดยทั่วไปใช้สำหรับเรดาร์คลื่นมิลลิเมตร)

2. การจำแนกประเภทของกระบวนการสอบเทียบแกนฟิวชั่น

โดยปกติแล้ว การสอบเทียบฟิวชั่นจะดำเนินการตาม "การจัดตำแหน่งแบบคู่" ของการผสมเซ็นเซอร์ และท้ายที่สุดจะรวมเซ็นเซอร์เหล่านั้นเข้ากับระบบพิกัดลิงก์ของยานพาหนะ/ฐาน

(1) การสอบเทียบร่วมของ LiDAR และกล้อง (LiDAR-to-Camera)

นี่คือการสอบเทียบหลักสำหรับการขับขี่อัตโนมัติ ซึ่งใช้เพื่อให้ได้การรวมพอยต์คลาวด์และรูปภาพ (คลาวด์พอยต์สี) เข้าด้วยกันล่วงหน้า

[แยกจุดคุณสมบัติ 2D ออกจากภาพ] ──┐

├─> [ค้นหาการติดต่อ] ├─> [ลดข้อผิดพลาดในการฉายซ้ำให้เหลือน้อยที่สุด] ├─> [เอาท์พุตเมทริกซ์ภายนอก [R|T]]

[แยกจุดคุณสมบัติ 3D ออกจากพอยต์คลาวด์] ──┘

1 การแยกคุณสมบัติ:

ด้านกล้อง: อัลกอริธึมระบุพิกัด ((u, v)) ของมุม ขอบ หรือพิกเซลกลางของบอร์ดปรับเทียบในภาพสองมิติ

ด้าน LiDAR: อัลกอริธึมจะแยกพิกัด ((X, Y, Z)) ของขอบหรือจุดกึ่งกลางของบอร์ดสอบเทียบในพื้นที่สามมิติโดยอิงตามความเข้มของการสะท้อนของพอยต์คลาวด์ (หรือการปรับระนาบเรขาคณิต)

เฉลยทางคณิตศาสตร์: นี่เป็นปัญหาทั่วไปของ Perspective-n-Point (PnP) 3 มิติถึง 2 มิติ การใช้วิธีกำลังสองน้อยที่สุดหรือการเพิ่มประสิทธิภาพแบบไม่เชิงเส้น จะคำนวณเมทริกซ์การหมุน R และเวกเตอร์การแปล T

3 การจัดตำแหน่งแบบออนไลน์/ไดนามิก: ในระหว่างการขับขี่ในแต่ละวัน โดยใช้คุณลักษณะตามธรรมชาติ เช่น เสาไฟฟ้าทั้งสองด้านของถนนและขอบอาคาร การจัดตำแหน่งระหว่างขอบภาพและขอบเมฆจุดจะได้รับการปรับให้เหมาะสม (เช่น การใช้วิธีการให้ข้อมูลร่วมกัน) เพื่อปรับแต่งพารามิเตอร์ภายนอกแบบเรียลไทม์

(2) การสอบเทียบร่วมของ LiDAR และเรดาร์คลื่นมิลลิเมตร (LiDAR-to-Radar)

เรดาร์คลื่นมิลลิเมตรสามารถวัดความเร็วได้และมีการเจาะทะลุที่แข็งแกร่ง แต่พอยต์คลาวด์ของมันก็เบาบางและมีเสียงดังมาก เมฆพอยต์ LiDAR มีความหนาแน่นสูง เป้าหมายของพวกเขาคือการบรรลุ "การจัดแนววิถีเชิงพื้นที่"

①วิธีการคงที่ (ห้องสอบเทียบ): วางตัวสะท้อนแสงมุมที่มีการสะท้อนแสงสูงในตำแหน่งเฉพาะ เรดาร์คลื่นมิลลิเมตรจะปรากฏเป็นจุดสัญญาณที่แรงบนแผนที่พลังงาน และลิดาร์ยังสามารถระบุรูปร่างสามมิติของตัวสะท้อนแสงที่มุมได้อย่างแม่นยำ พารามิเตอร์ภายนอกคำนวณโดยการจับคู่จุดศูนย์กลางของทั้งสอง

2 วิธีการแบบไดนามิก (การขับขี่บนถนน): ยานพาหนะขับเคลื่อนบนถนนเปิด ติดตามเป้าหมายที่กำลังเคลื่อนที่ไปข้างหน้า (เช่น รถคันอื่น) การใช้อัลกอริธึมเช่นตัวกรองคาลมาน วิถีโคจรของวัตถุที่ LiDAR ติดตามและวิถีของจุดไดนามิกที่วัดโดยเรดาร์คลื่นมิลลิเมตรจะถูกจับคู่ และพารามิเตอร์ภายนอกได้รับการแก้ไขผ่านความสัมพันธ์ของวิถีโคจร

3. การสอบเทียบร่วมของ LiDAR/กล้อง และหน่วยวัดแรงเฉื่อย (เซ็นเซอร์ถึง IMU)

จัดแนวเซ็นเซอร์รับรู้ให้สอดคล้องกับจลนศาสตร์ของยานพาหนะเพื่อแก้ไขปัญหา "วิธีชดเชยเซ็นเซอร์ระหว่างที่รถสั่นและการชน"

1 วิธีการปรับเทียบด้วยมือและตา: เป็นของการแก้ปัญหาเมทริกซ์ AX = XB ทั่วไป

2 กระบวนการปรับเทียบ: ยานพาหนะได้รับคำสั่งให้ปฏิบัติตามวิถีเฉพาะ (เช่น การขับขี่ในรูปแบบ "8" การเร่งความเร็วและลดความเร็วบ่อยครั้ง และการเลี้ยว) IMU บันทึกความเร็วเชิงมุมและความเร่งของยานพาหนะแบบเรียลไทม์เพื่อประเมินวิถีการเคลื่อนที่ของมันเอง ในเวลาเดียวกัน LiDAR จะประมาณวิถีการเคลื่อนที่ผ่านการวัดระยะทางแบบพอยต์คลาวด์ (LOAM) หรือกล้องจะประมาณวิถีการเคลื่อนที่ผ่านการวัดระยะทางด้วยการมองเห็น (VO)

3 วิธีแก้ไข: อัลกอริธึมจะคำนวณตำแหน่งสัมพัทธ์ของเซ็นเซอร์เทียบกับ IMU โดยการจัดแนวการหมุนและการกระจัดของวิถีการเคลื่อนที่ทั้งสองนี้

3. การดีบักข้อต่อแบบรวมและการควบคุมแบบวงปิดของเซ็นเซอร์หลายตัว

หลังจากการสอบเทียบแบบคู่ทั้งหมดเสร็จสิ้นแล้ว จำเป็นต้องมีการเพิ่มประสิทธิภาพวงปิดส่วนกลาง:

(1) รวมระบบพิกัด: แปลงพารามิเตอร์ภายนอกสัมพัทธ์ทั้งหมดเป็นระบบพิกัดศูนย์กลางตัวถัง (เช่น จุดที่ศูนย์กลางเพลาล้อหลังฉายลงบนพื้น)

(2) การตรวจสอบความสอดคล้องของข้อผิดพลาด: ตรวจสอบให้แน่ใจว่ามีการวนรอบปิดในห่วงโซ่การส่งกำลัง ตัวอย่างเช่น ตำแหน่ง IMU ที่คำนวณจาก IMU ของ LiDAR ightarrow ของกล้อง IMU ควรสอดคล้องกับผลลัพธ์ที่คำนวณโดยตรงจาก IMU ของ LiDAR ightarrow หากมีความคลาดเคลื่อน ให้ทำการปรับเปลี่ยนโดยรวมบนเครือข่ายโทโพโลยีทั้งหมดโดยใช้การปรับกราฟให้เหมาะสม

IV. การประเมินคุณภาพการสอบเทียบและการตรวจสอบผลกระทบ

หลังการสอบเทียบ จะต้องใช้ตัวบ่งชี้เชิงปริมาณที่เข้มงวดเพื่อตรวจสอบความถูกต้อง:

1 วิธีการเปรียบเทียบค่าจริง: ด้วยความช่วยเหลือจากสถานีรวมหรือตัวติดตามเลเซอร์ที่มีความแม่นยำสูง การวัดตำแหน่งสัมบูรณ์ทางกายภาพของจุดที่ทำเครื่องหมายไว้บนตัวเรือนเซ็นเซอร์แต่ละตัวในระบบพิกัดตัวถังรถด้วยตนเอง และเปรียบเทียบกับเมทริกซ์พารามิเตอร์ภายนอกที่คำนวณโดยอัลกอริธึม ข้อกำหนดทั่วไปสำหรับความแม่นยำของพารามิเตอร์ภายนอกคือ: ข้อผิดพลาดของระยะทาง < 1~2 ซม., ข้อผิดพลาดของมุม < 0.1°~0.2°

2 การฉายภาพพอยต์คลาวด์แบ็ค (การฉายภาพฟิวชั่นสี): พอยต์คลาวด์ 3 มิติที่รวบรวมโดย LiDAR จะถูกฉายลงบนภาพ 2 มิติของกล้องผ่านเมทริกซ์ภายนอกที่คำนวณได้ หากสีของ point cloud ที่รูปทรงของเสาไฟฟ้า ป้ายถนน และยานพาหนะอยู่ในแนวเดียวกับขอบภาพอย่างสมบูรณ์ โดยไม่มีการเคลื่อนตัวหรือแนวที่ไม่ตรง แสดงว่ามีคุณภาพการสอบเทียบที่ดีเยี่ยม

3 การทดสอบความสอดคล้องเชิงพื้นที่ชั่วคราว: ในระหว่างการขับขี่แบบไดนามิกของยานพาหนะจริง ให้ตรวจสอบว่ากล่อง 3D ที่กล้องตรวจพบ กล่องการจัดกลุ่มพอยต์คลาวด์ของ LiDAR และจุดเป้าหมายของเรดาร์คลื่นมิลลิเมตรสำหรับสิ่งกีดขวางเดียวกัน (เช่น รถคันหน้า) ซ้อนทับกันอย่างสมบูรณ์ใน Bird's Eye View (BEV) และไม่เกิดอาการกระวนกระวายใจอย่างรุนแรงเนื่องจากการชนของยานพาหนะ