สร้างห้องปรับระดับระบบมองเห็นรถยนต์ที่ฉลาด / มุมมองรอบ 360 องศา

การปรับเทียบระบบการมองเห็นของยานพาหนะอัจฉริยะเป็นรากฐานที่สำคัญสำหรับการรับรู้ที่แม่นยำในการขับขี่อัตโนมัติและห้องนักบินอัจฉริยะ (เช่น มุมมองรอบทิศทาง 360 องศา) เนื่องจากกล้องจับภาพพิกเซลแบบสองมิติ ในขณะที่การตัดสินใจของยานพาหนะต้องใช้ตำแหน่งทางกายภาพจริงในพื้นที่สามมิติ (เช่น เส้นเลน ระยะห่างของสิ่งกีดขวาง) จึงจำเป็นต้องสร้างความสัมพันธ์การทำแผนที่ทางคณิตศาสตร์ของ "พิกัดพิกเซล พิกัดของกล้อง พิกัดของร่างกาย/พิกัดโลก" ผ่านการสอบเทียบ

กระบวนการสอบเทียบที่สมบูรณ์ของระบบวิชันซิสเต็มยานยนต์อัจฉริยะมักจะแบ่งออกเป็นสามมิติ ได้แก่ สายการผลิต/การสอบเทียบแบบคงที่ การสอบเทียบแบบไดนามิก/ออนไลน์ และการสอบเทียบข้อต่อหลายเซ็นเซอร์ ต่อไปนี้เป็นคำอธิบายโดยละเอียดเกี่ยวกับกระบวนการสอบเทียบหลัก:

1. การจำแนกประเภทของพารามิเตอร์การสอบเทียบหลัก

ก่อนที่จะเข้าสู่กระบวนการ เราจำเป็นต้องรู้ว่าการสอบเทียบคืออะไร:

พารามิเตอร์ที่แท้จริง: พิจารณาคุณสมบัติความบิดเบี้ยวทางเรขาคณิตและความยาวโฟกัสภายในเลนส์กล้อง ตัวอย่างเช่น ขจัดความผิดเพี้ยน "ฟิชอาย" ของเลนส์มุมกว้างและปรับภาพโค้งให้ตรง

พารามิเตอร์ภายนอก: กำหนดตำแหน่งและทิศทางเฉพาะของกล้องในระบบพิกัดของยานพาหนะ (พิกัด X, Y, Z ที่ติดตั้งและมุมมุ่งหน้าไปทางลาด หันเห ม้วนตัว)

2. สายการผลิต/กระบวนการสอบเทียบแบบคงที่ (รากฐานหลัก)

การสอบเทียบแบบคงที่มักจะดำเนินการในห้องสอบเทียบก่อนที่รถจะออกจากโรงงานหรือหลังการบำรุงรักษาที่ร้าน 4S สภาพแวดล้อมได้รับการควบคุมและมีความแม่นยำสูงมาก

(1) การเตรียมการและการจัดสภาพแวดล้อม

เครื่องมือสอบเทียบ: เตรียมกระดานสอบเทียบด้วยรูปแบบเรขาคณิตเฉพาะ (เช่น ตารางหมากรุก แผนภาพอาร์เรย์จุด หรือผ้าสอบเทียบพาโนรามาแบบพิเศษ)

ข้อกำหนดด้านสิ่งแวดล้อม: ตรวจสอบให้แน่ใจว่ามีแสงสว่างสม่ำเสมอและหลีกเลี่ยงการเปิดรับแสงมากเกินไปที่เกิดจากแสงจ้าหรือไม่สามารถแยกจุดคุณลักษณะของภาพได้เนื่องจากมีแสงน้อย

สถานะของยานพาหนะ: รถจอดอยู่บนพื้นผิวเรียบ โดยแรงดันลมยางจะปรับเป็นค่ามาตรฐาน และรถจะต้องอยู่กับที่จนสุด (เพื่อป้องกันระบบกันสะเทือนสั่น)

(2) การสอบเทียบพารามิเตอร์ภายใน (โดยปกติจะเสร็จสิ้นที่สถานที่ตั้งของซัพพลายเออร์หรือก่อนที่จะโหลด)

การรวบรวมข้อมูล: กล้องจะชี้ไปที่บอร์ดปรับเทียบและถ่ายภาพหลายภาพ (ปกติ 10-20 ภาพ) จากมุมและระยะทางที่ต่างกัน

การแก้ปัญหาอัลกอริทึม: อุตสาหกรรมโดยทั่วไปใช้วิธีการสอบเทียบของ Zhang Zhengyou อัลกอริธึมระบุจุดมุม (จุดคุณสมบัติ) บนบอร์ดปรับเทียบ และใช้เมทริกซ์ทางคณิตศาสตร์เพื่อแก้หาทางยาวโฟกัสของกล้อง (f_x, f_y) ตำแหน่งจุดหลัก (u-0, v-0) และสัมประสิทธิ์การบิดเบือน (การบิดเบือนในแนวรัศมีและวงสัมผัส)

(3) การสอบเทียบพารามิเตอร์ภายนอก (ต้องดำเนินการหลังจากโหลด)

แผนผังตำแหน่ง: วางแผ่นปรับเทียบหรือผ้าปรับเทียบอย่างแม่นยำในตำแหน่งสัมพัทธ์ที่ทราบรอบๆ ยานพาหนะ (โดยใช้สถานีรวมหรือเครื่องวัดระยะแบบเลเซอร์เพื่อระบุตำแหน่งของแผ่นปรับเทียบที่สัมพันธ์กับเพลาและเส้นกึ่งกลางของรถ)

การดึงคุณสมบัติ: กล้องต่างๆ ของยานพาหนะจะจับภาพที่มีแผ่นปรับเทียบ และอัลกอริธึมจะตรวจจับจุดคุณสมบัติที่สอดคล้องกันของแผ่นปรับเทียบในภาพโดยอัตโนมัติ (เช่น จุดมุมของผ้าปรับเทียบทั้งสี่ในระบบมุมมองรอบทิศทาง)

การคำนวณเมทริกซ์พารามิเตอร์ภายนอก: ขึ้นอยู่กับ "พิกัดพิกเซล" ของจุดต่างๆ ในภาพและ "พิกัดทางกายภาพจริง" ที่สัมพันธ์กับยานพาหนะในความเป็นจริง ให้คำนวณเมทริกซ์การหมุน R และเวกเตอร์การกระจัด T ของกล้องแต่ละตัวที่สัมพันธ์กับระบบพิกัดของยานพาหนะ

การประกบและการตรวจสอบ (โดยใช้มุมมองเซอร์ราวด์ 360 องศาเป็นตัวอย่าง): ใช้ข้อมูลภายนอกที่คำนวณได้เพื่อฉายภาพของกล้องทั้งสี่ตัว ทั้งด้านหน้า ด้านหลัง ด้านซ้าย และด้านขวา บนมุมมองมุมสูง (BEV) และตรวจสอบว่าช่องว่างการเย็บ (เช่น เส้นกราวด์) สอดคล้องกันหรือไม่ และมีแสงโกสต์ใดๆ หรือไม่

3. การสอบเทียบแบบไดนามิก/กระบวนการสอบเทียบออนไลน์ (ปรับให้เหมาะสมระหว่างการขับขี่)

ในระหว่างขั้นตอนการขับขี่รถยนต์ เนื่องจากการกระแทกในระยะยาว การเปลี่ยนแปลงของอุณหภูมิที่ทำให้เกิดการขยายตัวและการหดตัวจากความร้อน หรือการเปลี่ยนแปลงของโหลดของระบบกันสะเทือน กล้องภายนอกของกล้องจะเกิดการกระจัดเล็กน้อย การสอบเทียบออนไลน์สามารถบรรลุ "การสอบเทียบขณะขับรถ"

[การขับขี่ยานพาหนะ] ->[การตรวจจับลักษณะทางธรรมชาติ (เส้นช่องทางเดินรถ/ป้ายถนน)] ->[การแยกคุณลักษณะและการบูรณาการเข้ากับจลนศาสตร์] ->[การอัปเดตซ้ำแบบออนไลน์ของเมทริกซ์พารามิเตอร์ภายนอก]

(1) การเรียกและการแยกคุณสมบัติ

เมื่อยานพาหนะขับบนถนนปกติ เช่น ทางหลวงและสะพานลอยในเมือง อัลกอริธึมการมองเห็นจะดึงจุดลักษณะตามธรรมชาติจากสภาพแวดล้อมแบบเรียลไทม์ โดยที่ใช้กันมากที่สุดคือเครื่องหมายเลน (สมมติว่าเครื่องหมายเลนขนานและขยายไปจนถึงระยะอนันต์ที่ด้านหน้ารถ) และจุดที่หายไป

(2) การรวมเซ็นเซอร์หลายตัวและการประมาณค่าสถานะ

ด้วยการรวม IMU (หน่วยวัดแรงเฉื่อย) ของรถและเซ็นเซอร์ความเร็ว (เกจวัดความเร็วล้อ) เข้าด้วยกัน จะประเมินการเปลี่ยนแปลงทัศนคติของรถเอง

(3) การคำนวณซ้ำและการแก้ไข

อัลกอริธึม เช่น การกรองคาลมานหรือการปรับลำแสง (BA) ปรับแต่งอย่างต่อเนื่องและแก้ไขมุมเอียงและมุมเอียงของกล้องโดยการเปรียบเทียบการเปลี่ยนแปลงภาพระหว่างเฟรมปัจจุบันและเฟรมในอดีต รวมถึงข้อจำกัดทางเรขาคณิตของเส้นเลน เพื่อให้เกิดการรีเฟรชแบบไดนามิกที่ราบรื่น

4. กระบวนการสอบเทียบข้อต่อ (การจัดตำแหน่งเซ็นเซอร์กากบาท)

รถยนต์อัจฉริยะสมัยใหม่ไม่เพียงแต่มีกล้องเท่านั้น แต่ยังมี LiDAR และเรดาร์คลื่นมิลลิเมตรอีกด้วย จัดข้อมูลให้อยู่ในระบบพิกัดเชิงพื้นที่เดียวกันเพื่อทำการรับรู้ก่อนฟิวชั่น

นำกล้องไปที่ LiDAR (กล้องหน้าและการปรับเทียบ Lidar) เป็นตัวอย่าง:

(1) การได้มาซึ่งพื้นที่การมองเห็นทั่วไป: วางแผ่นปรับเทียบที่ออกแบบมาเป็นพิเศษ (โดยปกติจะมีรูปแบบการสะท้อนแสงสูงหรือรูปทรงเรขาคณิตเฉพาะ) ซึ่งสามารถจับภาพได้อย่างชัดเจนด้วยกล้องและสแกนด้วยเรดาร์เลเซอร์ที่ด้านหน้ารถ

(2) การแยกข้อมูล: แยกพิกัดพิกเซลของมุมหรือขอบของแผ่นปรับเทียบจากภาพ 2 มิติของกล้อง

แยกจุดคุณลักษณะเชิงพื้นที่สามมิติที่สอดคล้องกับแผ่นสอบเทียบจากพอยต์คลาวด์สามมิติของ LiDAR (โดยใช้ความเข้มการสะท้อนของพอยต์คลาวด์หรือการปรับระนาบ)

(3) การแก้ไขข้อจำกัด: ค้นหาการจับคู่ที่ดีที่สุดระหว่างจุดคุณลักษณะสองชุด ใช้อัลกอริธึมการปรับให้เหมาะสม เช่น กำลังสองน้อยที่สุด และคำนวณเมทริกซ์การแปลง 3D เป็น 2D จากระบบพิกัด LiDAR ไปยังระบบพิกัดของกล้อง

(4) การตรวจสอบเอฟเฟกต์การจัดตำแหน่ง: ฉายภาพเมฆจุดสีของ LiDAR บนภาพของกล้อง และสังเกตว่ารูปร่างของเมฆจุดนั้นพอดีกับวัตถุ เช่น ยานพาหนะ อาคาร และยานพาหนะในภาพอย่างสมบูรณ์แบบหรือไม่

5. การตรวจสอบผลการสอบเทียบและการประเมินคุณภาพ

หลังจากการสอบเทียบเสร็จสิ้น จะต้องได้รับการประเมินตัวบ่งชี้อย่างเข้มงวดก่อนจึงจะสามารถนำไปใช้ทางธุรกิจได้:

ข้อผิดพลาดในการฉายซ้ำ: จุดเชิงพื้นที่ 3 มิติที่คำนวณได้จะถูกฉายกลับเข้าไปในภาพ 2 มิติอีกครั้งโดยใช้พารามิเตอร์การปรับเทียบ และค่าเบี่ยงเบนจากจุดพิกเซลจริงในภาพจะถูกคำนวณ ในการขับขี่แบบอัตโนมัติ ข้อผิดพลาดในการฉายภาพโดยเฉลี่ยจะต้องน้อยกว่า 0.5 ถึง 1 พิกเซล

การตรวจสอบความเสถียรของพารามิเตอร์: ตรวจสอบว่าความสัมพันธ์ทางเรขาคณิตสัมพัทธ์ระหว่างกล้องส่องทางไกลด้านซ้ายและขวาหรือกล้องมองภาพรอบทิศทางสอดคล้องกับสามัญสำนึกที่เข้มงวดของโครงสร้างทางกล เพื่อป้องกันไม่ให้อัลกอริทึมติดอยู่ในโซลูชันที่เหมาะสมที่สุดในท้องถิ่นและคำนวณพารามิเตอร์ที่ "ผิดรูป"