สร้างห้องปรับระดับระบบมองเห็นรถยนต์ที่ฉลาด / มุมมองรอบ 360 องศา

การปรับระดับระบบภาพของยานพาหนะที่มีสติปัญญาเป็นรากฐานสําหรับการรับรู้ที่แม่นยําในการขับขี่อิสระและห้องนั่งเครื่องที่มีสติปัญญา (เช่น 360 องศาชมรอบ ๆ)เนื่องจากกล้องถ่ายภาพได้พิกเซลสองมิติขณะที่การตัดสินใจของรถยนต์ต้องใช้ตําแหน่งทางกายภาพจริงในพื้นที่สามมิติ (เช่นเส้นทางทางรถยนต์ ระยะทางอุปสรรค)มันจําเป็นที่จะกําหนดความสัมพันธ์การแผนที่ทางคณิตศาสตร์ของ "พิกเซลสานสัมพันธ์กล้องสานสัมพันธ์ร่างกายสานสัมพันธ์/สานสัมพันธ์โลก" ผ่านการปรับขนาด.

กระบวนการปรับขนาดครบถ้วนของระบบมองเห็นในรถยนต์ที่ฉลาดมักจะแบ่งออกเป็นสามมิติ: การปรับขนาดสายการผลิต / การปรับขนาดสถิติ, การปรับขนาดแบบไดนามิก / ออนไลน์และการปรับขนาดสาน multi-sensorต่อไปนี้คือการอธิบายรายละเอียดของกระบวนการปรับระดับแกน:

กรณี บริษัท ล่าสุดเกี่ยวกับ สร้างห้องปรับระดับระบบมองเห็นรถยนต์ที่ฉลาด / มุมมองรอบ 360 องศา

1การจัดหมวดหมู่ปารามิเตอร์การปรับระดับแกน

ก่อนที่จะเข้าสู่กระบวนการ เราจําเป็นต้องรู้ว่าการปรับขนาดคืออะไร

ปริมาตรภายใน: กําหนดความสับสนทางกณิตศาสตร์และคุณสมบัติความยาวโฟกัสภายในเลนส์กล้องการกําจัดความบิดเบือนของ "ตาปลา" ของเลนส์มุมกว้าง และการชัดเจนภาพโค้ง.

ปริมาตรภายนอก: กําหนดตําแหน่งและทิศทางเฉพาะของกล้องในระบบพิกัดรถยนต์ (พิกัด X, Y, Z และมุมโค้ดที่ติดตั้ง Pitch, Yaw, Roll)

2.สายการผลิต / กระบวนการปรับระดับสแตตติก (พื้นฐานหลัก)

การปรับขนาดสแตตติกมักจะดําเนินการในห้องปรับขนาด ก่อนรถออกจากโรงงานหรือหลังจากการบํารุงรักษาที่ร้าน 4Sสิ่งแวดล้อมถูกควบคุม และความแม่นยําสูงสุด.

(1) การเตรียมและการจัดตั้งสิ่งแวดล้อม

เครื่องมือการปรับขนาด: เตรียมแผ่นปรับขนาดที่มีรูปแบบทางกณิตศาสตร์เฉพาะเจาะจง (เช่นแผ่นหมากรุก, แผนการเรียงจุด, หรือผ้าปรับขนาดแบบพานารามีเฉพาะเจาะจง)

ความต้องการด้านสิ่งแวดล้อม: ให้แน่ใจว่ามีแสงสว่างที่เท่าเทียมกัน และหลีกเลี่ยงการเผยแพร่เกินที่เกิดจากแสงที่แรงหรือความไม่สามารถที่จะสกัดจุดลักษณะของภาพเพราะแสงที่ต่ํา

สถานะของรถยนต์: รถยนต์จอดอยู่บนพื้นที่เรียบ, ความดันยางถูกปรับให้เป็นค่ามาตรฐาน, และรถยนต์ต้องหยุดโดยสิ้นเชิง (เพื่อป้องกันการสั่นของยางแขวน)

(2) การปรับปรุงปริมาตรภายใน (มักจะเสร็จสิ้นที่สถานที่ของผู้จําหน่ายหรือก่อนการบรรทุก)

การรวบรวมข้อมูล: กล้องชี้ไปที่บอร์ดปรับขนาด และถ่ายรูปหลายรูป (มักจะ 10-20) จากมุมและระยะทางที่แตกต่างกัน

การแก้ไขอัลกอริทึม: อุตสาหกรรมโดยทั่วไปใช้วิธีการปรับระดับ Zhang Zhengyouอัลกอริทึมระบุจุดมุม (จุดลักษณะ) บนบอร์ดการปรับและใช้เมทริกซ์คณิตศาสตร์เพื่อแก้ความยาวแกร่งของกล้อง (f_x, f_y), ตําแหน่งจุดหลัก (u-0, v-0) และปริมาณการบิดเบือน (บิดเบือนทางรัศมีและทางสัมผัส)

(3) การปรับปรุงปริมาตรภายนอก (ต้องดําเนินการหลังการบรรทุก)

การจัดวางสถานที่: Place the calibration plate or calibration cloth accurately at known relative positions around the vehicle (using a total station or laser rangefinder to determine the position of the calibration plate relative to the vehicle axle and centerline).

การสกัดลักษณะ: กล้องต่างๆ ของรถยนต์จับภาพที่มีแผ่นการปรับขนาดและอัลกอริธึมจะตรวจจับจุดที่เกี่ยวข้องของแผ่นการปรับขนาดในภาพโดยอัตโนมัติ (เช่นจุดมุมของผ้าปรับขนาดสี่แผ่นในระบบภาพรอบ ๆ).

การคํานวณเมทริกซ์ปารามิเตอร์ภายนอก: โดยใช้ "พิกเซลพิกเซล" ของจุดในภาพ และ "พิกเซลพิกเซลฟิสิกส์จริง" ของพวกมัน เทียบกับยานในความเป็นจริงคํานวณเมทริกซ์การหมุน R และเวกเตอร์การย้าย T ของกล้องแต่ละตัว เทียบกับระบบพิกัดของยาน.

การผสมผสานและตรวจสอบ (ใช้ภาพรอบ 360 องศาเป็นตัวอย่าง): ใช้ extrinsic ที่คํานวณเพื่อโปรเจ็คต์ภาพของกล้องทั้ง 4 เครื่องหน้า, หลัง, ซ้าย, และขวาในมุมมองของสายตานก (BEV), และตรวจสอบว่าช่องว่างการเย็บ (เช่นเส้นพื้น) ถูกตรงกันหรือไม่และถ้ามีผีใด ๆ

3. กระบวนการปรับขนาดแบบไดนามิก / การปรับขนาดออนไลน์ (ปรับปรุงระหว่างขับรถ)

ระหว่างกระบวนการขับรถของรถยนต์ เนื่องจากการบัมบ์ระยะยาว, การเปลี่ยนแปลงอุณหภูมิที่ทําให้การขยายและการหดตัวของความร้อน, หรือการเปลี่ยนแปลงภาระการแขวนกล้องกล้องภายนอกของกล้องจะพบกับการขยับเล็กน้อยการปรับระดับออนไลน์สามารถบรรลุ "การปรับระดับระหว่างขับรถ"

[การขับรถ] ->[การตรวจหาลักษณะธรรมชาติ (เส้นทางรถไฟ / สัญญาณทาง) ] -> [การสกัดลักษณะและบูรณาการกับคินีเมติก] -> [การอัพเดทแบบออนไลน์ของเมทริกซ์ปารามิเตอร์ภายนอก]

(1) การกระตุ้นและการสกัดลักษณะ

เมื่อรถยนต์ขับรถบนถนนปกติ เช่น ทางด่วนและทางข้ามเมือง อัลการิทึมภาพจะสกัดจุดลักษณะธรรมชาติจากสภาพแวดล้อมในเวลาจริงโดยที่ใช้กันทั่วไปที่สุดคือ การตราลานทางรถ (สมมุติว่า การตราลานทางรถเป็นแนวขนานและยืดไปจนถึงความไม่จํากัดด้านหน้าของรถยนต์) และจุดหลบหนี.

(2) การผสมผสานหลายเซนเซอร์และการประเมินสถานะ

โดยรวม IMU ของรถยนต์ (Inertial Measurement Unit) และเซ็นเซอร์ความเร็ว (Wheel Speed Gauge) คาดคะเนการเปลี่ยนแปลงท่าทางของรถยนต์เอง

(3) การคํานวณและการแก้ไขแบบซ้ํา

Algorithms such as Kalman filtering or beam based adjustment (BA) continuously fine tune and correct the pitch and yaw angles of the camera by comparing the image changes between the current frame and historical frames, รวมถึงข้อจํากัดทางกณิตศาสตร์ของเส้นทางทางรถยนต์ เพื่อให้เกิดการปรับปรุงแบบไดนามิกที่เรียบร้อย

4. กระบวนการปรับสัดส่วนร่วม (การจัดสรรเซนเซอร์ข้าม)

รถที่ทันสมัยที่มีสมาร์ทไม่เพียงแต่มีกล้อง แต่ยังมี LiDAR และเรดาร์คลื่นมิลลิเมตร

การนํากล้องไป LiDAR (กล้องหน้าและการปรับระดับ Lidar) เป็นตัวอย่าง:

(1) การประกอบพื้นที่มองเห็นร่วมกัน Place a specially designed calibration plate (usually with high reflectivity patterns or specific geometric shapes) that can be captured clearly by a camera and scanned by a laser radar in front of the car.

(2) การสกัดข้อมูล: สกัดพิกเซลพิกเซลของมุมหรือขอบของแผ่นการปรับจากภาพ 2 มิติของกล้อง

Extract the three-dimensional spatial feature points corresponding to the calibration plate from the three-dimensional point cloud of the LiDAR (using point cloud reflection intensity or plane fitting).

(3) การแก้ไขข้อจํากัด: ค้นหาความเหมาะสมที่ดีที่สุดระหว่างสองชุดของจุดลักษณะ, ใช้อัลการิทึมการปรับปรุง เช่น สี่เหลี่ยมน้อยที่สุด,และคํานวณเมทริกซ์การแปลง 3 มิติเป็น 2 มิติ จากระบบพิกัด LiDAR ไปยังระบบพิกัดกล้อง.

(4) การตรวจสอบอิทธิพลการสอดคล้อง: โปรเจ็คต์เมฆจุดสีของ LiDAR บนภาพของกล้องและสังเกตว่าเส้นผ่าของเมฆจุดตรงกับวัตถุอย่างสมบูรณ์แบบ เช่นยานพาหนะ, อาคารและยานพาหนะในภาพ

5. การตรวจสอบผลการปรับขนาดและการประเมินคุณภาพ

หลังจากการปรับระดับเสร็จสิ้น มันต้องผ่านการประเมินตัวชี้วัดอย่างเข้มข้น ก่อนที่จะนําไปใช้ในธุรกิจ

ความผิดพลาดการออกแบบใหม่: จุดพื้นที่ 3 มิติที่คํานวณถูกออกแบบใหม่ในภาพ 2 มิติโดยใช้ปริมาตรการปรับขนาด และการเบี่ยงเบนจากจุดพิกเซลจริงในภาพถูกคํานวณในการขับขี่แบบอิสระ, ความผิดพลาดการฉายใหม่โดยเฉลี่ยมจําเป็นต้องต่ํากว่า 0.5 ถึง 1 พิกเซล

การตรวจสอบความมั่นคงของพารามิเตอร์:ตรวจสอบว่าความสัมพันธ์ทางกณิตศาสตร์ที่สัมพันธ์ระหว่างกล้องกล้องสายตาซ้ายและขวา หรือกล้องภาพรอบ ๆ ตอบสนองกับความเข้าใจธรรมดาที่แข็งแกร่งของโครงสร้างกล, เพื่อป้องกันอัลกอริทึมจากการติดอยู่ในคําตอบที่ดีที่สุดในท้องถิ่นและคํานวณพารามิเตอร์ "บิดรูป"