کالیبراسیون سیستم بصری وسایل نقلیه هوشمند سنگ بنای درک دقیق در رانندگی خودران و کابین های هوشمند (مانند نمای فراگیر 360 درجه) است. با توجه به اینکه دوربین پیکسلهای دو بعدی را میگیرد، در حالی که تصمیمگیری خودرو مستلزم موقعیت فیزیکی واقعی در فضای سهبعدی (مانند خطوط خطوط، فواصل موانع) است، لازم است از طریق کالیبراسیون یک رابطه نقشهبرداری ریاضی از "مختصات پیکسل مختصات بدنه دوربین/مختصات جهان" برقرار شود.
فرآیند کالیبراسیون کامل سیستم های بینایی هوشمند خودرو معمولاً به سه بعد تقسیم می شود: خط تولید / کالیبراسیون استاتیک، کالیبراسیون پویا / آنلاین و کالیبراسیون مشترک چند سنسور. در زیر توضیح دقیقی از فرآیند کالیبراسیون هسته ارائه شده است:
1. طبقه بندی پارامترهای کالیبراسیون هسته
قبل از ورود به فرآیند، باید بدانیم کالیبراسیون دقیقا چیست:
پارامترهای ذاتی: اعوجاج هندسی و ویژگی های فاصله کانونی داخل لنز دوربین را تعیین کنید. به عنوان مثال، از بین بردن اعوجاج "ماهی چشم" لنزهای زاویه باز و صاف کردن تصاویر منحنی.
پارامترهای خارجی: موقعیت و جهت خاص دوربین را در سیستم مختصات خودرو (مختصات X، Y، Z نصب شده و زوایای سمت Pitch، Yaw، Roll) تعیین کنید.
2. خط تولید / فرآیند کالیبراسیون استاتیک (پایه اصلی)
کالیبراسیون استاتیک معمولاً در اتاق کالیبراسیون قبل از خروج ماشین از کارخانه یا پس از تعمیر و نگهداری در فروشگاه 4S انجام می شود. محیط کنترل شده و دقت فوق العاده بالاست.
(1) آماده سازی و تنظیم محیطی
ابزار کالیبراسیون: یک تخته کالیبراسیون با یک الگوی هندسی خاص (مانند صفحه شطرنجی، نمودار آرایه نقطهای یا پارچه مخصوص کالیبراسیون پانوراما) آماده کنید.
الزامات محیطی: از روشنایی یکنواخت اطمینان حاصل کنید و از نوردهی بیش از حد ناشی از نور شدید یا ناتوانی در استخراج نقاط ویژگی تصویر به دلیل نور کم اجتناب کنید.
وضعیت خودرو: خودرو روی سطحی صاف پارک شده است و فشار باد لاستیک به مقدار استاندارد تنظیم شده است و خودرو باید کاملاً ساکن باشد (برای جلوگیری از لرزش سیستم تعلیق).
(2) کالیبراسیون پارامتر داخلی (معمولاً در محل تامین کننده یا قبل از بارگیری تکمیل می شود)
جمع آوری داده ها: دوربین به سمت برد کالیبراسیون اشاره می کند و چندین عکس (معمولاً 10-20) از زوایای و فواصل مختلف می گیرد.
حل الگوریتم: صنعت به طور کلی از روش کالیبراسیون Zhang Zhengyou استفاده می کند. این الگوریتم نقاط گوشه (نقاط مشخصه) را روی برد کالیبراسیون شناسایی می کند و از ماتریس های ریاضی برای حل فاصله کانونی دوربین (f_x، f_y)، موقعیت نقطه اصلی (u-0، v-0) و ضریب اعوجاج (اعوجاج شعاعی و مماسی) استفاده می کند.
(3) کالیبراسیون پارامتر خارجی (باید پس از بارگذاری انجام شود)
چیدمان مکان: صفحه کالیبراسیون یا پارچه کالیبراسیون را به طور دقیق در موقعیت های نسبی شناخته شده اطراف خودرو قرار دهید (با استفاده از ایستگاه توتال یا فاصله یاب لیزری برای تعیین موقعیت صفحه کالیبراسیون نسبت به محور خودرو و خط مرکزی).
استخراج ویژگی: دوربین های مختلف خودرو تصاویر حاوی صفحات کالیبراسیون را می گیرند و الگوریتم به طور خودکار نقاط ویژگی مربوط به صفحات کالیبراسیون را در تصاویر (مانند نقاط گوشه چهار پارچه کالیبراسیون در سیستم دید فراگیر) تشخیص می دهد.
محاسبه ماتریس پارامتر خارجی: بر اساس "مختصات پیکسل" نقاط مشخصه در تصویر و "مختصات فیزیکی واقعی" آنها نسبت به خودرو در واقعیت، ماتریس چرخش R و بردار جابجایی T هر دوربین را نسبت به سیستم مختصات خودرو محاسبه کنید.
اتصال و بازرسی (با استفاده از نمای فراگیر 360 درجه به عنوان مثال): برای نمایش تصاویر چهار دوربین، جلو، عقب، چپ و راست، بر روی چشم انداز چشم پرنده (BEV) از حالت بیرونی محاسبه شده استفاده کنید و بررسی کنید که آیا شکاف های دوخت (مانند خطوط زمین) تراز هستند یا خیر.
3. فرآیند کالیبراسیون پویا / کالیبراسیون آنلاین (بهینه شده در حین رانندگی)
در حین رانندگی خودرو، به دلیل ضربه های طولانی مدت، تغییرات دما که باعث انبساط و انقباض حرارتی می شود یا تغییر در بار تعلیق، دوربین خارجی دوربین جابجایی جزئی را تجربه می کند. کالیبراسیون آنلاین می تواند به "کالیبراسیون در حین رانندگی" دست یابد.
[رانندگی وسیله نقلیه] ->[تشخیص ویژگی های طبیعی (خطوط خطوط / علائم جاده)] ->[ استخراج ویژگی ها و ادغام با سینماتیک] -> [به روز رسانی تکراری آنلاین ماتریس پارامترهای خارجی]
(1) راه اندازی و استخراج ویژگی
هنگامی که وسیله نقلیه در جادههای معمولی مانند بزرگراهها و روگذرهای شهری رانندگی میکند، الگوریتمهای بصری نقاط مشخصه طبیعی را از محیط بهطور همزمان استخراج میکنند، که رایجترین آنها علامتگذاری خطوط (با فرض اینکه خطها موازی هستند و تا بینهایت جلوی وسیله نقلیه امتداد دارند) و نقاط ناپدید میشوند.
(2) همجوشی چند سنسور و تخمین حالت
با ترکیب IMU (واحد اندازه گیری اینرسی) و سنسور سرعت (گیج سرعت چرخ)، تغییرات نگرش خود خودرو را تخمین بزنید.
(3) محاسبه و تصحیح تکراری
الگوریتمهایی مانند فیلتر کالمن یا تنظیم مبتنی بر پرتو (BA) به طور مداوم زوایای گام و انحراف دوربین را با مقایسه تغییرات تصویر بین فریم فعلی و فریمهای تاریخی و همچنین محدودیتهای هندسی خطوط خطوط، تنظیم و تصحیح میکنند تا به نوسازی پویا یکپارچه دست یابند.
4. فرآیند کالیبراسیون مشترک (تراز سنسور متقابل)
خودروهای هوشمند مدرن نه تنها دوربین دارند، بلکه LiDAR و رادار موج میلیمتری نیز دارند. داده های آنها را در همان سیستم مختصات فضایی تراز کنید تا درک پیش از همجوشی انجام شود.
بردن دوربین به LiDAR (دوربین جلو و کالیبراسیون لیدار) به عنوان مثال:
(1) کسب منطقه دید مشترک: یک صفحه کالیبراسیون طراحی شده ویژه (معمولاً با الگوهای بازتابی بالا یا اشکال هندسی خاص) که می تواند به وضوح توسط دوربین گرفته شود و توسط رادار لیزری اسکن شود در جلوی ماشین قرار دهید.
(2) استخراج داده: مختصات پیکسل گوشه ها یا لبه های صفحه کالیبراسیون را از تصویر دو بعدی دوربین استخراج کنید.
نقاط ویژگی فضایی سه بعدی مربوط به صفحه کالیبراسیون را از ابر نقطه سه بعدی LiDAR استخراج کنید (با استفاده از شدت انعکاس ابر نقطه یا برازش صفحه).
(3) حل محدودیت: بهترین تطابق را بین دو مجموعه از نقاط ویژگی پیدا کنید، از الگوریتمهای بهینهسازی مانند حداقل مربعات استفاده کنید و ماتریس تبدیل 3 بعدی به 2 بعدی را از سیستم مختصات LiDAR به سیستم مختصات دوربین محاسبه کنید.
(4) تأیید اثر تراز: ابر نقطه رنگی LiDAR را روی تصویر دوربین قرار دهید و مشاهده کنید که آیا خطوط ابر نقطه کاملاً با اجسامی مانند وسایل نقلیه، ساختمانها و وسایل نقلیه در تصویر مطابقت دارد یا خیر.
5. تأیید نتایج کالیبراسیون و ارزیابی کیفیت
پس از تکمیل کالیبراسیون، قبل از استفاده تجاری، باید ارزیابی دقیق شاخص انجام شود:
خطای بازپرداخت: نقاط فضایی 3 بعدی محاسبه شده با استفاده از پارامترهای کالیبراسیون دوباره به یک تصویر دو بعدی بازتاب داده می شوند و انحراف از نقاط پیکسل واقعی در تصویر محاسبه می شود. در رانندگی خودران، میانگین خطای بازپرداخت معمولاً کمتر از 0.5 تا 1 پیکسل است.
بررسی پایداری پارامتر: بررسی کنید که آیا رابطه هندسی نسبی بین دوربینهای دوچشمی چپ و راست یا دوربین دید فراگیر مطابق با مفهوم عمومی سفت و سخت ساختار مکانیکی است، تا از گیرکردن الگوریتم در راهحلهای بهینه محلی و محاسبه پارامترهای «تغییر شکل» جلوگیری شود.