کالیبراسیون فیوژن چند سنسور برای وسایل نقلیه هوشمند

کالیبراسیون فیوژن چند سنسور خودروهای هوشمند یک گام حیاتی برای سیستم رانندگی خودکار برای دستیابی به "همگام سازی فضایی" و "همگام سازی زمانی" است.دوربین، رادار امواج میلیمتری (رادار) ، و واحد اندازه گیری بی وقفه / سیستم ماهواره ای ناوبری جهانی (IMU / GNSS) هر کدام دارای سیستم مختصات مستقل خود هستند.هدف کالیبراسیون فیوژن محاسبه موقعیت نسبی و رابطه جهت گیری (ماتریس خارجی) بین آنها است.، اجازه می دهد تا وسیله نقلیه به طور کامل تصاویر دو بعدی را که "می بیند"، ابرهای نقطه ای سه بعدی را که "اسکن" می کند، و سرعت و فاصله را که "مقادیر" می کند، پوشش دهد.

در زیر فرآیندهای اصلی و روش های رایج برای کالیبراسیون فیوژن چند سنسور در وسایل نقلیه هوشمند ذکر شده است:

1آماده سازی هسته قبل از کالیبراسیون

قبل از شروع محاسبات ریاضی، لازم است اطمینان حاصل شود که سخت افزار و محیط در یک حالت استاندارد هستند:

(1) تراز مهر زمان (همگام سازی زمان): این پیش نیاز برای کالیبراسیون فضایی است.PTP (Gigabit Ethernet Time Synchronization Protocol) یا پالس ثانیه GPS / PPS برای هماهنگی زمان نمونه گیری همه سنسورها با سطح میکروسکن استفاده می شود، اطمینان حاصل کنید که "آن ها جهان را در همان لحظه می بینند".

(2) بازرسی وضعیت خودرو: خودرو در یک اتاق کالیبراسیون افقی استاندارد با فشار تایر و تعلیق در بارهای استاندارد پارک شده و خودرو کاملاً ایستاده است.

(3) قرار دادن اجسام کالیبراسیون: با توجه به الزامات کالیبراسیون، اجسام کالیبراسیون ساخته شده به ویژه در اطراف خودرو قرار داده می شوند.

(4) اشیاء کالیبراسیون رایج: صفحات کالیبراسیون با الگوهای بازتاب پذیری بالا، جعبه های سه بعدی، سیلندرها یا بازتاب دهنده های مثلثی ساخته شده به ویژه (که معمولا برای رادار امواج میلیمتری استفاده می شود).

2. طبقه بندی فرآیندهای کالیبراسیون فیوژن هسته ای

کالیبراسیون فیوژن به طور معمول بر اساس "هم تراز زوج" ترکیبی از سنسورها انجام می شود و در نهایت آنها را به سیستم مختصات وسیله نقلیه / پیوند پایه متحد می کند.

(1) کالیبراسیون مشترک LiDAR و دوربین (LiDAR-to-Camera)

این کالیبراسیون اصلی برای رانندگی مستقل است که برای دستیابی به مخلوط کردن پیش از ابرهای نقطه و تصویر (ابرهای نقطه ای رنگی) استفاده می شود.

[نقاط ویژگی دو بعدی را از تصویر استخراج کنید]

[مطالعه برای مطابقت] [مطالعه برای مطابقت] [مطالعه برای مطابقت] [کمترین خطای بازتولید] [مطالعه برای خطا]

[نقاط ویژگی 3D را از ابر نقطه استخراج کنید]

1 استخراج ویژگی:

سمت دوربین: الگوریتم مختصات ((u، v)) گوشه ها، لبه ها یا پیکسل های مرکزی تخته کالیبراسیون را در تصویر دو بعدی شناسایی می کند.

طرف LiDAR: الگوریتم مختصات ((X، Y،Z)) از لبه ها یا نقاط مرکزی تخته کالیبراسیون در فضای سه بعدی بر اساس شدت بازتاب ابر نقطه ای (یا مجهز کردن سطح هندسی).

2 راه حل ریاضی: این یک مشکل معمولی 3D به 2D Perspective-n-Point (PnP) است. با استفاده از روش حداقل مربع یا بهینه سازی غیرخطی،ماتریس چرخش R و وکتور ترجمه T محاسبه می شوند..

3 تراز آنلاین / پویا: در طول رانندگی روزانه، با استفاده از ویژگی های طبیعی مانند ستون های خدمات در هر دو طرف جاده و لبه ساختمان،تراز بین لبه های تصویر و لبه های ابرهای نقطه ای بهینه شده است (eبرای تنظیم دقیق پارامترهای خارجی در زمان واقعی.

(2) کالیبراسیون مشترک LiDAR و رادار امواج میلی متری (LiDAR-to-Radar)

رادار امواج میلی متری می تواند سرعت را اندازه گیری کند و نفوذ قوی دارد، اما ابرهای نقطه ای آن بسیار نادر و سر و صداست؛ ابرهای نقطه ای LiDAR متراکم است.هدفشون اينه که به يه تراكتوري فضايي برسند.

روش ایستاتیک (اتاق کالیبراسیون): یک بازتاب دهنده گوشه ای با بازتاب پذیری بالا را در یک مکان خاص قرار دهید. رادار امواج میلی متری به عنوان یک نقطه سیگنال قوی در نقشه انرژی ظاهر می شود.و لیدار همچنین می تواند به طور دقیق شناسایی محور سه بعدی بازتاب دهنده گوشهپارامترهای خارجی با تطبیق نقاط مرکزی دو مورد محاسبه می شوند.

2 روش پویا ( رانندگی جاده ای): وسیله نقلیه در یک جاده باز رانندگی می کند و یک هدف در حال حرکت را دنبال می کند (مانند یک وسیله نقلیه دیگر).مسیر جسم ردیابی شده توسط LiDAR و مسیر نقطه پویا اندازه گیری شده توسط رادار امواج میلی متری مطابقت دارد، و پارامترهای خارجی از طریق همبستگی مسیر حل می شوند.

3کالیبراسیون مشترک LiDAR / دوربین و واحد اندازه گیری بی وقفه (Sensor-to-IMU)

جهت گیری سنسور ادراک با حرکتی خودرو برای حل مسئله "چگونه حسگر را در هنگام لرزش و ضربه خودرو جبران کنیم".

روش کالیبراسیون چشم-دست: به مشکل حل ماتریس AX = XB تعلق دارد.

2 فرآیند کالیبراسیون: به وسیله نقلیه دستور داده می شود که یک مسیر خاص را دنبال کند (مانند رانندگی در شکل "8"، تجربه شتاب و کاهش مکرر و انجام چرخش).IMU سرعت زاویه ای و شتاب خودرو را در زمان واقعی ثبت می کند تا مسیر حرکت خود را تخمین بزنددر عین حال، LiDAR یک مسیر حرکت را از طریق اودمتری ابرهای نقطه ای (LOAM) تخمین می زند یا دوربین یک مسیر حرکت را از طریق اودمتری بصری (VO) تخمین می زند.

3 راه حل: الگوریتم موقعیت نسبی سنسور را با توجه به IMU با تراز کردن چرخش و جابجایی این دو مسیر حرکت محاسبه می کند.

3. یکپارچه عیب یابی مشترک و کنترل حلقه بسته از سنسورهای متعدد

پس از اتمام تمام کالیبراسیون های زوجی، بهینه سازی حلقه بسته جهانی مورد نیاز است:

(1) سیستم مختصات یکپارچه: تبدیل تمام پارامترهای خارجی نسبی به سیستم مختصات مرکز بدن (مانند نقطه ای که مرکز محور عقب بر روی زمین است).

(2)بررسي سازگاری خطا: تضمین حلقه بسته در زنجیره انتقال.موقعیت IMU محاسبه شده از LiDAR ightarrow Camera ightarrow IMU باید با نتیجه محاسبه شده مستقیما از LiDAR ightarrow IMU مطابقت داشته باشد.. اگر یک اختلاف وجود دارد، تنظیم جهانی را در کل شبکه توپولوژیکی با استفاده از بهینه سازی گراف انجام دهید.

IV. ارزیابی کیفیت کالیبراسیون و تأیید اثر

پس از کالیبراسیون، باید از شاخص های کمی دقیق برای بررسی دقت آن استفاده شود:

روش مقایسه ارزش واقعی: با کمک یک ایستگاه کل با دقت بالا و دامنه گسترده یا ردیاب لیزر،به صورت دستی موقعیت های مطلق فیزیکی نقاط مشخص شده در هر محفظه سنسور در سیستم مختصات بدنه خودرو را اندازه گیری کنید.، و آنها را با ماتریس پارامتر خارجی محاسبه شده توسط الگوریتم مقایسه کنید. الزامات معمول برای دقت پارامتر خارجی عبارتند از: خطای فاصله < 1 ~ 2 سانتی متر، خطای زاویه < 0.1 ° ~ 0.2 °.

2 پروژکتور ابر نقطه ای (پروژکتور فیوژن رنگی): ابر نقطه ای سه بعدی که توسط LiDAR جمع آوری شده است از طریق ماتریس بیرونی محاسبه شده بر روی تصویر دو بعدی دوربین نمایش داده می شود.اگر رنگ ابر نقطه در خطوط قطب های خدمات، نشانه های خیابان و وسایل نقلیه کاملا با لبه های تصویر هماهنگ هستند، بدون هیچ گونه جابجایی یا عدم هماهنگی، این نشان دهنده کیفیت کالیبراسیون عالی است.

3 تست سازگاری فضایی-زمان: در طول رانندگی پویا یک وسیله نقلیه واقعی، بررسی کنید که آیا جعبه 3D تشخیص داده شده توسط دوربین، جعبه خوشه سازی ابرهای نقطه ای LiDAR، and the target point of the millimeter-wave radar for the same obstacle (such as the preceding vehicle) completely overlap in the Bird's Eye View (BEV) and do not undergo severe jitter due to vehicle bumps.