Κατασκευή έξυπνου συστήματος όρασης αυτοκινήτου χώρος βαθμονόμησης / 360 μοίρες οπτική γωνία

Η βαθμονόμηση του οπτικού συστήματος των έξυπνων οχημάτων αποτελεί τον ακρογωνιαίο λίθο για την ακριβή αντίληψη στην αυτόνομη οδήγηση και στα έξυπνα κόκπιτ (όπως η οπτική κάλυψη 360 μοιρών). Λόγω του γεγονότος ότι η κάμερα καταγράφει δισδιάστατα εικονοστοιχεία, ενώ η λήψη αποφάσεων του οχήματος απαιτεί την πραγματική φυσική θέση στον τρισδιάστατο χώρο (όπως γραμμές λωρίδων, αποστάσεις εμποδίων), είναι απαραίτητο να δημιουργηθεί μια μαθηματική σχέση αντιστοίχισης «συντεταγμένες εικονοστοιχείων συντεταγμένες κάμερας συντεταγμένες αμαξώματος/συντεταγμένες κόσμου» μέσω βαθμονόμησης.

Η πλήρης διαδικασία βαθμονόμησης των έξυπνων συστημάτων όρασης αυτοκινήτων χωρίζεται συνήθως σε τρεις διαστάσεις: βαθμονόμηση γραμμής παραγωγής/στατική, δυναμική/ενεργή βαθμονόμηση και συνδυασμένη βαθμονόμηση πολλαπλών αισθητήρων. Ακολουθεί μια λεπτομερής εξήγηση της βασικής διαδικασίας βαθμονόμησης:

τελευταία εταιρεία περί Κατασκευή έξυπνου συστήματος όρασης αυτοκινήτου χώρος βαθμονόμησης / 360 μοίρες οπτική γωνία

1. Ταξινόμηση βασικών παραμέτρων βαθμονόμησης

Πριν εισέλθουμε στη διαδικασία, πρέπει να γνωρίζουμε τι ακριβώς είναι η βαθμονόμηση:

Εσωτερικές Παράμετροι: Προσδιορίζουν τις ιδιότητες γεωμετρικής παραμόρφωσης και εστιακής απόστασης εντός του φακού της κάμερας. Για παράδειγμα, εξαλείφουν την παραμόρφωση «μάτι ψαριού» των ευρυγώνιων φακών και ευθυγραμμίζουν καμπύλες εικόνες.

Εξωτερικές Παράμετροι: Προσδιορίζουν τη συγκεκριμένη θέση και τον προσανατολισμό της κάμερας στο σύστημα συντεταγμένων του οχήματος (εγκατεστημένες συντεταγμένες X, Y, Z και γωνίες κατεύθυνσης Pitch, Yaw, Roll).

2. Διαδικασία βαθμονόμησης γραμμής παραγωγής/στατικής (κύρια βάση)

Η στατική βαθμονόμηση συνήθως πραγματοποιείται στο δωμάτιο βαθμονόμησης πριν το αυτοκίνητο φύγει από το εργοστάσιο ή μετά από συντήρηση στο κατάστημα 4S. Το περιβάλλον ελέγχεται και η ακρίβεια είναι εξαιρετικά υψηλή.

(1) Προετοιμασία και ρύθμιση περιβάλλοντος

Εργαλείο βαθμονόμησης: Προετοιμάστε μια πλάκα βαθμονόμησης με ένα συγκεκριμένο γεωμετρικό μοτίβο (όπως ένα ταμπλό, διάγραμμα κουκκίδων ή ειδικό πανί βαθμονόμησης πανοραμικής θέας).

Απαιτήσεις περιβάλλοντος: Διασφαλίστε ομοιόμορφο φωτισμό και αποφύγετε την υπερέκθεση λόγω ισχυρού φωτός ή την αδυναμία εξαγωγής σημείων χαρακτηριστικών εικόνας λόγω χαμηλού φωτισμού.

Κατάσταση οχήματος: Το όχημα είναι σταθμευμένο σε επίπεδη επιφάνεια, με την πίεση των ελαστικών προσαρμοσμένη στην τυπική τιμή, και το όχημα πρέπει να είναι εντελώς ακίνητο (για να αποφευχθεί η ταλάντωση της ανάρτησης).

(2) Βαθμονόμηση εσωτερικών παραμέτρων (συνήθως ολοκληρώνεται στην τοποθεσία του προμηθευτή ή πριν τη φόρτωση)

Συλλογή δεδομένων: Η κάμερα στοχεύει στην πλάκα βαθμονόμησης και τραβάει πολλαπλές φωτογραφίες (συνήθως 10-20) από διαφορετικές γωνίες και αποστάσεις.

Επίλυση αλγορίθμου: Η βιομηχανία υιοθετεί γενικά τη μέθοδο βαθμονόμησης Zhang Zhengyou. Ο αλγόριθμος αναγνωρίζει σημεία γωνίας (σημεία χαρακτηριστικών) στην πλάκα βαθμονόμησης και χρησιμοποιεί μαθηματικούς πίνακες για να υπολογίσει την εστιακή απόσταση της κάμερας (f_x, f_y), τη θέση του κύριου σημείου (u-0, v-0) και τον συντελεστή παραμόρφωσης (ακτινική και εφαπτομενική παραμόρφωση).

(3) Βαθμονόμηση εξωτερικών παραμέτρων (πρέπει να πραγματοποιηθεί μετά τη φόρτωση)

Διάταξη θέσης: Τοποθετήστε την πλάκα βαθμονόμησης ή το πανί βαθμονόμησης με ακρίβεια σε γνωστές σχετικές θέσεις γύρω από το όχημα (χρησιμοποιώντας έναν συνολικό σταθμό ή μετρητή απόστασης λέιζερ για τον προσδιορισμό της θέσης της πλάκας βαθμονόμησης σε σχέση με τον άξονα και την κεντρική γραμμή του οχήματος).

Εξαγωγή χαρακτηριστικών: Οι διάφορες κάμερες του οχήματος καταγράφουν εικόνες που περιέχουν πλάκες βαθμονόμησης, και ο αλγόριθμος ανιχνεύει αυτόματα τα αντίστοιχα σημεία χαρακτηριστικών των πλακών βαθμονόμησης στις εικόνες (όπως τα σημεία γωνίας των τεσσάρων πανιών βαθμονόμησης στο σύστημα οπτικής κάλυψης).

Υπολογισμός πίνακα εξωτερικών παραμέτρων: Με βάση τις «συντεταγμένες εικονοστοιχείων» των σημείων χαρακτηριστικών στην εικόνα και τις «πραγματικές φυσικές συντεταγμένες» τους σε σχέση με το όχημα στην πραγματικότητα, υπολογίστε τον πίνακα περιστροφής R και το διάνυσμα μετατόπισης T κάθε κάμερας σε σχέση με το σύστημα συντεταγμένων του οχήματος.

Συρραφή και επιθεώρηση (χρησιμοποιώντας ως παράδειγμα την οπτική κάλυψη 360 μοιρών): Χρησιμοποιήστε τις υπολογισμένες εξωτερικές παραμέτρους για να προβάλετε τις εικόνες των τεσσάρων καμερών, μπροστά, πίσω, αριστερά και δεξιά, σε μια προοπτική κάτοψης (BEV) και ελέγξτε αν τα κενά συρραφής (όπως οι γραμμές του εδάφους) είναι ευθυγραμμισμένα και αν υπάρχουν φαντάσματα.

3. Διαδικασία δυναμικής/ενεργής βαθμονόμησης (βελτιστοποιημένη κατά την οδήγηση)

Κατά τη διάρκεια της οδήγησης ενός αυτοκινήτου, λόγω μακροχρόνιων κραδασμών, αλλαγών θερμοκρασίας που προκαλούν θερμική διαστολή και συστολή, ή αλλαγών στο φορτίο της ανάρτησης, η εξωτερική κάμερα του οχήματος θα παρουσιάσει μικρή μετατόπιση. Η ενεργή βαθμονόμηση μπορεί να επιτύχει «βαθμονόμηση κατά την οδήγηση».

[Οδήγηση Οχήματος] ->[Ανίχνευση Φυσικών Χαρακτηριστικών (Γραμμές Λωρίδων/Σήματα Οδικής Κυκλοφορίας)] ->[Εξαγωγή Χαρακτηριστικών και Ενσωμάτωση με Κινηματική] ->[Ενεργή Επαναληπτική Ενημέρωση Πίνακα Εξωτερικών Παραμέτρων]

(1) Ενεργοποίηση και εξαγωγή χαρακτηριστικών

Όταν το όχημα κινείται σε κανονικούς δρόμους όπως αυτοκινητόδρομους και αστικές υπερβάσεις, οι αλγόριθμοι όρασης εξάγουν φυσικά σημεία χαρακτηριστικών από το περιβάλλον σε πραγματικό χρόνο, με τα πιο συχνά χρησιμοποιούμενα να είναι οι σημάνεις λωρίδων (υποθέτοντας ότι οι σημάνεις λωρίδων είναι παράλληλες και εκτείνονται στο άπειρο μπροστά από το όχημα) και τα σημεία φυγής.

(2) Σύντηξη πολλαπλών αισθητήρων και εκτίμηση κατάστασης

Συνδυάζοντας την IMU (Μονάδα Αδρανειακής Μέτρησης) του οχήματος και τον αισθητήρα ταχύτητας (Μετρητής Ταχύτητας Τροχού), εκτιμήστε τις αλλαγές στην κατάσταση του ίδιου του οχήματος.

(3) Επαναληπτικός υπολογισμός και διόρθωση

Αλγόριθμοι όπως το φιλτράρισμα Kalman ή η προσαρμογή βάσει δέσμης (BA) προσαρμόζουν και διορθώνουν συνεχώς τις γωνίες κλίσης και εκτροπής της κάμερας συγκρίνοντας τις αλλαγές εικόνας μεταξύ του τρέχοντος και των προηγούμενων καρέ, καθώς και τους γεωμετρικούς περιορισμούς των σημάνεων λωρίδων, για να επιτύχουν απρόσκοπτη δυναμική ανανέωση.

4. Διαδικασία συνδυασμένης βαθμονόμησης (ευθυγράμμιση μεταξύ αισθητήρων)

Τα σύγχρονα έξυπνα αυτοκίνητα διαθέτουν όχι μόνο κάμερες, αλλά και LiDAR και ραντάρ χιλιοστών. Ευθυγραμμίζουν τα δεδομένα τους στο ίδιο χωρικό σύστημα συντεταγμένων για να πραγματοποιήσουν προ-συντηγμένη αντίληψη.

Παίρνοντας ως παράδειγμα τη Βαθμονόμηση Κάμερας προς LiDAR (Μπροστινή Κάμερα και Βαθμονόμηση LiDAR):

(1) Απόκτηση κοινής περιοχής προβολής: Τοποθετήστε μια ειδικά σχεδιασμένη πλάκα βαθμονόμησης (συνήθως με μοτίβα υψηλής ανακλαστικότητας ή συγκεκριμένα γεωμετρικά σχήματα) που μπορεί να καταγραφεί καθαρά από μια κάμερα και να σαρωθεί από ένα λέιζερ ραντάρ μπροστά από το αυτοκίνητο.

(2) Εξαγωγή δεδομένων: Εξάγετε τις συντεταγμένες εικονοστοιχείων των γωνιών ή των ακμών της πλάκας βαθμονόμησης από τη δισδιάστατη εικόνα της κάμερας.

Εξάγετε τα τρισδιάστατα χωρικά σημεία χαρακτηριστικών που αντιστοιχούν στην πλάκα βαθμονόμησης από το τρισδιάστατο νέφος σημείων του LiDAR (χρησιμοποιώντας την ένταση ανάκλασης του νέφους σημείων ή την προσαρμογή επιπέδου).

(3) Επίλυση περιορισμών: Βρείτε την καλύτερη αντιστοίχιση μεταξύ των δύο συνόλων σημείων χαρακτηριστικών, χρησιμοποιήστε αλγορίθμους βελτιστοποίησης όπως τα ελάχιστα τετράγωνα και υπολογίστε τον πίνακα μετασχηματισμού 3D-σε-2D από το σύστημα συντεταγμένων του LiDAR στο σύστημα συντεταγμένων της κάμερας.

(4) Επαλήθευση αποτελέσματος ευθυγράμμισης: Προβάλετε το χρωματιστό νέφος σημείων του LiDAR στην εικόνα της κάμερας και παρατηρήστε αν το περίγραμμα του νέφους σημείων ταιριάζει τέλεια με αντικείμενα όπως οχήματα, κτίρια και οχήματα στην εικόνα.

5. Επαλήθευση αποτελέσματος βαθμονόμησης και αξιολόγηση ποιότητας

Μετά την ολοκλήρωση της βαθμονόμησης, πρέπει να υποβληθεί σε αυστηρή αξιολόγηση δεικτών πριν τεθεί σε επιχειρησιακή χρήση:

Σφάλμα Επαναπροβολής: Τα υπολογισμένα τρισδιάστατα χωρικά σημεία επαναπροβάλλονται πίσω σε μια δισδιάστατη εικόνα χρησιμοποιώντας τις παραμέτρους βαθμονόμησης και υπολογίζεται η απόκλιση από τα πραγματικά σημεία εικονοστοιχείων στην εικόνα. Στην αυτόνομη οδήγηση, το μέσο σφάλμα επαναπροβολής απαιτείται συνήθως να είναι μικρότερο από 0,5 έως 1 εικονοστοιχείο.

Έλεγχος σταθερότητας παραμέτρων: Ελέγξτε εάν η σχετική γεωμετρική σχέση μεταξύ των αριστερών και δεξιών στερεοσκοπικών καμερών ή της κάμερας οπτικής κάλυψης συμμορφώνεται με την άκαμπτη κοινή λογική της μηχανικής δομής, για να αποτραπεί η εμπλοκή του αλγορίθμου σε τοπικές βέλτιστες λύσεις και ο υπολογισμός «παραμορφωμένων» παραμέτρων.