Κατασκευή έξυπνου συστήματος όρασης αυτοκινήτου χώρος βαθμονόμησης / 360 μοίρες οπτική γωνία

Η βαθμονόμηση του οπτικού συστήματος των ευφυών οχημάτων αποτελεί τον ακρογωνιαίο λίθο για την ακριβή αντίληψη στην αυτόνομη οδήγηση και στα ευφυή πιλοτικά δωμάτια (όπως η οπτική γωνία 360 μοιρών).Λόγω του γεγονότος ότι η κάμερα συλλαμβάνει διμερής pixels, ενώ η λήψη αποφάσεων για τα οχήματα απαιτεί την πραγματική φυσική θέση σε τρισδιάστατο χώρο (όπως γραμμές λωρίδας κυκλοφορίας, αποστάσεις από εμπόδια),είναι απαραίτητο να καθιερωθεί μια μαθηματική σχέση χαρτογράφησης των "συντεταγμένων των εικονοστοιχείων, συντεταγμένων της κάμερας, συντεταγμένων του σώματος, συντεταγμένων του κόσμου" μέσω βαθμονόμησης.

Η πλήρης διαδικασία βαθμονόμησης των ευφυών συστημάτων οραματισμού αυτοκινήτων χωρίζεται συνήθως σε τρεις διαστάσεις: γραμμή παραγωγής/στατική βαθμονόμηση, δυναμική/σε απευθείας σύνδεση βαθμονόμηση,και βαθμονόμηση αρθρώσεων πολλαπλών αισθητήρωνΗ ακόλουθη είναι μια λεπτομερή εξήγηση της διαδικασίας βαθμονόμησης του πυρήνα:

1. Ταξινομή των παραμέτρων βαθμονόμησης πυρήνα

Πριν ξεκινήσουμε τη διαδικασία, πρέπει να ξέρουμε τι ακριβώς είναι η βαθμονόμηση:

Ενδογενείς παράμετροι: προσδιορίζουν τις γεωμετρικές ιδιότητες στρέβλωσης και εστιακού μήκους μέσα στον φακό της κάμερας.Εξάλειψη της στρέβλωσης των φακών ευρείας γωνίας και διόρθωση των καμπυλών εικόνων.

Εξωτερικές παραμέτρους: καθορίζεται η συγκεκριμένη θέση και ο προσανατολισμός της κάμερας στο σύστημα συντεταγμένων του οχήματος (εγκατασταθείσες συντεταγμένες X, Y, Z και γωνίες πορείας Pitch, Yaw, Roll).

2Η γραμμή παραγωγής/η στατική διαδικασία βαθμονόμησης (κεντρική βάση)

Η στατική βαθμονόμηση πραγματοποιείται συνήθως στο δωμάτιο βαθμονόμησης πριν το αυτοκίνητο εγκαταλείψει το εργοστάσιο ή μετά τη συντήρηση στο κατάστημα 4S.Το περιβάλλον ελέγχεται και η ακρίβεια είναι εξαιρετικά υψηλή..

(1) Προετοιμασία και περιβάλλον

Εργαλείο βαθμονόμησης: Προετοιμάστε μια σανίδα βαθμονόμησης με ένα συγκεκριμένο γεωμετρικό σχέδιο (όπως μια σκακιέρα, ένα διάγραμμα πλαισίου σημείων ή ένα εξειδικευμένο πανοραμικό πανί βαθμονόμησης).

Περιβαλλοντικές απαιτήσεις: Να εξασφαλίζεται ομοιόμορφος φωτισμός και να αποφεύγεται η υπερεκθέτηση που προκαλείται από ισχυρό φως ή η αδυναμία εξαγωγής σημείων χαρακτηριστικών της εικόνας λόγω χαμηλού φωτισμού.

Κατάσταση του οχήματος: Το όχημα είναι παρκαρισμένο σε επίπεδη επιφάνεια, με την πίεση των ελαστικών προσαρμοσμένη στην κανονική τιμή, και το όχημα πρέπει να είναι εντελώς ακίνητο (για να αποφευχθεί η δόνηση της ανάρτησης).

(2) Εσωτερική βαθμονόμηση παραμέτρων (συνήθως ολοκληρώνεται στην εγκατάσταση του προμηθευτή ή πριν από τη φόρτωση)

Συλλογή δεδομένων: Η φωτογραφική μηχανή δείχνει στον πίνακα βαθμονόμησης και τραβάει πολλαπλές φωτογραφίες (συνήθως 10-20) από διαφορετικές γωνίες και αποστάσεις.

Λύση αλγορίθμου: Η βιομηχανία γενικά υιοθετεί τη μέθοδο βαθμονόμησης Zhang Zhengyou.Ο αλγόριθμος προσδιορίζει τα σημεία γωνίας (σημεία χαρακτηριστικών) στον πίνακα βαθμονόμησης και χρησιμοποιεί μαθηματικούς πίνακες για την επίλυση της εστιακής απόστασης της κάμερας (f_x, f_y), θέση του κύριου σημείου (u-0, v-0) και συντελεστής στρέβλωσης (ακτινική και αρτηριακή στρέβλωση).

(3) Κλιματισμός εξωτερικών παραμέτρων (πρέπει να γίνεται μετά τη φόρτωση)

Τοποθεσία: Place the calibration plate or calibration cloth accurately at known relative positions around the vehicle (using a total station or laser rangefinder to determine the position of the calibration plate relative to the vehicle axle and centerline).

Εξόρυξη χαρακτηριστικών: Οι διάφορες κάμερες του οχήματος καταγράφουν εικόνες που περιέχουν πινακίδες βαθμονόμησης,και ο αλγόριθμος ανιχνεύει αυτόματα τα αντίστοιχα σημεία χαρακτηριστικών των πλακών βαθμονόμησης στις εικόνες (όπως τα γωνιακά σημεία των τεσσάρων υφασμάτων βαθμονόμησης στο σύστημα οπτικής απεικόνισης).

Υπολογισμός γραμμής εξωτερικών παραμέτρων: βασίζεται στις "συντεταγμένες των εικονοστοιχείων" των σημείων χαρακτηριστικών της εικόνας και στις "πραγματικές φυσικές συντεταγμένες" τους σε σχέση με το όχημα στην πραγματικότητα,υπολογίζεται η μήτρα περιστροφής R και ο διανυσματικός φορέας T κάθε κάμερας σε σχέση με το σύστημα συντεταγμένων του οχήματος.

Συμπλέξιμο και επιθεώρηση (χρησιμοποιώντας 360 μοίρες οπτική γωνία ως παράδειγμα): Χρησιμοποιήστε το υπολογισμένο εξωτερικό για να προβάλλετε τις εικόνες των τεσσάρων φωτογραφικών μηχανών, εμπρός, πίσω, αριστερά και δεξιά,σε οπτική γωνία πουλιού (BEV), και ελέγξτε εάν τα κενά ράψεων (όπως οι γραμμές εδάφους) ευθυγραμμίζονται και εάν υπάρχουν φάντασματα.

3Δυναμική βαθμονόμηση/διαδικασία βαθμονόμησης σε απευθείας σύνδεση (βελτιστοποιημένη κατά την οδήγηση)

Κατά τη διάρκεια της οδήγησης ενός αυτοκινήτου, λόγω μακροχρόνιων κρούσεων, αλλαγών θερμοκρασίας που προκαλούν θερμική επέκταση και συστολή ή αλλαγές στο φορτίο της ανάρτησης,η εξωτερική κάμερα της κάμερας θα υποστεί μικρή μετατόπισηΗ διαδικτυακή βαθμονόμηση μπορεί να επιτύχει "βαθμολόγηση κατά την οδήγηση".

[Οδηγία οχήματος] -> [Αναγνώριση φυσικών χαρακτηριστικών (γραμμές λωρίδας/οδικά σήματα) ] -> [Αξιολόγηση χαρακτηριστικών και ενσωμάτωση με κινηματική] -> [Επαναληπτική ενημέρωση του εξωτερικού παράμετρου σε απευθείας σύνδεση]

(1) Ενεργοποίηση και εξαγωγή χαρακτηριστικών

Όταν το όχημα οδηγεί σε κανονικούς δρόμους, όπως αυτοκινητόδρομους και αστικούς υπερδρόμους, οι οπτικοί αλγόριθμοι θα εξαγάγουν φυσικά σημεία από το περιβάλλον σε πραγματικό χρόνο,με τα πιο συχνά χρησιμοποιούμενα σημεία σήμανσης λωρίδας κυκλοφορίας (υποθέτοντας ότι τα σημεία σήμανσης λωρίδας κυκλοφορίας είναι παράλληλα και εκτείνονται στο άπειρο μπροστά από το όχημα) και σημεία εξαφάνισης.

(2) Σύντηξη πολλαπλών αισθητήρων και εκτίμηση της κατάστασης

Με τον συνδυασμό της μονάδας μέτρησης αδράνειας (IMU) του οχήματος και του αισθητήρα ταχύτητας (μετρητή ταχύτητας τροχών), εκτιμάται η μεταβολή της στάσης του οχήματος.

(3) Επαναλαμβανόμενος υπολογισμός και διόρθωση

Algorithms such as Kalman filtering or beam based adjustment (BA) continuously fine tune and correct the pitch and yaw angles of the camera by comparing the image changes between the current frame and historical frames, καθώς και τους γεωμετρικούς περιορισμούς των γραμμών λωρίδας, για την επίτευξη απρόσκοπτης δυναμικής ανανέωσης.

4. Διαδικασία βαθμονόμησης των αρθρώσεων (διασταύρωση αισθητήρων)

Τα σύγχρονα έξυπνα αυτοκίνητα δεν έχουν μόνο κάμερες, αλλά και LiDAR και ραντάρ χιλιοστών κυμάτων.

Παίρνοντας την κάμερα στο LiDAR (Προχωρητική κάμερα και βαθμονόμηση Lidar) ως παράδειγμα:

(1) Αγορά κοινού θέασης: Place a specially designed calibration plate (usually with high reflectivity patterns or specific geometric shapes) that can be captured clearly by a camera and scanned by a laser radar in front of the car.

(2) Εξόρυξη δεδομένων: Εξόρυξη των συντεταγμένων των εικονοστοιχείων των γωνιών ή των ακτών της πλάκας βαθμονόμησης από την 2D εικόνα της φωτογραφικής μηχανής.

Extract the three-dimensional spatial feature points corresponding to the calibration plate from the three-dimensional point cloud of the LiDAR (using point cloud reflection intensity or plane fitting).

(3) Λύση περιορισμών: Βρείτε την καλύτερη αντιστοιχία μεταξύ δύο συνόλων σημείων χαρακτηριστικών, χρησιμοποιήστε αλγόριθμους βελτιστοποίησης όπως τα ελάχιστα τετράγωνα,και να υπολογίσει το 3D-σε-2D μετασχηματισμό μήτρα από το σύστημα συντεταγμένων LiDAR στο σύστημα συντεταγμένων κάμερας.

(4) Επιβεβαίωση του αποτελέσματος ευθυγράμμισης: προβάλλεται το χρωματιστό σύννεφο σημείων του LiDAR στην εικόνα της κάμερας,και να παρατηρήσει αν το περίγραμμα του σημείου σύννεφο ταιριάζει τέλεια τα αντικείμενα όπως τα οχήματα, κτίρια και οχήματα στην εικόνα.

5- επαλήθευση των αποτελεσμάτων βαθμονόμησης και αξιολόγηση της ποιότητας

Μετά την ολοκλήρωση της βαθμονόμησης, πρέπει να υποβληθεί σε αυστηρή αξιολόγηση των δεικτών πριν τεθεί σε επιχειρηματική χρήση:

Λάθος προβολής: Τα υπολογισμένα 3D χωρικά σημεία προβάλλονται ξανά σε μια 2D εικόνα χρησιμοποιώντας παραμέτρους βαθμονόμησης και υπολογίζεται η απόκλιση από τα πραγματικά σημεία των pixel στην εικόνα.Σε αυτόνομη οδήγηση, το μέσο σφάλμα επανεξέτασης απαιτείται συνήθως να είναι μικρότερο από 0,5 έως 1 pixel.

Έλεγχος σταθερότητας παραμέτρων:Ελέγξτε αν η σχετική γεωμετρική σχέση μεταξύ των αριστερών και δεξίων κυψελών φωτογραφικών μηχανών ή της κάμερας surround view συμμορφώνεται με την άκαμπτη κοινή λογική της μηχανικής δομής, για να αποφευχθεί ο αλγόριθμος να κολλήσει σε τοπικές βέλτιστες λύσεις και να υπολογίσει "απομορφωμένες" παραμέτρους.