Δημιουργία φωτογραμμετρικού σαρωτή laser με χρήση πρόσθετων γεωμετρικών δεσμεύσεων

Abstract

This thesis presents the development, implementation and evaluation of a low cost surface scanner for small objects using additional constraints for increasing its robustness and accu¬racy. The scanner described here combines stereovision and the “slit-scanner” principle. Two web cameras, which are automatically pre-calibrated, view the trace of a moving hand-held laser plane in the scene. The laser line helps solve the correspondence problem and, finally, calcu¬late the coordinates of 3D surface points by using the simple parallax equations on epipolar images. Triangulation is then strengthened by extra geometric constraints. In more detail, the steps of the procedure are as follows: The system is calibrated automatically with bundle adjustment in order to estimate the in¬terior and the true-to-scale relative orientation of the two web cameras by processing stereo pairs of a 2D chess-board. For the purposes of this dissertation an algorithm was developed to automatically recognize the pattern coordinate system, collect all nodes of the chess-board and estimate initial values for all unknowns. This allows image pairs acquired during scanning to be re-sampled to (distortion-free) epipolar images. These images only depict the trace of the laser after subtraction of the background; also, smoothing filters are applied to reduce noise effects. The search for point homologies is thus confined on corresponding epi¬polar lines. Homologous points are defined as intersections of the epipolar lines with the viewed laser profiles (intensity peaks on each image row). Among a variety of tested methods, Gaussian curve fitting on each laser profile was chosen for peak detection. Peak position is given by si¬multaneously fitting three Gaussian profiles, with the additional curves being interpolated in the two diagonal directions through the initial peak approximation. This exploits informa¬tion from the peak neighbourhood, while still keeping the detected point on the epipolar row. The accuracy of peak position functions as criterion for point acceptance. The initial calculation of the 3D coordinates for all points by means of the parallax equations (solution with no redundancy) is strengthened by imposing extra geometric constraints to the solution: • All points reconstructed from the laser stripe of each image pair should belong to the laser plane. • Placing the object in a corner formed by two intersecting planes (which have been previously scanned) allows introducing an extra co-planarity constraint for all points lying on these background planes. • Neighbouring points should have compatible depth values (smoothing effect). The influence of these constraints, enforced either as ‘hard’ or ‘soft’ constraints, is examined and evaluated. The suggested solution estimates all unknown values of a whole scanning pro¬cess in a single adjustment step. The introduction of geometric constraints strengthens the solution by offering a redundancy of observations, thus increasing reliability, and also al¬lows addressing the problem of multiple intensity maxima due to occlusions or reflections. Fi¬nally, the point cloud generated can be augmented with RGB values by projection of back¬ground images generated automatically from the data set with a time median approach. In order to obtain a full 3D model of an object, several scans from different positions must be fused, using algorithms such as ICP. In the context of a fully automatic procedure, initial estimates for translation and rotation for ICP must also be automatically calculated. Here in¬formation form the background images is used, provided that the object is sufficiently tex¬tu¬red for an interest operator to extract sufficient points, both in number and in distribution. Using the SIFT and RANSAC algorithms, homologous points are extracted (via the fundamen¬tal matrix) between the images from adjacent scan positions. The 2D point pairs are upgrad¬ed to 3D by interpolation to the respective point clouds, thus making a rigid body transfor¬ma¬tion between the two point clouds possible. In the final step, the generated point cloud is smoothened. Several smoothing algorithms are evaluated and applied to the individual or the combined point clouds. For smoothing, it is as¬sumed that the object may be locally approximated by basic mathematical surfaces, while an anisotropic approach depending on local surface shape is also introduced. The accuracy of the scanner is in the order of 0.2 mm, as evaluated both theoretically and experimentally. For the practical evaluation, objects of known dimensions were scanned, whi¬le the system was also tested against a high-cost and a low-cost commercial scanner. The dissertation concludes with a presentation and evaluation of all applications carried out, its conclusions and suggestions, and finally the cited references.

Η διατριβή παρουσιάζει τον σχεδιασμό, την υλοποίηση και την αξιολόγηση ενός 3D σαρωτή χαμηλού κόστους για μικρά αντικείμενα, κατά την λειτουργία του οποίου αξιοποιούνται και γεωμετρικές δεσμεύσεις προκειμένου να αυξηθεί η ακρίβεια και η αξιοπιστία του. Ο σαρωτής που περιγράφεται εδώ συνδυάζει τεχνικές στερεοσκοπικής όρασης με τεχνικές σαρωτών τριγωνισμού laser. Δύο μηχανές δικτύου (απλές web cameras), βαθμονομημένες αυτόμα¬τα εκ των προτέρων, παρατηρούν το ίχνος ενός χειροκίνητου επιπέδου laser πάνω στην επι¬φάνεια του υπό σάρωση αντικειμένου. Η απεικονιζόμενη γραμμή του laser επιτρέ¬πει να ε¬πιλυθεί αυτόματα το πρόβλημα των ομολογιών μεταξύ εικονοσημείων και, τελικά, να υπο¬λογίζονται οι συντεταγμένες 3D σημείων με εφαρμογή των απλών εξισώσεων πα¬ράλ¬λαξης σε επιπολικές εικόνες. Η επίλυση αυτή ενισχύεται από επιπλέον γεωμετρικές δε¬σμεύσεις. Αναλυτικότερα, τα βήματα της διαδικασίας είναι τα εξής: Το σύστημα βαθμονομείται αυτόματα βάσει της μεθόδου της δέσμης (εκτίμηση των εσωτε¬ρικών προσανατολισμών των δύο μηχανών και του υπό ορθή κλίμακα σχετικού προσανατο¬λ鬬σμού τους) από τις στερεοσκοπικές λήψεις ενός 2D πεδίου ελέγχου τύπου σκακιέρας. Για τους σκοπούς της παρούσας μελέτης αναπτύχθηκε αλγόριθμος ώστε να αναγνωρίζεται το σύ¬στημα συντεταγμένων του πεδίου και να συλλέγονται τα σημεία του, ενώ αυτόματα εκτι¬μώνται και οι αρχικές τιμές των παραμέτρων. Έτσι, τα ζεύγη εικόνων που λαμβάνονται κατά την σάρωση μπορούν πλέον να επανασυσταθούν επιπολικά (με εξάλειψη των σφαλμάτων που έχουν μοντελοποιηθεί κατά την βαθμονόμηση). Στις χρησιμοποιούμενες επιπολικές ει¬κόνες απεικονίζεται μόνο το ίχνος του laser καθώς από τις αρχικές εικόνες αφαιρείται το υ¬πόβαθρο, ενώ παράλληλα εφαρμόζονται φίλτρα εξομάλυνσης για να αμβλύνονται οι επι¬πτώ¬σεις του θορύβου. Η αναζήτηση ομολόγων σημείων περιορίζεται επομένως στις ομό¬λο¬γες επιπολικές γραμμές. Ομόλογα σημεία θεωρούνται οι τομές των επιπολικών γραμμών με τις γραμμές του laser, δη¬λαδή τα μέγιστα της έντασης της εικόνας σε κάθε επιπολική γραμμή. Από τις διαδικασίες ανίχνευσης κορυφής που δοκιμάστηκαν επελέγη τελικά η προσαρμογή καμπύλης Gauss στο προφίλ των τόνων. Η τελική θέση της κορυφής προκύπτει με την ταυτόχρονη προσαρμογή τριών καμπυλών Gauss, όπου οι πρόσθετες καμπύλες παρεμβάλλονται στις δύο διαγώνιες διευθύνσεις δια της αρχικής εκτίμησης της θέσης της κορυφής. Η θέση της κορυφής πα¬ρα¬μέ¬νει επί της επιπολικής γραμμής, αλλά λαμβάνεται υπόψη και η ευρύτερη γειτονιά της αρ¬χικής εκτίμησης ώστε να μειώνεται με τον τρόπο αυτό η επίδραση του θορύβου. Η αβε¬βαι¬ό¬τη¬τα προσδιορισμού της θέσης του σημείου επί της επιπολικής είναι κριτήριο για τον απο¬κλει¬σμό σημείων κατά την διαδικασία της σάρωσης. Η αρχική εκτίμηση των 3D συντεταγμένων των σημείων από τις εξισώσεις παράλλαξης (λύ¬ση χωρίς περίσσεια μετρήσεων) ενισχύεται με την εισαγωγή πρόσθετων γεωμετρικών δε¬σμεύσεων: • Όλα τα σημεία του χώρου που ανακατασκευάζονται από κάθε ζεύγος εικόνων οφεί¬λουν είναι συνεπίπεδα ως σημεία που ανήκουν στο επίπεδο του laser. • Η τοποθέτηση του αντικειμένου στην κόγχη που σχηματίζεται από δύο επίπεδα (η ο¬ποία προηγουμένως έχει σαρωθεί) επιτρέπει να εισάγεται μια επιπλέον δέσμευση συ¬νεπιπεδότητας για τα ανακατασκευ¬ασμένα σημεία που ανήκουν στα επίπεδα αυ¬τά. • Τέλος, γειτονικά σημεία δεν πρέπει να απέχουν μεταξύ τους πέραν ενός ορίου (στοι¬χείο εξομάλυνσης της ανακατασκευαζόμενης επιφάνειας). Η διατριβή μελετά την επίδραση των εν λόγω δεσμεύσεων και εξετάζει την επιβο¬λή τους ως αυ¬στηρών ή ελαστικών. Η γενικότερη λύση που δίδεται στην διατριβή είναι εκεί¬νη όπου οι συν¬τεταγμένες των σημείων μίας πλήρους σάρωσης και όλοι οι άγνωστοι συντε¬λεστές των ε¬πιπέδων εκτιμώνται ταυτόχρονα σε ενιαία επαναληπτική συνόρθωση. Η εισα¬γωγή γε¬ω¬με¬τρικών δεσμεύσεων ενισχύει την λύση προσφέροντας περίσσεια παρατη¬ρήσεων, επομένως αυ¬ξάνοντας την αξιοπιστία της, ενώ επιτρέπει να αντιμετωπιστεί και το πρόβλημα των πολ¬λα¬πλών μεγίστων που οφείλεται σε αποκρύψεις ή ανακλάσεις. Τέλος, το παραγόμενο νέ¬φος σημείων μπορεί να συμπληρωθεί με τιμές χρώματος από τις εικόνες υποβάθρου, οι ο¬ποίες προκύπτουν από το σύνολο των δεδομένων με την τεχνική του χρονικού δια¬μέ¬σου. Δεδομένου ότι για ένα πλήρες 3D μοντέλο του αντικειμένου απαιτούνται πολλές σαρώσεις α¬πό διαφορετικές θέσεις, τα επιμέρους νέφη σημείων πρέπει να συγχωνευθούν σε ενιαίο νέφος, πχ. με γνωστούς αλγορίθμους όπως ο ICP. Η πλήρης αυτοματοποίηση της διαδικα¬σίας προϋποθέτει ότι η απαραίτητη αρχική προσέγγιση των παραμέτρων μετασχηματισμού για τον ICP πρέπει επίσης να εκτιμηθεί αυτόματα. Εν προκειμένω αυτό βασίζεται στις ίδιες τις εικόνες, εφόσον υπάρχει η ελάχιστη υφή στο αντικείμενο που θα επέτρεπε να ανι¬χνευ¬τούν σημεία ενδιαφέροντος επαρκούς αριθμού και κατάλληλης κατανομής. Με τους αλγο¬ρί¬θμους SIFT και RANSAC εντοπίζονται ομόλογα σημεία (βάσει του επιπολικού πίνακα) σε ζεύ¬γη εικόνων αποτελούμενα από λήψεις από διαφορετικές (γειτονικές) θέσεις σάρωσης, για τα οποία πα¬ρεμβάλλονται 3D σημεία στα νέφη από κάθε θέση σάρωσης. Έτσι, οι 2D ο¬μο¬λογίες ανά¬γονται σε ομολογίες στον 3D χώρο, οπότε είναι πλέον δυνατός ο αυτόματος με¬τασχηματισμός στερεού σώματος μεταξύ των δύο επικαλυπτόμενων νεφών. Τελικό βήμα είναι η εξομάλυνση του παραγόμενου νέφους σημείων. Στην διατριβή αξιολο¬γούνται διάφοροι αλγόριθμοι εξομάλυνσης, οι οποίοι εφαρμόζονται στα συνενωμένα ή και τα επιμέρους νέφη σημείων. Εδώ επιλέγεται εξομάλυνση υπό την θεώρηση ότι η επιφάνεια προσεγγίζεται τοπικά με στοιχειώδεις μαθηματικές επιφάνειες, με δυνατότητα εισαγωγής α¬νισοτροπικής κατανομής βαρών ώστε να λαμβάνεται υπόψη και το τοπικό ανάγλυφο της επιφάνειας. Η ακρίβεια μιας τυπικής διάταξης του σαρωτή είναι της τάξης των 0.2 mm, όπως εκτιμήθη¬κε τόσο θεωρητικά όσο και πειραματικά. Για την πρακτική αξιολόγηση της ακρίβειας σα¬ρώ¬θη¬καν αντικείμενα γνωστών διαστάσεων, ενώ ο σαρωτής δοκιμάστηκε επίσης έναντι εμπο¬ρ鬬κών σαρωτών, υψηλού και χαμηλού κόστους, με ικανοποιητικά αποτελέσματα. Η διατρι¬βή ολοκληρώνεται με την παρουσίαση και αξιολόγηση όλων των εφαρμογών που πραγμα¬τשּׁποιήθηκαν, τα συμπεράσματα και τις προτάσεις της εργασίας, και, τέλος, την χρησιμο¬ποι¬η¬θείσα βιβλιογραφία.