Photogrammetric techniques and algorithms optimization for the development of interactive augmented reality systems

Abstract

Real-time 3D rendering within immersive Augmented Reality (AR) environments is still a major challenge for computer graphics. New data acquisition and processing techniques of the fields of photogrammetry and remote sensing have drastically increased the requirement for more detailed meshes and the demand for higher display resolutions in recent years. While existing standards deal with specific needs, a comprehensive workflow for integrating such high-fidelity meshes in web-based and Mobile AR (MAR) systems remains an active area of research. This dissertation builds upon existing algorithms introduced in the last few years and develops various novel techniques which significantly improve both visual quality and rendering performance for visualization in the context of AR. The advances can be summarized as three main contributions. Firstly, batched multi-resolution model structure and view-depending loading are introduced as a lightweight 3D format and a high-performance rendering method for web-based AR applications respectively. The proposed method handles efficiently high-resolution and large-sized meshes that have been converted into the dedicated data type, supporting both natural feature tracking and location-based AR. The solution prioritizes the highest possible visual fidelity, while simultaneously delivering interactive frame rates and effectively managing the resource constraints inherent in mobile platforms and network bandwidth. The second contribution lies in combining traditional computer vision methodology with either low-level data organization, management and synchronization techniques or modern Deep Learning (DL) to enable the use of photogrammetric meshes as 3D overlays and optimize pose estimation. Two 3D engines are developed: a cross-platform Vulkan-based graphics engine with multithreading and efficient data transfer mechanisms, and an OpenGL ES-based engine for low-memory, limited CPU/GPU environments, employing data organization, instancing and texture compression. The OpenGL ES-based engine is extended as the basis of a lightweight pattern-based MAR prototype. The methodology tests and compares widely used feature detectors and binary descriptors combinations for efficient real-time recognition. Furthermore, a MAR prototype that combines visual Simultaneous Localization and Mapping (vSLAM) algorithm with DL-based object detection improves tracking performance in challenging outdoor environments, featuring comprehensive evaluation against other DL models. Thirdly, the proposed technical specifications, best practices and guidelines for the creation and management of such meshes in AR applications aim to pave the way for the integration of high-fidelity photogrammetric data on immersive technologies and evolve the sector of photogrammetry and 3D visualization.

Το αντικείμενο της διδακτορικής διατριβής εντάσσεται στο γενικότερο θεματικό πλαίσιο της Φωτογραμμετρίας, της Επαυξημένης Πραγματικότητας (ΕΠ) και της Γραφικών Υπολογιστή. Σε ένα αποδοτικό σύστημα ΕΠ, η δημιουργία της συνθετικής επαυξημένης σκηνής γίνεται σε πραγματικό χρόνο χωρίς καθυστέρηση και σε συνεχή αλληλεπίδραση με το πραγματικό περιβάλλον. Η υψηλή απόκριση στην ταχύτητα εκτέλεσης των αλγορίθμων σχεδίασης και φόρτωσης των εικονικών αντικειμένων πρέπει να εξισορροπήσει με την ακρίβεια των υπολογισμών θέσης/προσανατολισμού, την αποτελεσματικότητα της τρισδιάστατης απόδοσης και την ποιότητα οπτικοποίησης. Οι παράγοντες αυτοί έχουν άμεση συσχέτιση με τον τρόπο ανίχνευσης, την τεχνολογία θέασης, το είδος των ψηφιακών δεδομένων και τις συνθήκες του πραγματικού περιβάλλοντος, στις μεταβολές του οποίου (φωτισμός, ανάκλαση, εσωτερικός/εξωτερικός χώρος κλπ.) καλείται να ανταποκριθεί το υπολογιστικό σύστημα στο σύνολό του. Η διδακτορική διατριβή εστιάζει σε τρισδιάστατα μοντέλα υψηλής ανάλυσης και μεγάλου όγκου ως αποκλειστικό περιεχόμενο για εφαρμογές ΕΠ. Τα δεδομένα αυτά συλλέγονται με συνδυασμό μεθόδων Φωτογραμμετρίας, Γεωδαισίας και Τηλεπισκόπησης, έχουν συνήθως, μετρητική αξία και εντάσσονται στο πεδίο ενδιαφέροντος του τοπογράφου μηχανικού και μηχανικού γεωπληροφορικής. Επομένως, πέρα από τους ανωτέρω γενικούς περιορισμούς που έγκεινται σε κάθε υλοποίηση ΕΠ, στο θέμα της διδακτορικής διατριβής τίθενται τα κριτήρια της οπτικής ποιότητας και γεωμετρικής πιστότητας. Αφορούν στο πεδίο των Γραφικών Υπολογιστή, υπεισέρχονται κατά την απόδοση και οπτικοποίηση και σχετίζονται άμεσα με το μέγεθος και την περιπλοκότητα της τρισδιάστατης γεωμετρίας που πρόκειται να υπερτεθεί. Η έρευνα που έχει διεξαχθεί για φωτογραμμετρικά τρισδιάστατα δεδομένα είναι περιορισμένη. Έως και την παρούσα στιγμή, δεν υπάρχει μία τεκμηριωμένη μεθοδολογία για τη διαχείριση, μετάδοση και προβολή τους σε εφαρμογές ΕΠ. Η απουσία ενός εξειδικευμένου μορφοτύπου ή μιας τυποποιημένης μεθόδου απόδοσης για υψηλής ανάλυσης μοντέλα μπορεί να επιφέρει υποβάθμιση της εμπειρίας του χρήστη και προβλήματα συμβατότητας. Παρατηρούνται μειωμένος ρυθμός καρέ, αυξημένη καθυστέρηση ή αναποτελεσματική χρήση των πόρων της συσκευής του χρήστη, επηρεάζοντας την απόκριση των αλληλεπιδράσεων. Επιπλέον, η πλειοψηφία των τρισδιάστατων μοντέλων που χρησιμοποιούνται για την επαύξηση, υπόκεινται συμπίεση ή απλοποιήσεις για την αντιστάθμιση των αργών χρόνων φόρτωσης και των χαμηλών ευρών ζώνης, με αποτέλεσμα την οπτική υποβάθμιση, τη μείωση της λεπτομέρειας ή τη χαμηλότερη πιστότητα σε σύγκριση με τα αρχικά δεδομένα.Υπό το πρίσμα των προαναφερθέντων παρατηρήσεων και της περιορισμένης βιβλιογραφίας, κύριος στόχος της διδακτορικής διατριβής είναι η αποδοτική επαύξηση της πραγματικής σκηνής με υψηλής ανάλυσης και μεγάλου όγκου τρισδιάστατα μοντέλα για πλατφόρμες κινητών συσκευών στον ιστό. Η τρέχουσα τεχνολογική υποδομή σε υλικό και λογισμικό δεν μπορεί ακόμη να παρέχει την βέλτιστη επίδοση για τέτοιου είδους φωτογραμμετρικά δεδομένα, ειδικά όταν στηρίζεται σε συμβατικά προγραμματιστικά πρότυπα και μεθόδους απόδοσης γραφικών. Συνεπώς, ο στόχος ειδικεύεται στους τρεις εξής υποστόχους: •Βελτιστοποίηση υπάρχουσας μεθοδολογίας ή/και ανάπτυξη νέων στρατηγικών σε συνδυασμό με αλγοριθμικές λύσεις για αποτελεσματική σχεδίαση, απόδοση και τρισδιάστατη οπτικοποίηση των δεδομένων που υπερτίθενται αξιοποιώντας σύγχρονες διεπαφές γραφικών και τεχνικές προοδευτικής φόρτωσης, κωδικοποίησης, πολλαπλής ανάλυσης, συμπίεσης κλπ. •Βελτιστοποίηση των αλγορίθμων όρασης υπολογιστών και φωτογραμμετρίας που συνθέτουν την τεχνολογία της ΕΠ για επιτάχυνση εκτέλεσης σε πραγματικό χρόνο σε συστήματα τρισδιάστατης απόδοσης. •Σύνταξη προδιαγραφών για τη διαχείριση της τρισδιάστατης γεωμετρίας βάσει μορφοτύπου, γεωμετρικής δομής, μεγέθους και πηγής, τόσο κατά το στάδιο της μοντελοποίησης όσο και κατά τη φόρτωση και απόδοση σε εφαρμογές ΕΠ Κάθε ένας από τους παραπάνω στόχους συμβάλλει στην πρόοδο των τεχνολογιών ΕΠ και Φωτογραμμετρίας και εκπληρώνεται ως εξής: •Η εισαγωγή της μεθόδου πολλαπλής ανάλυσης στο σύστημα οπτικοποίησης εφαρμογών διαδικτυακής ΕΠ επεκτείνει το ψηφιακό περιεχόμενο της ΕΠ με δεδομένα που απορρέουν από φωτογραμμετρικές και γεωδαιτικές μεθόδους τεχνικές. Ειδικότερα, η δομή πολλαπλής ανάλυσης προτείνεται ως ένας νέος ελαφρύς και εξειδικευμένος μορφότυπος ΕΠ για μοντέλα υψηλής λεπτομέρειας και μεγάλου όγκου με υφή, όπως αποδεικνύεται από τα αποτελέσματα της αξιολόγησης σχετικού πρωτοτύπου που αναπτύχθηκε. •Η διαχείριση μοντέλων υψηλής ανάλυσης σε επίπεδο μονάδας επεξεργασίας γραφικών καθώς και, ο διαμοιρασμός και ο συγχρονισμός των υπολογιστικών και γραφικών εργασιών συντελούν στην αποδοτική οπτικοποίησή τους σε ποικίλες πλατφόρμες και διεπαφές γραφικών. Επιπλέον, αξιολογήθηκαν ανιχνευτές χαρακτηριστικών και δυαδικών περιγραφέων για εικόνες-πρότυπα και βελτιστοποιήθηκε ο αλγόριθμος εκτίμησης πόζας με επιπλέον παρατηρήσεις χρησιμοποιώντας Βαθιά Μάθηση. Οι εν λόγω υλοποιήσεις επέφεραν σημαντικές βελτιώσεις στο υπολογιστικό σχήμα της ΕΠ των πρωτοτύπων, εντός των οποίων εντάχθηκαν. •Η ανάλυση των αποτελεσμάτων των πρωτοτύπων για την απόδοση τρισδιάστατων μοντέλων διαφορετικού μεγέθους, προέλευσης, δομής, επιπέδου λεπτομέρειας και ανάλυσης υφής προσφέρει πολύτιμα συμπεράσματα και κατευθύνσεις για την επιλογή της κατάλληλης διεπαφής, τεχνικής και μεθοδολογίας που ταιριάζει καλύτερα σε κάθε περίπτωση.