3-Dimensional triangular meshes: texture processing and retrieva

Abstract

The ongoing development of three-dimensional (3D) graphics, coupled with the progress achieved in 3D digitization systems and in combination with the high impact of 3D models' usage in various scientific domains resulted in a significant increase in the available 3D models. One of the most widespread methods of 3D digitization is Structure-from-Motion that estimates 3D structures from two-dimensional image sequences. The efficient organization and management of this type of data in large digital repositories constitute a research challenge. In detail, managing the huge amount of information available in an effective way is imperative and vital and thus classification and content-based retrieval of 3D models constitute an active research field. 3D model classification and content-based retrieval are scientific subfields of multimedia information retrieval offer algorithms for indexing, searching, classification and retrieval of 3D models without the need for textual annotation accompanying each 3D model, that would inevitably lead to doubts and ambiguities due to the diversity of the natural languages.A key motivation of this PhD dissertation was the development of a 3D digitization approach for non-friendly objects for Structure-from-Motion, that is based on the extraction of local features from images using SIFT or SURF algorithms. Thus, if we apply Structure-from-Motion to objects with a surface without features, it is not possible to reconstruct a 3D model. Our method is based on the artificial enrichment of the surface of the object being digitized with feature points through the projection of noise patterns using a projection system. 3D models are often accompanied by texture information, such as artifacts from the Cultural Heritage domain. Their texture can therefore provide useful information about these models (e.g. origin, creator, etc.). In the context of this PhD, we propose a method of transforming 3D model texture maps into a two-dimensional and spatially-consistent form by applying appropriate slices for their transformation into topologically equivalent to the unit-disk and then parametrizing them onto the 2D space. Hence, the implementation of operations from the digital image processing domain, such as edge detection and object recognition is made possible. Moreover, we propose a method of region-of-interest extraction based on the density of the detected SIFT feature points. Furthermore, in a case study, an object was digitized using a multispectral camera and thus using the spatial-consistent texture map representation we are enabled to identify the construction materials of the object utilizing remote sensing and machine learning techniques. We propose two methods of 3D model content-based retrieval and classification using machine learning. In the first case, we rely on both the geometry and the topology of the 3D models, in order to create a feature, the curvature map, which is fed into a convolutional neural network architecture. In particular, the 3D model's surface extremas are identified and in combination with the creation of an appropriate slice the 3D model is parametrized onto the unit-square, where the curvature of the surface embedded in R^3 is rendered. The curvature map is independent of rotation, scaling, and translation. In the second case, we propose a method based on 2D image renderings of the 3D scene, which are fed into a convolutional neural network architecture. In this case, the renderings depend on the position and rotation of the model in the three-dimensional space.Finally, for the evaluation of content-based retrieval algorithms, various metrics are used, either as scalars or graphs. Each one of them highlights a different aspect of the performance of a retrieval method. A thorough definition of the metrics used to evaluate the performance of 3D model content-based retrieval is provided. We developed RETRIEVAL, an online content-based retrieval evaluation tool based on open source technologies. Its functionalities, data input structures, metrics parametrization as well as its pre-installed benchmark dataset are being presented. The goal of RETRIEVAL is to create an environment where each researcher can study and compare the performance of his retrieval algorithms.

Η συνεχής εξέλιξη των τριδιάστατων γραφικών στους υπολογιστές σε συνδυασμό με την πρόοδο που έχει επιτευχθεί στα συστήματα τριδιάστατης ψηφιοποίησης αντικειμένων, καθώς και η μεγάλη απήχηση της χρήσης τριδιάστατων αντικειμένων σε διάφορους επιστημονικούς τομείς έχει ως αποτέλεσμα τη δημιουργία ενός συνεχώς αυξανόμενου αποθέματος τριδιάστατων αντικειμένων. Μία μέθοδος τριδιάστατης ψηφιοποίησης, ευρύτατα διαδεδομένη, είναι η πολυεικονική φωτογραμμετρία Structure-from-motion, η οποία βασίζεται στην εξαγωγή τριδιάστατης πληροφορίας από εικόνες. Η διαχείριση του τεράστιου όγκου διαθέσιμης πληροφορίας με αποτελεσματικό τρόπο αποτελεί επιτακτική ανάγκη και καθιστά την ανάκτηση βάσει περιεχομένου των τριδιάστατων αντικειμένων ένα ενεργό ερευνητικό πεδίο. Η ανάκτηση τριδιάστατων αντικειμένων βάσει περιεχομένου παρέχει μεθόδους για την κατασκευή ευρετηρίων (indexing),αναζήτηση (search) και τέλος ανάκτηση (retrieval) τριδιάστατων αντικειμένων χωρίς να υφίσταται η ανάγκη ύπαρξης πληροφορίας με τη μορφή κειμένου (textual annotation) για κάθε αντικείμενο, γεγονός που θα οδηγούσε αναπόφευκτα σε αμφιβολίες λόγω της ποικιλομορφίας της γλώσσας. Με τον όρο ευρετήριο εννοούμε τη δημιουργία μιας υπογραφής για το κάθε αντικείμενο που το χαρακτηρίζει, ει δυνατόν με μοναδικό τρόπο, γεγονός που παρέχει τη δυνατότητα εύρεσης σημασιολογικά όμοιων προς αυτό αντικείμενα. Ένα βασικό κίνητρο της παρούσας διδακτορικής διατριβής αποτέλεσε η ανάπτυξη ενός τρόπου τριδιάστατης ψηφιοποίησης αντικειμένων μη-φιλικών για την πολυεικονική φωτογραμμετρία, η οποία βασίζεται στη εξαγωγή χαρακτηριστικών από εικόνες με χρήση αλγορίθμων όπως ο SIFT και ο SURF. Έτσι, στην περίπτωση που εφαρμόσουμε τη μέθοδο της πολυεικονικής φωτογραμμετρίας σε αντικείμενα με επιφάνεια χωρίς την ύπαρξη χαρακτηριστικών, δεν είναι δυνατή η ανακατασκευή ενός τριδιάστατου αντικειμένου. Η μέθοδός μας βασίζεται στον τεχνητό εμπλουτισμό της επιφάνειας των αντικειμένων με χαρακτηριστικά σημεία, διαμέσου της προβολής εικόνων θορύβου με τη χρήση προβολικού συστήματος. Με αυτόν τον τρόπο καθίσταται δυνατή η εφαρμογή της πολυεικονικής φωτογραμμετρίας ακόμα και στην περίπτωση των μη-φιλικών αντικειμένων.Τα τριδιάστατα αντικείμενα συνοδεύονται σε πολλές περιπτώσεις από πληροφορία υφής, όπως για παράδειγμα αντικείμενα που προέρχονται από το χώρο της πολιτισμικής κληρονομιάς. Η υφή τους, λοιπόν δύναται να παρέχει χρήσιμη πληροφορία για τα αντικείμενα αυτά. Στο πλαίσιο της παρούσας διδακτορικής προτείνουμε μία μέθοδο μετατροπής των χαρτών υφής σε δυδιάστατη και χωρικά-συνεκτική μορφή, με την εφαρμογή κατάλληλων τομών για τη μετατροπή τους σε τοπολογικά όμοια με κυκλικό δίσκο αντικείμενα και εν συνεχεία δημιουργία του αναπτύγματός τους στο δυδιάστατο χώρο. Το παραπάνω γεγονός επιτρέπει την εφαρμογή πράξεων από το χώρο της ψηφιακής επεξεργασίας εικόνας, όπως η ανίχνευση ακμών και η αναγνώριση αντικειμένων. Επιπλέον, προτείνουμε μια μέθοδο επισημείωσης τριδιάστατων αντικειμένων με την αξιοποίηση της πληροφορίας που έχει η υφή τους. Στην υπόθεση μελέτης μας, ένα αντικείμενο το οποίο ψηφιοποιήθηκε με τη χρήση πολυφασματικής κάμερας περιέχει πληροφορία για τα υλικά κατασκευής του. Με τη δημιουγία λοιπόν χωρικά-συνεκτικών χαρτών υφής με πολυφασματική πληροφορία, σε συνδυσμό με γνώσεις από την τηλεπισκόπηση και τη μηχανική μάθηση είναι δυνατή η επισημείωση τριδιάστατων αντικειμένων με βάση τα υλικά κατασκευής τους. Προτείνουμε δύο μεθόδους ανάκτησης βάσει περιεχομένου και ταξινόμησης με τη χρήση μηχανικής μάθησης. Στην πρώτη περίπτωση βασιζόμαστε τόσο στη γεωμετρία, όσο και στη τοπολογία των τριδιάστατων αντικειμένων με σκοπό τη δημιουργία ενός νέου χαρακτηριστικού, το χάρτη καμπυλότητας, το οποίο το τροφοδοτούμε σε ένα συνελικτικό νευρωνικό δίκτυο αναγνώρισης εικόνων. Συγκεκριμένα, αναγνωρίζουμε τα ακρότατα της επιφάνειας του τριδιάστατου αντικειμένου και σε συνδυασμό με τη δημιουργία μιας κατάλληλης τομής δημιουργούμε το ανάπτυγμα της τριδιάστατης επιφάνειας στο δυδιάστατο χώρο, όπου και μεταφέρεται η καμπυλότητα της αρχικής επιφάνειας. Ο χάρτης καμπυλότητας είναι ανεξάρτητος της περιστροφής, της κλιμάκωσης καθώς και της μετάθεσης. Στη δεύτερη περίπτωση, μία μέθοδο που βασίζεται σε δυδιάστατες λήψεις της τριδιάστατης σκηνής, τις οποίες εν συνεχεία τροφοδοτούμε σε ένα συνελικτικό νευρωνικό δίκτυο αναγνώρισης εικόνων. Στην περίπτωση αυτή, οι εικόνες που λαμβάνονται εξαρτώνται από τη θέση και την περιστροφή του αντικειμένου στο τριδιάστατο χώρο. Τέλος, για την αξιολόγηση αλγορίθμων ανάκτησης βάσει περιεχομένου χρησιμοποιούνται διάφορες μετρικές, είτε ως βαθμωτά μεγέθη, είτε ώς γράφοι. Έχουν προταθεί πολλές μετρικές για την αξιολόγηση της ανάκτησης βάσει περιεχομένου, καθεμία από τις οποίες αναδυκνύει και μία διαφορετική πτυχή της επίδοσης του αλγορίθμου. Δημιουργήσαμε λοιπόν ένα διαδικτυακά διαθέσιμο εργαλείο αξιολόγησης αλγορίθμων ανάκτησης βάσει περιεχομένου, το οποίο παρέχει τις μετρικές αξιολόγησης που συλλέξαμε από το επιστημονικό πεδίο της ανάκτησης πληροφορίας (information retrieval). Ο στόχος του εργαλείου είναι να δημιουργήσει ένα περιβάλλον όπου ο κάθε επιστήμονας μπορεί να μελετάει και να συγκρίνει τη συμπεριφορά των αλγορίθμων ανάκτησης βάσει περιεχομένου που αναπτύσει.