Αναπαράσταση σε τρεις διαστάσεις με τεχνικές βαθιάς μάθησης

Abstract

The integration of three-dimensional (3D) comprehension and spatial reasoning into intelligent algorithms is essential for addressing various tasks in domains like cultural heritage. Humans possess the cognitive ability to deduce and analyze 3D spatial connections only based on a solitary visual. Nevertheless, the integration of this concept into computer programs does not hold the same validity. By directly manipulating 3D input data, such as 3D point clouds, the reliance on various 2D data in a 3D representation is minimized. 3D point clouds are not only a more suitable depiction of the input data, but they are also becoming ever more accessible. In modern times, laser sensors have been incorporated into consumer gadgets, including mobile phones.The study of dividing and categorizing 3D point clouds is a swiftly developing area because of the growing intricacy of applications and the expanding accessibility of extensive 3D information. Specifically, machine learning and deep learning methods provide significant potential for enhancing the effectiveness and precision of these procedures. Researchers train models using annotated datasets to develop algorithms that can automatically identify and categorize features in point clouds. This process optimizes the conversion of raw data into detailed and functional 3D models.This thesis focuses on using deep learning approaches to classify real-world point clouds that represent medium to large-scale cultural heritage sites. It discusses the accuracy, resolution, and usefulness of various 3D data acquisition technologies for different sorts of objects and situations. This analysis explores the factors that impact the acquisition of 3D data and the methods to enhance them during the process of acquiring 3D data. It outlines the necessary accuracy, precision and level of detail needed for analyzing 3D point clouds using deep learning methods. It enhances the existing datasets by adding new ones that include annotated point clouds. Ultimately, it suggests utilizing a deep learning neural network to do semantic segmentation and classification of 3D point clouds in intricate environments and with diverse items.

Η ενσωμάτωση της τρισδιάστατης (3Δ) κατανόησης και του χωρικού συλλογισμού σε (ευφυείς) αλγόριθμους είναι ζωτικής σημασίας για την επίλυση πολλών εργασιών σε τομείς όπως η πολιτιστική κληρονομιά. Οι άνθρωποι είναι σε θέση να συλλογιστούν σχετικά με τις 3Δ χωρικές σχέσεις ακόμη και από μια μόνο εικόνα. Δεν συμβαίνει ωστόσο το ίδιο με την ενσωμάτωση αυτής της αντίληψης σε προγράμματα υπολογιστών. Η απευθείας λειτουργία σε δεδομένα εισόδου 3Δ, όπως τα 3Δ νέφη σημείων, μειώνει την ανάγκη χρήσης πολλαπλών δεδομένων 2Δ σε μια 3Δ αναπαράσταση. Τα 3Δ νέφη σημείων δεν είναι μόνο μια πιο κατάλληλη αναπαράσταση δεδομένων εισόδου, αλλά γίνονται επίσης όλο και πιο εύκολο να αποκτηθούν. Στις μέρες μας, οι αισθητήρες λέιζερ είναι ενσωματωμένοι ακόμη και σε καταναλωτικές συσκευές όπως τα κινητά τηλέφωνα.Η έρευνα για την κατάτμηση και την ταξινόμηση των 3Δ νεφών σημείων είναι ένας τομέας που εξελίσσεται ταχέως, λόγω της αυξανόμενης πολυπλοκότητας των εφαρμογών και της αυξανόμενης διαθεσιμότητας 3Δ συνόλων δεδομένων μεγάλης κλίμακας. Ειδικότερα, οι προσεγγίσεις μηχανικής μάθησης και βαθιάς μάθησης είναι πολλά υποσχόμενες για τη βελτίωση της αποτελεσματικότητας και της ακρίβειας αυτών των διαδικασιών. Με την εκπαίδευση μοντέλων σε επισημασμένα σύνολα δεδομένων, οι ερευνητές αναπτύσσουν αλγόριθμους ικανούς να αναγνωρίζουν και να κατηγοριοποιούν αυτόματα χαρακτηριστικά μέσα στα νέφη σημείων, βελτιστοποιώντας έτσι τη μετατροπή ακατέργαστων δεδομένων σε λεπτομερή και λειτουργικά 3Δ μοντέλα.Η παρούσα διατριβή πραγματεύεται την ταξινόμηση με τεχνικές βαθιάς μάθησης, νεφών σημείων πραγματικού κόσμου που αναπαριστούν χώρους πολιτιστικής κληρονομιάς μεσαίας-μεγάλης κλίμακας. Παρουσιάζει τις τεχνολογίες 3Δ απόκτησης δεδομένων όσον αφορά την ακρίβεια, την ανάλυση και τη δυνατότητα εφαρμογής σε διάφορους τύπους αντικειμένων και περιβαλλόντων. Εξετάζει τους βασικούς παράγοντες που επηρεάζουν την ποιότητα των 3Δ μοντέλων και πώς μπορούν να βελτιστοποιηθούν κατά τη διαδικασία απόκτησης των 3Δ δεδομένων. Προτείνει τις απαιτήσεις όσον αφορά την ακρίβεια και την ανάλυση των 3Δ νεφών σημείων για την ανάλυσή τους με τεχνικές βαθιάς μάθησης. Εμπλουτίζει τα διαθέσιμα σύνολα δεδομένων με νέα που περιέχουν επισημασμένα νέφη σημείων. Τέλος προτείνει νευρωνικό δίκτυο βαθιάς μάθησης για την σημασιολογική κατάτμηση και ταξινόμηση των 3Δ νεφών σημείων για πολύπλοκες σκηνές και αντικείμενα.