Learning depth from two-dimensional images

Abstract

Monocular Depth Estimation (MDE) aims to infer a dense depth map from a single image. Because a three-dimensional scene is reduced to a two-dimensional projection, the inverse mapping is fundamentally ill-posed, since multiple geometries can be consistent with the same image evidence. As a result, high benchmark performance may coexist with solutions that are difficult to audit with respect to the depth cues on which the model relies, the internal organization of its computations, and the regions where failures concentrate. This dissertation approaches MDE through three complementary pillars: interpretability, performance, and explainability. Under the first pillar, it introduces the SVDA attention mechanism, inspired by singular value decomposition, which factorizes attention into directional alignment and spectral emphasis, enabling the study of its structure through quantitative indicators. Under the second pillar, it investigates a segmentation-based approach in which compact class-conditioned depth predictors are combined to improve depth discontinuities at semantic boundaries. Under the third pillar, it proposes a cue-based explainability framework and the Visual Depth Cue (VDC) dataset for the controlled evaluation of model behavior with respect to human visual depth cues. The results show that SVDA preserves competitive predictive performance while revealing structured and analyzable attention behavior, that semantically aware decomposition improves prediction quality at object boundaries, and that controlled experiments on VDC reveal a gap between benchmark performance and cue-consistent behavior. The study focuses on static monocular images and Transformer-based architectures, leaving the investigation of temporal sequences, stereo constraints, and robustness under imperfect segmentation as directions for future work.

Η Μονοσκοπική Εκτίμηση Βάθους (Monocular Depth Estimation, MDE) στοχεύει στην εξαγωγή ενός πυκνού χάρτη βάθους από μία μόνο εικόνα. Επειδή μια τρισδιάστατη σκηνή υποβαθμίζεται σε διδιάστατη προβολή, η αντιστροφή είναι θεμελιωδώς κακώς τεθειμένο πρόβλημα, καθώς πολλαπλές γεωμετρίες μπορούν να είναι συμβατές με τα ίδια δεδομένα εικόνας. Ως αποτέλεσμα, υψηλές επιδόσεις σε benchmarks μπορούν να συνυπάρχουν με λύσεις που είναι δύσκολο να ελεγχθούν ως προς τις ενδείξεις βάθους στις οποίες βασίζονται, την εσωτερική οργάνωση των υπολογισμών τους και τα σημεία όπου συγκεντρώνονται οι αστοχίες. Η παρούσα διατριβή προσεγγίζει τη MDE μέσα από τρεις συμπληρωματικούς πυλώνες: ερμηνευσιμότητα, επίδοση και επεξηγησιμότητα. Στον πρώτο πυλώνα προτείνεται ο μηχανισμός προσοχής SVDA, εμπνευσμένος από την αποσύνθεση σε ιδιάζουσες τιμές, ο οποίος παραγοντοποιεί την προσοχή σε κατευθυντική ευθυγράμμιση και φασματική έμφαση, επιτρέποντας τη μελέτη της δομής της μέσω ποσοτικών δεικτών. Στον δεύτερο πυλώνα εξετάζεται μια βάσει-τμηματοποίησης προσέγγιση, στην οποία κατά κλάση εξειδικευμένοι εκτιμητές βάθους συνδυάζονται ώστε να βελτιώνονται οι ασυνέχειες βάθους στα σημασιολογικά όρια. Στον τρίτο πυλώνα προτείνεται ένα cue-based πλαίσιο επεξηγησιμότητας και το σύνολο δεδομένων Visual Depth Cue (VDC), για την ελεγχόμενη αξιολόγηση της συμπεριφοράς των μοντέλων ως προς ανθρώπινες οπτικές ενδείξεις βάθους. Τα αποτελέσματα δείχνουν ότι η SVDA διατηρεί ανταγωνιστική προγνωστική επίδοση ενώ αποκαλύπτει δομημένη και αναλύσιμη συμπεριφορά του μηχανισμού προσοχής, ότι η σημασιολογικά ενήμερη αποσύνθεση βελτιώνει την ποιότητα πρόβλεψης στα όρια των αντικειμένων και ότι τα ελεγχόμενα πειράματα στο VDC αναδεικνύουν χάσμα μεταξύ επιδόσεων σε benchmarks και συμπεριφοράς συνεπούς με τις ενδείξεις. Η εργασία εστιάζει σε στατικές μονοσκοπικές εικόνες και σε αρχιτεκτονικές τύπου Transformer, αφήνοντας ως μελλοντικές κατευθύνσεις τη μελέτη χρονικών ακολουθιών, στερεοσκοπικών περιορισμών και της ανθεκτικότητας υπό ατελή τμηματοποίηση.