Computer vision and artificial intelligence methods for video analysis and 3D scene synthesis

Abstract

The rapid growth of video content across domains such as surveillance, live streaming, remote education, and virtual events has created a need for intelligent systems capable of efficiently analyzing and summarizing complex visual data. At the same time, high-fidelity scene synthesis has become critical for environmental monitoring, cultural heritage preservation, and immersive applications. Traditional approaches often struggle with multi-modal data, environmental variability, and dataset-specific challenges, limiting their effectiveness in real-world scenarios. This thesis addresses these challenges by developing multiple complementary frameworks that enable automated video understanding, accurate scene synthesis, and enhanced visual data quality across diverse environments, including both terrestrial and underwater contexts. The primary aim of this research is to advance the understanding and practical application of video analysis and scene synthesis. Specifically, the study develops frameworks for automated video summarization that integrate audio, visual, and textual cues, high-fidelity 3D reconstruction methods that leverage sensor fusion and fine-detail modeling, and image enhancement techniques that optimize quality according to dataset characteristics. By treating these components as distinct yet interoperable frameworks, the research provides scalable, environment-aware solutions that can be deployed in real-world applications with varying computational and operational constraints. The video analysis framework focuses on extracting meaningful information and generating concise summaries from complex video streams, integrating multi-modal cues to improve comprehension and accessibility. Scene reconstruction methods address challenges in both terrestrial and underwater environments, leveraging sensor data to produce high-fidelity, environment-aware 3D models that capture fine structural details. The image enhancement framework selects the most suitable enhancement method for each dataset, ensuring optimal visual quality for downstream analysis and practical applications. All frameworks are validated through experiments on diverse real-world datasets, demonstrating robust performance, scalability, and applicability across different conditions and environments.The results of this research demonstrate significant improvements in both efficiency and quality. The video summarization framework enables rapid extraction of meaningful events from lengthy video streams, reducing the need for in situ observation and providing remote access to critical information. High-fidelity 3D reconstruction captures detailed scene structures in both terrestrial and underwater environments, supporting cultural heritage preservation and environmental monitoring. Adaptive image enhancement ensures that visual data from heterogeneous sources is suitable for downstream analysis, improving usability and reliability across applications. Collectively, these outcomes offer practical tools that enhance decision-making, operational efficiency, and accessibility.Beyond technical contributions, this thesis has substantial academic, societal, and environmental significance. It provides a foundation for future research in multimedia processing, computer vision, and related fields, offering novel methodologies and evaluation frameworks. By enabling remote observation and virtual exploration, the frameworks reduce environmental impact, expand accessibility for individuals unable to attend sites in person, and promote the preservation of cultural and natural resources. Furthermore, they support safer operations in underwater and industrial environments and contribute to more efficient monitoring and management practices. Overall, this research demonstrates how advanced computational frameworks for video understanding, scene reconstruction, and image enhancement can bridge gaps between theory and practical, real-world applications.

Η ραγδαία αύξηση των βίντεο σε τομείς όπως η παρακολούθηση, η ζωντανή μετάδοση, η εξ αποστάσεως εκπαίδευση και οι διαδικτυακές εκδηλώσεις έχει δημιουργήσει έντονη ανάγκη για ευφυή συστήματα ικανά να αναλύουν και να συνοψίζουν αποτελεσματικά πολύπλοκα οπτικά δεδομένα. Ταυτόχρονα, η ανακατασκευή τρισδιάστατων (3Δ) σκηνών έχει καίρια σημασία για την παρακολούθηση του περιβάλλοντος, τη διατήρηση της πολιτιστικής κληρονομιάς και τις εφαρμογές εμβύθισης. Οι παραδοσιακές μέθοδοι συχνά αντιμετωπίζουν δυσκολίες σχετικά με τα δεδομένα και τις μεταβολές του περιβάλλοντος, περιορίζοντας την αποτελεσματικότητά τους σε πραγματικά σενάρια. Η παρούσα διατριβή αντιμετωπίζει αυτές τις προκλήσεις αναπτύσσοντας πολλαπλές μεθοδολογίες που επιτρέπουν την αυτοματοποιημένη ανάλυση βίντεο, την ακριβή ανακατασκευή σκηνών και τη βελτίωση της ποιότητας οπτικών δεδομένων σε απαιτητικά χερσαία και υποβρύχια περιβάλλοντα. Για την επίτευξη αυτών των στόχων, η διατριβή αναπτύσσει πολλαπλές μεθοδολογίες για την κατανόηση βίντεο, την ανακατασκευή 3Δ σκηνών και την προσαρμοστική ενίσχυση εικόνας. Η μεθοδολογία ανάλυσης βίντεο επικεντρώνεται στην εξαγωγή σημαντικών πληροφοριών και στη δημιουργία συνοπτικών αναφορών από πολύπλοκα βίντεο, ενσωματώνοντας πολυτροπικά στοιχεία για τη βελτίωση της κατανόησης και της προσβασιμότητας. Οι μέθοδοι 3Δ ανακατασκευής σκηνών αντιμετωπίζουν προκλήσεις τόσο σε χερσαία όσο και σε υποβρύχια περιβάλλοντα, αξιοποιώντας δεδομένα από αισθητήρες για την παραγωγή μοντέλων υψηλής πιστότητας, τα οποία αποτυπώνουν λεπτομερώς τις δομές των σκηνών. Η μεθοδολογία ενίσχυσης εικόνας επιλέγει την πιο κατάλληλη μέθοδο για κάθε σύνολο δεδομένων, εξασφαλίζοντας βέλτιστη ποιότητα της εικόνας για περαιτέρω ανάλυση και πρακτικές εφαρμογές. Όλες οι μεθοδολογίες αξιολογούνται μέσω πειραμάτων σε πραγματικά σύνολα δεδομένων, αποδεικνύοντας αξιόπιστη απόδοση και αποτελεσματικότητα σε διαφορετικές συνθήκες και περιβάλλοντα. Τα αποτελέσματα αυτής της έρευνας δείχνουν σημαντικές βελτιώσεις τόσο στην αποδοτικότητα όσο και στην ποιότητα. Η μεθοδολογία αυτόματης σύνοψης βίντεο επιτρέπει την εξαγωγή σημαντικών γεγονότων από εκτενείς ροές βίντεο, βελτιώνοντας την εμπειρία χρήστη και διευκολύνοντας την πρόσβαση σε σημαντικές πληροφορίες. Η υψηλής πιστότητας τρισδιάστατη ανακατασκευή καταγράφει λεπτομερείς σκηνές σε χερσαία και υποβρύχια περιβάλλοντα, συμβάλλοντας στη διατήρηση της πολιτιστικής κληρονομιάς και στην περιβαλλοντική παρακολούθηση. Η ενίσχυση εικόνας εξασφαλίζει ότι τα οπτικά δεδομένα από διάφορες πηγές είναι κατάλληλα για περαιτέρω ανάλυση, βελτιώνοντας τη χρηστικότητα και την αξιοπιστία σε εφαρμογές. Συνολικά, τα αποτελέσματα παρέχουν πρακτικά εργαλεία που ενισχύουν τη λήψη αποφάσεων και την προσβασιμότητα.Πέρα από τις τεχνικές συνεισφορές, η διατριβή έχει σημαντική ακαδημαϊκή, κοινωνική και περιβαλλοντική σημασία. Παρέχει θεμέλια για μελλοντική έρευνα στην επεξεργασία πολυμέσων, την υπολογιστική όραση και συναφείς τομείς, προσφέροντας νέες μεθοδολογίες και πλαίσια αξιολόγησης. Μέσω της δυνατότητας παρατήρησης και εικονικής εξερεύνησης, οι προτεινόμενες μεθοδολογίες μπορούν να συμβάλουν στη μείωση του περιβαλλοντικού αποτυπώματος, διευρύνοντας την προσβασιμότητα για άτομα που δεν μπορούν να παρακολουθήσουν εκδηλώσεις ή χώρους πολιτιστικής κληρονομιάς αυτοπροσώπως, συνεισφέροντας παράλληλα στη διατήρηση πολιτιστικών και φυσικών πόρων. Επιπλέον, υποστηρίζουν ασφαλέστερες δραστηριότητες σε υποβρύχια και βιομηχανικά περιβάλλοντα και συμβάλλουν σε πιο αποτελεσματικές πρακτικές παρακολούθησης και διαχείρισης. Συνολικά, η έρευνα αυτή καταδεικνύει πώς προηγμένες μεθοδολογίες για την κατανόηση βίντεο, την ανακατασκευή σκηνών και την ενίσχυση εικόνας μπορούν να γεφυρώσουν το χάσμα μεταξύ θεωρίας και εφαρμογών σε πραγματικές συνθήκες.