From pixels to impact: deep learning and satellite data for rapid hazard assessment

Abstract

Natural disasters represent one of the most severe and persistent threats to human societies and natural ecosystems. Whether driven by climatic shifts or underground geophysical dynamics, these events can unfold with devastating speed and magnitude, leading to widespread environmental damage, infrastructure loss and socio-economic disruption. In this context, timely and accurate mapping of disaster impacts is critical for effective emergency response, recovery planning and long-term risk reduction. However, traditional damage assessment methods are often slow, costly and impractical in vast or inaccessible areas. While the growing availability of satellite-based Earth Observation data offers global, continuous coverage and rich information on surface changes, the scale and complexity of these datasets pose substantial analytical and computational challenges. Deep learning has emerged as a promising solution for extracting actionable insights from large volumes of multi-temporal and multi-sensor satellite captions. Image-based architectures are particularly well suited for tasks such as classification, segmentation and change detection, assisting impact assessment both during and after the disaster. Nevertheless, training deep learning networks for hazard monitoring faces varying obstacles including limited labelled data, heterogeneous sensor characteristics, and noisy ground truth. At the same time, deployment of such models in operational contexts for supporting time-critical decision making in real-world disaster response scenarios requires robust generalization skills across regions and imaging conditions. This dissertation investigates the synergy between remote sensing and deep learning for the automated mapping of natural hazard impact, providing scientific contributions across two distinct axes. On the first axis, we present extensive manually annotated datasets in an analysis-ready format, aiming to bridge significant gaps in the literature and facilitate the training of robust large scale neural networks. We additionally conduct thorough benchmarks with a multitude of existing methods and models, setting the state-of-the-art in various disaster monitoring tasks at an unprecedented scale. On the second axis, we focus on methodological enhancements, and propose two novel deep learning architectures for burn scar mapping. Initially, a new model is designed for the delineation of burnt areas utilising high-resolution bitemporal imagery, which achieves superior results and surpasses the current state-of-the-art baseline. Subsequently, we formulate a new problem in Earth Observation by highlighting the intricacies of burn scar mapping with multi-resolution bitemporal imagery, distinguishing it from generic change detection tasks already investigated in the literature. To tackle this newly framed problem, we explore data fusion strategies motivated by the complementary nature of different sensors, then critically examine deep learning–based downscaling methods, and propose an alternative fusion approach that avoids noise imputation from intermediate resolution enhancement steps, focusing on a next-day, accurate mapping of wildfire impact. Overall, the present work advances the state of the art in disaster impact mapping exploiting both single- and multi-sensor input data for the production of accurate, trustworthy delineations. By delivering new datasets, benchmarks and custom deep learning architectures, we demonstrate how integrated remote sensing and machine learning approaches can effectively support timely decision making and climate-related risk management.

Η εντατικοποίηση των φυσικών καταστροφών, που αποτελεί απόρροια της υπερθέρμανσης του πλανήτη ή και υπόγειων γεωφυσικών διεργασιών αόρατων στον ανθρώπινο μάτι, έχει επιφέρει σημαντικές επιπτώσεις σε οικοσυστήματα, υποδομές και τοπικές κοινότητες. Ακραία φυσικά φαινόμενα όπως πυρκαγιές, πλημμύρες, σεισμοί και ηφαιστειακές εκρήξεις μπορεί να εκτυλιχθούν με ραγδαίο ρυθμό και σε μεγάλη κλίμακα, περιορίζοντας τον χρόνο απόκρισης και προετοιμασίας για την αποφυγή εκτεταμένων απωλειών. Μέσω της ακριβούς εκτίμησης και χαρτογράφησης των επιπτώσεων των πληγεισών περιοχών επιτυγχάνεται η έγκαιρη διαχείριση κρίσεων, καθώς επίσης και ο στρατηγικός σχεδιασμός για την αποκατάσταση ζημιών και οικοσυστημάτων σε μακροσκοπικό επίπεδο. Εντούτοις, πολλές από τις μεθόδους που χρησιμοποιούνται επιχειρησιακά για το σκοπό αυτό απαιτούν υψηλές δαπάνες σε χρόνο και πόρους, ενώ πολλές φορές καθίσταται αδύνατη η εφαρμογή τους σε δυσπρόσιτες ή απομακρυσμένες περιοχές ενδιαφέροντος. Τη λύση στο πρόβλημα καλείται να δώσει η Τηλεπισκόπηση, η οποία προσφέρει τεράστιο όγκο δεδομένων και συνεχή κάλυψη ολόκληρης της Γης ανά τακτά χρονικά διαστήματα, παρέχοντας πλούσιες πληροφορίες για τις δυναμικές διεργασίες και τις μεταβολές στην επιφάνεια του πλανήτη. Παρ' όλα αυτά, η πολυπλοκότητα και η κλίμακα τέτοιων δεδομένων απαιτεί προσεκτική διαχείριση και ανάλυση, που ξεφεύγει από το πλαίσιο μιας απλής επεξεργασίας εικόνας. Παράλληλα, τα τελευταία χρόνια η Τεχνητή Νοημοσύνη (Artificial Intelligence) έχει αναδειχθεί ως ένα ισχυρό εργαλείο για την εξαγωγή γνώσης από τεράστιο όγκο δορυφορικών πολυτροπικών (multimodal) δεδομένων. Ειδικότερα, μέθοδοι επεξεργασίας εικόνων με βαθιά μάθηση (deep learning) χρησιμοποιούνται συχνά με επιτυχία σε προβλήματα ταξινόμησης, σημασιολογικής κατάτμησης και ανίχνευσης μεταβολών σε δεδομένα χρονοσειρών. Ωστόσο, η αποδοτική εφαρμογή τέτοιων μεθόδων σε επιχειρησιακό επίπεδο αντιμετωπίζει σημαντικές προκλήσεις, όπως η έλλειψη ποιοτικών δεδομένων εκπαίδευσης, ο εγγενής θόρυβος και οι διαφοροποιήσεις στα χαρακτηριστικά των δορυφορικών αισθητήρων, καθώς επίσης και η δυσκολία στη γενίκευση των μοντέλων σε διαφορετικές γεωγραφικές περιοχές και συνθήκες. Επιπροσθέτως, η ανάγκη για σύντηξη (fusion) δεδομένων από πολλαπλούς αισθητήρες εισάγει περαιτέρω δυσκολίες στη διαχείριση των ιδιαίτερων τεχνικών προδιαγραφών κάθε συστήματος και την εναρμόνισή τους. Η παρούσα διατριβή ερευνά το συνδυασμό τεχνικών βαθιάς μάθησης με πολυτροπικά δορυφορικά δεδομένα για την αυτόματη ανίχνευση και χαρτογράφηση διαφόρων τύπων φυσικών καταστροφών, συνεισφέροντας στην επιστημονική γνώση προς δύο διακριτούς άξονες. Ο πρώτος άξονας αφορά την εις βάθος μελέτη των πλεονεκτημάτων χρήσης μοντέλων βαθιάς μάθησης για το συγκεκριμένο πεδίο. Για το σκοπό αυτό, παρουσιάζονται δύο εκτενή, ποιοτικά σύνολα δεδομένων με επισημάνσεις που έχουν προκύψει μέσω ενδελεχούς φωτοερμηνείας, καλύπτοντας έτσι ένα ορατό κενό στη διεθνή βιβλιογραφία σχετικά με έτοιμα προς χρήση, εμπεριστατωμένα σύνολα αναφοράς για την εκπαίδευση βαθιών νευρωνικών δικτύων. Στη συνέχεια, πραγματοποιείται συγκριτική αξιολόγηση ποικίλων μεθόδων --- μηχανικής και μη --- μάθησης για διαφορετικούς τύπους φυσικών καταστροφών, θέτοντας για πρώτη φορά στη βιβλιογραφία το ανώτατο όριο απόδοσης σε αυτά τα προβλήματα. Ο δεύτερος άξονας αφορά ουσιώδεις συνεισφορές στη μεθοδολογία, με έμφαση στη χαρτογράφηση καμένων εκτάσεων. Συγκεκριμένα, προτείνεται μια νέα αρχιτεκτονική νευρωνικού δικτύου για την παραγωγή υψηλής ποιότητας χαρτογραφήσεων, η οποία ξεπερνά την υφιστάμενη τεχνολογία αιχμής στο συγκεκριμένο πρόβλημα και επιτυγχάνει αξιόπιστα και ακριβή αποτελέσματα χωρίς ανθρώπινη εποπτεία. Έπειτα, τονίζονται οι ιδιαιτερότητες και η αυξημένη πολυπλοκότητα της χαρτογράφησης καμένων εκτάσεων μέσω πολυτροπικών δεδομένων, καταλήγοντας στον ορισμό ενός νέου προβλήματος στον τομέα Παρατήρησης Γης (Earth Observation). Στα πλαίσια του προβλήματος αυτού, πραγματοποιείται μια ενδελεχής ανασκόπηση της βιβλιογραφίας ώστε να διαπιστωθούν οι δυνατότητες και οι περιορισμοί των διαφορετικών μεθόδων για τη βελτίωση της ανάλυσης εικόνων Τηλεπισκόπησης μέσω σύντηξης δεδομένων από πολλαπλούς αισθητήρες. Έπειτα, προτείνεται μια νέα αρχιτεκτονική νευρωνικού δικτύου που παρακάμπτει την ανάγκη χρήσης τέτοιων τεχνικών, ώστε να αποφευχθεί η εισαγωγή θορύβου και η σύνθεση πλαστών χαρακτηριστικών, ενώ παράλληλα επωφελείται από τεχνικές βαθιάς επίβλεψης (deep supervision) που διευκολύνουν την επίτευξη του τελικού στόχου. Το νέο αυτό μοντέλο επιτυγχάνει χαρτογραφήσεις της πληγείσας περιοχής σε υψηλή χωρική ανάλυση μόλις μια μέρα μετά την πυρκαγιά, προσφέροντας τη δυνατότητα έγκαιρης εκτίμησης των ζημιών και αποτελεσματικής υποστήριξης αποφάσεων στο πεδίο. Συνοψίζοντας, η παρούσα διατριβή συμβάλλει στην εξέλιξη της επιστημονικής γνώσης και μεθοδολογίας στα πλαίσια της χαρτογράφησης των επιπτώσεων φυσικών καταστροφών με χρήση δορυφορικών εικόνων. Μέσω της σύνθεσης εκτενών συνόλων δεδομένων, της αξιολόγησης καθιερωμένων τεχνικών και το σχεδιασμό καινοτόμων νευρωνικών δικτύων, προσφέρει μια νέα προσέγγιση στην αυτόματη χαρτογράφηση ακραίων φαινομένων, επιβεβαιώνοντας την αποτελεσματικότητα της βαθιάς μάθησης στην υποστήριξη έγκαιρης λήψης αποφάσεων σε καταστάσεις εκτάκτου ανάγκης.