Multimodal self-supervised learning for earth observation

Abstract

The rich and multi-source information provided by Earth Observation (EO) instruments creates new possibilities for studying the complex processes that govern the Earth System. This potential is further amplified by the recent surge of freely available multi-sensor EO data, which provides fertile ground for integrating EO with deep learning, driving a shift toward data-driven monitoring and forecasting. This emerging synergy holds the potential to advance a wide range of highly critical applications with direct social impact, such as volcanic activity monitoring, rapid flood mapping, and wildfire risk estimation. Deep learning has already demonstrated remarkable success in various domains, including Computer Vision and Natural Language Processing. This progress has been largely driven by the introduction of large-scale annotated datasets like ImageNet, which enable the learning of rich and meaningful representations, significantly enhancing predictive performance. However, extending deep learning methods to EO is far from straightforward, as the domain introduces its own distinct challenges. Curating reliable EO datasets is costly and labor-intensive, often requiring expert annotations, while remaining vulnerable to label noise. Moreover, EO imagery differs fundamentally from natural images: it is highly multimodal, spans varying spatiotemporal scales, and exhibits variations in object size, resolution, acquisition modes, sensor types and environmental conditions. In contrast to the natural image domain, every element of an EO scene carries potential relevance, eliminating the notion of background and making class definitions use-case dependent. As a result, creating a well-curated dataset for each task is infeasible due to the ever-increasing set of possible applications and sensor combinations. In addition, the critical nature of EO applications requires models that are not only accurate but also trustworthy, further complicating the adoption of deep learning methods. This thesis addresses these challenges by advancing deep representation learning for EO along three main directions: a) developing task-specific EO models and datasets; b) designing task- and sensor-agnostic representation learning methods moving towards unified EO foundation models; and c) investigating the generalization capacity of pretrained representation uncertainty in EO, working towards zero-shot data uncertainty estimation across the EO domain and ultimately contributing to the development of trustworthy deep learning models. Together, these contributions advance the current state of representation learning for EO data both in terms of performance and trustworthiness.

Η αφθονία πολυτροπικής πληροφορίας που παρέχουν τα όργανα τηλεπισκόπησης δημιουργεί νέες δυνατότητες για τη μελέτη των σύνθετων διεργασιών που διέπουν το σύστημα της Γης. Αυτές οι δυνατότητες ενισχύονται περαιτέρω από τη ραγδαία αύξηση των διαθέσιμων πολυτροπικών δεδομένων γεωπαρατήρησης, δημιουργώντας γόνιμο έδαφος για την ενσωμάτωση μεθόδων βαθιάς μάθησης στον τομέα. Ως αποτέλεσμα, παρατηρείται μια στροφή προς καινοτόμες μεθόδους πρόβλεψης και παρακολούθησης, βασισμένες αποκλειστικά σε δεδομένα παρατήρησης. Αυτή η αναδυόμενη συνέργεια μεταξύ γεωπαρατήρησης και βαθιάς μάθησης μπορεί να συμβάλλει καθοριστικά στην εξέλιξη ενός μεγάλου φάσματος κρίσιμων εφαρμογών με άμεσο όφελος για την κοινωνία, όπως η παρακολούθηση ηφαιστειακής δραστηριότητας, η άμεση χαρτογράφηση πλημμυρικών φαινομένων και η εκτίμηση κινδύνου πυρκαγιάς. Η βαθιά μάθηση έχει επιδείξει αξιοσημείωτη επιτυχία σε διάφορους τομείς, συμπεριλαμβανομένης της Υπολογιστικής Όρασης αλλά και της Επεξεργασίας Φυσικής Γλώσσας. Αυτή η πρόοδος οφείλεται σε μεγάλο βαθμό στη διαθεσιμότητα μεγάλων επισημασμένων συνόλων δεδομένων, όπως το ImageNet, τα οποία επιτρέπουν την εκμάθηση πλούσιων και εκφραστικών αναπαραστάσεων, ενισχύοντας σημαντικά την απόδοση των μοντέλων βαθιάς μάθησης. Οι ιδιαιτερότητες, ωστόσο, του πεδίου της γεωπαρατήρησης θέτουν σημαντικές προκλήσεις και δυσχεραίνουν την επέκταση αυτών των μεθόδων στον τομέα. Η δημιουργία αξιόπιστων συνόλων δεδομένων παρατήρησης Γης αποτελεί χρονοβόρα και δαπανηρή διαδικασία, καθώς απαιτεί εξειδικευμένη τεχνογνωσία για την ερμηνεία και επισημείωση των δεδομένων, ενώ ταυτόχρονα παραμένει ευάλωτη σε θόρυβο επισημείωσης. Επιπρόσθετα, η φύση των εικόνων παρατήρησης Γης διαφέρει θεμελιωδώς από τις συνηθισμένες φυσικές εικόνες. Συγκεκριμένα, χαρακτηρίζονται από έντονη πολυτροπικότητα, εκτείνονται σε διάφορες χωροχρονικές κλίμακες, και παρουσιάζουν μεγάλη ετερογένεια ως προς τα μεγέθη των αποτυπωμένων αντικειμένων, τη χωρική ανάλυση, τον τρόπο λήψης δεδομένων, τους αισθητήρες, και τις περιβαλλοντικές συνθήκες. Σε αντίθεση με το πεδίο των φυσικών εικόνων, όλα τα στοιχεία μια σκηνής παρατήρησης Γης έχουν εν δυνάμει σημασία, καταργώντας πλήρως την έννοια του παρασκηνίου και καθιστώντας τους ορισμούς των αντικειμένων ενδιαφέροντος πλήρως εξαρτώμενους από την εκάστοτε εφαρμογή. Ως αποτέλεσμα, η δημιουργία καλώς ορισμένων συνόλων δεδομένων για κάθε εφαρμογή είναι εξαιρετικά δύσκολη λόγω των αναρίθμητων συνδυασμών εφαρμογών και αισθητήρων. Επιπλέον, η κρισιμότητα των εφαρμογών που σχετίζονται με την παρατήρηση Γης περιπλέκει ακόμα περισσότερο την υιοθέτηση της βαθιάς μάθησης, απαιτώντας αξιόπιστες μεθόδους ικανές να παρέχουν όχι μόνο ακριβείς προβλέψεις αλλά και να εκτιμήσουν την αβεβαιότητα τους. Η παρούσα διατριβή αντιμετωπίζει αυτές τις προκλήσεις εξελίσσοντας τις μεθόδους βαθιάς μάθησης αναπαραστάσεων για παρατήρηση Γης σε τρεις άξονες: α) αναπτύσσοντας εξειδικευμένα μοντέλα και σύνολα δεδομένων για συγκεκριμένες εφαρμογές γεωπαρατήρησης, β) δημιουργώντας γενικές μεθόδους εκμάθησης αναπαραστάσεων ικανές να λειτουργούν αποδοτικά για κάθε εφαρμογή και σύνολο αισθητήρων, οδηγώντας τον τομέα σε ενοποιημένες λύσεις για την εξαγωγή αναπαραστάσεων και γ) μελετώντας τις ικανότητες γενίκευσης προεκπαιδευμένων μοντέλων εκτίμησης αβεβαιότητας, στοχεύοντας σε μια καθολική λύση εκτίμησης αβεβαιότητας ανεξαρτήτως εφαρμογής, χωρίς την ανάγκη για περαιτέρω εκπαίδευση. Συνολικά, οι παραπάνω συνεισφορές αποτελούν σημαντική πρόοδο στο πεδίο της εκμάθησης αναπαραστάσεων για δεδομένα γεωπαρατήρησης, τόσο σε σχέση με την απόδοση των μοντέλων όσο και με την αξιοπιστία τους.