Marine pollution detection from multispectral remote sensing data

Abstract

Monitoring marine pollutants, such as Marine Debris and Oil Spills is of fundamental importance for protecting the marine environment, public health and maritime activities. The deployment of the latest-generation Earth Observation satellite platforms has led to an increasing volume and variety of geospatial data, facilitating continuous monitoring of the marine ecosystem and operational systems development. However, the accurate detection and tracking of marine pollutants and other features on the sea surface from the currently broadly available satellite data is still a major challenge due to the properties of current sensors, the complex optical properties of specific floating objects, the variability of the sea conditions and the monolithic approaches employed so far (e.g., binary classification tasks). To this end, this dissertation is concerned with the mapping of marine pollution, i.e., Marine Debris and Oil Spill, and other sea surface features using multitemporal high-resolution multispectral data at a global scale. The first topic of this dissertation is the investigation of the capabilities of the current Sentinel-2, Landsat-8 and Planet satellite sensors in detecting plastic debris. Since at the beginning of this thesis, the research on marine litter detection from satellite imagery was in its very infancy, the first step was to collect reliable in situ data of Marine Debris to verify multispectral satellite observations. Thus, focusing on Honduras Gulf (Caribbean Sea), a highly affected by plastic pollution region, significant insights about plastics' spectral behavior, sources, travelling trajectories and tracking were extracted, contributing to fundamental open issues regarding Marine Debris monitoring. Secondly, this dissertation contributes to benchmarking Marine Debris detection using high-resolution multispectral Sentinel-2 satellite data. Well-established Random Forest classifier and Deep Learning U-Net model were developed and evaluated, and the labelled data were openly provided, triggering the research community to create and validate current and future Marine Debris detection solutions. The considered created database, named MARIDA (Marine Debris Archive), was the first open-access benchmark dataset that discriminates Marine Debris from other features that co-exist, such as floating macroalgae, ships, water-related classes, etc. A detailed spectral and statistical analysis of MARIDA was also offered through interactive online material, enabling the users to explore the spectral behaviour of Marine Debris and other recorded classes. MARIDA FAIR data and software are open and re-usable and can be integrated to several marine debris detection solutions based on artificial intelligence, or satellite pre-processing pipelines. The third contribution of this dissertation is the development of a mapping framework for marine pollutants and sea surface features detection, including globally distributed Sentinel-2 satellite observations, aiming to support future operational solutions development. Towards this direction, a new state-of-the-art convolutional model was proposed, named MariNeXt, which led to overall F1, mIoU and Overall Accuracy scores of 76%, 64% and 89%, outperforming all baselines by at least 12% in F1 and mIoU metrics. A Marine Debris and Oil Spill (MADOS) dataset was also offered, composed of 174 Sentinel-2 scenes captured between 2015-2022, with approximately 1.5M annotated pixels globally distributed and collected under various weather conditions, forming 15 different thematic classes. Finally, important findings regarding the discrimination potentials of the considered thematic classes are discussed in detail based on an extensive quantitative and qualitative evaluation. To the best of our knowledge, there is no other available mapping framework and open-access dataset for marine pollutants and other sea surface features detection at 10m spatial resolution with such thematic analysis and quite promising mapping outcomes. By considering, without exceptions, the competing marine pollutants, other sea surface features and water-related classes, reliable operational monitoring solutions can be developed using the proposed framework and dataset.

Η ζωή στον πλανήτη εξαρτάται σε σημαντικό βαθμό από τους ωκεανούς, που αποτελούν το μεγαλύτερο μέρος του νερού στη Γη. Επιπλέον, περίπου το ήμισυ του παγκόσμιου πληθυσμού ζει στην παράκτια ζώνη, ενώ οι επιχειρήσεις που βασίζονται στον ωκεανό συνεισφέρουν σημαντικά στην παγκόσμια οικονομία. Επομένως, η μελέτη του θαλάσσιου περιβάλλοντος αποτελεί σήμερα προτεραιότητα για μεγάλο αριθμό επιστημονικών κοινοτήτων, εθνικών και διεθνών φορέων και οργανισμών. Ιδιαίτερα η μελέτη της θαλάσσιας ρύπανσης (π.χ., θαλάσσια απορρίμματα, πετρελαιοκηλίδες) αποτελεί ένα από τα πιο πρόσφατα αλλά και πιο σημαντικά πεδία έρευνας λόγω των καταστροφικών επιπτώσεων για τη βιοποικιλότητα και τον άνθρωπο. Η έρευνα και η ακριβής καταγραφή και παρακολούθηση της θαλάσσιας ρύπανσης κρίνεται πλέον απαραίτητη τόσο για την προστασία του θαλάσσιου οικοσυστήματος και της δημόσιας υγείας όσο και για την υποστήριξη της γαλάζιας οικονομίας. Tα δεδομένα παρατήρησης γης προσφέρουν τη δυνατότητα για καταγραφή και παρακολούθηση του θαλάσσιου περιβάλλοντος σε μεγάλες χωρικές και χρονικές κλίμακες με παγκόσμια κάλυψη. Ιδιαίτερα τα τελευταία χρόνια η διάθεση τηλεπισκοπικών δεδομένων από αισθητήρες δορυφόρων τελευταίας γενιάς και η ανάπτυξη μεθόδων που βασίζονται σε μοντέλα και μεθόδους μηχανικής μάθησης, έχει οδηγήσει σε εξαιρετικά αποτελέσματα σε σχέση με την παρακολούθηση του θαλάσσιου περιβάλλοντος. Παρόλο αυτά, ο ακριβής εντοπισμός των ρυπαντών και άλλων στοιχείων στην επιφάνεια της θάλασσας με τη χρήση των διαθέσιμων δορυφορικών δεδομένων αποτελεί μια ιδιαίτερα δύσκολη πρόκληση λόγω των φασματικών και χωρικών αναλύσεων των δορυφόρων και των πολύπλοκων οπτικών ιδιοτήτων ορισμένων αντικειμένων (π.χ., πλαστικά απορρίμματα). Επιπλέον, τα μοντέλα μηχανικής μάθησης που έχουν αναπτυχθεί έως και σήμερα για τον εντοπισμό της θαλάσσιας ρύπανσης τις περισσότερες φορές αφορούν σε πολύ συγκεκριμένες περιοχές (regional models), γεγονός που περιορίζει την ικανότητα γενίκευσης των μοντέλων, ενώ στοχεύουν κυρίως στον εντοπισμό μιας μόνο μορφής ρύπανσης (π.χ. πλαστικά/ όχι πλαστικά ή παρουσία/ απουσία πετρελαιοκηλίδας) και μάλιστα με όχι ικανοποιητικές επιδόσεις. Τέλος, τα περισσότερα συστήματα που έχουν αναπτυχθεί μέχρι σήμερα εστιάζουν κυρίως στην κατανόηση και το διαχωρισμό των φασματικών υπογραφών χωρίς να λαμβάνουν υπόψιν τη χωρική ή χρονική πληροφορία. Προς την κατεύθυνση αυτή, στην παρούσα διδακτορική διατριβή μελετάται και αναλύεται διεξοδικά το αντικείμενο του εντοπισμού της θαλάσσιας ρύπανσης (θαλάσσια απορρίμματα και πετρελαιοκηλίδες) καθώς και άλλων αντικειμένων/ στοιχείων στην επιφάνεια της θάλασσας με χρήση διαχρονικών πολυφασματικών δορυφορικών δεδομένων υψηλής χωρικής ανάλυσης σε παγκόσμια κλίμακα. Η βασική συνεισφορά της διατριβής είναι η ανάπτυξη και αξιολόγηση ενός μεθοδολογικού πλαισίου για τον εντοπισμό των θαλάσσιων απορριμμάτων και πετρελαιοκηλίδων με υψηλή χωρική και θεματική ανάλυση. Πιο συγκεκριμένα, στο πρώτο στάδιο παρουσιάζεται η διερεύνηση των δυνατοτήτων των δορυφόρων υψηλής χωρικής ανάλυσης Sentinel-2, Landsat-8 και Planet στον εντοπισμό των θαλάσσιων απορριμμάτων. Εφόσον όταν ξεκίνησε η συγκεκριμένη διατριβή η έρευνα για την ανίχνευση των θαλάσσιων απορριμμάτων από τηλεπισκοπικά δεδομένα ήταν σε αρκετά πρώιμο στάδιο, το πρώτο βήμα ήταν η συλλογή αξιόπιστων δεδομένων αναφοράς με σκοπό να επικαιροποιηθούν οι δορυφορικές παρατηρήσεις. Επομένως, η έρευνα αρχικά επικεντρώθηκε στον Κόλπο της Ονδούρας (Καραϊβική Θάλασσα), μια περιοχή που είναι από τις πιο επιβαρυμένες από την πλαστική ρύπανση παγκοσμίως. Η συγκεκριμένη περιοχή αποδείχθηκε ιδανική για τη μελέτη της πλαστικής ρύπανσης και την εξαγωγή σημαντικών αποτελεσμάτων σχετικά με τα απορρίμματα, τη φασματική τους συμπεριφορά, τις πηγές τους (ποτάμια) αλλά και την πορεία που ακολουθούν. Επομένως, η παρούσα διατριβή συνεισφέρει σημαντικά σε κρίσιμα ερωτήματα που έχει θέσει η επιστημονική κοινότητα σχετικά με τη μελέτη βασικών χαρακτηριστικών των απορριμμάτων με τη χρήση δορυφορικών δεδομένων.Η δεύτερη ενότητα αφορά στη μεθοδολογία αξιολόγησης (benchmarking) του εντοπισμού των θαλάσσιων απορριμμάτων με τη χρήση των πολυφασματικών δεδομένων υψηλής χωρικής ανάλυσης Sentinel-2. Πιο συγκεκριμένα, δημιουργήθηκε το σύνολο των δεδομένων MARIDA (Marine Debris Archive) με παρατηρήσεις πλαστικών απορριμμάτων αλλά και άλλων αντικειμένων/ στοιχείων όπως Sargassum μακροφύκος, πλοία, κ.α. και αναπτύχθηκαν και αξιολογήθηκαν οι αλγόριθμοι μηχανικής μάθησης Random Forest και U-Net. Το συγκεκριμένο σύνολο δεδομένων είναι το πρώτο που διαχωρίζει τα πλαστικά απορρίμματα από άλλα στοιχεία που συνυπάρχουν στην επιφάνεια της θάλασσας σε πολυφασματικά δορυφορικά δεδομένα. Επίσης παρουσιάζονται διεξοδικά η φασματική και στατιστική ανάλυση του συνόλου δεδομένων μέσω διαδραστικής ιστοσελίδας, διευκολύνοντας τους χρήστες να εξετάσουν τη φασματική συμπεριφορά των απορριμμάτων καθώς και των υπόλοιπων κατηγοριών. Τα ανοιχτά δεδομένα MARIDA είναι FAIR εφόσον είναι εντοπίσιμα, προσβάσιμα, διαλειτουργικά και επαναχρησιμοποιήσιμα. Η τρίτη ενότητα της παρούσας διδακτορικής διατριβής είναι η ανάπτυξη μιας μεθοδολογίας για τον αυτόματο εντοπισμό της θαλάσσιας ρύπανσης και άλλων στοιχείων στην επιφάνεια της θάλασσας με σκοπό την υποστήριξη μελλοντικών επιχειρησιακών συστημάτων παρακολούθησης της θαλάσσιας ρύπανσης. Προς αυτή την κατεύθυνση, δημιουργήθηκε μία βάση δεδομένων με παρατηρήσεις πλαστικών απορριμμάτων και πετρελαιοκηλίδων, καθώς και άλλων στοιχείων στην επιφάνεια της θάλασσας σε παγκόσμια κλίμακα για 15 κατηγορίες. Η βάση αυτή αποτελείται από 1,5 εκατομμύρια εικονοστοιχεία και 174 διαφορετικές εικόνες Sentinel-2 που καλύπτουν τη χρονική περίοδο 2015-2022. Επί προσθέτως, υλοποιήθηκε και αξιολογήθηκε ένα καινοτόμο μοντέλο βαθιάς μηχανικής μάθησης, το MariNeXt, το οποίο οδήγησε σε υψηλότερές τιμές από τα υπόλοιπα μοντέλα αναφοράς (baselines) σε όλες τις μετρικές αξιολόγησης. Τέλος, μέσω ποιοτικής και ποσοτικής αξιολόγησης γίνεται λεπτομερής ανάλυση και παρουσίαση των αποτελεσμάτων σχετικά με τη δυνατότητα διάκρισης των απορριμμάτων και πετρελαιοκηλίδων από τα υπόλοιπα στοιχεία/ αντικείμενα στα δορυφορικά δεδομένα. Η παρούσα διατριβή αναπτύσσεται σε 6 κεφάλαια: Στο Κεφάλαιο 1, περιγράφεται το αντικείμενο της επιστημονικής μελέτης και αναπτύσσονται οι βασικές πτυχές και προκλήσεις στον εντοπισμό της θαλάσσιας ρύπανσης με τη χρήση των διαθέσιμων δορυφορικών δεδομένων. Παράλληλα, προσδιορίζεται το κίνητρο, οι στόχοι της διατριβής καθώς και η συνεισφορά της στην επιστημονική κοινότητα. Ακόμη, παρατίθενται οι δημοσιεύσεις που προέκυψαν από τη συγκεκριμένη διατριβή και τέλος παρουσιάζεται η δομή του τεύχους. Στο Κεφάλαιο 2, αρχικά, αναπτύσσεται η διαθέσιμη βιβλιογραφία σχετικά με το πρόβλημα της πλαστικής ρύπανσης καθώς και τις μεθόδους που έχουν χρησιμοποιηθεί τα τελευταία χρόνια για την παρακολούθηση της. Επιπλέον, γίνεται ανασκόπηση των μεθοδολογιών που έχουν προταθεί από τη σύγχρονη βιβλιογραφία για τον εντοπισμό της θαλάσσιας ρύπανσης και άλλων στοιχείων στην επιφάνεια της θάλασσας με τη χρήση πολυφασματικών εικόνων υψηλής χωρικής ανάλυσης. Ακόμη, γίνεται σύντομη περιγραφή της διαθεσιμότητας και των χαρακτηριστικών των δορυφορικών εικόνων υψηλής χωρικής ανάλυσης Sentinel-2, Landsat-8 και Planet. Τέλος, παρουσιάζονται οι φασματικές υπογραφές όλων των εξεταζόμενων στοιχείων στην επιφάνεια της θάλασσας καθώς και αναλύονται περιπτώσεις, με οπτικά παραδείγματα, στις οποίες ο διαχωρισμός τους βασει μόνο της φασματικής πληροφορίας είναι αρκετά δύσκολος. Στο Κεφάλαιο 3 αναπτύσσεται η μεθοδολογία για την παρακολούθηση των θαλάσσιων απορριμμάτων και τον εντοπισμό της πηγής τους (ποτάμια) και της πορείας τους με τη χρήση των πολυφασματικών δεδομένων από τους δορυφόρους Landsat-8, Planet & Sentinel-2. Πιο συγκεκριμένα, αναλύεται διεξοδικά η συλλογή των δεδομένων αναφοράς και των ωκεανογραφικών δεδομένων, η προ-επεξεργασία των εικόνων και η διαδικασία αναγνώρισης των πλαστικών απορριμμάτων και του μακροφύκους Sargassum στα δορυφορικά δεδομένα στην περιοχή του κόλπου της Ονδούρας (Καραϊβική Θάλασσα). Έπειτα, παρουσιάζονται αναλυτικά οι φασματικές υπογραφές των εξεταζόμενων στοιχείων καθώς και τα βασικά χαρακτηριστικά (πηγές, τροχιά, ταχύτητα, βάρος) των επιπλεόντων πλαστικών απορριμμάτων. Τέλος, παρατίθενται η σύγκριση των αποτελεσμάτων με τα αποτελέσματα που προέκυψαν από μοντέλο τελευταίας τεχνολογίας καθώς και με την υπάρχουσα βιβλιογραφία. Στο Κεφάλαιο 4 αναλύεται η μεθοδολογία αξιολόγησης εντοπισμού των θαλάσσιων απορριμμάτων (Marine Debris benchmarking) στα πολυφασματικά δορυφορικά δεδομένα Sentinel-2. Αρχικά γίνεται αναλυτική περιγραφή της συλλογής των δεδομένων αναφοράς (καταγραφές από πολίτες-επιστήμονες, βιβλιογραφία, μέσα ενημέρωσης) που αφορούν σε παράκτιες περιοχές και ποτάμια που είναι επιβαρυμένα από την πλαστική ρύπανση. Στη συνέχεια γίνεται διεξοδική παρουσίαση της διαδικασίας αναγνώρισης των απορριμμάτων στις δορυφορικές εικόνες Sentinel-2 και του πρωτόκολλου ψηφιοποίησης που ακολουθήθηκε. Επιπλέον, παρατίθενται διεξοδική περιγραφή και στατιστική ανάλυση του συνόλου δεδομένων (MARIDA) που προέκυψε, καθώς και η οπτικοποίηση των δορυφορικών παρατηρήσεων βάσει της φασματικής τους πληροφορίας. Έπειτα, αναπτύσσονται και αξιολογούνται ποιοτικά και ποσοτικά οι μέθοδοι μηχανικής μάθησης Random Forest και U-Net και τα αποτελέσματα που εξήχθησαν συγκρίνονται με την πρόσφατη βιβλιογραφία. Τέλος, με βάση το σύνολο δεδομένων MARIDA, εξετάζονται περαιτέρω φασματικοί δείκτες και χωρικά στοιχεία, αναλύεται η συμβολή τους στην επιτευχθείσα ακρίβεια του μοντέλου, και προτείνονται συγκεκριμένοι συνδυασμοί για τον διαχωρισμό των υπό μελέτη επιπλεόντων στοιχείων στα πολυφασματικά δορυφορικά δεδομένα. Στο Κεφάλαιο 5, παρουσιάζεται η μεθοδολογία εντοπισμού της θαλάσσιας ρύπανσης (θαλάσσια απορρίμματα και πετρελαιοκηλίδες) στα πολυφασματικά δορυφορικά δεδομένα Sentinel-2. Αρχικά, γίνεται διεξοδική περιγραφή της νέας βάσης δεδομένων (MADOS) καθώς και παρουσίαση των θεματικών κατηγοριών που συμπεριλαμβάνονται με οπτικά παραδείγματα. Ακόμη, παρουσιάζεται αντιπροσωπευτική περιοχή μελέτης (Αν . Μεσόγειος) του συνόλου δεδομένων MADOS στην οποία έγινε καταγραφή και μελέτη της παρουσίας πετρελαιοκηλίδας με τη χρήση πολυφασματικών εικόνων Landsat-8, Planet & Sentinel-2. Επιπλέον, αναλύεται το καινοτόμο μεθοδολογικό πλαίσιο για τον εντοπισμό της θαλάσσιας ρύπανσης, το MariNeXt, που αναπτύχθηκε βάσει μοντέλου τελευταίας τεχνολογίας το οποίο στη συνέχεια αξιολογήθηκε ποσοτικά και ποιοτικά. Τέλος, ακολουθεί εκτενής ερμηνεία της συμπεριφοράς του MariNeXt καθώς και αναλυτική περιγραφή, με οπτικά παραδείγματα, των περιπτώσεων που ο εντοπισμός των θαλάσσιων απορριμμάτων και των πετρελαιοκηλίδων είναι εφικτός στα πολυφασματικά δεδομένα.Τέλος το Κεφάλαιο 6 παρουσιάζει τα συμπεράσματα της διατριβής σχολιάζοντας τα βασικά μεθοδολογικά στοιχεία και τα πειραματικά ευρήματα. Ακόμη, παρέχεται συζήτηση και σκέψεις για βελτιώσεις, και μελλοντικές επεκτάσεις του προτεινόμενου μεθοδολογικού πλαισίου. Μετά το Κεφάλαιο 6 ακολουθεί η Βιβλιογραφία.Οι βασικές ιδέες και τα αποτελέσματα της διατριβής έχουν δημοσιευτεί σε επιστημονικά περιοδικά και έχουν παρουσιαστεί σε διεθνή συνέδρια με σημαντικό αριθμό αναφορών. Η ανάλυση αυτή συνδυαστικά με τη διεξοδική αξιολόγηση της προτεινόμενης μεθοδολογίας μπορεί να συνεισφέρει σημαντικά στη δημιουργία των μελλοντικών επιχειρησιακών συστημάτων παρακολούθησης της θαλάσσιας ρύπανσης σε υψηλή χωρική και θεματική ανάλυση.