Deep learning analysis of multiprobe sensor networks to assess risk scenarios at volcanic hydrothermal systems

Abstract

In diverse application domains, the unsupervised exploration of temporal-based anomalies in multivariate time series presents an ongoing challenge. This exploration, when applied to sensor systems such as surface, spacecraft, or satellite, can assess hazardous situations or discover unexplored phenomena. The objective of this thesis is to develop a data-driven Deep Learning model capable of sending alerts concerning the timing, location, and hazard severity of environmental crises at hydrothermal systems. Indeed, the understanding of the modeling characteristics to facilitate the detection and interpretation of these phenomena remains limited. To address these characteristics, this thesis examines literature limitations and subsequently proposes a new solution, namely DITAN. DITAN is an unsupervised and domain-agnostic framework developed specifically to tackle the challenge of detecting and interpreting temporal-based anomalies. It employs an encoder-decoder architecture with attention mechanisms and a dynamic structure with hyper-parameter optimization to learn normal behavior as regular context-horizon patterns. The model predicts normality and identifies critical regions associated with high prediction offsets for detecting anomalies. The detected anomalies are interpreted both numerically, by examining their root causes and similarities, and physically using temporal IF-THEN rules and the reasoning power of a knowledge system. The effectiveness of DITAN is assessed on seven real-world datasets contaminated by different type of temporal-based anomalies with varying durations. DITAN’s detection capabilities are evaluated against the ground truth and compared to eleven deep model-based approaches from the addressed literature. Additionally, DITAN’s numerical interpretation of detected anomalies is empirically verified. The results show that DITAN outperforms the existing literature in terms of precision, at the cost of a lower recall rate mainly due to sub-capturing the actual anomalies. To ensure optimal results, it is crucial to carefully define the context and horizon sizes. DITAN is then applied to assess risk scenarios at volcanic hydrothermal systems, detecting anomalies caused by external factors on the surface of a stable hydrothermal system. The results showcase a timeline of fourteen physical event occurrences, each of them assessed by a risk level and verified across actual sensor values. Specifically, ten occurrences involve two meteorological events, while four occurrences are attributed to three surface external driver events that indicate temperature decrease in different zones. Then such externally-driven anomalies can be cleaned and removed from periods when the internal drivers become variable and, hence, the hydrothermal system becomes unstable. Since DITAN is domain-agnostic framework due to its hyper-parameter optimization capabilities, its structure can be adapted to be applied on various problems involving predictable multivariate time series. This PhD was funded by the Agence National de la Recherche (ANR, Program CES 04 Innovations scientifiques et technologiques pour accompagner la transition écologique) through project DIRE (Data-Integration, Risk and the Environment; Project No: ANR-19-CE04-0014-01). ANR-DIRE is led by three CNRS laboratories of Clermont-Ferrand (LMV, LIMOS, LPC) and aims at defining time varying thermal trends at hydrothermal systems in unrest, with a focus on Vulcano (Aeolian Islands, Italy).

Σε διάφορα πεδία εφαρμογής, η μη επιβλεπόμενη εξερεύνηση ανωμαλιών σε πολυμεταβλητές χρονοσειρές αποτελεί μια συνεχή πρόκληση. Αυτή η εξερεύνηση, όταν εφαρμόζεται σε συστήματα αισθητήρων, όπως επιφάνεια, διαστημόπλοιο ή δορυφόρος, μπορεί να αξιολογήσει επικίνδυνες καταστάσεις ή να ανακαλύψει ανεξερεύνητα φαινόμενα. Ο στόχος αυτής της διατριβής είναι να αναπτυχθεί ένα μοντέλο βαθιάς μάθησης, ικανό να αποστέλλει ειδοποιήσεις σχετικά με το χρόνο, την τοποθεσία και τη σοβαρότητα κινδύνου περιβαλλοντικών κρίσεων σε υδροθερμικά συστήματα. Πράγματι, η κατανόηση των χαρακτηριστικών μοντελοποίησης για την επίτευξη της ανίχνευσης και ερμηνείας αυτών των φαινομένων παραμένει περιορισμένη. Η διατριβή αυτή εξετάζει τους περιορισμούς της βιβλιογραφίας και προτείνει στη συνέχεια μια νέα λύση, με το όνομα DITAN. Το DITAN είναι ένα πλαίσιο, χωρίς επίβλεψη και ανεξάρτητο-πεδίου, που αναπτύχθηκε ειδικά για να αντιμετωπίσει την πρόκληση της ανίχνευσης και ερμηνείας χρονικών ανωμαλιών. Χρησιμοποιεί έναν κωδικοποιητή-αποκωδικοποιητή με μηχανισμούς προσοχής, και μια δυναμική δομή με βελτιστοποίηση υπερπαραμέτρων για να μάθει ως κανονική συμπεριφορά τα συχνά εμφανιζόμενα μοτίβα πλαισίου-ορίζοντα. Το μοντέλο προβλέπει την κανονικότητα και αναγνωρίζει κρίσιμες περιοχές που συνδέονται με υψηλές αποκλίσεις πρόβλεψης για την ανίχνευση ανωμαλιών. Οι ανιχνευμένες ανωμαλίες ερμηνεύονται τόσο αριθμητικά, εξετάζοντας τις αιτίες και τις ομοιότητες τους, όσο και φυσικά, χρησιμοποιώντας χρονικούς εάν-τότε κανόνες και την ικανότητα συλλογισμού ενός συστήματος γνώσης. Η αποτελεσματικότητα του DITAN αξιολογείται σε επτά πραγματικά σύνολα δεδομένων που έχουν μολυνθεί από διάφορους τύπους ανωμαλιών που βασίζονται στο χρόνο και έχουν διάφορες διάρκειες. Οι δυνατότητες ανίχνευσης του DITAN αξιολογούνται σε σύγκριση με τις πραγματικές ανωμαλίες και συγκρίνονται με έντεκα προσεγγίσεις βαθιάς μάθησης από την αντίστοιχη βιβλιογραφία. Επιπλέον, η αριθμητική ερμηνεία των ανιχνευμένων ανωμαλιών του DITAN επαληθεύεται εμπειρικά. Τα αποτελέσματα δείχνουν ότι το DITAN υπερτερεί της υπάρχουσας βιβλιογραφίας όσον αφορά την ακρίβεια, με την τιμή ανάκλησης να είναι χαμηλότερη κυρίως λόγω της μη απόλυτης ανίχνευσης των πραγματικών ανωμαλιών. Για να διασφαλιστούν βέλτιστα αποτελέσματα, είναι κρίσιμο να καθοριστούν με προσοχή τα μεγέθη πλαισίου-ορίζοντα. Στη συνέχεια, το DITAN εφαρμόζεται για να αξιολογήσει σενάρια κινδύνου σε υδροθερμικά ηφαιστειακά συστήματα, ανιχνεύοντας ανωμαλίες που προκαλούνται από εξωτερικούς παράγοντες στην επιφάνεια ενός σταθερού υδροθερμικού συστήματος. Τα αποτελέσματα επιδεικνύουν ένα χρονοδιάγραμμα δεκατεσσάρων φυσικών εκδηλώσεων, κάθε μία από τις οποίες αξιολογείται με βάση το επίπεδο κινδύνου και επαληθεύεται από τις πραγματικές τιμές αισθητήρων. Συγκεκριμένα, δέκα εκδηλώσεις περιλαμβάνουν δύο μετεωρολογικά γεγονότα, ενώ τέσσερις εκδηλώσεις αποδίδονται σε τρία εξωτερικά γεγονότα οδηγού επιφάνειας που υποδηλώνουν μείωση της θερμοκρασίας σε διάφορες ζώνες. Τέτοιες ανωμαλίες που οφείλονται σε εξωτερικούς παράγοντες μπορούν στη συνέχεια να εκκαθαριστούν και να αφαιρεθούν από περίοδους όπου οι εσωτερικοί παράγοντες γίνονται μεταβλητοί και, συνεπώς, το υδροθερμικό σύστημα γίνεται ασταθές. Επειδή το DITAN είναι ένα πλαίσιο ανεξάρτητο από το πεδίο εφαρμογής, λόγω των δυνατοτήτων βελτιστοποίησης υπερπαραμέτρων του, η δομή του μπορεί να προσαρμοστεί για να εφαρμοστεί σε διάφορα προβλήματα που εμπλέκουν προβλέψιμες πολυμεταβλητές χρονοσειρές. Αυτή η διδακτορική διατριβή χρηματοδοτήθηκε από το Εθνικό Πρακτορείο Έρευνας (ANR, Πρόγραμμα CES 04 Επιστημονικές και Τεχνολογικές Καινοτομίες για την Υποστήριξη της Οικολογικής Μετάβασης) μέσω του έργου DIRE (Ένταξη Δεδομένων, Κίνδυνος και Περιβάλλον· Αριθμός Έργου: ANR-19-CE04-0014-01). Το ANR-DIRE διεξάγεται από τρία εργαστήρια του CNRS στο Clermont-Ferrand (LMV, LIMOS, LPC) και στοχεύει στον καθορισμό των χρονικά μεταβαλλόμενων θερμικών τάσεων σε υδροθερμικά συστήματα σε κατάσταση ανησυχίας, με έμφαση στο Βουλκάνο (Αιολικά Νησιά, Ιταλία).

Dans de nombreux domaines d'application, l'exploration non supervisée d'anomalies temporelles dans des séries chronologiques multivariées constitue un défi à de nombreux titres. Cette exploration, lorsqu'elle est appliquée à des systèmes de capteurs tels que des capteurs de surface, les engins spatiaux ou les satellites, peut évaluer des situations dangereuses ou découvrir des phénomènes inexplorés. L'objectif de cette thèse est de développer un modèle de Deep Learning piloté par les données, capable d'émettre des alertes concernant l'instant, l'emplacement et la gravité des crises environnementales dans les systèmes hydrothermaux. La compréhension des caractéristiques de modélisation pour faciliter la détection et l'interprétation de ces phénomènes reste en effet à ce jour limitée. Pour répondre à ces problématiques, cette thèse examine les limites de la littérature et propose ensuite une nouvelle solution, appelée DITAN. DITAN est un cadre non supervisé et agnostique développé spécifiquement pour relever le défi de la détection et de l'interprétation d'anomalies temporelles. Il utilise une architecture encodeur-décodeur avec des mécanismes d'attention et une structure dynamique avec optimisation des hyperparamètres pour apprendre le comportement normal comme des motifs réguliers de contexte-horizon. Le modèle prédit la normalité et identifie les régions critiques associées à des défauts de prédiction élevés pour détecter les anomalies. Ces dernières sont interprétées à la fois numériquement, en examinant leurs causes profondes et leurs similitudes, et physiquement, en utilisant des règles SI-ALORS temporelles et la capacité de raisonnement d'un système de connaissances. L'efficacité de DITAN est évaluée sur sept ensembles de données réelles contaminées par différents types d'anomalies temporelles de durées variables. Les capacités de détection de DITAN sont évaluées par rapport à la vérité terrain et comparées à onze approches basées sur des modèles profonds issues de la littérature. En outre, l'interprétation numérique des anomalies détectées par DITAN est vérifiée empiriquement. Les résultats montrent que DITAN surpasse la littérature existante en termes de précision, au prix d'un taux de rappel plus faible, principalement dû à la sous-capture des anomalies réelles. Pour obtenir des résultats optimaux, il est essentiel de définir avec soin le contexte et la taille de l'horizon. DITAN est ensuite appliqué pour évaluer les scénarios de risque dans les systèmes hydrothermaux volcaniques, détectant les anomalies causées par des facteurs externes à la surface d'un système hydrothermal stable. Les résultats présentent une chronologie de quatorze événements physiques, chacun d'entre eux étant évalué par un niveau de risque et vérifié par rapport aux valeurs réelles des capteurs. Plus précisément, dix occurrences impliquent deux événements météorologiques, tandis que quatre occurrences sont attribuées à trois événements externes de surface qui indiquent une baisse de température dans différentes zones. Ces anomalies d'origine externe peuvent alors être nettoyées et supprimées des périodes où les facteurs internes deviennent variables et où, par conséquent, le système hydrothermal devient instable. DITAN étant un cadre agnostique en raison de ses capacités d'optimisation des hyperparamètres, sa structure peut être adaptée pour être appliquée à divers problèmes impliquant des séries temporelles multivariées. Cette thèse a été financée par l'Agence Nationale de la Recherche (ANR, Programme CES 04 Innovations scientifiques et technologiques pour accompagner la transition écologique) à travers le projet DIRE (Data-Integration, Risk and the Environment ; Project No : ANR-19-CE04-0014-01). ANR-DIRE est dirigé par trois laboratoires CNRS de Clermont-Ferrand (LMV, LIMOS, LPC) et vise à définir les tendances thermiques variables dans le temps des systèmes hydrothermaux en agitation, avec un focus sur Vulcano (Iles Eoliennes, Italie).