Space-time analysis of meteorological parameters with geostatistical and machine learning methods

Abstract

Technological advancements have increased the availability of spatiotemporal data. However, meteorological data are usually non-Gaussian and correlated in space and time. In this dissertation, state-of-the-art geostatistical and machine-learning methodologies were utilized to analyze large-scale non-Gaussian meteorological space-time data. We carried out a series of numerical investigations utilizing 26 surface variables from the ERA5 reanalysis data sets collected for 65 grid locations on the island of Crete, Greece. The data sets correspond to multiple temporal scales (hourly to annually) and span the period from 1979 until 2019. Four distinct approaches were implemented for the analysis of the meteorological parameters: 1.The ERA5 data set was used for the estimation of the standardized precipitation index (SPI) and the standardized precipitation evapotranspiration index (SPEI) to reveal the spatiotemporal patterns of drought in Crete. 2. Gaussian Anamorphosis with Hermite polynomials (GAH) was employed to transform non-Gaussian precipitation data into normally distributed variables. Ten processing scenarios were investigated and their performance with respect to spatial interpolation (based on Ordinary kriging) was evaluated. The scenarios include the application or exclusion of GAH with varying polynomial degrees, the utilization of either the exponential or Spartan variogram models, and the incorporation or omission of Monte Carlo simulations. 3. Twelve machine learning (ML) techniques were compared for the classification of precipitation data into eight classes. Twenty-six (26) numerical and categorical variables were used in a spatiotemporal predictive framework for precipitation. Due to pronounce class imbalance (dominance of “no rain” events), we first divided the data into two classes that represent the absence or occurrence of precipitation events. Then, the occurrence data set was split in five different classes to characterize the intensity of precipitation events. 4. Finally, we applied the Stochastic Local Interaction (SLI) model to perform temporal (precipitation, temperature and solar radiation) and spatiotemporal (precipitation and temperature) estimation of missing values (data gaps). The most important conclusions derived in this dissertation are as follows: 1. The dry climate of Crete was confirmed by the estimation of the SPI and SPEI drought indices. It was found that the eastern part of the island is more prone to desertification than the north-western part. Moreover, a temperature-inclusive drought index was shown to be more appropriate than a purely precipitation-based index for the study area. 2. Using higher-order (35 versus 20) polynomials in GAH has little effect on the cross-validation results for the monthly total precipitation data. In addition, the incorporation of Monte Carlo simulations does not universally improve the statistical measures. 3. With respect to the classification of hourly precipitation data, the method of Random Forests (Bagged Ensemble Trees) performs best for both the “Binary” (“rain” versus “no rain”) and the “Only Rain” classification cases. 4.SLI is a competitive method for interpolating large temporal and spatiotemporal data since it is fast and it performed very well (compared to nearest-neighbor interpolation) across all the different hourly data sets (temperature, precipitation, and solar radiation). The present study investigates a variety of methodological approaches for the analysis of non-Gaussian, large-scale meteorological variables. It provides an extensive analysis of precipitation, temperature, and solar radiation for the island of Crete using the ERA5 reanalysis data set. The meteorological data used involve multiple timescales. Two drought indices are evaluated and compared in order to assess the effect of warming trends on drought events. Various data processing scenarios that combine GAH, kriging interpolation and bootstrapping are studied and assessed. In addition, a comparison of twelve machine learning methods for the classification of precipitation data supported by 26 meteorological variables is conducted. Lastly, the computationally efficient SLI models are herein applied for the first time to spatiotemporal precipitation and solar radiation data.

Οι τεχνολογικές εξελίξεις σε κλάδους όπως η τηλεπισκόπηση και το crowd-sourcing έχουν οδηγήσει σε αύξηση των διαθέσιμων χωροχρονικών δεδομένων. Τα πιο πρόσφατα διαθέσιμα δεδομένα τηλεπισκόπησης, όπως τα ERA5, έχουν αποδειχθεί πιο ακριβή από προηγούμενες συλλογές και επιτρέπουν την διερεύνηση σε περιοχές όπου το επίγειο δίκτυο σταθμών καταγραφής είναι περιορισμένο. Ωστόσο, η αποτελεσματική και ακριβής ανάλυση χωροχρονικών μετεωρολογικών δεδομένων εμπεριέχει διάφορες δυσκολίες. Κατά κανόνα τέτοιου είδους δεδομένα παρουσιάζουν εγγενείς συσχετίσεις μεταξύ χωρικών και χρονικών διαστάσεων και χαρακτηρίζονται από μη-Γκαουσιανές ιδιότητες. Η ανάλυση χωροχρονικών δεδομένων για μια συγκεκριμένη περιοχή είναι ζωτικής σημασίας, διότι οι παρούσες τοπικές συνθήκες είναι ικανές να επηρεάσουν και να μεταβάλουν σημαντικά υποθέσεις οι οποίες προκύπτουν από μεγαλύτερης έκτασης μοντέλα. Συνεπώς, εμπειρικά μοντέλα που βασίζονται στην ανάλυση δεδομένων είναι απαραίτητα για ακριβείς προβλέψεις. Η ανάλυση τέτοιων μεταβλητών έχει διερευνηθεί εκτενώς μέσω γεωστατιστικών προσεγγίσεων, ωστόσο, πολλές φορές η εξάρτηση τους στην Γκαουσιανή υπόθεση δημιουργεί περιορισμούς. Ως εκ τούτου, είναι σημαντικό να αναπτυχθούν υβριδικές μεθοδολογίες οι οποίες θα αξιοποιούν τα πλεονεκτήματα διαφόρων διακριτών τεχνικών. Ο πρωταρχικός στόχος αυτής της διατριβής είναι να διερευνήσει διαφορετικές μεθοδολογίες για χωροχρονική μοντελοποίηση εκτεταμένων και μη-Γκαουσιανών χωροχρονικών συνόλων δεδομένων. Χρησιμοποιήθηκαν προηγμένες γεωστατιστικές μεθοδολογίες και μεθοδολογίες μηχανικής μάθησης για την ανάλυση μετεωρολογικών δεδομένων που αποκλίνουν από τις συμβατικά χρησιμοποιούμενες παραμετρικές κατανομές. Πραγματοποιήσαμε μια σειρά αριθμητικών πειραμάτων για το νησί της Κρήτης, χρησιμοποιώντας 26 επιφανειακές μεταβλητές από το ERA5 σύνολο δεδομένων οι οποίες συλλέχθηκαν για 65 τοποθεσίες σε κανονικό πλέγμα. Τα σύνολα δεδομένων αντιστοιχούν σε πολλαπλές χρονικές κλίμακες (ωριαία έως ετήσια) και καλύπτουν την περίοδο από το 1979 έως το 2019.Τέσσερις διακριτές προσεγγίσεις εφαρμόστηκαν για την ανάλυση των μετεωρολογικών παραμέτρων: 1. Το σύνολο δεδομένων ERA5 χρησιμοποιήθηκε για τον προσδιορισμό των χαρακτηριστικών ξηρασίας για το νησί της Κρήτης. Η εκτίμηση πραγματοποιήθηκε χρησιμοποιώντας τους δείκτες ξηρασίας standardized precipitation index (SPI) και standardized precipitation evapotranspiration index (SPEI) για έξι χρονικές κλίμακες. Σκοπός της παρούσας μελέτης είναι να διαπιστωθεί ηεπίδραση της αύξησης της θερμοκρασίας στην συχνότητα των φαινομένων ξηρασίας. 2. Προκειμένου να καταστεί δυνατή η βέλτιστη απόδοση των κλασικών γεωστατιστικών μεθόδων όπως το kriging, χρησιμοποιήθηκε η Γκαουσιανή Αναμόρφωση με Ερμιτιανά πολυώνυμα (GAH) για τη μετατροπή των μη-Γκαουσιανών δεδομένων βροχόπτωσης σε κανονικά κατανεμημένα. Διερευνήθηκαν δέκα σενάρια επεξεργασίας και αξιολογήθηκε η απόδοσή τους σε σχέση με τη χωρική παρεμβολή (με βάση το κανονικό kriging). Τα σενάρια περιλαμβάνουν τη χρήση ή μη της GAH με ποικίλους πολυωνυμικούς βαθμούς, τη χρήση είτε του εκθετικού είτε του Σπαρτιάτικου μοντέλου βαριογράμματος και την ενσωμάτωση ή παράλειψη προσομοιώσεων Monte Carlo. 3. Χρησιμοποιήθηκαν δώδεκα τεχνικές μηχανικής μάθησης (ML) για την ταξινόμηση των δεδομένων βροχόπτωσης σε οκτώ τάξεις. Οι μέθοδοι περιλαμβάνουν τα fine, medium, και coarse classification trees, linear, quadratic, cubic, fine Gaussian, medium Gaussian, και coarse Gaussian Support Vector Machines, Boosted Ensemble trees, Bagged Ensemble trees, και Ensemble RUSBoosted trees. Διερευνήθηκε η επίδραση είκοσι έξι (26) βοηθητικών μεταβλητών (ποιοτικές και ποσοτικές) στα πλαίσια της χωροχρονικής ταξινόμησης των βροχοπτώσεων. Λόγω της ανισοκατανομής των δεδομένων (κυριαρχία των γεγονότων «χωρίς βροχή»), το σύνολο χωρίστηκε περαιτέρω σε δύο ξεχωριστά σύνολα δεδομένων. Το πρώτο σύνολο περιέχει δύο κλάσεις, οι οποίες καθορίζονται από ένα ορισμένο κατώφλι και χαρακτηρίζεται ως το “Binary” σύνολο δεδομένων, το οποίο ταξινομεί την απουσία ή την ύπαρξη βροχόπτωσης. Το δεύτερο σύνολο αποτελείται αποκλειστικά από τις τάξεις που υπερβαίνουν το όριο κατωφλίου (πέντε τάξεις) και χαρακτηρίζεται ως το “Only Rain” σύνολο δεδομένων, το οποίο ταξινομεί την ένταση των συμβάντων βροχόπτωσης. 4. Τέλος, χρησιμοποιήσαμε τα Στοχαστικά μοντέλα Τοπικών Αλληλεπιδράσεων (Stochastic Local Interaction models, SLI) για την πλήρωση κενών σε δεδομένα βροχόπτωσης, θερμοκρασίας και ηλιακής ακτινοβολίας. Στη μελέτη μας χρησιμοποιήσαμε τη μέθοδο SLI για ανάλυση στο χρόνο και στο χωροχρόνο. Οι αναλύσεις στο χρόνο αποτελούνταν από 2535 χρονοσειρές για τη βροχόπτωση, 2600 χρονοσειρές για τη θερμοκρασία και επιπλέον 2600 χρονοσειρές για δεδομένα ηλιακής ακτινοβολίας. Οι χωροχρονικές αναλύσεις αναφέρονται σε εκτιμήσεις βροχόπτωσης και θερμοκρασίας. Το χωροχρονικό σύνολο βροχόπτωσης περιλαμβάνει 10920 ωριαίες τιμές που αντιστοιχούν σε επτά συνεχόμενες ημέρες και το σύνολο δεδομένων θερμοκρασίας περιέχει 10920 ωριαίες τιμές για το ίδιο χρονικό διάστημα. Τα σημαντικότερα συμπεράσματα που προκύπτουν σε αυτή τη διατριβή είναι: 1. Το ξηρό κλίμα της Κρήτης επιβεβαιώθηκε μέσω της εκτίμησης των δεικτών ξηρασίας SPI και SPEI. Το ανατολικό τμήμα του νησιού βρέθηκε να είναι πιο επιρρεπές στην ερημοποίηση από το βορειοδυτικό τμήμα. Επιπλέον, το Ηράκλειο πλήττεται σοβαρά από την άνοδο της θερμοκρασίας και την αυξημένη εξατμισοδιαπνοή λόγω της κλιματικής αλλαγής. Οι αποκλίσεις μεταξύ των δεικτών που παρουσιάζονται στις τελευταίες δεκαετίες υποδηλώνουν ότι ο δείκτης ξηρασίας που περιλαμβάνει τη θερμοκρασία είναι πιο κατάλληλος για την εκτίμηση των φαινομένων ξηρασίας στην περιοχή μελέτης. 2. Η αύξηση της τάξης των πολυωνύμων στην εφαρμογή GAH έχει μικρή επίδραση στην ακρίβεια των αποτελεσμάτων για τα μηνιαία δεδομένα βροχόπτωσης. Επιπλέον, η ενσωμάτωση προσομοιώσεων δεν βελτιώνει απαραίτητα τα αποτελέσματα. Το Σπαρτιάτικο μοντέλο συνδιακύμανσης βρέθηκε να είναι πιο κατάλληλο για την αναμόρφωση χωρίς τις προσομοιώσεις, ενώ το εκθετικό μοντέλο βρέθηκε να είναι πιο κατάλληλο για τα σενάρια που ενσωματώνουν τις προσομοιώσεις. 3. Στην εφαρμογή των μοντέλων μηχανικής μάθησης για την ταξινόμηση της ωριαίας βροχόπτωσης, τα Τυχαία Δάση (Random Forests ή Bagged Ensemble Trees) έχουν την καλύτερη ακρίβεια και στα δύο σύνολα δεδομένων (“Binary” και “Only Rain”). Ένα υβριδικό μοντέλο μπορεί να είναι πιο κατάλληλο για το σύνολο δεδομένων “Only Rain” λόγω του πολύ μικρού δείγματος δεδομένων στις υψηλότερες τάξεις. 4. Το μοντέλο SLI είναι μια αποτελεσματική μέθοδος παρεμβολής μεγάλου συνόλου χρονικών και χωροχρονικών δεδομένων, καθώς δεν απαιτεί την αντιστροφή μεγάλων πινάκων ή εκτεταμένη προεργασία. Το SLI είναι πολύ αποτελεσματικό για όλα τα διαφορετικά σύνολα δεδομένων (θερμοκρασία, βροχόπτωση, ηλιακή ακτινοβολία) σε σύγκριση με την μέθοδο του κοντινότερου γείτονα (Nearest Neighbor interpolation). Η παρούσα μελέτη διερευνά ένα εύρος μεθοδολογικών προσεγγίσεων για την ανάλυση μη-Γκαουσιανών, μεγάλης κλίμακας μετεωρολογικών μεταβλητών. Παρέχει μία εκτενή ανάλυση για δεδομένα βροχόπτωσης, θερμοκρασίας και ηλιακής ακτινοβολίας για το νησί της Κρήτης, χρησιμοποιώντας τα δεδομένα ERA5 σε πολλαπλές χρονικές κλίμακες. Επιπλέον, δύο δείκτες ξηρασίας συγκρίνονται με σκοπό να αξιολογηθεί η επίδραση της αύξησης της θερμοκρασίας λόγω κλιματικής αλλαγής στα φαινόμενα ξηρασίας στο νησί. Ποικίλα σενάρια επεξεργασίας τα οποίαχρησιμοποιούν την GAH σε συνδυασμό με την εκτίμηση kriging και προσομοιώσεις Monte Carlo διερευνώνται και αξιολογούνται. Επιπρόσθετα, πραγματοποιείται σύγκριση δώδεκα μεθόδων μηχανικής μάθησης για την ταξινόμηση των δεδομένων βροχόπτωσης που ενισχύονται από πληροφορία από 26 μετεωρολογικές μεταβλητές. Τέλος, τα SLI μοντέλα εφαρμόζονται εδώ για πρώτη φορά σε δεδομένα χωροχρονικής βροχόπτωσης και ηλιακής ακτινοβολίας.