Προσδιορισμός του συντελεστή διαβρωτικότητας της βροχόπτωσης στα πλαίσια της επιστήμης των δεδομένων με μεθόδους μηχανικής μάθησης και γεωστατιστικής

Abstract

The subject of the thesis concerns the determination of rainfall erosivity factor R of the Universal Soil Loss Equation for the totality of the Hellenic territory. The methodology of the research falls within the framework of Data Science and concerns the following: 1) The import into a tidy database of recording and non-recording rain gauge time series data and a terrain model, after cleaning from errors. 2) The location within recording gauge time series of erosion-producing stroms. and the evaluation of their erosivity. 3) The transformation of data, the computation of new variables and of the requisite statistical quantities. 4)The use of exploratory data analysis for the analysis of the data sets to summarize the main characteristics of R and EI with visual methods. 5) The evaluation of algorithms using methods of cross-validation and Inductive Statistics for the imputation of EI values and for the estimation of R in new locations. 6) The creation of maps for the estimation of R and of the corresponding standard error.For the processing and analysis, the following data were utilized: 1) The recording and non-recording rain gauge data series of the meteorological measuring stations of the Ministry of Environment, Energy and Climatic Change as archived in the Hydroscope Database. 2) The yearly average rainfall measurement values of the National Meteorological Service, of the research project GEOCLIMA and of the Dutch Royal Meteorological Institute. 3) The world digital terrain model SRTM of NASA.The analysis of the recording rain gauge time series revealed a significant percentage of missing data. There it was deemed necessary to proceed to a systematic imputation of the erosivity EI values, so that R would not be underestimated, given that the latter is computed on the basis of the yearly EI sums for every station. The imputation was done using non-recording rain gauge time series of the same stations and it was evaluated by a set of Machine Learning and Numerical Optimization algorithms. It turned out that best imputation result was provided by a Neural Network algorithm, the optimal results of which were selected by means of a Genetic algorithm.In order to estimate R from the point location measurements of the meteorological stations to the totality of the Hellenic territory, use was made of the imputed EI values. On the basis of this processed data a set of Machine Learning, Numerical Optimization and Geostatistics algorithms was applied and evaluated. Finally, the best result was produced by a Gaussian Geostatistics model for the spatial estimation of erosivity. This model included a nonlinear trend of the mean yearly rainfall.Lastly, the improvement of the estimation of the R factor was evaluated, using an algorithm based on Machine Learning methods of simultaneous imputation of the EI values and spatial estimation of R, against the use of empirical equations. Through this evaluation, it has been show the superiority of Machine Learning methods and that the imputation of the EI values is essential in order to estimate R values under incomplete rainfall data.

Το αντικείμενο της διατριβής αφορά τον προσδιορισμό της διαβρωτικότητας της βροχόπτωσης και ειδικότερα του συντελεστή R της Παγκόσμιας Εξίσωσης Εδαφικής Απώλειας για το σύνολο του ελλαδικού χώρου. Η μεθοδολογία της έρευνας εντάσσεται στα πλαίσια της Επιστήμης των Δεδομένων και αφορά: 1)Την εισαγωγή χρονοσειρών βροχογράφων και βροχομέτρων και μοντέλου εδάφους από ανοικτές πηγές, τον καθαρισμό τους από σφάλματα και την τακτοποίησή τους με ομοιόμορφο τρόπο σε μια ενιαία βάση δεδομένων. 2) Τον εντοπισμό καταιγίδων στις χρονοσειρές των βροχογράφων, οι οποίες προκαλούν διάβρωση και τον υπολογισμό της διαβρωτικότητάς τους EI. 3) Το μετασχηματισμό των δεδομένων, τον υπολογισμό νέων μεταβλητών και στατιστικών μεγεθών. 4) Την επεξηγηματική ανάλυση μέσω διαγραμμάτων και την εξαγωγή συμπερασμάτων για τα μεγέθη EI και R. 5) Την αξιολόγηση αλγορίθμων με μεθόδους διασταυρωμένης επικύρωσης και Επαγωγικής Στατιστικής για τη συμπλήρωση των τιμών EI και την εκτίμηση του R σε νέες θέσεις, όπως και αλγορίθμων ταυτόχρονης συμπλήρωσης τιμής EI και χωρικής εκτίμησης τιμών R. 6)Την κατασκευή χαρτών εκτίμησης του συντελεστή R και του αντίστοιχου τυπικού σφάλματος.Στην ανάλυση χρησιμοποιήθηκαν: 1) Oι χρονοσειρές βροχογράφων και βροχομέτρων μετεωρολογικών σταθμών του Υπουργείου Περιβάλλοντος, Ενέργειας και Κλιματικής Αλλαγής από τη βάση δεδομένων του Υδροσκοπίου. 2) Oι μέσες ετήσιες τιμές της βροχόπτωσης μετεωρολογικών σταθμών της Εθνικής Μετεωρολογικής Υπηρεσίας, του ερευνητικού προγράμματος ΓΕΩΚΛΙΜΑ και του Βασιλικού Ολλανδικού Ινστιτούτου Μετεωρολογίας. 3) Tο παγκόσμιο ψηφιακό μοντέλο εδάφους SRTM της NASA.Μετά από την ανάλυση των χρονοσειρών των βροχογράφων, διαπιστώθηκε ότι υπάρχει ένα πολύ σημαντικό ποσοστό ελλείψεων στις καταγραφές τους. Για το λόγο αυτόν, προέκυψε η ανάγκη της συμπλήρωσης των τιμών διαβρωτικότητας EI, ώστε να μην υποεκτιμηθεί η τιμή του R, διότι αυτή υπολογίζεται από το μέσο όρο των ετησίων αθροισμάτων EI για κάθε σταθμό. H συμπλήρωση των τιμών έγινε με τη χρήση χρονοσειρών βροχομέτρων των ίδιων σταθμών και αξιολογήθηκε μια σειρά από αλγορίθμους Μηχανικής Μάθησης και Αριθμητικής Βελτιστοποίησης. Διαπιστώθηκε ότι το βέλτιστο αποτέλεσμα συμπλήρωσης τιμών παρείχε ένας αλγόριθμος μέσου όρου Νευρωνικών Δικτύων, οι όροι του οποίου επιλέχθηκαν μέσω Γενετικών Αλγορίθμων.Για την εκτίμηση του μεγέθους της τιμής του R από τις σημειακές θέσεις μετεωρολογικών σταθμών στο σύνολο του ελλαδικού χώρου χρησιμοποιήθηκαν οι συμπληρωμένες τιμές EI. Βάσει των δεδομένων αυτών αξιολογήθηκε, επίσης, μια σειρά από αλγορίθμους Μηχανικής Μάθησης, Αριθμητικής Βελτιστοποίησης και Γεωστατιστικής. Τελικώς, προέκυψε ότι το βέλτιστο αποτέλεσμα εκτίμησης τιμών έδωσε ένα Γκαουσιανό μοντέλο Γεωστατιστικής, με μη γραμμική τάση της μέσης ετήσιας βροχόπτωσης.Τέλος, αξιολογήθηκε η βελτίωση της εκτίμησης του συντελεστή R, δια μέσω μεθοδολογίας χρήσης μεθόδων Μηχανικής Μάθησης ταυτόχρονης συμπλήρωσης τιμών EI και χωρικής εκτίμησης τιμών R, έναντι της χρήσης εμπειρικών εξισώσεων. Μέσω της αξιολόγησης αυτής, αναδείχθηκε η ανωτερώτητα της χρήσης μεθόδων Μηχανικής Μάθησης και αποδείχθηκε ότι η συμπλήρωση των χρονοσειρών ΕΙ είναι ουσιώδης σημασίας, προ της εκτίμησης της τιμής του R, όταν υπάρχουν δεδομένα βροχογράφων με ελλείψεις.