Ανάπτυξη νέων τεχνικών προσομοίωσης αξιοποιώντας εργαλεία υπολογιστικής νοημοσύνης και στατιστικής μοντελοποίησης με εφαρμογές σε συστήματα προσομοίωσης περιβαλλοντικών διεργασιών

Abstract

This PhD thesis presents the development, implementation, and evaluation of novel simulation methodologies that combine Artificial Intelligence and Statistical Modeling strategies to enhance the accuracy and reliability of environmental forecasts. Artificial Neural Networks, particularly FeedForward and Radial Basis Function, are utilized along with Kalman Filters to optimize numerical forecasts for key environmental variables. The produced methods aim to simultaneously minimize both systematic bias and the remaining non-systematic stochastic errors, which typically limit the operational performance of environmental numerical prediction models. By leveraging the strengths of machine learning and statistical modeling, these approaches form a holistic, selfadaptive computational framework that is both accurate and computationally efficient. The methodologies are applied to significant wave height, air temperature, and wind speed forecasts across geographically diverse regions: significant wave height is evaluated in the Aegean Sea and the Pacific Ocean, while temperature and wind speed forecasts are assessed using observable data for meteorological stations in Northern Greece. The dissertation introduces three distinct optimization strategies for improving environmental forecast quality. The first methodology implements a dual-filtering approach, in which a secondorder polynomial Kalman Filter with fixed covariance matrices is applied sequentially with an Artificial Neural Network. The Kalman Filter is primarily responsible for correcting the systematic component of the forecast error by minimizing the difference between the recorded observations and the corresponding predictions. Subsequently, the selected neural network targets the remaining stochastic error, aiming to reduce its variability and produce improved forecasts for the environmental parameters under study. Furthermore, in this dual approach, various topologies of FeedForward and Radial Basis Function Neural Networks are examined, to define the optimal one for the wave and atmospheric variables. Specifically, different activation functions, several neurons/clusters, hidden layers, and various ways to address overfitting are utilized. The obtained results provide a useful guide for the following suggested methodologies. The second approach extends the polynomial Kalman Filter by integrating Artificial Neural Networks directly into the filtering process. Instead of using fixed or periodically updated covariance matrices, this modified filter trains the selected neural structure to estimate the error covariance matrices in real time, allowing them to adapt dynamically to new observations. Specifically, the suggested rule combines the previous state of the covariance matrices with their current state, which is expressed as the direct output of an Artificial Neural Network. Thereby, in this case, the neural networks are not utilized as an estimation tool, but also as a mechanism that adjusts the filter's response to new information. This modification improves the filter’s stability, especially under non-stationary conditions, and allows for a more accurate representation of the forecast uncertainty. The third method introduces a hybrid system that combines Extended Kalman Filters and parametrized Artificial Neural Networks. In this approach, the neural networks are employed to estimate an exogenous memory parameter, which is subsequently incorporated into the Extended Kalman Filter algorithm to modulate the state and measurement covariance matrices. This adaptive mechanism permits real-time modulation of the filter's sensitivity, allowing it to self-adjust to complex nonlinear dynamics. The estimation of the memory parameter is data-driven, using iterative optimization methods such as the Levenberg–Marquardt algorithm and cross-validation across multiple network topologies. In this hybrid framework, the Artificial Neural Networks operate as core components of the Extended Kalman Filter's process, adjusting its Kalman Gain and state correction based on learned patterns in the historical forecast-observation relationship. To ensure robust generalization, all neural architectures are tested under multiple configurations, with topology selection based on performance indicators such as total Sum Squared Error and Mean Squared Error, training time, and validation error. For Radial Basis Function Neural Networks, optimal structures are identified through grid search over cluster counts (10 to 70), penalty parameters (L2 regularization) and activation functions (Gaussian or multiquadric). For FeedForward Neural Networks, neuron counts are varied between 5 and 12, with parameter tuning handled through targeted cross-validation and Early Stopping. The evaluation procedure integrates a stepwise algorithmic framework that governs training, validation, and testing phases while enforcing data normalization and non-overlapping prediction intervals. The evaluation of the suggested methodologies is conducted through a time window process. This mechanism allows the adjustment of both the volume and the frequency of training and testing data. Each method is tested under four distinct forecasting scenarios, involving variations in the availability of recorded data (present or absent) and the assimilation frequency (every single step or every four steps). This setup replicates realistic operational conditions, where sensor data may be irregular or delayed. In the absence of new observations, the methods rely on their own previously improved forecasts as surrogate data, enabling continuous operation even under datasparse conditions. The results show how highly the suggested methods contribute to the improvement of numerical environmental forecasts. Significant systematic error reduction was achieved, with some cases showing percentage drops in the Bias index of over 40%. The remaining non-systematic error was also significantly reduced, with the RMSE index declining by more than 20% in tandem. These enhancements were consistently seen in both noisy environments and those with few measuring options, highlighting the advantages of the suggested methodologies. Furthermore, the developed strategies effectively captured extreme values, with the third methodology emerging as the most effective among them. Apart from the suggested post-processing algorithms, the PhD thesis explores the application of artificial neural networks to the resolution of second-order differential equations associated with environmental modeling. As an alternative to traditional numerical solutions, neural networks can be used to approximate boundary value issues. Results show that FFNNs and RBFNNs can produce accurate responses that can get around the drawbacks of traditional numerical systems under specific circumstances. In conclusion, this dissertation introduces a flexible, adaptive, and computationally efficient framework for the optimization of environmental forecasts. The proposed methodologies collectively demonstrate that the combination of Artificial Neural Networks and Kalman Filters can substantially enhance forecast accuracy, stability, and responsiveness. The integration of realtime covariance adaptation, dynamic memory parameter estimation, and sliding window evaluation results in robust and generalizable systems, well-suited for operational deployment. The contributions of this research are not confined to a single environmental variable or model but represent a broader advancement in intelligent data assimilation and predictive modeling. These tools can be readily extended to other domains such as hydrology, renewable energy forecasting, and climate modeling, offering significant potential for scientific and societal impact in the era of data-intensive environmental monitoring.

Η παρούσα Διδακτορική Διατριβή επικεντρώνεται στην ανάπτυξη και αξιολόγηση καινοτόμων τεχνικών προσομοίωσης περιβαλλοντικών διεργασιών, αξιοποιώντας σύγχρονα εργαλεία Τεχνητής Νοημοσύνης και Στατιστικής Μοντελοποίησης. Συγκεκριμένα, εφαρμόστηκαν Τεχνητά Νευρωνικά Δίκτυα καθώς και Φίλτρα Κάλμαν, με σκοπό τη βελτίωση των αριθμητικών προγνώσεων κρίσιμων κυματικών και ατμοσφαιρικών παραμέτρων, μέσω της ταυτόχρονης μείωσης τόσο του συστηματικού όσο και του υπολειπόμενου στοχαστικού σφάλματος πρόγνωσης. Στο πλαίσιο της διατριβής αναπτύχθηκαν τρεις διακριτές μεθοδολογικές προσεγγίσεις: Στη πρώτη, εφαρμόζεται η σειριακή χρήση φίλτρων Κάλμαν με σταθερούς πίνακες συνδιακύμανσης σε συνδυασμό με Τεχνητά Νευρωνικά Δίκτυα. Ειδικότερα, η πολυωνυμική εκδοχή του φίλτρων Κάλμαν χρησιμοποιείται για την αποκωδικοποίηση και ελαχιστοποίηση του συστηματικού σφάλματος, ενώ τα νευρωνικά δίκτυα FeedForward και Radial Basis Function λειτουργούν στη συνέχεια ως πρόσθετα φίλτρα περιορισμού του υπολειπόμενου στοχαστικού θορύβου. Στη δεύτερη προσέγγιση, προτείνεται ένα τροποποιημένο φίλτρο Κάλμαν στο οποίο τα νευρωνικά δίκτυα FeedForward και Radial Basis Function ενσωματώνονται απευθείας στη διαδικασία εκτίμησης των πινάκων συνδιακύμανσης, επιτρέποντας τη δυναμική τους προσαρμογή. Ο συγκεκριμένος μηχανισμός υπερβαίνει τις συμβατικές τεχνικές χρήσης σταθερών ή περιοδικά υπολογιζόμενων πινάκων, βελτιώνοντας την αποδοτικότητα του φίλτρου στην απορρόφηση του μη συστηματικού σφάλματος, και ενισχύοντας την ακρίβεια και ευστάθεια των προβλέψεων υπό μεταβαλλόμενες συνθήκες. Η τρίτη προσέγγιση συνδυάζει το Εκτεταμένο Φίλτρο Κάλμαν με παραμετροποιημένα Τεχνητά Νευρωνικά Δίκτυα, διαμορφώνοντας ένα υβριδικό υπολογιστικό σχήμα. Στο πλαίσιο αυτό, τα νευρωνικά δίκτυα FeedForward και Radial Basis Function λειτουργούν ως εκτιμητές μιας εξωγενούς παραμέτρου, η οποία επηρεάζει δυναμικά την εξέλιξη των πινάκων συνδιακύμανσης κατά τη διάρκεια του επαναληπτικού αλγορίθμου του Εκτεταμένου Φίλτρου Κάλμαν. Με αυτόν τον τρόπο, τα Τεχνητά Νευρωνικά Δίκτυα δεν περιορίζονται αποκλειστικά σε ρόλο προγνωστικών εργαλείων, αλλά αναλαμβάνουν παράλληλα λειτουργίες ελέγχου, καθιστώντας το υβριδικό φίλτρο αυτό-προσαρμοζόμενο στις εκάστοτε συνθήκες πρόγνωσης. Η αξιολόγηση των μεθόδων πραγματοποιήθηκε μέσω μιας διαδικασίας χρονικά μεταβαλλόμενου παραθύρου, η οποία προσαρμόζεται τόσο στον όγκο όσο και στη συχνότητα εμφάνισης των διαθέσιμων δεδομένων. Η διαδικασία αξιολόγησης περιλαμβάνει δύο διακριτές περιπτώσεις μελέτης: (α) σενάρια με διαθέσιμες καταγεγραμμένες παρατηρήσεις, και (β) σενάρια με απουσία παρατηρήσεων, όπου οι μέθοδοι βασίζονται εξ’ ολοκλήρου στις δικές τους προηγούμενες εκτιμήσεις. Επιπρόσθετα, για κάθε περίπτωση μελέτης εξετάστηκαν δύο σενάρια ως προς τη συχνότητα παρατήρησης: εισαγωγή νέων δεδομένων ανά ένα και ανά τέσσερα χρονικά βήματα. Η διαστρωμάτωση αυτή επιτρέπει την εμπεριστατωμένη αποτίμηση της σταθερότητας, της προσαρμοστικότητας και της προγνωστικής ικανότητας των αλγορίθμων σε συνθήκες που προσομοιώνουν ρεαλιστικά επιχειρησιακά περιβάλλοντα, όπως περιπτώσεις με αραιή η περιοδικά διαθέσιμη πληροφόρηση. Κατ’ επέκταση, αξιολογείτε η λειτουργικότητα των μεθόδων όχι μόνο υπό ιδανικές συνθήκες, αλλά και σε σενάρια περιορισμού δεδομένων, όπως συμβαίνει συχνά σε πραγματικές εφαρμογές περιβαλλοντικής πρόγνωσης. Συνολικά, τα αποτελέσματα τεκμηρίωσαν την σημαντική συνεισφορά των προτεινόμενων προσεγγίσεων στη βελτίωση των αριθμητικών περιβαλλοντικών προγνώσεων. Η ελαχιστοποίηση του συστηματικού σφάλματος υπήρξε αξιοσημείωτη, με ποσοστιαίες μειώσεις στον δείκτη Bias που ξεπέρασαν το 40% σε ορισμένες περιπτώσεις. Παράλληλα, το υπολειπόμενο στοχαστικό σφάλμα περιορίστηκε αισθητά, με αντίστοιχες μειώσεις του δείκτη RMSE άνω του 20%. Οι βελτιώσεις αυτές παρατηρήθηκαν με συνέπεια τόσο σε περιοχές με υψηλό επίπεδο θορύβου όσο και σε περιβάλλοντα με περιορισμένη διαθεσιμότητα μετρήσεων. Εκτός από τους προτεινόμενους αλγόριθμους μετα-επεξεργασίας, η Διδακτορική Διατριβή εξετάζει και την εφαρμογή Τεχνητών Νευρωνικών Δικτύων στην επίλυση διαφορικών εξισώσεων δευτέρας τάξης που σχετίζονται με την περιβαλλοντική μοντελοποίηση. Ως εναλλακτική των κλασσικών αριθμητικών σχημάτων, τα νευρωνικά δίκτυα μπορούν να χρησιμοποιηθούν για την προσέγγιση προβλημάτων συνοριακών τιμών. Τα εξαγόμενα αποτελέσματα δείχνουν ότι τα FeedForward και ειδικότερα τα Radial Basis Function δίκτυα είναι ικανά να παράγουν ακριβείς προσεγγιστικές λύσεις, οι οποίες υπό προϋποθέσεις μπορούν να ξεπεράσουν τους περιορισμούς των κλασικών μεθοδολογιών. Καταληκτικά, η παρούσα Διδακτορική Διατριβή προτείνει ένα ευέλικτο, επεκτάσιμο και αποδοτικό πλαίσιο για τη βελτίωση περιβαλλοντικών προγνώσεων. Η συνέργεια μεταξύ Τεχνητών Νευρωνικών Δικτύων και Φίλτρων Κάλμαν οδηγεί στη ανάπτυξη αυτόπροσαρμοζόμενων υπολογιστικών εργαλείων, με υψηλή ακρίβεια, χαμηλό υπολογιστικό κόστος και αυξημένη προσαρμοστικότητα σε δυναμικά περιβάλλοντα. Η συνεισφορά αυτή ανοίγει νέες προοπτικές στην προγνωστική μοντελοποίηση, με δυνατότητα εφαρμογής και σε άλλους επιστημονικούς και τεχνολογικούς τομείς πέραν της περιβαλλοντικής προσομοίωσης.