Modeling novel data-driven machine learning approaches for traffic congestion & energy forecasting

Abstract

The transition to sustainable smart cities (SC), intelligent energy and transportation systems is crucial for addressing the challenges of modern urbanization and climate change. The increasing demand for accurate forecasting in energy systems and traffic networks has led to significant advancements in machine learning (ML) and data-driven approaches like timeseries regression and classification. This thesis explores these two critical domains, focusing on multistep-ahead forecasting methodologies and their applications in energy and traffic systems, exploring novel traffic prediction techniques for filling missing information, but also combining the use of traffic forecasts to predict electric vehicle (EV) charging demands. The research is structured around three main pillars of forecasting—Direct, Recursive, and Sequence-to-Sequence (seq2seq) Forecasting—each of which leverages novel model development and ensemble techniques to enhance prediction accuracy. In the energy domain, this thesis contributes to both short-term and medium-term energy forecasting (EF) by developing advanced ML-based models for energy generation and load. Similarly, in the traffic domain, the research addresses traffic congestion prediction using a classification approach for filling missing information or regression for multistep ahead forecasting. These models incorporate factors such as weather, seasonality, user behavior, and system dynamics. Regarding the new novel models presentation, several new approaches have been implemented, one for each multistep ahead timeseries forecasting strategy. Starting with a comprehensive literature review of forecasting techniques for energy load/generation forecasting (EGF/ELF) and traffic congestion prediction (TCP), this research highlights the challenges and state-of-the-art methodologies in each domain. Furthermore, the thesis continues with a novel preprocessing prediction approach for filling missing information on street traffic level. In parallel, two novel multi-step EF approaches were modeled. A dynamic weighted ensemble method was developed for EGF using recursive strategy and a multi-energy, multi-model strategy (MEMMS) for direct heating, cooling and electricity ELF. Taking into consideration the literature gaps and the models' results developed on direct and recursive multistep EF, this research advances the field by introducing a novel seq2seq decision tree (Seq2seqT3DT), a novel tolerance-aware seq2seq tree model with three-dimensional input, a Decision Tree (DT) designed for multi-step forecasting regression tasks, capable for both acurate TCP and EF. The work concludes in a unified framework for EV charging ELF, developing a new logarithmic zero-inflated (LogZI) ensemble model, combining traffic predictions with user-specific and environmental data to enhance EV grid integration. By developing robust and scalable models, the research demonstrates the potential of data-driven approaches to address real-world challenges in these interconnected fields.The results showcase significant improvements in prediction accuracy, computational efficiency and interoperability, with potential implications for smart grid optimization, urban planning, and sustainable development. This thesis not only bridges the gap between energy and traffic systems but also establishes a foundation for future research in integrated forecasting solutions.

Η μετάβαση σε βιώσιμες έξυπνες πόλεις (SC) με ευφυή ενεργειακά και συγκοινωνιακά συστήματα είναι κρίσιμη για την αντιμετώπιση των προκλήσεων του σύγχρονου αστικού περιβάλλοντος και της κλιματικής αλλαγής. Η αυξανόμενη ζήτηση για ακριβή πρόβλεψη στα ενεργειακά συστήματα και στα κυκλοφοριακά δίκτυα έχει οδηγήσει σε σημαντικές προόδους στη μηχανική μάθηση (ML) και σε προσεγγίσεις βασισμένες στα δεδομένα, όπως η παλινδρόμηση και η ταξινόμηση χρονοσειρών. Η παρούσα διατριβή εξερευνά αυτούς τους δύο κρίσιμους τομείς, εστιάζοντας σε μεθοδολογίες πολυβηματικής πρόβλεψης και στις εφαρμογές τους στα ενεργειακά και κυκλοφοριακά συστήματα, εξετάζοντας νέες τεχνικές πρόβλεψης κυκλοφορίας για τη συμπλήρωση ελλιπών πληροφοριών, αλλά και συνδυάζοντας τις κυκλοφοριακές προβλέψεις για την εκτίμηση της ζήτησης φόρτισης ηλεκτρικών οχημάτων (EV). Η έρευνα δομείται γύρω από τρεις κύριους πυλώνες πρόβλεψης—Direct, Recursive και Sequence-to-Sequence (Seq2Seq)—ο καθένας από τους οποίους αξιοποιεί νέα ανάπτυξη μοντέλων και τεχνικές συνόλων (ensembles) για την ενίσχυση της ακρίβειας πρόβλεψης. Στον ενεργειακό τομέα, η διατριβή συμβάλλει τόσο στη βραχυπρόθεσμη όσο και στη μεσοπρόθεσμη ενεργειακή πρόβλεψη (EF) μέσω της ανάπτυξης προηγμένων μοντέλων ML για την παραγωγή και το φορτίο. Αντίστοιχα, στον τομέα της κυκλοφορίας, η έρευνα ασχολείται με την πρόβλεψη συμφόρησης χρησιμοποιώντας προσέγγιση ταξινόμησης για τη συμπλήρωση ελλιπών πληροφοριών ή παλινδρόμηση για πολυβηματική πρόβλεψη. Τα μοντέλα αυτά ενσωματώνουν παράγοντες όπως ο καιρός, η εποχικότητα, η συμπεριφορά των χρηστών και η δυναμική των συστημάτων. Όσον αφορά την παρουσίαση νέων μοντέλων, υλοποιήθηκαν αρκετές νέες προσεγγίσεις, μία για κάθε στρατηγική πολυβηματικής πρόβλεψης χρονοσειρών. Ξεκινώντας με μια εκτενή βιβλιογραφική ανασκόπηση των τεχνικών πρόβλεψης για την πρόβλεψη παραγωγής/φορτίου ενέργειας (EGF/ELF) και την πρόβλεψη κυκλοφοριακής συμφόρησης (TCP), η έρευνα αναδεικνύει τις προκλήσεις και τις μεθοδολογίες αιχμής σε κάθε τομέα. Επιπλέον, η διατριβή συνεχίζει με μια νέα προσέγγιση προγνωστικής προεπεξεργασίας για τη συμπλήρωση ελλιπών πληροφοριών στο επίπεδο της οδικής κυκλοφορίας. Παράλληλα, μοντελοποιούνται δύο νέες πολυβηματικές προσεγγίσεις για την EF. Αναπτύχθηκε μια δυναμική σταθμισμένη μέθοδος συνόλου για την EGF με αναδρομική στρατηγική, καθώς και μια πολυενεργειακή, πολυμοντελική στρατηγική (MEMMS) για άμεση (direct) πρόβλεψη φορτίου θέρμανσης, ψύξης και ηλεκτρισμού στην ELF. Λαμβάνοντας υπόψη τα κενά της βιβλιογραφίας και τα αποτελέσματα των μοντέλων που αναπτύχθηκαν στις direct και recursive πολυβηματικές EF, η έρευνα προωθεί το πεδίο εισάγοντας ένα νέο δέντρο αποφάσεων seq2seq (Seq2seqT3DT), ένα νέο μοντέλο δέντρου seq2seq «ευαίσθητο σε ανοχές» (tolerance-aware) με τρισδιάστατες εισόδους, ένα Δέντρο Αποφάσεων σχεδιασμένο για πολυβηματικά έργα παλινδρόμησης πρόβλεψης, ικανό τόσο για ακριβή TCP όσο και για EF. Η εργασία ολοκληρώνεται με ένα ενοποιημένο πλαίσιο για την ELF φόρτισης EV, αναπτύσσοντας ένα νέο λογαριθμικό zero-inflated μοντέλο συνόλου (LogZI), το οποίο συνδυάζει κυκλοφοριακές προβλέψεις με δεδομένα χρήστη και περιβαλλοντικές πληροφορίες για τη βελτίωση της ενσωμάτωσης των EV στο δίκτυο. Με την ανάπτυξη στιβαρών και επεκτάσιμων μοντέλων, η έρευνα καταδεικνύει το δυναμικό των προσεγγίσεων που βασίζονται στα δεδομένα για την αντιμετώπιση πραγματικών προκλήσεων σε αυτούς τους αλληλένδετους τομείς. Τα αποτελέσματα καταγράφουν σημαντικές βελτιώσεις στην ακρίβεια πρόβλεψης, την υπολογιστική αποδοτικότητα και τη διαλειτουργικότητα, με δυνητικές επιπτώσεις στη βελτιστοποίηση των έξυπνων δικτύων, στον αστικό/πολεοδομικό σχεδιασμό και στη βιώσιμη ανάπτυξη. Η διατριβή αυτή όχι μόνο γεφυρώνει το χάσμα μεταξύ ενεργειακών και κυκλοφοριακών συστημάτων, αλλά και θέτει τα θεμέλια για μελλοντική έρευνα σε ολοκληρωμένες λύσεις πρόβλεψης.