Machine learning applications for demand response and renewable forecasting: towards optimal market participation

Abstract

The global energy transition, driven by decarbonisation and digitisation, is fundamentally reshaping the electrical grid from a centralised, deterministic system into a decentralised, stochastic network. War, constant geopolitical changes and dearness are also making quite an impact on the stability of the energy sector and electricity prices. Within this context, this dissertation investigates the application of ML and AI to address three critical challenges: demand side management, renewable energy forecasting and strategic energy market participation. The primary motivation is to bridge the gap between technological advancement and societal benefit, that can eventually reduce electricity costs for residential consumers and energy communities. To address consumer heterogeneity, this dissertation introduces robust segmentation methodologies. It develops interpretable clustering frameworks for residential electricity and heating load profiles using well-known algorithms, integrated with explainable AI to validate behavioral patterns. Furthermore, a novel hyperparameter-space clustering methodology is proposed, demonstrating that consumers can be effectively segmented based on the structural configuration of their local forecasting models, thereby reducing data transfers and exposure. Regarding supply-side uncertainty, the thesis presents hybrid forecasting architectures that mitigate the risks associated with wind and solar. For wind power, a model fusing physics-informed theoretical power curves with the temporal fusion transformer is shown to significantly reduce forecast errors compared to standard DL baselines. Additionally, a federated learning framework for photovoltaic forecasting is validated, proving that collaborative training can ensure high accuracy while maintaining strict data privacy for prosumers. Finally, optimal strategies for market integration are formulated. is shown that short training windows can improve day-ahead market price predictions by better capturing recent volatility. This insight supports a comprehensive stochastic optimization framework for energy communities operating as virtual power plants. Coordinating community-scale battery storage through an implicit demand response mechanism, the proposed strategy successfully achieves net-zero grid costs, validating a financially viable model for the democratization of energy assets. Concluding, this dissertation validates that advanced ML and data-driven frameworks can effectively balance operational efficiency with data privacy, offering meaningful tools for the current energy landscape. However, as the sector evolves, a critical paradigm shift from isolated predictive models towards holistic, autonomous intelligence is highlighted. They also lay the necessary groundwork for the next evolutionary leap. As the sector matures, these established predictive capabilities are obliged to converge into holistic models-entities that will ultimately realize the vision of a resilient, self-organizing and fully decarbonised energy ecosystem.

Η παγκόσμια ενεργειακή μετάβαση, ωθούμενη από την απανθρακοποίηση και την ψηφιοποίηση, αναδιαμορφώνει θεμελιωδώς το ηλεκτρικό δίκτυο από ένα συγκεντρωτικό, ντετερμινιστικό σύστημα σε ένα αποκεντρωμένο, στοχαστικό δίκτυο. Ο πόλεμος, οι συνεχείς γεωπολιτικές αλλαγές και η ακρίβεια επηρεάζουν επίσης σημαντικά τη σταθερότητα του ενεργειακού τομέα και τις τιμές του ηλεκτρικού ρεύματος. Σε αυτό το πλαίσιο, η παρούσα διδακτορική διατριβή διερευνά την εφαρμογή της μηχανικής μάθησης και της Τεχνητής Νοημοσύνης (AI) για την αντιμετώπιση τριών κρίσιμων προκλήσεων: τη διαχείριση της ζήτησης, την πρόβλεψη παραγωγής ανανεώσιμων πηγών ενέργειας και τη στρατηγική συμμετοχή στις αγορές ενέργειας. Το πρωταρχικό κίνητρο είναι η γεφύρωση του χάσματος μεταξύ της τεχνολογικής προόδου και του κοινωνικού οφέλους, που μπορεί τελικά να μειώσει το κόστος ηλεκτρικής ενέργειας για τους οικιακούς καταναλωτές και τις ενεργειακές κοινότητες. Αρχκά, για την αντιμετώπιση της καταναλωτικής ετερογένειας, η έρευνα εισάγει κυρίως μεθοδολογίες τμηματοποίησης. Αναπτύσσει ερμηνεύσιμα πλαίσια ομαδοποίησης για τα προφίλ οικιακού ηλεκτρικού φορτίου και θέρμανσης χρησιμοποιώντας αλγορίθμους, χρησιμοποιώντας επεξηγήσιμη τεχνητή νοημοσύνη για την επαλήθευση των προτύπων συμπεριφοράς. Επιπλέον, προτείνεται μια καινοτόμος μεθοδολογία ομαδοποίησης στον χώρο των υπερπαραμέτρων, αποδεικνύοντας ότι οι καταναλωτές μπορούν να τμηματοποιηθούν αποτελεσματικά με βάση τη δομική διαμόρφωση των τοπικών μοντέλων πρόβλεψής τους, μειώνοντας έτσι τη μεταφορά και την έκθεση των δεδομένων. Όσον αφορά την αβεβαιότητα στην πλευρά της προσφοράς, η διατριβή παρουσιάζει υβριδικές αρχιτεκτονικές πρόβλεψης που μετριάζουν τους κινδύνους που σχετίζονται με την αιολική και ηλιακή ενέργεια. Για την αιολική ισχύ, ένα μοντέλο που συνδυάζει τις φυσικά ενημερωμένες θεωρητικές καμπύλες ισχύος με τον Temporal Fusion Transformer (TFT) αποδεικνύεται ότι μειώνει σημαντικά τα σφάλματα πρόβλεψης σε σύγκριση με τα τυπικά μοντέλα Βαθιάς Μάθησης. Επιπλέον, επικυρώνεται ένα πλαίσιο ομοσπονδιακής μάθησης για την πρόβλεψη παραγωγής φωτοβολταϊκών, αποδεικνύοντας ότι η συνεργατική εκπαίδευση μπορεί να διασφαλίσει υψηλή ακρίβεια διατηρώντας ταυτόχρονα αυστηρό απόρρητο δεδομένων για τους παραγωγούς-καταναλωτές. Τέλος, η έρευνα διαμορφώνει βέλτιστες στρατηγικές για την ένταξη στην αγορά. Διαπιστώνει ότι τα σύντομα παράθυρα εκπαίδευσης μπορούν να βελτιώσουν τις προβλέψεις τιμών της αγοράς επόμενης ημέρας αποτυπώνοντας καλύτερα την μεταβλητότητα. Αυτή η γνώση υποστηρίζει ένα ολοκληρωμένο πλαίσιο στοχαστικής βελτιστοποίησης για ενεργειακές κοινότητες που λειτουργούν ως εικονικοί σταθμοί παραγωγής ενέργειας. Συντονίζοντας την αποθήκευση μπαταριών σε επίπεδο κοινότητας μέσω ενός μηχανισμού έμμεσης απόκρισης ζήτησης, η προτεινόμενη στρατηγική επιτυγχάνει με επιτυχία καθαρό μηδενικό κόστος δικτύου, επικυρώνοντας ένα οικονομικά βιώσιμο μοντέλο για τον εκδημοκρατισμό των ενεργειακών περιουσιακών στοιχείων. Συμπερασματικά, η διατριβή επιβεβαιώνει ότι η προηγμένη μηχανική μάθηση μπορεί να εξισορροπήσει αποτελεσματικά την επιχειρησιακή αποδοτικότητα με το απόρρητο των δεδομένων, προσφέροντας ουσιαστικά εργαλεία στον τομέα της ενέργειας. Ωστόσο, καθώς ο κλάδος εξελίσσεται, η έρευνα υπογραμμίζει μια κρίσιμη αλλαγή παραδείγματος από τα μεμονωμένα προγνωστικά μοντέλα προς μια ολιστική, αυτόνομη νοημοσύνη καθοδηγούμενη από αναδυόμενα θεμελιώδη μοντέλα. Η διατριβή θέτει τις απαραίτητες βάσεις για το επόμενο εξελικτικό άλμα. Καθώς ο τομέας ωριμάζει, αυτές οι καθιερωμένες προγνωστικές ικανότητες πρόκειται να συγκλίνουν σε ολιστικά μοντέλα που θα υλοποιήσουν τελικά το όραμα ενός ανθεκτικού, αυτο-οργανούμενου και πλήρως απανθρακοποιημένου ενεργειακού οικοσυστήματος.