Artificial intelligence tools for the modern electricity markets

Abstract

The electricity market is one of the most dynamically changing sectors on a global scale and it is undergoing remarkable reforms in many areas. In its early stages (e.g., solar and wind), new needs and challenges are emerging that must be addressed. Additionally, new technologies—such as the rapid development of artificial intelligence (AI)—are creating new possibilities that provide excellent tools for market operation. At the same time, new regulatory rules aimed at abolishing market monopolies and creating a unified, liberalized electricity market are generating new values and demands to ensure smooth operation. In order to ensure the smooth operation of the wholesale electricity market, it is imperative to create and use advanced artificial intelligence tools capable of addressing these new challenges. The adoption of state-of-the-art AI mechanisms can create favorable conditions to predict both the electricity demand of end users and the fluctuations in electricity prices with optimal accuracy. The main objective of this PhD dissertation is to develop advanced and novel algorithms for electricity load and price forecasting, specifically for the operation of modern wholesale market mechanisms. More precisely, the research focuses on developing algorithms and advanced Deep Learning models that can achieve very high short-term forecasting accuracy, serving as effective tools in innovative programs within the modern electricity market. The research aims to cover various aspects of the modern electricity market by examining electricity mechanisms—specifically the Day Ahead Market, Intraday Market, and Balancing Market—and by exploring applications for active consumer participation such as Demand Side Management (which includes peak clipping, valley filling, load shifting, and load conservation) as well as Demand Response, in addition to forecasting the load of electric vehicles (EV Load) and investigating Transfer Learning with particular consideration given to the more challenging case of the day-ahead market. This dissertation innovates in the following key components: Development and creation of advanced and novel Deep Learning models: These models can be used both for electricity load and price forecasting, as well as for other time series scientific tasks, such as problems in the economic and industrial sectors. Implementation of Novel Deep Learning Models for Electricity Demand Forecasting: These models can predict energy demand under various periods and conditions, assisting power producers adjust their generation and optimize operations. Implementation of novel Deep Learning Models for Wholesale Electricity Price Forecasting: This enables energy producers to make decisions regarding large-scale market operations and production, taking into account the forecasted prices. Analysis of the Price Formulation Framework in Wholesale Markets: By using data from different energy markets, trends, market players’ strategies, and their interactions are analyzed to better understand how the final hourly prices are determined. Implementation of Transfer Learning Methods for the Day-Ahead Electricity Market: The developed models perform optimally in forecasting 24 hourly steps ahead, a challenging task in the current literature. Investigation of Demand Side Management and Demand Response Programs: These strategies are examined for their integration into market operations through active consumer participation. In this way, optimization functions to optimize the network operation and cost, covering both production/supply side are used. Development of New Methods for Forecasting the Load of Electric Vehicles: Considering five different datasets, the distinctive patterns of the EV-load curve are detected, isolated, and forecasted separately. Investigation of the new trends emerging in the operation of the modern electricity market through the study and presentation of various studies, which use different datasets and cover the full spectrum of forecasting algorithms.

Η αγορά ηλεκτρικής ενέργειας είναι ένας από τους τομείς που υφίστανται τις πιο δυναμικές αλλαγές σε παγκόσμιο επίπεδο και υπόκειται σε αξιοσημείωτες μεταρρυθμίσεις σε πολλούς τομείς. Στα αρχικά της στάδια (π.χ., ηλιακή και αιολική ενέργεια), ανακύπτουν νέες ανάγκες και προκλήσεις που πρέπει να αντιμετωπιστούν. Επιπλέον, νέες τεχνολογίες—όπως η ραγδαία εξέλιξη της τεχνητής νοημοσύνης—δημιουργούν νέες δυνατότητες που παρέχουν εξαιρετικά εργαλεία για τη λειτουργία της αγοράς. Ταυτόχρονα, νέοι ρυθμιστικοί κανόνες που στοχεύουν στην κατάργηση των μονοπωλίων της αγοράς και στη δημιουργία μίας ενιαίας, απελευθερωμένης αγοράς ηλεκτρικής ενέργειας παράγουν νέες αξίες και απαιτήσεις για τη διασφάλιση της ομαλής λειτουργίας της. Προκειμένου να διασφαλιστεί η ομαλή λειτουργία της χονδρικής αγοράς ηλεκτρικής ενέργειας και να ανταποκριθεί αποτελεσματικά στις νέες εξελίξεις, είναι επιτακτική η δημιουργία και χρήση προηγμένων εργαλείων τεχνητής νοημοσύνης, ικανών να αντιμετωπίσουν αυτές τις νέες προκλήσεις. Η υιοθέτηση των πιο σύγχρονων μηχανισμών τεχνητής νοημοσύνης μπορεί να δημιουργήσει ευνοϊκές συνθήκες για την πρόβλεψη τόσο της ζήτησης ηλεκτρικής ενέργειας από τους τελικούς χρήστες όσο και των διακυμάνσεων των τιμών της ηλεκτρικής ενέργειας με βέλτιστη ακρίβεια. Ο κύριος στόχος της διδακτορικής διατριβής είναι η ανάπτυξη προηγμένων αλγορίθμων Βαθιάς Μάθησης οι οποίοι θα μπορούν να χρησιμοποιηθούν στη λειτουργία των σύγχρονων μηχανισμών της χονδρικής αγοράς ενέργειας. Πιο συγκεκριμένα, η έρευνα επικεντρώνεται στην ανάπτυξη αλγορίθμων και καινοτόμων μοντέλων που μπορούν να επιτύχουν πολύ υψηλή ακρίβεια πρόβλεψης φορτίου και τιμής χονδρικής αγοράς ενέργειας σε βραχυπρόθεσμο ορίζοντα, λειτουργώντας ως αποτελεσματικά εργαλεία σε καινοτόμα προγράμματα της σύγχρονης αγοράς ηλεκτρικής ενέργειας. Η έρευνα αναλύει σε βάθος όλο τα φάσμα που διέπει τη σύγχρονη αγορά ενέργειας. Πιο συγκεκριμένα, αναλύεται η Αγορά της Επόμενης Ημέρας (Day Ahead Market), η Ενδοημερή Αγορά (Intraday Market) και η Αγορά Εξισορρόπησης (Balancing Market). Επίσης, με σκοπό την μείωση του υπολογιστικού κόστους και χρόνου, μέθοδοι και στρατηγικές Βαθείας Μεταφερόμενης Μάθησης παρουσιάζονται εκτενώς με σκοπό την ενσωμάτωσή τους στα σύγχρονα υπολογιστικά συστήματα που διαχειρίζονται την λειτουργία των ενεργειακών συστημάτων. Πρόσθετα, σημαντικό τμήμα της διατριβής επικεντρώνεται στις εφαρμογές ευελιξίας και ενεργής συμμετοχής των καταναλωτών στην λειτουργία της αγοράς, όπως τα προγράμματα Διαχείριση της Ζήτησης (που περιλαμβάνει το Peak Clipping, το Valley Filling, το Load Shifting και το Load Conservation) καθώς και η Απόκριση στη Ζήτηση (Demand Response). Τέλος, λόγω της συνεχώς αυξανόμενης ανάπτυξης του τομέα της ηλεκτροκίνησης, το τελευταίο τμήμα της διατριβής διερευνά την συμπεριφορά του φορτίου ηλεκτρικών οχημάτων (Electric Vehicle Load) και αναπτύσσει καινοτόμες λύσεις πρόβλεψης. Η παρούσα διατριβή καινοτομεί στα ακόλουθους βασικούς πυλώνες: Ανάπτυξη και δημιουργία προηγμένων και καινοτόμων μοντέλων Βαθιάς Μάθησης: Αυτά τα μοντέλα μπορούν να χρησιμοποιηθούν τόσο για την πρόβλεψη του φορτίου και των τιμών του ηλεκτρισμού, όσο και για άλλα επιστημονικά προβλήματα χρονοσειρών, όπως είναι οι εφαρμογές στον οικονομικό και βιομηχανικό τομέα. Εφαρμογή καινοτόμων μοντέλων και εργαλείων βαθιάς μάθησης για την πρόβλεψη της ζήτησης ηλεκτρικής ενέργειας: Τα μοντέλα αυτά μπορούν να αξιοποιηθούν για την πρόβλεψη της ζήτησης ενέργειας σε διάφορες χρονικές περιόδους και υπό διαφορετικές συνθήκες, συμβάλλοντας στην υποστήριξη των παραγωγών ενέργειας ώστε να προσαρμόζουν την παραγωγή τους και να βελτιστοποιούν τις επιχειρησιακές τους λειτουργίες. Εφαρμογή καινοτόμων μοντέλων βαθιάς μάθησης για την πρόβλεψη των τιμών της χονδρικής αγοράς ηλεκτρικής ενέργειας: Με αυτόν τον τρόπο, οι παραγωγοί ενέργειας μπορούν να λαμβάνουν τεκμηριωμένες αποφάσεις σχετικά με τις λειτουργίες μεγάλης κλίμακας στην αγορά και την παραγωγή, λαμβάνοντας υπόψη τις προβλεπόμενες τιμές. Ανάλυση του πλαισίου διαμόρφωσης των τιμών στις χονδρικές αγορές: Μέσω της ανάλυσης δεδομένων από διάφορες αγορές ενέργειας, εξετάζονται οι τάσεις, οι στρατηγικές των διαφόρων παραγόντων της αγοράς καθώς και οι αλληλεπιδράσεις τους, με στόχο την καλύτερη κατανόηση της διαδικασίας καθορισμού των τελικών ωριαίων τιμών. Εφαρμογή μεθόδων και στρατηγικών Μεταφερόμενης Μάθησης για την Αγορά Επόμενης Ημέρα: Τα αναπτυγμένα μοντέλα επιτυγχάνουν βέλτιστη απόδοση στην πρόβλεψη 24 ωριαίων βημάτων, μια πρόκληση που παραμένει ιδιαίτερα απαιτητική στην τρέχουσα βιβλιογραφία. Διερεύνηση των προγραμμάτων Διαχείρισης και Απόκρισης στη Ζήτηση: Εξετάζονται στρατηγικές για την ενσωμάτωση αυτών των προγραμμάτων στις λειτουργίες της αγοράς μέσω της ενεργούς συμμετοχής των καταναλωτών. Με αυτόν τον τρόπο, εφαρμόζονται λειτουργίες βελτιστοποίησης που στοχεύουν στη βελτίωση της λειτουργίας και στη μείωση του κόστους του δικτύου, καλύπτοντας τόσο την πλευρά παραγωγής όσο και την πλευρά προσφοράς. Ανάπτυξη νέων μεθόδων για την πρόβλεψη του φορτίου των ηλεκτρικών οχημάτων: Λαμβάνοντας υπόψη πέντε διαφορετικά σύνολα δεδομένων, εντοπίζονται, απομονώνονται και προβλέπονται ξεχωριστά τα διακριτά μοτίβα της καμπύλης φορτίου των ηλεκτρικών οχημάτων. Διερεύνηση των νέων τάσεων που εμφανίζονται στη λειτουργία της σύγχρονης αγοράς ηλεκτρικής ενέργειας μέσω της μελέτης και παρουσίασης διαφόρων ερευνών, οι οποίες χρησιμοποιούν διαφορετικά σύνολα δεδομένων και καλύπτουν το πλήρες φάσμα των αλγορίθμων πρόβλεψης.