Demand forecasting and energy consumption recommendations for smart grid consumer engagement through deep learning and reinforcement learning

Abstract

Consumers are crucial regarding the operation of Smart Grids, since their activities account for a large portion of the total energy demand. Therefore, utility companies, governmental agencies, and various other entities with environmental concerns aim at lowering and shaping energy consumption patterns to achieve peak load reduction, load smoothing, and hence carbon emission curtailment. Forecasting the energy demand of individual consumers is a vital component of future Smart Grids since it enables energy-saving mechanisms such as Demand Response (DR), activity scheduling, and prosumer energy markets. In addition, personalized device level energy consumption recommendations towards energy efficiency can have a notable impact both on electricity bills and on the overall energy supply-demand balance. However, end-user behavior regarding device activation is usually unknown a priori, thus giving rise to a highly dynamic environment. In this dissertation, we initially present an overview of approaches for engaging Smart Grid consumers and for offering them information, motivation, and recommendations for energy efficiency through mobile apps. Our focus is to bring machine learning approaches closer to Smart Grid mobile apps so as to optimally manage consumer flexibility and enhance energy savings through detailed consumer profiling and modeling, since an increasing amount of energy consumer data is becoming available. A novel survey of prior work in the area is conducted in order to identify gaps from this perspective, and a mobile application is developed to fill those gaps. In addition, we propose a single-model deep learning architecture named Deep4Ener for consumer-level energy demand forecasting, trained on data from multiple buildings and capable of making predictions for unseen consumers with scarce historical data that were not included in the training phase. Deep4Ener learns common energy demand characteristics among different consumers by utilizing a novel architecture for energy profiling, including clustering, and an encoder neural network for feature extraction. Moreover, we propose a Markov Decision Process (MDP) driven Reinforcement Learning (RL) framework for energy efficiency recommendations that jointly learns the user’s behavior for multiple devices. The proposed model is wrapped as an open-source customizable Gymnasium environment, named EMS-env, for multidevice energy efficiency recommendations. EMS-env can simulate different types of consumer behavior profiles based on the MDP model and supports different device types as well as user feedback. Finally, a Reinforcement Learning from Human Feedback (RLHF) approach with partially defined rewards is proposed and integrated into a residential energy efficiency recommendations pipeline. The proposed solution reduces energy costs while learning user preferences based on collected feedback instances, without needing a fully defined reward function.

Οι καταναλωτές διαδραματίζουν κρίσιμο ρόλο στη λειτουργία των Έξυπνων Δικτύων, καθώς οι δραστηριότητές τους αντιστοιχούν σε μεγάλο μέρος της συνολικής ενεργειακής ζήτησης. Συνεπώς, οι πάροχοι ενέργειας, οι δημόσιοι οργανισμοί και άλλες οντότητες με περιβαλλοντική ευαισθησία στοχεύουν στη μείωση και τη διαμόρφωση των προτύπων κατανάλωσης ενέργειας, ώστε να επιτευχθεί μείωση των φορτίων αιχμής, γενική εξομάλυνση του φορτίου και, κατ' επέκταση, περιορισμός των εκπομπών διοξειδίου του άνθρακα. Η πρόβλεψη της ενεργειακής ζήτησης σε επίπεδο καταναλωτή αποτελεί απαραίτητο συστατικό των μελλοντικών Έξυπνων Δικτύων, καθώς επιτρέπει την εφαρμογή μηχανισμών εξοικονόμησης ενέργειας, όπως η Απόκριση Ζήτησης (Demand Response), ο χρονικός προγραμματισμός δραστηριοτήτων και οι αγορές ενέργειας που περιλαμβάνουν καταναλωτές-παραγωγούς (prosumers). Επιπλέον, οι εξατομικευμένες προτάσεις ενεργειακής κατανάλωσης σε επίπεδο συσκευών με στόχο την ενεργειακή αποδοτικότητα μπορούν να έχουν αξιοσημείωτο αντίκτυπο τόσο στους λογαριασμούς ηλεκτρικού ρεύματος όσο και στη συνολική ισορροπία προσφοράς-ζήτησης ενέργειας. Ωστόσο, η συμπεριφορά του τελικού χρήστη όσον αφορά την ενεργοποίηση των συσκευών είναι συνήθως άγνωστη εκ των προτέρων, δημιουργώντας έτσι ένα ιδιαίτερα δυναμικό περιβάλλον. Στην παρούσα διατριβή, αρχικά παρουσιάζεται μια επισκόπηση των προσεγγίσεων για την συμμετοχή των καταναλωτών, παρέχοντας πληροφορίες, κίνητρα και προτάσεις για ενεργειακή αποδοτικότητα μέσω εφαρμογών κινητών συσκευών. Η έμφαση δίνεται στην ενσωμάτωση προσεγγίσεων μηχανικής μάθησης σε εφαρμογές κινητών για Έξυπνα Δίκτυα, ώστε να επιτευχθεί βέλτιστη διαχείριση της ευελιξίας των καταναλωτών και να ενισχυθεί η εξοικονόμηση ενέργειας μέσω λεπτομερούς δημιουργίας προφίλ και μοντελοποίησης, καθώς διατίθενται ολοένα και περισσότερα δεδομένα κατανάλωσης ενέργειας. Διεξάγεται μια πρωτότυπη επισκόπηση της υπάρχουσας βιβλιογραφίας στον συγκεκριμένο τομέα, με σκοπό τον εντοπισμό κενών από αυτήν την οπτική γωνία, και αναπτύσσεται μια εφαρμογή για την κάλυψη αυτών των κενών. Επιπλέον, προτείνεται μια αρχιτεκτονική βαθιάς μάθησης με το όνομα Deep4Ener, για την πρόβλεψη της ζήτησης ενέργειας σε επίπεδο καταναλωτή, η οποία εκπαιδεύεται με δεδομένα από πολλαπλά κτίρια και είναι ικανή να πραγματοποιεί προβλέψεις για καταναλωτές που δεν έχουν εμφανιστεί στο στάδιο της εκπαίδευσης και για τους οποίους υπάρχουν περιορισμένα ιστορικά δεδομένα. Το μοντέλο Deep4Ener μαθαίνει κοινά χαρακτηριστικά ζήτησης ενέργειας μεταξύ διαφορετικών καταναλωτών, χρησιμοποιώντας μια νέα αρχιτεκτονική προφίλ ενεργειακής συμπεριφοράς, η οποία περιλαμβάνει τεχνικές συσταδοποίησης (clustering) και ένα νευρωνικό δίκτυο τύπου encoder για εξαγωγή χαρακτηριστικών. Επιπλέον, προτείνεται ένα πλαίσιο Ενισχυτικής Μάθησης (Reinforcement Learning – RL) βασισμένο σε Διαδικασίες Απόφασης Markov (Markov Decision Processes – MDP) για την παροχή συστάσεων ενεργειακής αποδοτικότητας, το οποίο μαθαίνει τη συμπεριφορά του χρήστη ταυτόχρονα για πολλαπλές συσκευές. Το προτεινόμενο μοντέλο προσφέρεται ως παραμετροποιήσιμο περιβάλλον ανοικτού κώδικα Gymnasium, με το όνομα EMS-env, για συστάσεις ενεργειακής αποδοτικότητας πολλαπλών συσκευών. Το EMS-env μπορεί να προσομοιώσει διαφορετικούς τύπους συμπεριφοράς καταναλωτών με βάση το μοντέλο MDP και υποστηρίζει διαφορετικούς τύπους συσκευών καθώς και feedback από τους χρήστες. Τέλος, προτείνεται μια προσέγγιση Ενισχυτικής Μάθησης με Ανθρώπινη Ανάδραση (RLHF – Reinforcement Learning from Human Feedback) με μερικώς καθορισμένες ανταμοιβές, η οποία ενσωματώνεται σε ένα σύστημα συστάσεων για την ενεργειακή αποδοτικότητα κατοικιών. Η προτεινόμενη λύση μειώνει το κόστος ενέργειας, μαθαίνοντας παράλληλα τις προτιμήσεις των χρηστών με βάση τα συλλεγόμενα δεδομένα, χωρίς να απαιτείται πλήρως καθορισμένη συνάρτηση ανταμοιβής (reward).