Κατανεμημένη ενισχυτική μάθηση για έλεγχο και διαχείριση ενέργειας απομακρυσμένων αυτόνομων φωτοβολταϊκών μικροδικτύων

Abstract

This PhD dissertation proposes solutions in order to address the problem of energy management in islanded photovoltaic microgrids. In the islanded mode, the main issue that needs to be addressed, is the provision of electricity in order to maintain, if not increase, the reliability of the microgrid by the uncertainties which are introduced by the renewable energy sources and by the stochastic demand of the consumers. In this PhD dissertation, a reinforcement learning agent is proposed to solve the problem of energy management in an islanded photovoltaic microgrid consisting of a photovoltaic source, a battery, a dynamic load and a desalination unit. The agent is based on reinforcing learning and has the ability to learn strategies by interacting with the environment. The agent does not only manage the battery but also manages the desalination plant which satisfies the demand of the potable water. The simulations results present good performance in energy management but in some cases the energy demand could not be covered or the battery was subjected to many deep discharges. These drawbacks are generally caused by three reasons. The first reason is the general discretization of the state space in combination with the simple exploration/exploitation algorithm of the agent (results to incomplete exploration of the state space). The second reason, is the simple reward function which causes slow convergence of the algorithm and the third reason is the slow operating cycle of the agent that did not perceive changes in produced and demanded power. Taking into account the aforementioned drawbacks, some modifications are applied to the agent. New state variables are defined and a fine grained discretization is performed, a more sophisticated algorithm for exploration/exploitation is used, a new reward arises by a fuzzy logic system structured by subjective rules and the discrete time step of the agent is reduced. The simulation results indicate the further improvement of the battery management as well as the further improvement regarding the coverage of the energy. In this PhD dissertation, it is also proposed a multiagent system based on a modified independent learners approach. This multiagent system is designed for the energy management of a more complicated islanded photovoltaic microgrid consisting by several units (photovoltaic unit, desalination unit, electrolytic unit, fuel cell, diesel generator, dynamic load). By this way, the problem is addressed in a fully decentralized framework without the use of a coordinating agent. Agents do not have built-in knowledge and learn through interaction with the environment. This fact allows them to adapt their strategy to any changes that the microgrid may be subjected. The modified approach lies on the fact that it uses only local rewards and/or state information that are relevant to each agent. This has the effect of reducing the state space and strengthening the learning mechanism. In order to cope with the continuous state-action space, instead of simple discretization, the fuzzy Q-learning was introduced to each agent. By this way, the power dispatch is allowed amongst the units as they can operate at partial load conditions.Furthermore, in order to solve the problem of energy management, it was necessary to develop methods and solve problems directly related to the main problem. In particular, in order to use the desalination unit in the simulations, a model of the process has to be developed. The model has as input the power consumption and as output the water production and the water quality (electrical conductivity). The model is data driven. The data were collected by a reverse osmosis desalination unit, which is installed at the Agricultural University of Athens. ANFIS (Adaptive Neuro-Fuzzy Inference System) was used as a modeling tool in order to develop the model without the use of mathematical equations.Also, the problem of the Maximum Power Point Tracking (MPPT) of the photovoltaic sources had to be solved. The considered microgrid is a photovoltaic islanded microgrid. It means that there is no connection to the electrical grid and the only renewable source of the microgrid is a photovoltaic source. This makes it imperative to exploit as much energy as possible from the photovoltaic source. The Maximum Power Point (MPP) is a unique point in the voltage-current curve where the power produced by the photovoltaic source is maximized. The operating point of a photovoltaic source is affected by the environmental conditions (temperature and solar irradiance) and by the load which is connected. The objective is the operation point of the photovoltaic source to be coincident with the MPP at any time instant. In addition, another problem that needs to be solved in the photovoltaic sources is the conditions of partial shading. In partial shading conditions, the characteristic current-voltage curve of the photovoltaic source gains multiple local maxima, which makes the tracking of the global MPP very difficult. In this PhD dissertation, two solutions are proposed for the MPPT control problem. In particular, a methodology, which uses a single neuron in order to achieve MPPT, is proposed. The neuron combines online learning, based on the gradient descent method and offline learning, based on the metaheuristic algorithm of the “Big Bang Big Crunch” (BB-BC). The parameters that need optimization are only four, the initial values of the three weights of the neuron and the slope of the sigmoidal function. Additionally, the single neural controller in combination with the cascaded dc/dc converter topology is proposed to solve the problems which are introduced by the partial shading conditions. In this topology, each photovoltaic module has its own controller and its own converter. The maximum power is extracted from each module and the total power is applied on the load via the converters. In addition, a universal photovoltaic maximum power point tracker based on reinforcement learning, is suggested. This approach can achieve MPPT by using only two parameters, the short circuit current and the open circuit voltage of the photovoltaic source at the Standard Test Conditions (STC: 25OC & 1000W / m2). The agent interacts with the environment and learns to act appropriately not only in different environmental conditions but also in variable electrical loads with very small errors and no oscillations around the MPP.

Στην παρούσα διδακτορική διατριβή, προτείνονται τρόποι προσέγγισης για την επίλυση του προβλήματος της διαχείρισης ενέργειας σε αυτόνομα φωτοβολταϊκά μικροδίκτυα. Στην αυτόνομη λειτουργία ενός μικροδικτύου, το κύριο ζήτημα που πρέπει να διασφαλιστεί είναι η παροχή της ηλεκτρικής ενέργειας. Στόχος είναι να διατηρηθεί, αν όχι να αυξηθεί, η αξιοπιστία του μικροδικτύου από τις αβεβαιότητες που εισάγουν οι ανανεώσιμες πηγές ενέργειας και η στοχαστική ζήτηση των καταναλωτών. Στη παρούσα διατριβή, προτείνεται ένας πράκτορας (agent) ενισχυτικής μάθησης για την λύση του προβλήματος της διαχείρισης ενέργειας σε αυτόνομο φωτοβολταϊκό μικροδίκτυο που αποτελείται από φωτοβολταϊκή πηγή, μπαταρία, δυναμικό φορτίο και μονάδα αφαλάτωσης. Ο πράκτορας ενσωματώνει στρατηγικές ενισχυτικής μάθησης και εξασφαλίζει τη δυνατότητα μάθησης αλληλεπιδρώντας με το περιβάλλον. Ο πράκτορας δεν περιορίζεται μόνο στη διαχείριση της μπαταρίας αλλά και στην μονάδα αφαλάτωσης, η οποία ικανοποιεί την ζήτηση των χρηστών σε πόσιμο νερό. Τα αποτελέσματα των προσομοιώσεων έδειξαν καλή διαχείριση ενέργειας παρουσιάζοντας μικρές αδυναμίες. Οι αδυναμίες αυτές εντοπίζονται σε ορισμένες περιπτώσεις όπου η ζητούμενη ενέργεια δεν μπορεί να καλυφθεί ή η μπαταρία υπόκειται σε αρκετές βαθιές εκφορτίσεις. Τα προβλήματα αυτά οφείλονται κυρίως στην γενική διακριτοποίηση του χώρου των καταστάσεων που σε συνδυασμό με τον απλό αλγόριθμο εξερεύνησης/αξιοποίησης του πράκτορα έχει ως αποτέλεσμα την ελλιπή εξερεύνηση του χώρου καταστάσεων-ενεργειών. Ένα ακόμα πρόβλημα αποτελεί η απλή συνάρτηση ανταμοιβής που έχει ως αποτέλεσμα την αργή σύγκλιση του αλγόριθμου και τέλος, ο μεγάλος χρονικός κύκλος λειτουργίας του πράκτορα που δεν αντιλαμβάνεται έγκαιρα μεταβολές στην παραγωγή και στην ζήτηση της ισχύος. Λαμβάνοντας υπόψη τις παραπάνω αδυναμίες, πραγματοποιήθηκαν στον πράκτορα τροποποιήσεις. Οι μεταβλητές κατάστασης του πράκτορα ορίστηκαν καλύτερα και η διακριτοποίηση έγινε πιο λεπτομερής, χρησιμοποιήθηκε ένας πιο σύνθετος αλγόριθμος εξερεύνησης, η ανταμοιβή στηρίχθηκε σε ένα σύστημα ασαφούς λογικής δομημένο με υποκειμενικούς κανόνες και ο χρονικός κύκλος λειτουργίας του πράκτορα μειώθηκε. Τα αποτελέσματα της προσομοίωσης έδειξαν περαιτέρω βελτίωση και στην διαχείριση της μπαταρίας αλλά και στην κάλυψη των ενεργειακών αναγκών.Επίσης, στη παρούσα διδακτορική πραγματοποιείται διαχείριση ενέργειας σε ένα πιο σύνθετο αυτόνομο φωτοβολταϊκό μικροδίκτυο που απαρτίζεται από πολλές μονάδες (φωτοβολταϊκή μονάδα, μονάδα αφαλάτωσης, ηλεκτρολυτική μονάδα, κυψέλη καυσίμου, ντιζελογεννήτρια, μπαταρία και δυναμικό φορτίο). Για τη λύση του προβλήματος της διαχείρισης ενέργειας σε αυτό το μικροδίκτυο, προτείνεται ένα πολυπρακτορικό (multiagent) σύστημα βασισμένο σε μια τροποποιημένη προσέγγιση της ανεξάρτητης μάθησης. Με αυτό τον τρόπο, το πρόβλημα αντιμετωπίζεται σε ένα πλήρως αποκεντρωμένο πλαίσιο, χωρίς την χρήση κάποιου πράκτορα συντονιστή. Οι πράκτορες δεν έχουν ενσωματωμένη γνώση και μαθαίνουν μέσω της αλληλεπίδρασης με το περιβάλλον. Αυτό επιτρέπει την αναπροσαρμογή της στρατηγικής τους σε πιθανές αλλαγές που μπορεί να υποστεί το μικροδίκτυο. Η τροποποιημένη προσέγγιση της ανεξάρτητης μάθησης έγκειται στο γεγονός ότι εκμεταλλεύεται μόνο τις τοπικές ανταμοιβές και τις πληροφορίες κατάστασης που σχετίζονται με τον κάθε πράκτορα. Αυτό έχει σαν επακόλουθο, τη μείωση του χώρου των καταστάσεων και την ενίσχυση του μηχανισμού μάθησης. Προκειμένου να αντιμετωπιστεί ο συνεχής χώρος καταστάσεων-ενεργειών αντί για απλή διακριτοποίηση, εισήχθη η ασαφής Q-μάθηση σε κάθε πράκτορα. Με αυτό τον τρόπο, επιτρέπεται ο διαμοιρασμός της ισχύος ανάμεσα στις μονάδες αφού μπορούν να λειτουργήσουν και υπό μερικό φορτίο. Παράλληλα, προς την λύση του προβλήματος της διαχείρισης ενέργειας, χρειάστηκαν να αναπτυχθούν μεθοδολογίες και να επιλυθούν και άλλα προβλήματα άμεσα συσχετιζόμενα με το κεντρικό πρόβλημα. Συγκεκριμένα, για να χρησιμοποιηθεί η μονάδα της αφαλάτωσης στις προσομοιώσεις χρειάστηκε να αναπτυχθεί ένα μοντέλο της διεργασίας, το οποίο έχει ως είσοδο την καταναλισκόμενη ισχύ και ως έξοδο τον ρυθμό παραγωγής του νερού και την ποιότητα του νερού (ηλεκτρική αγωγιμότητα). Για την ανάπτυξη του μοντέλου, χρησιμοποιήθηκαν πραγματικές μετρήσεις από την μονάδα αφαλάτωσης αντίστροφης ώσμωσης, η οποία είναι εγκατεστημένη στο Γεωπονικό Πανεπιστήμιο Αθηνών. Για την ανάπτυξη του μοντέλου χρησιμοποιήθηκε το ANFIS (Adaptive Neuro-Fuzzy Inference System) ως εργαλείο μοντελοποίησης και δεν χρειάστηκε μαθηματική μοντελοποίηση. Επιπλέον, ήταν απαραίτητο να λυθεί το πρόβλημα της ανίχνευσης του μέγιστου σημείου ισχύος (Maximum Power Point Tracking – MPPT) των φωτοβολταϊκών πηγών. Το μικροδίκτυο που μελετάται ως προς την διαχείριση της ενέργειας είναι ένα αυτόνομο φωτοβολταϊκό μικροδίκτυο. Αυτό σημαίνει ότι δεν υπάρχει διασύνδεση με το δημόσιο ηλεκτρικό δίκτυο και από τις μονάδες παραγωγής ανανεώσιμης ενέργειας υπάρχει μόνο η φωτοβολταϊκή πηγή. Αυτό κάνει επιτακτική την ανάγκη εκμετάλλευσης όσο το δυνατόν μεγαλύτερης ποσότητας ενέργειας προερχόμενη από την φωτοβολταϊκή πηγή. Το σημείο μέγιστης λειτουργίας (Maximum Power Point - MPP) είναι ένα μοναδικό σημείο τάσεως και ρεύματος, όπου η ισχύς που παράγεται από την φωτοβολταϊκή πηγή μεγιστοποιείται. To σημείο λειτουργίας μιας φωτοβολταϊκής πηγής επηρεάζεται από τις περιβαλλοντικές συνθήκες (θερμοκρασία και ηλιακή ακτινοβολία) και από το φορτίο που είναι συνδεδεμένη. Σκοπός είναι το σημείο λειτουργίας της φωτοβολταϊκής πηγής να συμπίπτει συνεχώς με το MPP. Επιπροσθέτως, ένα σημαντικό πρόβλημα που χρήζει επίλυσης στις φωτοβολταϊκές πηγές είναι οι συνθήκες μερικής σκίασής τους. Σε αυτές τις συνθήκες, η χαρακτηριστική καμπύλη ρεύματος-τάσης έχει πολλαπλά τοπικά μέγιστα που δυσκολεύουν την ανίχνευση του καθολικού μέγιστου. Στην παρούσα διδακτορική διατριβή, προτείνονται δύο λύσεις για το πρόβλημα ελέγχου του MPPT. Συγκεκριμένα, προτείνεται μεθοδολογία που χρησιμοποιεί έναν και μόνο νευρώνα για την επίτευξη MPPT. Ο ελεγχόμενος νευρώνας συνδυάζει online μάθηση βασισμένη στην μέθοδο της κατάβασης δυναμικού και offline μάθηση βασισμένη στον μεθευρετικό αλγόριθμο “Big Bang Big Crunch” (BB-BC). Οι παράμετροι που χρήζουν βελτιστοποίησης είναι μόνο τέσσερεις, οι αρχικές τιμές των τριών βαρών του νευρώνα και η κλίση της σιγμοειδούς συνάρτησης ενεργοποίησης. Ακόμα, για τα προβλήματα που εισάγουν οι συνθήκες μερικής σκίασης, προτείνεται η χρησιμοποίηση του νευρώνα με τη κλιμακωτή τοπολογία μετατροπέων όπου για κάθε φωτοβολταϊκό πλαίσιο της πηγής χρησιμοποιείται ένας μετατροπέας και ένας νευρώνας. Η μέγιστη ισχύς εξάγεται από το κάθε φωτοβολταϊκό πλαίσιο ξεχωριστά και εφαρμόζεται μέσω τον μετατροπέων συνολικά στο φορτίο.Επίσης, προτείνεται φωτοβολταϊκός καθολικός ανιχνευτής μέγιστης ισχύος, ο οποίος βασίζεται στην ενισχυτική μάθηση και είναι αναγκαίο να ρυθμιστούν από την αρχή μόνο δύο παράμετροι, το ρεύμα βραχυκυκλώσεως και η τάση ανοιχτοκυκλώσεως της πηγής στις πρότυπες συνθήκες δοκιμής (Standard Test Conditions-STC:25OC & 1000W/m2). Ο πράκτορας αλληλεπιδρά με το περιβάλλον και μαθαίνει να ενεργεί κατάλληλα σε διαφορετικές περιβαλλοντικές συνθήκες αλλά και σε μεταβλητά ηλεκτρικά φορτία με πολύ μικρά σφάλματα και καθόλου ταλαντώσεις γύρω από το MPP.