Data-driven applications for reliable smart grids in the framework of energy communities and distributed energy resources

Abstract

Introduction and needs: The digitalization of energy systems and the rise of Distributed Energy Resources (DERs) are transforming power grids, creating new challenges and opportunities for reliability and sustainability. The massive integration of renewable-based DERs has introduced significant uncertainties in grid operation, straining the traditional approaches to maintain a stable and uninterrupted power supply. At the same time, advances in sensing, data analytics, and cloud-to-edge computing have opened avenues for data-driven applications that can bolster smart grid resilience. In this context, the present PhD thesis is motivated by the need to harness state-of-the-art digital technologies, including Machine Learning and cloud-edge platforms, to ensure reliable smart grid performance in modern Communities and highly decentralised operational paradigms. Research objectives and questions: The thesis aims to develop and evaluate novel data-driven methodologies that enhance the reliability and decision-making in smart grids with high-DER penetration and active Local Energy Communities (LECs). Key research questions addressed in this work include: (1) How can Machine Learning and data analytics be leveraged to improve the reliability of integrated building-to-grid energy systems? (2) What kind of cloud–edge computing architecture can efficiently deliver real-time grid services (such as fast frequency response) in a DER-rich environment? (3) How can deep learning techniques enable accurate fault location identification and classification in active distribution networks? (4) In what ways can integrated cloud/edge platforms enable trustworthy and cost-efficient automated inspection in grid components, thus supporting energy communities in planning sustainable smart grid investments? These questions correspond to the primary challenges tackled in Chapters 2–5 of the dissertation. Methodological approach: To address the above questions, a combination of literature-driven analysis, experimental simulation, and prototype system development is employed. First, a systematic text-mining literature review is conducted to map out the landscape of machine learning methods for grid reliability, collecting approximately 10,500 scholarly articles from Scopus and related databases. Natural language processing techniques (BERTopic topic modelling) and statistical trend analysis are used to uncover research themes and their evolution, yielding a comprehensive taxonomy of data-driven reliability applications. Second, a cloud–edge computing architecture is designed to enable ultrafast frequency control services. This architecture, built on modern 5G communication infrastructure, distributes computation between cloud servers and edge devices to speed up load forecasting and optimal power flow calculations. It allows local market operators to respond to frequency deviations with sub-second latency by coordinating DERs via demand-response signals. Third, a deep learning-based fault analysis application is developed, which uses continuous wavelet transforms and convolutional neural networks (optimised via Bayesian hyperparameter search) to detect and pinpoint faults in distribution feeders. This approach leverages high-resolution sensor data from smart meters and other IoT devices to capture spatial and temporal features of grid measurements, enabling real-time situational awareness. Fourth, using a hierarchical inference framework, the chapter demonstrates how lightweight models running on embedded devices, such as drones used for infrastructure inspection, can collaborate with more powerful edge servers to ensure robust, calibrated decision-making while minimising communication overhead and energy consumption. The chapter evaluates latency, trustworthiness, and resource footprints across hardware accelerators, providing a methodology for scalable deployment in safety-critical grid applications. Results and contributions: The research contributions are organised in four main parts (Chapters 2–5), each providing novel insights: Literature Analytics: The text-mining review revealed distinct research trends and gaps in smart grid reliability. It produced a two-dimensional taxonomy of machine learning applications vs. business objectives, and quantified temporal trends in the literature. By synthesizing over a decade of publications, this study unveiled the state-of-the-art analytical techniques ensuring grid reliability and proposed future research directions. Cloud-Edge Fast Frequency Response: The thesis introduces a cloud–edge interoperability framework, validated on the IEEE European low-voltage test system. The deployed system can orchestrate distributed resources to provide Fast Frequency Response (FFR) services under stringent time constraints. Experimental evaluation showed that the architecture supports sub-second response times to frequency events and remains scalable under various DER and demand response configurations. This contribution illustrates how combining cloud computing with edge analytics can meet critical reliability needs (like frequency stability) in future grids. Fault Diagnosis with Deep Learning: A data-driven fault location and classification model for active grids was developed and tested. Using simulated fault datasets covering eleven fault types, the proposed CNN-wavelet method achieved high accuracy – detecting faults with 91.4% accuracy and correctly identifying the affected branch 93.8% of the time. It also classified fault types with 94.9% accuracy and estimated fault location with low error (≈2.45% of the feeder length). These results demonstrate substantial improvements in the speed and precision of fault diagnosis, enhancing operators’ real-time visibility and the grid’s self-healing capabilities. Hierarchical Inference for automated inspection: (4) The implementation of intelligent edge agents within the hierarchical inspection framework enabled real-time fault detection and anomaly classification with high accuracy, consistently exceeding 94%. The cloud layer effectively facilitated global coordination and systemwide awareness, complementing the low-latency edge processing. Experimental evaluation demonstrated that the Hailo-based system achieved the optimal tradeoff between accuracy, energy efficiency, and inference throughput. In contrast, the Orca accelerator exhibited stable co-operative accuracy across a wide range of offloading thresholds. Sensitivity analysis underscored the nonlinear relationship between model confidence calibration and system workload, revealing that even a 1% increase in confidence threshold could lead to over 10% additional data offloading. These findings highlight the need for adaptive strategies in distributed AI deployments to ensure scalability, responsiveness, and trustworthiness in critical infrastructure monitoring. Conclusions and Impact: In summary, this PhD work demonstrates how data-driven analytics, machine learning, and cloud-edge solutions can collectively enhance the reliability and management of smart grids in the era of high DER proliferation and prosumer-centric energy communities. The findings underscore that bridging modern ICT with power engineering yields tangible benefits – from faster fault recovery and frequency stabilization to informed strategic planning for local energy systems. Scientifically, the thesis contributes new knowledge by integrating literature-scale data analysis with domain-specific innovations (e.g., novel fault diagnosis algorithms and architectural blueprints for grid services). Technologically, it delivers prototyped solutions (software tools, algorithms, and frameworks) that grid operators and energy community stakeholders can implement. Ultimately, these contributions support the transition toward more resilient, efficient, and sustainable smart grids, aligning with global decarbonization goals and advancing the state of the art in smart energy research.

Εισαγωγή και ανάγκες: Η ψηφιοποίηση των ενεργειακών συστημάτων και η αύξηση της διείσδυσης της Διεσπαρμένης Παραγωγής (ΔΠ) μετασχηματίζουν τα δίκτυα ηλεκτρικής ενέργειας, δημιουργώντας νέες προκλήσεις και ευκαιρίες για την αξιοπιστία και τη βιωσιμότητα. Η μαζική ενσωμάτωση της ΔΠ που βασίζεται σε Ανανεώσιμες Πηγές Ενέργειας (ΑΠΕ) έχει επιφέρει σημαντικές αβεβαιότητες στη λειτουργία του δικτύου, ασκώντας πίεση στις παραδοσιακές προσεγγίσεις για τη διατήρηση σταθερής και αδιάλειπτης παροχής ηλεκτρικής ενέργειας. Ταυτόχρονα, η πρόοδος στα μετρητικά στοιχεία, στην ανάλυση δεδομένων και το υπολογιστικό συνεχές (από το νέφος έως την παρυφή), έχουν ανοίξει νέους δρόμους για εφαρμογές βασισμένες σε δεδομένα που μπορούν να ενισχύσουν την ανθεκτικότητα των έξυπνων δικτύων. Σε αυτό το πλαίσιο, η παρούσα διδακτορική διατριβή υποκινείται από την ανάγκη αξιοποίησης των πλέον σύγχρονων ψηφιακών τεχνολογιών, συμπεριλαμβανομένης της Μηχανικής Μάθησης και των πλατφόρμων νέφους/παρυφής, ώστε να διασφαλιστεί η αξιόπιστη λειτουργία των έξυπνων δικτύων στο πλαίσιο των σύγχρονων ενεργειακών κοινοτήτων και των αποκεντρωμένων λειτουργικών πρακτικών που υιοθετούνται από τους διαχειριστές δικτύου την τελευταία δεκαετία. Ερευνητικοί στόχοι και ερωτήματα: Η διατριβή στοχεύει στην ανάπτυξη και αξιολόγηση νέων μεθοδολογιών βασισμένων σε δεδομένα, οι οποίες ενισχύουν την αξιοπιστία και τη λήψη αποφάσεων σε έξυπνα δίκτυα με υψηλή διείσδυση ΑΠΕ και ενεργές τοπικές ενεργειακές κοινότητες. Βασικά ερευνητικά ερωτήματα που αντιμετωπίζονται περιλαμβάνουν: (1) Πώς μπορούν η Μηχανική Μάθηση και η ανάλυση δεδομένων να αξιοποιηθούν για τη βελτίωση της αξιοπιστίας του συστήματος ενεργών κτηρίων ενσωματωμένα στο δίκτυο; (2) Τι είδους αρχιτεκτονική υπολογισμού νέφους/ παρυφής μπορεί να παρέχει αποδοτικά υπηρεσίες δικτύου σε πραγματικό χρόνο (όπως η ταχεία απόκριση συχνότητας) σε ένα περιβάλλον πλούσιο σε ΑΠΕ; (3) Πώς μπορούν οι τεχνικές βαθιάς μάθησης να επιτρέψουν τον ακριβή εντοπισμό και την ταξινόμηση βλαβών σε ενεργά δίκτυα διανομής; (4) Με ποιους τρόπους μπορούν οι ολοκληρωμένες πλατφόρμες νέφους παρυφής να καταστήσουν δυνατή την αξιόπιστη και οικονομικά αποδοτική αυτοματοποιημένη επιθεώρηση στοιχείων του δικτύου, υποστηρίζοντας έτσι τον σχεδιασμό βιώσιμων επενδύσεων σε έξυπνα δίκτυα; Μεθοδολογική προσέγγιση: Χρησιμοποιείται ένας συνδυασμός ανάλυσης βιβλιογραφίας, πειραματικής προσομοίωσης και ανάπτυξης πρωτότυπων συστημάτων. Διενεργείται συστηματική ανασκόπηση με τεχνικές εξόρυξης κειμένου σε 10.500 άρθρα, αξιοποιώντας μοντελοποίηση θεμάτων με BERTopic και στατιστική ανάλυση για τη δημιουργία ταξινομίας εφαρμογών αξιοπιστίας. Αναπτύσσεται αρχιτεκτονική νέφους/παρυφής για υπηρεσίες ταχείας απόκρισης συχνότητας βασισμένη σε δίκτυα πέμπτης γενιάς (5G), επιτρέποντας υποδεκαδευτερόλεπτη απόκριση με αξιοποίηση ΑΠΕ μέσω απόκρισης ζήτησης. Εφαρμόζεται τεχνική βαθιάς μάθησης (Συνελικτικά Νευρωνικά Δίκτυα) για ταξινόμηση και εντοπισμό βλαβών σε γραμμές διανομής, με χρήση δεδομένων από έξυπνους μετρητές. Τέλος, ένα ιεραρχικό πλαίσιο επιθεώρησης με μη επανδρωμένα σκάφη και μοντέλα που υπολογιστικά εκτελούνται στην παρυφή ενισχύει την επεξεργασία με χαμηλή κατανάλωση ενέργειας και καθυστέρηση, προσφέροντας μία αξιόπιστη και αποδοτική μέθοδο για εφαρμογή σε κρίσιμες υποδομές. Αποτελέσματα και συνεισφορές: Οι ερευνητικές συνεισφορές οργανώνονται σε τέσσερα κύρια μέρη (Κεφάλαια 2–5), καθένα από τα οποία παρέχει καινοτόμες γνώσεις: • Η ανάλυση βιβλιογραφίας εντόπισε τάσεις και κενά στην αξιοπιστία δικτύων, δημιουργώντας ταξινόμηση εφαρμογών Μηχανικής Μάθησης και ερευνητικές κατευθύνσεις. • Η αρχιτεκτονική νέφους/παρυφής επέτρεψε ταχεία απόκριση σε συμβάντα συχνότητας και απέδειξε επεκτασιμότητα σε σενάρια με ΑΠΕ και απόκριση ζήτησης. • Η εφαρμογή πέτυχε >91% ακρίβεια στην ανίχνευση βλαβών και >94% στην ταξινόμηση τύπου βλάβης. • Το σύστημα με πλατφόρμες υλικού επιτάχυνσης στην παρυφή, όπως π.χ. Hailo και Orca, ξεπέρασε το 94% ακρίβεια με ευνοϊκές αποδόσεις ενεργειακά και υπολογιστικά, καταδεικνύοντας την ανάγκη για προσαρμοστικές στρατηγικές διαμοιρασμού του υπολογιστικού φορτίου μεταξύ των διαθέσιμων πόρων. Συμπεράσματα και αντίκτυπος: Η διατριβή αποδεικνύει ότι η σύνθεση τεχνολογιών δεδομένων, Μηχανικής Μάθησης και υπολογιστικών πλατφόρμων μπορεί να ενισχύσει την αξιοπιστία και τη λήψη αποφάσεων σε έξυπνα δίκτυα. Προσφέρει επιστημονικές και τεχνολογικές συνεισφορές, παρέχοντας νέες μεθόδους, αλγορίθμους και αρχιτεκτονικές για τη στήριξη της βιώσιμης μετάβασης σε κοινότητες με αποκεντρωμένη παραγωγή και κατανάλωση ενέργειας.