A multi-agent distributed learning framework for the optimization of privacy and resilience in federated systems

Abstract

Federated learning has emerged as a foundational paradigm for collaborative model training across distributed agents without explicit data sharing. However, as federated systems scale to real-world deployments, they face fundamental challenges arising from data heterogeneity, infrastructure constraints, privacy requirements, and adversarial conditions. Existing approaches typically address these challenges in isolation, failing to account for their complex interdependencies. This thesis develops a multi-agent distributed learning framework that jointly optimizes privacy and resilience in federated systems by explicitly modeling agent interactions, structural dependencies, and system-level dynamics. The central argument of this thesis is that federated learning must be understood not as a static optimization protocol, but as an adaptive, structured, multi-agent process in which privacy, resilience, efficiency, and coordination are deeply intertwined. By treating participating agents as heterogeneous entities with distinct roles, influence, and constraints, and by leveraging graph-based representations to capture their interactions, the proposed framework enables principled reasoning about privacy-utility trade-offs, robust aggregation under adversarial conditions, and scalable coordination in dynamic environments. To realize this vision, the thesis develops a progression of interrelated contributions: from foundational coordination mechanisms that enable structure-aware agent organization, through adaptive privacy protocols and secure collaboration primitives, to efficiency-enhancing optimization techniques and their integration into a unified system architecture. Each contribution addresses a specific dimension of the federated learning challenge while maintaining coherence with the overarching multi-agent framework. The following overview summarizes the content and contributionsof each chapter. Chapter 2 establishes the theoretical and technical foundations underlying the thesis. It reviews federated learning fundamentals, including core algorithms such as FedAvg and FedProx, statistical heterogeneity challenges, and privacy-preserving mechanisms including differential privacy, secure multi-party computation, and homomorphic encryption. The chapter further examines security threats in federated systems, graph neural networks for decentralized environments, and cybersecurity challenges in large-scale Internet of Things ecosystems. This comprehensive review situates the thesis contributions within the broader landscape of distributed machine learning and privacy-preserving computation. Chapter 3 introduces structure-aware clustering mechanisms that organize heterogeneous agents based on spatial, resource, and interaction characteristics. Motivated by smart-city scenarios involving mobile digital twin boxes equipped with 360 degree video streaming capabilities, the chapter develops unsupervised learning approaches combining density-based clustering, multi-view spectral clustering, and k-nearest neighbor allocation to maximize situational awareness under bandwidth constraints. The proposed framework jointly optimizes area coverage and video quality allocation, demonstrating significant improvements over baseline approaches across varying vehicle densities. These clustering mechanisms serve as the foundational coordination layer for the multi-agent federated learning framework developed in subsequent chapters. Chapter 4 addresses privacy preservation in federated graph learning through two complementary contributions. First, it introduces an adaptive differential privacy mechanism that dynamically adjusts privacy budgets based on local graph structure, including edge density and node degree distributions. Unlike conventional fixed-noise approaches, this graph-aware calibration achieves improved privacy-utility trade-offs by reducing excessive noise for well-connected graphs while maintaining strict guarantees for sparse structures. Experiments on medical imaging datasets demonstrate faster convergence and higher accuracy compared to fixed differential privacy baselines. Second, the chapter presents a threshold-based multiparty private set intersection (T-MPSI) framework that enables flexible secure collaboration by including elements appearing in at least a threshold number of participant datasets, rather than requiring exact matching. The framework employs federated graph neural networks for adaptive threshold selection and integrates homomorphic encryption for protecting intermediate computations. Chapter 5 develops graph neural network methods for optimizing client participation under differential privacy constraints. Recognizing that client selection directly impacts both learning efficiency and privacy exposure, the chapter formulates client selection as a structure-aware optimization problem that accounts for data heterogeneity, resource constraints, and privacy budgets. The proposed approach leverages graph attention mechanisms to learn client embeddings that capture both local data characteristics and system-level relationships, enabling adaptive participation strategies that improve convergence while maintaining formal privacy guarantees. Extensive experiments demonstrate the effectiveness of the approach in balancing privacy, utility, and computational efficiency across heterogeneous federated environments. Chapter 6 explores quantum-inspired optimization techniques for improving the efficiency and scalability of federated learning under privacy constraints. The chapter introduces QuanGAT, a hybrid framework integrating quantum neural networks, graph attention networks, and federated learning for privacy-preserving analysis of biological graph data. QuanGAT employs parameterized quantum circuits with angle encoding and quantum noise channels to model biological variability, while incorporating Laplace noise injection in the attention mechanism to enforce differential privacy. Evaluated on protein–protein interaction networks for DNA mutation prediction, QuanGAT consistently outperforms baseline graph neural networks in federated settings maintaining robustness to noise and client heterogeneity. Chapter 7 integrates the individual contributions into a cohesive, verifiable, and Byzantine-resilient federated learning architecture. The unified framework operates under an explicit adversarial model that accounts for Byzantine clients, honest-but-curious servers, and network-level threats. Resilience is achieved through layered mitigation strategies spanning adaptive client selection, structure-aware aggregation, trust-weighted participation, and anomaly detection in embedding spaces. The architecture combines adaptive differential privacy, threshold-based secure operations, and graph-based coordination to simultaneously satisfy privacy, robustness, and scalability requirements. Verifiable aggregation mechanisms enable post-hoc accountability without sacrificing privacy by default, ensuring that aggregation correctness can be cryptographically certified while individual contributions remain protected. The final chapter summarizes the contributions of the thesis, discusses limitations, and outlines directions for future research, including extensions to cross-silo federated learning, integration with emerging privacy-enhancing technologies, and deployment considerations for real-world distributed systems.The contributions of this thesis advance the state of the art in federated learning by demonstrating that privacy, resilience, and efficiency can be jointly optimized within a structure-aware, multi-agent framework. Key theoretical findings include: (i) structure-dependent privacy amplification, where noise calibration exploits topological redundancy to improve privacy-utility trade-offs while maintaining formal ε,δ -differential privacy guarantees; (ii) composability of privacy-preserving and Byzantine-resilient mechanisms through layered architectural design, resolving the apparent tension between hiding individual contributions and detecting adversarial behavior; and (iii) variance reduction in aggregated updates through importance-weighted client participation, accelerating convergence under non-IID data distributions. The proposed mechanisms, such as adaptive graph-aware privacy calibration, threshold-based secure collaboration, quantum-enhanced graph learning, and verifiable Byzantine-resilient aggregation, provide principled solutions to challenges that have traditionally been addressed in isolation. Together, they form a cohesive framework for designing federated systems that remain trustworthy, robust, and scalable under realistic deployment conditions.

Η ομοσπονδιακή μάθηση (federated learning) έχει αναδειχθεί σε ένα θεμελιώδες παράδειγμα για τη συνεργατική εκπαίδευση μοντέλων μεταξύ κατανεμημένων οντοτήτων χωρίς ρητή ανταλλαγή δεδομένων. Ωστόσο, καθώς τα ομοσπονδιακά συστήματα κλιμακώνονται σε πραγματικές συνθήκες ανάπτυξης, αντιμετωπίζουν θεμελιώδεις προκλήσεις που απορρέουν από την ετερογένεια των δεδομένων, τους περιορισμούς της υποδομής, τις απαιτήσεις ιδιωτικότητας και τις αντιπαραθετικές συνθήκες λειτουργίας. Οι υφιστάμενες προσεγγίσεις αντιμετωπίζουν συνήθως τις προκλήσεις αυτές μεμονωμένα, αδυνατώντας να λάβουν υπόψη τις πολύπλοκες αλληλεξαρτήσεις τους. Η παρούσα διατριβή αναπτύσσει ένα πολυπρακτορικό, κατανεμημένο πλαίσιο μάθησης, το οποίο βελτιστοποιεί από κοινού την ιδιωτικότητα και την ανθεκτικότητα στα ομοσπονδιακά συστήματα, μέσω της ρητής μοντελοποίησης των αλληλεπιδράσεων των πρακτόρων, των δομικών εξαρτήσεων και της δυναμικής σε επίπεδο συστήματος.Το κεντρικό επιχείρημα της διατριβής είναι ότι η ομοσπονδιακή μάθηση δεν πρέπει να αντιμετωπίζεται ως ένα στατικό πρωτόκολλο βελτιστοποίησης, αλλά ως μια προσαρμοστική, δομημένη, πολυπρακτορική διαδικασία, στην οποία η ιδιωτικότητα, η ανθεκτικότητα, η αποδοτικότητα και ο συντονισμός είναι στενά αλληλένδετες έννοιες. Αντιμετωπίζοντας τους συμμετέχοντες πράκτορες ως ετερογενείς οντότητες με διακριτούς ρόλους, βαθμούς επιρροής και περιορισμούς, και αξιοποιώντας αναπαραστάσεις βασισμένες σε γράφους για την αποτύπωση των αλληλεπιδράσεών τους, το προτεινόμενο πλαίσιο επιτρέπει τη συστηματική ανάλυση των συμβιβασμών μεταξύ ιδιωτικότητας και χρησιμότητας, τη στιβαρή συνάθροιση υπό αντιπαραθετικές συνθήκες και τον κλιμακούμενο συντονισμό σε δυναμικά περιβάλλοντα. Για την υλοποίηση αυτού του οράματος, η διατριβή αναπτύσσει μια αλληλουχία αλληλένδετων συνεισφορών: από θεμελιώδεις μηχανισμούς συντονισμού που επιτρέπουν τη δομοκεντρική οργάνωση των πρακτόρων, μέσω προσαρμοστικών πρωτοκόλλων ιδιωτικότητας και βασικών μηχανισμών ασφαλούς συνεργασίας, έως τεχνικές βελτιστοποίησης που ενισχύουν την αποδοτικότητα και την ενσωμάτωσή τους σε μια ενιαία αρχιτεκτονική συστήματος. Κάθε συνεισφορά αντιμετωπίζει μια συγκεκριμένη διάσταση της πρόκλησης της ομοσπονδιακής μάθησης, διατηρώντας παράλληλα τη συνοχή με το ευρύτερο πολυπρακτορικό πλαίσιο. Η ακόλουθη επισκόπηση συνοψίζει το περιεχόμενο και τις συνεισφορές κάθε κεφαλαίου.Το Κεφάλαιο 2 θέτει τα θεωρητικά και τεχνικά θεμέλια της διατριβής. Παρουσιάζει τις βασικές αρχές της ομοσπονδιακής μάθησης, συμπεριλαμβανομένων κεντρικών αλγορίθμων όπως οι FedAvg και FedProx, των προκλήσεων στατιστικής ετερογένειας, καθώς και μηχανισμών διατήρησης της ιδιωτικότητας όπως η διαφορική ιδιωτικότητα, ο ασφαλής πολυμερής υπολογισμός και η ομομορφική κρυπτογράφηση. Επιπλέον, εξετάζονται απειλές ασφάλειας σε ομοσπονδιακά συστήματα, τα γραφικά νευρωνικά δίκτυα για αποκεντρωμένα περιβάλλοντα και οι προκλήσεις κυβερνοασφάλειας σε μεγάλης κλίμακας οικοσυστήματα Διαδικτύου των Αντικειμένων. Η εκτενής αυτή επισκόπηση τοποθετεί τις συνεισφορές της διατριβής στο ευρύτερο πλαίσιο της κατανεμημένης μηχανικής μάθησης και των υπολογισμών με διατήρηση της ιδιωτικότητας.Το Κεφάλαιο 3 εισάγει μηχανισμούς ομαδοποίησης με επίγνωση της δομής, οι οποίοι οργανώνουν ετερογενείς πράκτορες βάσει χωρικών, υπολογιστικών και διαδραστικών χαρακτηριστικών. Με αφετηρία σενάρια έξυπνων πόλεων που περιλαμβάνουν κινητές μονάδες ψηφιακών διδύμων με δυνατότητες ροής βίντεο 360 μοιρών, το κεφάλαιο αναπτύσσει μεθόδους μη επιβλεπόμενης μάθησης που συνδυάζουν ομαδοποίηση βασισμένη στην πυκνότητα, φασματική ομαδοποίηση πολλαπλών όψεων και ανάθεση βάσει πλησιέστερων γειτόνων, με στόχο τη μεγιστοποίηση της επιχειρησιακής επίγνωσης υπό περιορισμούς εύρους ζώνης. Το προτεινόμενο πλαίσιο βελτιστοποιεί από κοινού την κάλυψη της περιοχής και την κατανομή της ποιότητας βίντεο, επιδεικνύοντας σημαντικές βελτιώσεις έναντι βασικών προσεγγίσεων για διαφορετικές πυκνότητες οχημάτων. Οι μηχανισμοί αυτοί αποτελούν το θεμελιώδες επίπεδο συντονισμού για το πολυπρακτορικό ομοσπονδιακό πλαίσιο που αναπτύσσεται στα επόμενα κεφάλαια.Το Κεφάλαιο 4 πραγματεύεται τη διατήρηση της ιδιωτικότητας στην ομοσπονδιακή μάθηση επί γράφων μέσω δύο συμπληρωματικών συνεισφορών. Αρχικά, εισάγεται ένας προσαρμοστικός μηχανισμός διαφορικής ιδιωτικότητας που ρυθμίζει δυναμικά τους προϋπολογισμούς ιδιωτικότητας με βάση την τοπική δομή του γράφου, συμπεριλαμβανομένης της πυκνότητας ακμών και της κατανομής βαθμών κόμβων. Σε αντίθεση με τις συμβατικές προσεγγίσεις σταθερού θορύβου, η δομοκεντρική αυτή βαθμονόμηση επιτυγχάνει βελτιωμένους συμβιβασμούς ιδιωτικότητας–χρησιμότητας, μειώνοντας τον υπερβολικό θόρυβο σε πυκνά συνδεδεμένους γράφους, ενώ διατηρεί αυστηρές εγγυήσεις για αραιές δομές. Πειραματικά αποτελέσματα σε σύνολα δεδομένων ιατρικής απεικόνισης καταδεικνύουν ταχύτερη σύγκλιση και υψηλότερη ακρίβεια σε σύγκριση με σταθερές βάσεις διαφορικής ιδιωτικότητας. Στη συνέχεια, παρουσιάζεται ένα πλαίσιο πολυμερούς ιδιωτικής τομής συνόλων με όριο (T-MPSI), το οποίο επιτρέπει ευέλικτη ασφαλή συνεργασία, επιτρέποντας τη συμπερίληψη στοιχείων που εμφανίζονται σε τουλάχιστον έναν προκαθορισμένο αριθμό συνόλων δεδομένων των συμμετεχόντων, αντί της απαίτησης ακριβούς ταύτισης. Το πλαίσιο αξιοποιεί ομοσπονδιακά γραφικά νευρωνικά δίκτυα για την προσαρμοστική επιλογή ορίου και ενσωματώνει ομομορφική κρυπτογράφηση για την προστασία των ενδιάμεσων υπολογισμών. Το Κεφάλαιο 5 αναπτύσσει μεθόδους γραφικών νευρωνικών δικτύων για τη βελτιστοποίηση της συμμετοχής πελατών υπό περιορισμούς διαφορικής ιδιωτικότητας. Αναγνωρίζοντας ότι η επιλογή πελατών επηρεάζει άμεσα τόσο την αποδοτικότητα της μάθησης όσο και την έκθεση στην ιδιωτικότητα, το κεφάλαιο διατυπώνει την επιλογή πελατών ως πρόβλημα δομοκεντρικής βελτιστοποίησης, λαμβάνοντας υπόψη την ετερογένεια των δεδομένων, τους περιορισμούς πόρων και τους προϋπολογισμούς ιδιωτικότητας. Η προτεινόμενη προσέγγιση αξιοποιεί μηχανισμούς προσοχής επί γράφων για την εκμάθηση ενσωματώσεων πελατών που αποτυπώνουν τόσο τα τοπικά χαρακτηριστικά των δεδομένων όσο και τις σχέσεις σε επίπεδο συστήματος, επιτρέποντας προσαρμοστικές στρατηγικές συμμετοχής που βελτιώνουν τη σύγκλιση διατηρώντας παράλληλα τις τυπικές εγγυήσεις ιδιωτικότητας. Εκτενή πειράματα καταδεικνύουν την αποτελεσματικότητα της μεθόδου στην εξισορρόπηση ιδιωτικότητας, χρησιμότητας και υπολογιστικής αποδοτικότητας σε ετερογενή ομοσπονδιακά περιβάλλοντα. Το Κεφάλαιο 6 διερευνά τεχνικές βελτιστοποίησης εμπνευσμένες από την κβαντική υπολογιστική για τη βελτίωση της αποδοτικότητας και της αύξησης κλίμακας της ομοσπονδιακής μάθησης υπό περιορισμούς ιδιωτικότητας. Παρουσιάζεται το QuanGAT, ένα υβριδικό πλαίσιο που ενοποιεί κβαντικά νευρωνικά δίκτυα, δίκτυα προσοχής επί γράφων και ομοσπονδιακή μάθηση για την ανάλυση βιολογικών γραφικών δεδομένων με διατήρηση της ιδιωτικότητας. Το QuanGAT χρησιμοποιεί παραμετροποιήσιμα κβαντικά κυκλώματα με κωδικοποίηση γωνιών και κανάλια κβαντικού θορύβου για τη μοντελοποίηση της βιολογικής μεταβλητότητας, ενσωματώνοντας ταυτόχρονα έγχυση θορύβου Laplace στον μηχανισμό προσοχής για την επιβολή διαφορικής ιδιωτικότητας. Η αξιολόγηση σε δίκτυα αλληλεπίδρασης πρωτεΐνης–πρωτεΐνης για την πρόβλεψη μεταλλάξεων DNA δείχνει ότι το QuanGAT υπερέχει συστηματικά έναντι βασικών γραφικών νευρωνικών δικτύων σε σενάρια κατανεμημένης μάθησης, διατηρώντας την ανθεκτικότητα στον θόρυβο και την ετερογένεια των πελατών. Το Κεφάλαιο 7 ενοποιεί τις επιμέρους συνεισφορές σε μια συνεκτική, επαληθεύσιμη και ανθεκτική σε βυζαντινές επιθέσεις αρχιτεκτονική ομοσπονδιακής μάθησης. Το ενοποιημένο πλαίσιο λειτουργεί υπό ένα ρητό αντιπαραθετικό μοντέλο που λαμβάνει υπόψη Βυζαντινούς κόμβους, εξυπηρετητές (honest-but-curious) και απειλές σε επίπεδο δικτύου. Η ανθεκτικότητα επιτυγχάνεται μέσω πολυεπίπεδων στρατηγικών μετριασμού που εκτείνονται από την προσαρμοστική επιλογή πελατών και τη δομοκεντρική συνάθροιση, έως τη συμμετοχή με στάθμιση εμπιστοσύνης και την ανίχνευση ανωμαλιών σε χώρους ενσωματώσεων. Η αρχιτεκτονική συνδυάζει προσαρμοστική διαφορική ιδιωτικότητα, ασφαλείς λειτουργίες βασισμένες σε όρια και συντονισμό μέσω γράφων, ικανοποιώντας ταυτόχρονα απαιτήσεις ιδιωτικότητας, ανθεκτικότητας και αύξησης κλίμακας. Οι επαληθεύσιμοι μηχανισμοί συνάθροισης επιτρέπουν μεταγενέστερη ελεγξιμότητα χωρίς να θυσιάζεται η ιδιωτικότητα εκ κατασκευής, διασφαλίζοντας ότι η ορθότητα της συνάθροισης μπορεί να επαληθευθεί κρυπτογραφικά, ενώ οι ατομικές συνεισφορές παραμένουν προστατευμένες. Το τελευταίο κεφάλαιο συνοψίζει τις συνεισφορές της διατριβής, συζητά τους περιορισμούς και περιγράφει κατευθύνσεις για μελλοντική έρευνα, συμπεριλαμβανομένων επεκτάσεων σε ομοσπονδιακή μάθηση τύπου cross-silo, της ενσωμάτωσης αναδυόμενων τεχνολογιών ενίσχυσης της ιδιωτικότητας και ζητημάτων ανάπτυξης σε πραγματικά κατανεμημένα συστήματα. Οι συνεισφορές της παρούσας διατριβής προάγουν την ομοσπονδιακή μάθηση, αποδεικνύοντας ότι η ιδιωτικότητα, η ανθεκτικότητα και η αποδοτικότητα μπορούν να βελτιστοποιηθούν από κοινού εντός ενός πολυπρακτορικού πλαισίου βασισμένου σε γράφους. Βασικά θεωρητικά ευρήματα περιλαμβάνουν: (i) ενίσχυση της ιδιωτικότητας εξαρτώμενη από τη δομή, όπου η βαθμονόμηση του θορύβου αξιοποιεί τον τοπολογικό πλεονασμό για τη βελτίωση των συμβιβασμών ιδιωτικότητας–χρησιμότητας, διατηρώντας ταυτόχρονα τυπικές εγγυήσεις ε,δ -διαφορικής ιδιωτικότητας· (ii) την ικανότητα σύνθεσης μηχανισμών διατήρησης της ιδιωτικότητας και ανθεκτικότητας σε βυζαντινές επιθέσεις μέσω πολυεπίπεδου αρχιτεκτονικού σχεδιασμού, επιλύοντας τη φαινομενική ένταση μεταξύ απόκρυψης ατομικών συνεισφορών και ανίχνευσης αντιπαραθετικής συμπεριφοράς και (iii) τη μείωση της διακύμανσης στις συναθροισμένες ενημερώσεις μέσω συμμετοχής πελατών με σταθμισμένη σημασία, επιταχύνοντας τη σύγκλιση υπό μη ανεξάρτητες και μη ταυτόσημες κατανομές δεδομένων. Οι προτεινόμενοι μηχανισμοί, όπως η προσαρμοστική δομοκεντρική βαθμονόμηση ιδιωτικότητας, η ασφαλής συνεργασία βασισμένη σε όρια, η κβαντικά ενισχυμένη γραφική μάθηση και η επαληθεύσιμη, ανθεκτική σε βυζαντινές επιθέσεις συνάθροιση, παρέχουν τεκμηριωμένες λύσεις σε προκλήσεις που παραδοσιακά αντιμετωπίζονταν αποσπασματικά. Συνολικά, οι επιμέρους συνεισφορές συνθέτουν ένα συνεκτικό πλαίσιο για τον σχεδιασμό ομοσπονδιακών συστημάτων που παραμένουν αξιόπιστα, ανθεκτικά και κλιμακώσιμα σε ρεαλιστικές συνθήκες ανάπτυξης και λειτουργίας.