Implementing a hybrid federated learning framework with neural network optimisation for improved artificial intelligence model performance

Abstract

This thesis focuses on the design and implementation of a hybrid Federated Learning (FL) framework aimed at optimizing the performance of artificial intelligence models in distributed, sensitive, and dynamic environments such as 5G networks, IoT systems, and autonomous vehicles. By combining techniques like Federated Averaging, Convolutional Neural Networks (CNN), and cloud/container technologies, it proposes a flexible three-tier architecture (client–edge–cloud) that incorporates heuristics for intelligent client selection, communication cost reduction, and enhanced data privacy. Additionally, a strategy tailoring tool (FLATT) is developed, enabling designers to configure and adapt FL strategies dynamically at runtime based on the specific requirements of the application domain. The study demonstrates that traditional FL strategies have reached their limitations in terms of performance, accuracy, and handling non-IID (non-independent and identically distributed) data. Through the integration of algorithmic approaches (FedAvg, gradient descent, evolutionary heuristics) and the use of containers and edge computing infrastructures, the proposed hybrid framework achieves significantly improved global model performance. Case study results confirm that increasing the number of participating clients, applying multi-layer aggregation, and incorporating dynamic gradient evaluation contribute to better generalization and reduced communication overhead. The FLATT tool empowers designers to formulate meta-level strategies in resource-constrained environments, establishing this approach as a solid foundation for scalable and intelligent FL applications of the future.

Η παρούσα διατριβή επικεντρώνεται στον σχεδιασμό και την υλοποίηση ενός υβριδικού πλαισίου Ομοσπονδιακής Μάθησης (Federated Learning – FL), με στόχο τη βελτιστοποίηση της απόδοσης μοντέλων τεχνητής νοημοσύνης σε κατανεμημένα, ευαίσθητα και δυναμικά περιβάλλοντα, όπως τα δίκτυα 5G, το ΙοΤ και τα αυτόνομα οχήματα. Μέσα από έναν συνδυασμό τεχνικών όπως το Federated Averaging, η χρήση Συνελικτικών Νευρωνικών Δικτύων (CNN) και τεχνολογιών cloud computing και containerization, προτείνεται μια ευέλικτη αρχιτεκτονική τριών επιπέδων (client–edge–cloud) που ενσωματώνει ευρετικές επιλογές για την επιλογή πελατών, τη μείωση του κόστους επικοινωνίας και την ενίσχυση της ιδιωτικότητας των δεδομένων. Επιπλέον, αναπτύσσεται ένα εργαλείο (FLATT) που επιτρέπει στον σχεδιαστή να καθορίζει, ακόμα και κατά τη διάρκεια εκτέλεσης, δυναμικές στρατηγικές μάθησης προσαρμοσμένες στις απαιτήσεις της εφαρμογής. Η εργασία τεκμηριώνει ότι οι παραδοσιακές στρατηγικές FL έχουν φτάσει στα όριά τους ως προς την απόδοση, την ακρίβεια και την αντιμετώπιση μη ομοιόμορφα κατανεμημένων δεδομένων (non-IID). Με τη βοήθεια συνδυασμένων προσεγγίσεων (FedAvg, gradient descent, evolutionary heuristics), και αξιοποιώντας τεχνολογίες όπως τα containers και τα edge computing δίκτυα, το προτεινόμενο υβριδικό πλαίσιο προσφέρει σαφώς βελτιωμένα αποτελέσματα στην απόδοση του παγκόσμιου μοντέλου. Τα αποτελέσματα των μελετών περίπτωσης επιβεβαιώνουν ότι η αύξηση του αριθμού των συμμετεχόντων πελατών, η πολυεπίπεδη συγκέντρωση δεδομένων και η δυναμική αξιολόγηση των gradients συμβάλλουν σε καλύτερη γενίκευση του μοντέλου και σε χαμηλότερες απαιτήσεις επικοινωνίας. Η συμβολή του εργαλείου FLATT έγκειται στη δυνατότητα διαμόρφωσης μετα-στρατηγικών σε περιβάλλοντα με περιορισμένους πόρους, καθιστώντας την προτεινόμενη προσέγγιση μια στέρεα βάση για επεκτάσιμες και ευφυείς FL εφαρμογές του μέλλοντος.