Περίληψη
Η ευρεία επέκταση των συσκευών του Διαδικτύου των Πραγμάτων (ΔτΠ) έχει οδηγήσει στη δημιουργία πολύ μεγάλου αριθμού κατανεμημένων δεδομένων. Αυτή η τάση ωθεί την έρευνα να περάσει από την κεντρική επεξεργασία δεδομένων με Μηχανική Μάθηση (ΜΜ), σε τεχνικές Kατανεμημένης Μηχανικής Μάθησης (KΜΜ). Τα συστήματα κατανεμημένης ΜΜ εισάγουν νέες ανησυχίες ιδιαιτέρως στον τομέα της ιδιωτικότητας των δεδομένων των χρηστών. Για την αντιμετώπιση των προβλημάτων που σχετίζονται με την ιδιωτικότητα και τον φόρτο επικοινωνίας, η Ομοσπονδιακή Μάθηση (ΟΜ) έχει αναδειχθεί ως ένα πρότυπο σύνολο τεχνικών που επιτρέπουν σε συσκευές με περιορισμένους πόρους, να εκπαιδεύουν μοντέλα συνεργατικά, χωρίς να μοιράζονται τα πρωτογενή τους δεδομένα, κατευθείαν στην άκρη του δικτύου. Ωστόσο, η ανάπτυξη της ΟΜ σε περιβάλλοντα ΔτΠ μεταξύ πολλαπλών συσκευών επηρεάζεται σημαντικά από τη στατιστική ετερογένεια, όπου τα μη - Ανεξάρτητα και Ισόνομα Κατανεμημένα (non-IID) δεδομένα των χρηστών προκαλούν προβλήματα, όπως το φα ...
Η ευρεία επέκταση των συσκευών του Διαδικτύου των Πραγμάτων (ΔτΠ) έχει οδηγήσει στη δημιουργία πολύ μεγάλου αριθμού κατανεμημένων δεδομένων. Αυτή η τάση ωθεί την έρευνα να περάσει από την κεντρική επεξεργασία δεδομένων με Μηχανική Μάθηση (ΜΜ), σε τεχνικές Kατανεμημένης Μηχανικής Μάθησης (KΜΜ). Τα συστήματα κατανεμημένης ΜΜ εισάγουν νέες ανησυχίες ιδιαιτέρως στον τομέα της ιδιωτικότητας των δεδομένων των χρηστών. Για την αντιμετώπιση των προβλημάτων που σχετίζονται με την ιδιωτικότητα και τον φόρτο επικοινωνίας, η Ομοσπονδιακή Μάθηση (ΟΜ) έχει αναδειχθεί ως ένα πρότυπο σύνολο τεχνικών που επιτρέπουν σε συσκευές με περιορισμένους πόρους, να εκπαιδεύουν μοντέλα συνεργατικά, χωρίς να μοιράζονται τα πρωτογενή τους δεδομένα, κατευθείαν στην άκρη του δικτύου. Ωστόσο, η ανάπτυξη της ΟΜ σε περιβάλλοντα ΔτΠ μεταξύ πολλαπλών συσκευών επηρεάζεται σημαντικά από τη στατιστική ετερογένεια, όπου τα μη - Ανεξάρτητα και Ισόνομα Κατανεμημένα (non-IID) δεδομένα των χρηστών προκαλούν προβλήματα, όπως το φαινόμενο που αποκαλείται ``απόκλιση-χρηστών'' (client-drift), αστάθεια στη βελτιστοποίηση και υποβαθμισμένη σύγκλιση του μοντέλου. Η επίτευξη μιας ταχύτερης και σταθερότερης σύγκλισης, ενώ ταυτόχρονα ελαχιστοποιείται ο όγκος των δεδομένων που ανταλλάσσονται, παραμένει μία εξαιρετικά απαιτητική διαδικασία.Η παρούσα Διδακτορική Διατριβή (ΔΔ) διερευνά το σημείο τομής του ΔτΠ και της κατανεμημένης ΜΜ, εστιάζοντας συγκεκριμένα στην ανάπτυξη καινοτόμων τεχνικών ΟΜ για ετερογενή συστήματα πολλαπλών συσκευών. Αρχικά, διερευνάται διεξοδικά ο αντίκτυπος βασικών παραμέτρων της ΟΜ, όπως το πλήθος των χρηστών (cohort size) που συμμετέχουν σε κάθε γύρο εκπαίδευσης και ο αριθμός των τοπικών επαναλήψεων (local epochs), σε σενάρια πολλαπλών συσκευών που χαρακτηρίζονται από μερική συμμετοχή των χρηστών. Διεξάγεται εκτενής ανάλυση σε πρότυπα σύνολα δεδομένων αναφοράς, συγκεκριμένα στα EMNIST, Shakespeare και CIFAR100, για απαιτητικές διεργασίες όπως η ταξινόμηση εικόνων και η πρόβλεψη του επόμενου χαρακτήρα σε ένα κείμενο. Αυτή η ΔΔ παρουσιάζει μια συγκριτική ανάλυση της ευαισθησίας των παραμέτρων σε πέντε, βιβλιογραφικά εξέχοντες, αλγόριθμους ΟΜ σε σενάρια πολλαπλών συσκευών. Εξετάζονται τα εγγενή πλεονεκτήματα κάθε αλγορίθμου, μαζί με την αλληλεπίδραση μεταξύ βασικών υπερπαραμέτρων, όπως το πλήθος των χρηστών και ο αριθμός των τοπικών επαναλήψεων. Τα ευρήματα διερευνούν την υπόθεση ότι η απλή αύξηση των τοπικών επαναλήψεων αποτελεί μια καθολικά έγκυρη στρατηγική για τη μείωση της συχνότητας επικοινωνίας και την βελτίωση της απόδοσης των μοντέλων. Αποδεικνύεται ότι σε εξαιρετικά ετερογενή περιβάλλοντα, ο μεγάλος αριθμός επαναλήψεων σε συνδυασμό με τη μικρή συμμετοχή χρηστών προκαλούν σοβαρή απόκλιση του μοντέλου και αστάθεια λόγω του φαινομένου της απόκλισης-χρηστών. Κατά συνέπεια, μία επιθετική στρατηγική τοπικής εκπαίδευσης πρέπει να εξισορροπείται συστηματικά με υψηλότερη συμμετοχή χρηστών, προκειμένου να εξομαλυνθεί ο επιπλέον θόρυβος που εισάγεται. Γενικά, υπάρχει μια εμφανής συσχέτιση μεταξύ του πλήθους των χρηστών και του αριθμού των τοπικών επαναλήψεων, και είναι ωφέλιμο να ρυθμίζονται αυτές οι παράμετροι ταυτόχρονα. Επιπλέον, τα αποτελέσματα υπογραμμίζουν τα ουσιαστικά οφέλη των προσαρμοστικών βελτιστοποιητών (adaptive optimizers), όπως οι FedYogi και FedAdam, στην επιτάχυνση της σύγκλισης και την βελτίωση της τελικής ακρίβειας, παράλληλα με τον ευεργετικό ρόλο της ορμής (momentum) όπως χρησιμοποιείται στον FedMimeLite. Τελικά, αυτή η μελέτη καταλήγει στο συμπέρασμα ότι δεν υπάρχει μία και μοναδική βέλτιστη διαμόρφωση παραμέτρων στην ΟΜ. Η επίτευξη μιας αποτελεσματικής ισορροπίας μεταξύ του κόστους επικοινωνίας, της κατανάλωσης ενέργειας και των ρυθμών σύγκλισης απαιτεί προσεκτική, ταυτόχρονη ρύθμιση των υπερπαραμέτρων για τη διατήρηση της συνολικής απόδοσης του μοντέλου.Για την αντιμετώπιση της αστάθειας βελτιστοποίησης και της ευαισθησίας στις υπερπαραμέτρους σε επίπεδο διακομιστή (server), εισάγεται ένας νέος αλγόριθμος προσαρμοστικής βελτιστοποίησης από την πλευρά του διακομιστή, με την ονομασία Federated Adaptive Data-Bound (FedAdaDB). Ο FedAdaDB προσαρμόζει τον βελτιστοποιητή AdaDB στο περιβάλλον της ΟΜ. Ενσωματώνει έναν μηχανισμό ``περιορισμού δεδομένων'' (data-bound) που ρυθμίζει δυναμικά τα άνω και κάτω όρια του ρυθμού μάθησης με βάση την ορμή των συγκεντρωμένων ενημερώσεων των χρηστών, μετριάζοντας έτσι την αστάθεια στην πλευρά του διακομιστή. Με αυτή τη μέθοδο, ο FedAdaDB συμπεριφέρεται αρχικά σαν ένας προσαρμοστικός βελτιστοποιητής και μετά από ένα σημείο που τα άνω και κάτω όρια συγκλίνουν στο ίδιο σημείο, συμπεριφέρεται σαν ένας κλασικός SGD. Αποδεικνύεται εμπειρικά ότι με αυτόν τον τρόπο μειώνεται η υπέρβαση (overshooting) στο κεντρικό μοντέλο, ακόμη και όταν συναντώνται αποκλίνουσες μεμονωμένες ενημερώσεις χρηστών. Κατά συνέπεια, η αστάθεια που προκαλείται από ακραίες τιμές (outliers) κατά τη φάση της συγκέντρωσης μετριάζεται σημαντικά. Αν και παρατηρείται μια ελαφριά καθυστέρηση στην σύγκλιση, σε σύγκριση με άλλες προσαρμοστικές μεθόδους, τελικά επιτυγχάνεται καλύτερη τελική ακρίβεια και σταθερότητα. Παρόλα τα οφέλη τους, οι προσαρμοστικοί αλγόριθμοι, συνίθως εισάγουν επιπλέον υπερπαραμέτρους που απαιτούν προσεκτική ρύθμιση. Αναγνωρίζοντας το κόστος των επιπρόσθετων ρυθμίσεων σε συσκευές με περιορισμένους πόρους, προτείνεται ένας νέος αλγόριθμος βελτιστοποίησης που εφαρμόζεται στην πλευρά των χρηστών, με την ονομασία Federated Zero Mean Gradients (FedZMG). Ο FedZMG μετριάζει αποτελεσματικά τη στατιστική ετερογένεια προβάλλοντας τα διανύσματα των τοπικών κλίσεων (gradients) σε ένα υπερεπίπεδο ορθογώνιο προς το διάνυσμα των μονάδων. Αυτή η λειτουργία απομονώνει τα δομικά χαρακτηριστικά των δεδομένων, καθιστώντας τις τοπικές ενημερώσεις πιο ανθεκτικές στις μετατοπίσεις που αφορούν τον εκάστοτε χρήστη και μειώνοντας την απόκλιση-χρηστών. Επίσης, ο FedZMG δεν εισάγει κανέναν επιπλέον φόρτο επικοινωνίας σε σύγκριση με τον βασικό αλγόριθμο αναφοράς Federated Averaging (FedAvg), καθώς η λειτουργία Μηδενικής Μέσης Τιμής (ΜΜΤ) εκτελείται αυστηρά τοπικά χωρίς τη μετάδοση βοηθητικών μεταβλητών. Επιπρόσθετα, πραγματοποιείται μια εκτεταμένη ανάλυση σύγκλισης για τον FedZMG, αποδεικνύοντας ότι ο ρυθμός σύγκλισης του FedZMG έχει την ίδια μορφή με τον τυπικό FedAvg, αλλά είναι ταχύτερος.Εκτενείς πειραματικές δοκιμές αναδεικνύουν τη σημαντική αποτελεσματικότητα των προτεινόμενων αλγορίθμων. Τα αποτελέσματα αποκαλύπτουν ότι ο FedZMG αποφέρει ουσιαστικές βελτιώσεις στην ακρίβεια των μοντέλων σε σχέση με τον βασικό FedAvg, ένα πλεονέκτημα που είναι ιδιαιτέρως εμφανές σε σενάρια με υψηλή στατιστική ετερογένεια, όπως το σύνολο δεδομένων CIFAR100. Σε αυτές τις συνθήκες, αποδεικνύεται ότι ο FedZMG φτάνει τα επιθυμητά όρια ακρίβειας πάνω από τρεις φορές γρηγορότερα σε σχέση με τις τυπικές μεθόδους. Τέλος, ο έλεγχος στατιστικής σημαντικότητας, που διεξήχθη μέσω t-tests εξαρτημένων δειγμάτων (paired t-tests), απορρίπτει αυστηρά τη μηδενική υπόθεση και επιβεβαιώνει τη σταθερή υπεροχή των προτεινόμενων μεθόδων έναντι των βασικών προσεγγίσεων σε όλα τα αξιολογούμενα σύνολα δεδομένων.
περισσότερα
Περίληψη σε άλλη γλώσσα
The widespread adaptation of Internet of Things (IoT) devices has led to the generation of vast amounts of decentralized data. This trend pushes the research to shift from centralized data processing to Distributed Machine Learning (DML) techniques. DML introduces concerns especially regarding user data privacy. To address privacy concerns and communication overhead, Federated Learning (FL) has emerged as a standard framework, enabling resource-constrained edge devices to collaboratively train models without sharing raw data. However, the deployment of FL in cross-device IoT environments is significantly impacted by statistical heterogeneity, where non-Independent and Identically Distributed (non-IID) data across clients causes client-drift, optimization instability, and degraded model convergence. Achieving convergence acceleration and stability while minimizing transmitted data remains a highly challenging task.This thesis explores the intersection of the IoT and DML, focusing specif ...
The widespread adaptation of Internet of Things (IoT) devices has led to the generation of vast amounts of decentralized data. This trend pushes the research to shift from centralized data processing to Distributed Machine Learning (DML) techniques. DML introduces concerns especially regarding user data privacy. To address privacy concerns and communication overhead, Federated Learning (FL) has emerged as a standard framework, enabling resource-constrained edge devices to collaboratively train models without sharing raw data. However, the deployment of FL in cross-device IoT environments is significantly impacted by statistical heterogeneity, where non-Independent and Identically Distributed (non-IID) data across clients causes client-drift, optimization instability, and degraded model convergence. Achieving convergence acceleration and stability while minimizing transmitted data remains a highly challenging task.This thesis explores the intersection of the IoT and DML, focusing specifically on the development of novel FL techniques for heterogeneous, cross-device systems. Initially, the impact of key FL parameters, such as cohort size and local epochs, is thoroughly investigated under cross-device scenarios characterized by partial client participation. Extensive analysis is conducted across standard benchmark datasets, namely, EMNIST, Shakespeare, and CIFAR100 for complex tasks such as image classification and next character prediction. This thesis presents a comparative analysis of parameter sensitivity across five, bibliographically prominent, FL algorithms in cross-device scenarios. The inherent strengths of each algorithm are investigated, along with the critical coupling between key hyper-parameters, such as cohort size and the number of local epochs. The findings challenge the assumption that simply increasing local computation is a universally valid strategy for reducing communication frequency. It is demonstrated that in highly heterogeneous settings, large epoch sizes combined with small cohort participation trigger severe model divergence and instability due to the client-drift phenomenon. Consequently, aggressive local training must be systematically balanced by higher client participation to smooth out the introduced noise. Generally, there is an apparent correlation between cohort size and the number of local epochs, and it is beneficial to tune these parameters together. Furthermore, the evaluation highlights the substantial benefits of adaptive optimizers, such as FedYogi and FedAdam, in enhancing convergence speed and final validation accuracy, alongside the beneficial role of momentum as utilized in FedMimeLite. Ultimately, this study concludes that there is no single optimal parameter configuration in FL. Achieving an effective balance between communication costs, power consumption, and convergence rates requires careful, simultaneous tuning of these hyper-parameters to preserve overall model performance.To address optimization instability and sensitivity to hyper-parameters at the server level, a novel server-side adaptive optimization algorithm, termed Federated Adaptive Data-Bound (FedAdaDB), is introduced. FedAdaDB adapts the centralized AdaDB optimizer to the federated setting. It incorporates a data-bound mechanism that dynamically adjusts the upper and lower bounds of the learning rate based on the momentum of aggregated client updates, thereby mitigating server-side instability. FedAdaDB acts as an adaptive optimizer at the beginning, and as the rounds pass and the upper and lower bounds converge to the same point, the algorithm behaves like the standard Stochastic Gradient Descent (SGD). It is empirically demonstrated that the global model is thereby prevented from overshooting, even when divergent individual client updates are encountered. Consequently, the instability typically caused by outliers during the aggregation phase is effectively mitigated. Although a slightly slower initial convergence, or cold start, is exhibited when compared to highly aggressive adaptive methods, superior final accuracy and robustness are ultimately achieved. Through this approach, the rapid convergence capabilities of adaptive optimizers are successfully balanced with the inherent stability of SGD, and a robust framework for managing communication efficiency and model stability is established without reliance on universally static parameter configurations.Although adaptive optimizers present apparent benefits, they also introduce additional hyper-parameters that require careful tuning. Recognizing the necessity for parameter-free techniques on resource-constrained devices, a novel client-side optimization algorithm named Federated Zero Mean Gradients (FedZMG) is proposed. FedZMG effectively mitigates statistical heterogeneity by projecting local gradient vectors onto a hyperplane orthogonal to the all-ones vector. This operation isolates the structural features of the data, rendering local updates more robust to client-specific shifts and reducing client drift. Crucially, FedZMG introduces no additional communication overhead compared to the baseline Federated Averaging (FedAvg), as the zero-mean operation is executed strictly locally without transmitting auxiliary variables. Additionally, a rigorous convergence analysis is performed for FedZMG, proving that the convergence rate of FedZMG is in the same form as standard FedAvg, but faster.Extensive experimental evaluations demonstrate the significant efficacy of the proposed algorithms. The results reveal that FedZMG yields substantial improvements in validation accuracy over the baseline FedAvg, an advantage that is distinctly evident in scenarios with high statistical heterogeneity, such as the CIFAR100 dataset. In such highly non-IID conditions, FedZMG is shown to reach target accuracy thresholds more than three times faster than standard methods. Finally, statistical significance testing, conducted via paired t-tests, strictly rejects the null hypothesis and confirms the consistent superiority of the proposed methods over baseline approaches across all evaluated datasets.
περισσότερα