Federated learning techniques in next generation IoT

Abstract

In today's world, information gathering, communication and processing constitutes the pillar of modern infrastructure that aims in creating a better environment and quality of life for end-users. The Next Generation Internet of Things (NG-IoT) is a network of intelligent devices that produce, communicate and exchange this information providing more accurate and personalised services to the end-user. NG-IoT builds on top of conventional IoT by bringing enhanced data production capabilities analogous to the ability to host on-board intelligence for in-depth processing and decision support. As modern infrastructure becomes more data-intensive and complex, new tools are needed to support the ingestion and processing of the generated information.Artificial Intelligence (AI), along with its fields Machine Learning (ML) and Deep Learning (DL), is crucial for advancing NG-IoT practices as it provides the baseline for achieving optimization of operations, services, and resources through advanced analytical capabilities. The research community has expressed an increasing interest in this combination, as it has the premise to create a paradigm shift in modern infrastructure operations. Alas, this powerful tool is not without its challenges. Challenges in the AI field include how to train AI models optimally while leveraging large-scale NG-IoT data along with ways to optimize it, addressing computation, resources, and security/privacy concerns.Federated Learning (FL), a novel AI model optimisation approach for training models on decentralised corpora of remote devices, has emerged as the solution to tackle the obstacles that arise from integrating AI into the edge ecosystem. Federated Learning also addresses the security and privacy risks of pooling data from varied and dispersed sources in conventional Machine Learning methods, while reducing communication/computation overheads, ensuring remote data integrity, confidentiality, and privacy. Unfortunately, FL like any other novel technology, brings its own preconditions and challenges, intrinsically related to the complexity and uncertainty of the decentralised environment, the variations of decentralised data (non-independent and identically distributed - non-IID), scheduling, and, even social fairness between interacting NG-IoT entities. This thesis aims to design, develop and implement Federated Learning techniques in the decentralised NG-IoT ecosystem. In particular, the main work of this thesis is focused on designing, applying, and validating new and novel FL techniques in NG-IoT, leveraging state-of-the-art methodologies, while trying to find solutions for emerging applications of FL. To this end, this work focuses on three main pillars of applying FL to NG-IoT applications, namely, i) Architectures and Methodologies for Privacy-Preserving FL in NG-IoT, ii) Optimization of FL Models under Privacy Constraints, and iii) Ensuring Fairness and Equity in Federated Learning.

Στον σημερινό κόσμο, η συλλογή, η επικοινωνία και η επεξεργασία πληροφοριών αποτελούν τον πυλώνα της σύγχρονης υποδομής που στοχεύει στη δημιουργία ενός καλύτερου περιβάλλοντος και ποιότητας ζωής για τους τελικούς χρήστες. Το Διαδικτύου των Πραγμάτων Νέας Γενιάς (ΔΤΠ-ΝΓ) Next Generation Internet of Things - NG-IoT είναι ένα δίκτυο έξυπνων συσκευών που παράγουν, επικοινωνούν και ανταλλάσσουν αυτές τις πληροφορίες για την παροχή ακριβέστερων και πιο εξατομικευμένων υπηρεσιών στον τελικό χρήστη. Το ΔΤΠ-ΝΓ βασίζεται στο παραδοσιακό ΔΤΠ, προσφέροντας ενισχυμένες δυνατότητες παραγωγής δεδομένων, ανάλογες με την ικανότητα υποστήριξης ενσωματωμένης νοημοσύνης για ενισχυμένη επεξεργασία και υποστήριξη λήψης αποφάσεων. Καθώς οι σύγχρονες υποδομές γίνονται όλο και πιο εντατικές και σύνθετες σε δεδομένα, απαιτούνται νέα εργαλεία για την υποστήριξη της εισαγωγής και της επεξεργασίας των παραγόμενων πληροφοριών. Η Τεχνητή Νοημοσύνη (ΤΝ), μαζί με τους τομείς της, τη Μηχανική Μάθηση (ΜΜ) και τη Βαθιά Μάθηση (ΒΜ), είναι ζωτικής σημασίας για την προώθηση των πρακτικών του ΔΤΠ-ΝΓ, καθώς παρέχει τη βάση για την επίτευξη βελτιστοποίησης των λειτουργιών, των υπηρεσιών και των πόρων μέσω προηγμένων αναλυτικών δυνατοτήτων. Η ερευνητική κοινότητα έχει εκφράσει έντονο ενδιαφέρον για την ενσωμάτωση της ΤΝ στο ΔΤΠ, καθώς υπόσχεται να προκαλέσει αλλαγή παραδείγματος στη λειτουργία των σύγχρονων υποδομών. Ωστόσο, αυτό το ισχυρό εργαλείο δεν στερείται των προκλήσεών του. Αυτές περιλαμβάνουν τον τρόπο βέλτιστης εκπαίδευσης των μοντέλων ΤΝ, αξιοποιώντας παράλληλα δεδομένα ΔΤΠ-ΝΓ μεγάλης κλίμακας, μαζί με τρόπους βελτιστοποίησής τους, αντιμετωπίζοντας ζητήματα υπολογιστικότητας, πόρων και ασφάλειας/ιδιωτικότητας. Η Ομοσπονδιακή Μάθηση (OM) Federated Learning - FL), ένα νέο παράδειγμα βελτιστοποίησης μοντέλων AI για την εκπαίδευση μοντέλων σε αποκεντρωμένες πηγές απομακρυσμένων συσκευών, έχει εμφανιστεί ως η λύση για την αντιμετώπιση των εμποδίων που προκύπτουν από την ενσωμάτωση της AI στο οικοσύστημα των απομακρυσμένων συσκευών. Η OM επίσης αντιμετωπίζει τους κινδύνους ασφάλειας και ιδιωτικότητας από τη συγκέντρωση δεδομένων από ποικίλες και διασκορπισμένες πηγές σε σχέση με τις συμβατικές μεθόδους ΜΜ, μειώνοντας ταυτόχρονα τα κόστη επικοινωνίας/υπολογισμού και διασφαλίζοντας την ακεραιότητα, την εμπιστευτικότητα και την ιδιωτικότητα των απομακρυσμένων δεδομένων. Δυστυχώς, όπως κάθε νέα τεχνολογία, η OM φέρνει τις δικές της προϋποθέσεις και προκλήσεις, οι οποίες σχετίζονται εγγενώς με την πολυπλοκότητα και την αβεβαιότητα του αποκεντρωμένου περιβάλλοντος, την ποικιλότητα στα αποκεντρωμένα δεδομένα καλούμενη ως μη ανεξάρτητα και ομοιότυπα κατανεμημένα δεδομένα (Μη-ΟΚΔ) non independent and identically distributed - Non-IID, την οργάνωση, ακόμη και την κοινωνική δικαιοσύνη μεταξύ των αλληλεπιδρώντων οντοτήτων ΔΤΠ-ΝΓ. Αυτή η διατριβή στοχεύει στο σχεδιασμό, την ανάπτυξη και την εφαρμογή τεχνικών Ομοσπονδιακής Μάθησης στο αποκεντρωμένο οικοσύστημα του ΔΤΠ-ΝΓ. Συγκεκριμένα, το κύριο έργο αυτής της διατριβής εστιάζει στο σχεδιασμό, την εφαρμογή και την επικύρωση νέων και καινοτόμων τεχνικών ΟΜ στο ΔΤΠ-ΝΓ, αξιοποιώντας προηγμένες μεθοδολογίες, ενώ προσπαθεί να βρει λύσεις και νέες εφαρμογές της ΟΜ. Για το σκοπό αυτό, η παρούσα εργασία επικεντρώνεται σε τρεις κύριους πυλώνες εφαρμογής της ΟΜ σε εφαρμογές ΔΤΠ-ΝΓ, και συγκεκριμένα: Αρχιτεκτονικές και μεθοδολογίες ομοσπονδιακής μάθησης για κατανεμημένα συστήματα ΔΤΠ-ΝΓ, Βελτίωση της απόδοσης του μοντέλου ομοσπονδιακής μάθησης με νέες τεχνικές βελτιστοποίησης για Μη-ΟΚΔ δεδομένα ΔΤΠ-ΝΓ, και Αντιμετώπιση της μεροληψίας, της δικαιοσύνης και της ισότητας σε συστήματα ομοσπονδιακής μάθησης.