Deep learning and its applications in wireless big data networks performance

Abstract

The success of Internet of Things (IoT) has led to a shift in data processing towards resource-limited, typically wireless, edge devices. This thesis examines the way cooperative neural network training among the aforementioned devices can exist, focusing not only on maintaining data autonomy, but also data security, without completely depleting devices’ resources. To achieve this goal, methods for reducing neural network parameters and training time are presented, such as dynamic pruning during the training phase, based on criteria inspired by network theory (e.g. scale free networks). Moreover, we introduce algorithms leveraging pre-trained neural network weights (transfer learning), accelerating convergence and improving model performance. Although power consumption is reduced due to decreased training time and memory requirements, the amount of data available on such a device is typically insufficient for the model to converge without encountering the phenomenon of overfitting. Even in scenarios where prior knowledge is utilized, the model may still train ineffectively because of heterogeneity between prior and newly acquired knowledge. Consequently, Decentralized (Distributed) Federated Learning method gained immense popularity. In this approach, devices exchange parameters rather than raw data, to train a shared global model collaboratively. By This way, the workload is distributed across devices, each training locally on its raw data and periodically sending updated weights for synchronization into aggregated weights. To prevent flooding or energy depletion—issues that can arise from all-to-all communication protocols—new methods are introduced to limit message exchange between nodes with similar data because of geographic proximity. However, in order to enable such communication, especially in wireless, resource-constrained environments (e.g., IoT), it is crucial to establish a suitable infrastructure (e.g., the minimal number of nodes capable of transferring all information across the network), enabling the adoption of the aforementioned learning strategy. Thus, new algorithms are introduced for constructing multi-layer backbone networks, along with new centrality measures for nodes, primarily aiming to identify the most "popular" nodes that lead to network formation using the fewest possible nodes (connected dominating sets - CDS).

Δεδομένης της επιτυχίας του Διαδικτύου των πραγμάτων (Internet of Things), η διαδικασία επεξεργασίας των δεδομένων μετατοπίστηκε στις συσκευές αιχμής, οι οποίες είναι συνήθως ασύρματα συνδεδεμένες με ελάχιστους πόρους. Στην παρούσα διατριβή, μελετήθηκε το πρόβλημα του πως δύνανται οι προαναφερθείσες συσκευές να εκτελούν συνεργατική εκπαίδευση των νευρωνικών τους δικτύων, χωρίς εξάντληση των πόρων τους, με στόχο τόσο την διατήρηση της αυτονομίας, όσο και την ασφάλεια των δεδομένων που εκείνες παράγουν. Προκειμένου να επιτευχθεί ο παραπάνω στόχος, αρχικά, μέθοδοι ελάττωσης των συνδέσεων/παραμέτρων των νευρωνικών δικτύων αλλά και του απαιτούμενου χρόνου εκπαίδευσής του παρουσιάζονται, όπως για παράδειγμα η τεχνική του δυναμικού κλαδέματος (dynamic pruning) κατά τη διάρκεια της εκπαίδευσης του δικτύου, με κριτήρια εμπνευσμένα από τη θεωρία των δικτύων, πχ. τα scale-free δίκτυα. Επίσης, εισάγονται αλγόριθμοι οι οποίοι, αξιοποιούν την προηγούμενη γνώση ή αλλιώς τα προεκπαιδευμένα βάρη του νευρωνικού δικτύου που απέκτησε σε προηγούμενη εκπαίδευσή του (Transfer Learning), τα οποία κατά συνέπεια, συντελούν στην ταχύτερη σύγκλιση του μοντέλου και στην καλύτερη επίδοση του. Αν και το πρόβλημα της κατανάλωσης ισχύος ενός μοντέλου μειώνεται, καθώς μειώνεται τόσο ο χρόνος εκπαίδευσης, όσο και οι απαιτήσεις στη μνήμη, το πλήθος δεδομένων που έχει στη διάθεση της μια τέτοια συσκευή δεν επαρκεί, ώστε να συγκλίνει το μοντέλο χωρίς να εμφανίσει το φαινόμενο της υπερπροσαρμογής (overfitting). Ακόμη και σε περιπτώσεις όπου πρότερη γνώση χρησιμοποιείται, υπάρχει πιθανότητα πάλι το μοντέλο να μην εκπαιδευτεί αποτελεσματικά λόγω ετερογένειας μεταξύ της προϋ-πάρχουσας γνώσης και της νεο-αποκτηθείσας. Φυσικό επακόλουθο είναι η εδραίωση της αποκεντρωμένης συνεργατικής ή αλλιώς ομόσπονδης μάθησης (Decentralized Federated Learning) μεταξύ των συσκευών, κατά την οποία οι συσκευές επικοινωνούν μεταξύ τους για να αποστείλουν παραμέτρους, όχι αυτούσια τα δεδομένα που παράγουν, ώστε όλες μαζί να εκπαιδεύουν ένα καθολικό μοντέλο. Με αυτό τον τρόπο μοιράζεται ο φόρτος εργασίας κάθε συσκευής, αφού η κάθε μία εκτελεί τοπικά εκπαίδευση με βάση τα δικά της ακατέργαστα δεδομένα και έπειτα από ορισμένους κύκλους εκπαίδευσης, όλες μαζί στέλνουν τα ανανεωμένα βάρη τους και συγχρονίζονται στα νέα συναθροισμένα βάρη. Προκειμένου να προληφθεί το φαινόμενο της πλημμύρας (flooding) ή της εξάντλησης ενέργειας, που το πρωτόκολλο επικοινωνίας όλοι-με-όλους μπορεί να προκαλέσει, παρουσιάζονται νέες μέθοδοι περιορισμού της ανταλλαγής μηνυμάτων μεταξύ κόμβων που περιέχουν παρόμοια δεδομένα, λόγω τοποθεσίας. Ωστόσο, για την επίτευξη μίας τέτοιας επικοινωνίας, πρακτικά, σε ασύρματα, χωρίς ιδιαίτερους πόρους, περιβάλλοντα (πχ. ΙοΤ), είναι βαρύνουσας σημασίας να δημιουργηθεί η κατάλληλη υποδομή (δηλ. ελάχιστοι δυνατοί κόμβοι που φέρνουν εις πέρας την μεταφορά όλης της πληροφορίας στο δίκτυο), ώστε να μπορέσει να υιοθετηθεί η παραπάνω στρατηγική μάθησης. Παρουσιάζονται, δηλαδή, νέοι αλγόριθμοι κατασκευής πολύ-επίπεδων δικτύων (multi-layer Backbones), καθώς και νέες μετρήσεις κεντρικότητας των κόμβων (centrality measures), με κύριο στόχο την εύρεση των πιο δημοφιλών από αυτούς που οδηγούν στην κατασκευή δικτύων με τους ελάχιστους δυνατούς κόμβους (connected dominating sets - CDS).