Σύστημα επίγνωσης πλαισίου και διαφύλαξης της ιδιωτικότητας για κατανεμημένη και ενεργειακά αποδοτική τεχνητή νοημοσύνη σε δίκτυα νέας γενιάς

Abstract

The advent of fifth-generation networks represents a significant milestone in the evolution wireless communications. Since 2018, discussions have emerged regarding Beyond 5G and 6G networks, which are expected to introduce a set of novel challenges for the next generation of cellular networks. The vast number of heterogeneous devices contending for network resources will produce massive amounts of information that must be managed for efficient resource planning and optimized network performance under varying network conditions. Reliable network communication is crucial, as the increased density of Beyond 5G and 6G networks could negatively impact Key Performance Indicators, leading to network failures. As a result, autonomous systems must integrate proactive mechanisms to prevent performance degradation. Energy efficiency is also vital as network density and connected devices increase, raising energy demands. The era of Network Intelligentization and Connected Intelligence will introduce additional energy challenges, requiring trade-offs between energy efficiency and effective network operation. Privacy-aware distributed networks will be essential for protecting sensitive information in B5G and 6G networks, necessitating new distributed architectures where devices perform local computations collaboratively. However, these limitations may complicate the implementation of such mechanisms in large-scale networks with stringent performance and latency requirements. In parallel, the use of Artificial Intelligence has been recognized by industry and academia as a key enabler for Beyond 5G and 6G networks. However, Artificial Intelligence introduces new challenges, including communication overhead and energy requirements, privacy constraints in data exchanges, constantly changing network channel conditions and fluctuations in traffic congestion, and device heterogeneity, in terms of data types, data distribution, and computational capabilities. To this end, the core principle of this thesis is the introduction of a novel, holistic, comprehensive system that incorporates cutting-edge practices and innovative mechanisms and techniques, enabling a systematic approach to addressing the significant challenges of B5G and 6G networks. More specifically, this thesis proposes a novel context- and privacy-aware system for distributed and energy efficient artificial intelligence in next generation networks. It consists of five main contributions, with four of them presented as individual frameworks while the fifth one is related to a conceptual deployment approach in future wireless communications. The four frameworks are designated as PRIMATE (Profiling Mechanism Based on Context), NINTENDO (Network Traffic Anomaly Prediction), SMART (Safe Deep Reinforcement Learning for Energy Efficient Federated Learning) and DISTINQT (Distributed Privacy Aware Learning for QoS Prediction). The first major contribution of this thesis in PRIMATE. PRIMATE describes an Artificial Intelligence-driven context-aware profiling framework capable of monitoring, aggregating, analyzing and combining heterogeneous knowledge from various sources. All this knowledge is used to extract context. This context is dynamically projected into a new latent representation, capturing different behavioral aspects of the network, designated as behavioral profiles. Theses behavioral profiles can be used to efficiently differentiate, manage, and predict the resources allocated to heterogeneous types of network entities, and can be ultimately exploited by network domain experts and administrators towards efficient and proactive resource planning. The second major contribution of this thesis is NINTENDO. NINTENDO describes an Artificial Intelligence-driven framework capable of proactively detecting network traffic anomalies. NINTENDO's contribution is twofold. It describes a mechanism aimed at identifying different network traffic behaviors in an automated manner, while it proposes a mechanism for predicting network traffic behaviors for the next time interval spanning several seconds. This approach provides the network with the ability to take adaptation actions in a proactive manner, in order to potentially prevent an impending network failure. NINTENDO acts as a practical implementation of PRIMATE, demonstrating its capabilities and extends it by introducing a profiling analysis module capable of quantitatively analyzing the characteristics of each behavioral profile. The third major contribution of this thesis is SMART. SMART describes an Artificial Intelligence-driven framework that aims to orchestrate the computational and communication resources of the devices involved in a federated learning process. The orchestration of resources is achieved through the implementation of a reinforcement learning algorithm, which enables real-time decision-making and addresses the heterogeneity inherent in both the devices and the data, which is subject to change over time. This framework builds upon the PRIMATE framework and serves as a proof of concept regarding the assertions made by PRIMATE regarding efficient resource planning while also exploiting the profiling analysis module proposed by the NINTENDO framework. The fourth major contributions of this thesis is DISTINQT. DISTINQT introduces a multi-headed input privacy-aware distributed learning framework for QoS prediction. DISTINQT is capable of supporting multiple heterogeneous nodes, in terms of data types and model architectures, by sharing computations across them. This enables the incorporation of diverse knowledge into a sole learning process that enhance the robustness and generalization capabilities of the final QoS prediction model. DISTINQT also contributes to data privacy preservation by encoding any raw input data into highly complex, compressed, and irreversible latent representations. Furthermore, this framework builds upon the PRIMATE framework to distribute the core forecasting mechanisms of PRIMATE across multiple computing nodes, facilitating computation offloading and privacy preservation. The fifth and final major contribution is a conceptual deployment approach for the presented novel comprehensive system, using the latest architectural specifications defined by 3rd Generation Partnership Association as a reference point and extending it using the latest 5G Advanced technologies and foreseen 6G technologies.

Η έλευση των δικτύων πέμπτης γενιάς αποτελεί σημαντικό ορόσημο στην εξέλιξη των ασύρματων επικοινωνιών. Από το 2018 έχουν ξεκινήσει συζητήσεις σχετικά με τα δίκτυα κινητής άνω της πέμπτης γενιάς (Beyond 5G) και δίκτυα κινητής έκτης γενιάς (6G), τα οποία αναμένεται να εισάγουν μια σειρά από νέες προκλήσεις. Ο τεράστιος αριθμός ετερογενών συσκευών που διεκδικούν δικτυακούς πόρους θα έχει ως αποτέλεσμα την παραγωγή τεράστιου όγκου πληροφοριών που θα πρέπει να διαχειριστούν ώστε να καταστεί δυνατός ο αποτελεσματικός διαμοιρασμός πόρων και η βελτιστοποιημένη απόδοση του δικτύου. Η αξιόπιστη επικοινωνία στο δίκτυο είναι ζωτικής σημασίας, καθώς η αυξημένη πυκνότητα τους μπορεί να επηρεάσει αρνητικά βασικούς δείκτες απόδοσης, οδηγώντας σε δικτυακές αποτυχίες. Ως αποτέλεσμα, τα αυτόνομα συστήματα πρέπει να ενσωματώνουν προληπτικούς μηχανισμούς για την πρόληψη της υποβάθμισης των επιδόσεων του δικτύου. Η ενεργειακή απόδοση είναι επίσης υψίστης σημασίας, καθώς η πυκνότητα του δικτύου και οι συνδεδεμένες συσκευές αυξάνονται, αυξάνοντας έτσι και τις ενεργειακές απαιτήσεις. Η εποχή της ευφυΐας του δικτύου και της συνδεδεμένης ευφυΐας θα εισάγει πρόσθετες ενεργειακές προκλήσεις, απαιτώντας συμβιβασμούς μεταξύ της ενεργειακής απόδοσης και της αποτελεσματικής λειτουργίας του δικτύου. Τα κατανεμημένα δίκτυα με επίγνωση της ιδιωτικότητας θα είναι απαραίτητα για την προστασία ευαίσθητων πληροφοριών στα δίκτυα Beyond 5G και 6G, γεγονός που απαιτεί νέες κατανεμημένες αρχιτεκτονικές όπου οι συσκευές εκτελούν τοπικούς υπολογισμούς συνεργατικά. Ωστόσο, αυτοί οι περιορισμοί ενδέχεται να περιπλέξουν περεταίρω την εφαρμογή τέτοιων μηχανισμών σε δίκτυα μεγάλης κλίμακας με αυστηρές απαιτήσεις στις επιδόσεις και τις καθυστερήσεις. Παράλληλα, η χρήση της Τεχνητής Νοημοσύνης έχει αναγνωριστεί από τη βιομηχανία και την ακαδημαϊκή κοινότητα ως βασικός πυλώνας για τα δίκτυα Beyond 5G και 6G. Ωστόσο, η Τεχνητή Νοημοσύνη με την σειρά της εισάγει νέες προκλήσεις, όπως επιβαρύνσεις στην δικτυακή επικοινωνία και στις απαιτήσεις ενέργειας, περιορισμούς απορρήτου στις ανταλλαγές δεδομένων, συνεχώς μεταβαλλόμενες συνθήκες των δικτυακών καναλιών και διακυμάνσεις στην δικτυακή συμφόρηση. Επιπρόσθετα η ετερογένεια των συσκευών, όσον αφορά τους τύπους δεδομένων, την κατανομή τους και τις υπολογιστικές δυνατότητες, θα φέρουν με την σειρά τους μία σειρά νέων προκλήσεων που θα πρέπει να αντιμετωπιστούν. Για το σκοπό αυτό, η παρούσα διατριβή αφορά την εισαγωγή ενός νέου ολοκληρωμένου συστήματος που ενσωματώνει πρακτικές αιχμής συνδυάζοντας καινοτόμους μηχανισμούς και τεχνικές, επιτρέποντας μια συστηματική προσέγγιση για την αντιμετώπιση των προκλήσεων των δικτύων B5G και 6G. Πιο συγκεκριμένα, η παρούσα διατριβή προτείνει ένα νέο σύστημα με επίγνωση πλαισίου και διαφύλαξης της ιδιωτικότητας για κατανεμημένη και ενεργειακά αποδοτική τεχνητή νοημοσύνη σε δίκτυα νέας γενιάς. Αποτελείται από πέντε κύριες συνεισφορές, εκ των οποίων οι τέσσερις παρουσιάζονται ως αυτοτελείς μηχανισμοί ενώ η πέμπτη αποτελεί μία προσεγγιστική ενσωμάτωση του συστήματος στις υπάρχουσες και μελλοντικές γενιές δικτύων κινητής. Οι τέσσερεις μηχανισμοί έχουν τις ακόλουθες ονομασίες: PRIMATE (Profiling Mechanism Based on Context), NINTENDO (Network Traffic Anomaly Prediction), SMART (Safe Deep Reinforcement Learning for Energy Efficient Federated Learning) and DISTINQT (Distributed Privacy Aware Learning for QoS Prediction).Η πρώτη σημαντική συνεισφορά της παρούσας διατριβής είναι το PRIMATE. Το PRIMATE περιγράφει ένα σύστημα δημιουργίας προφίλ με γνώμονα το πλαίσιο που βασίζεται στην τεχνητή νοημοσύνη και είναι ικανό να παρακολουθεί, να συγκεντρώνει, να αναλύει και να συνδυάζει ετερογενή γνώση από διάφορες πηγές. Όλη αυτή η γνώση χρησιμοποιείται για την εξαγωγή του λεγόμενου πλαισίου (context). Αυτό το context προβάλλεται δυναμικά με μια νέα αναπαράσταση, η οποία αποτυπώνει τις διάφορες συμπεριφορικές πτυχές του δικτύου οι οποίες ορίζονται ως προφίλ συμπεριφοράς. Αυτά τα προφίλ συμπεριφοράς μπορούν να χρησιμοποιηθούν για την αποτελεσματική διαφοροποίηση, διαχείριση και πρόβλεψη δικτυακών πόρων που κατανέμονται σε ετερογενείς τύπους οντοτήτων και μπορούν να αξιοποιηθούν από ειδικούς του τομέα του δικτύου καθώς και διαχειριστές του για τον αποτελεσματικό και προληπτικό διαμοιρασμό δικτυακών πόρων. Η δεύτερη σημαντική συνεισφορά της παρούσας διατριβής είναι το NINTENDO. Το NINTENDO περιγράφει ένα σύστημα με βάση την τεχνητή νοημοσύνη ικανό να ανιχνεύει προληπτικά ανωμαλίες στην δικτυακή κίνηση. Το NINTENDO έχει διπλή συνεισφορά. Περιγράφει έναν μηχανισμό που αποσκοπεί στον εντοπισμό διαφορετικών συμπεριφορών δικτυακής κίνησης με αυτοματοποιημένο τρόπο, ενώ προτείνει και έναν μηχανισμό για πρόβλεψη συμπεριφορών δικτυακής κίνησης για το επόμενο χρονικό διάστημα που εκτείνεται σε αρκετά δευτερόλεπτα. Αυτή η προσέγγιση παρέχει στο δίκτυο τη δυνατότητα να λαμβάνει μέτρα προσαρμογής με προληπτικό τρόπο, προκειμένου να αποτρέψει ενδεχομένως μια επικείμενη δικτυακή αποτυχία. Το NINTENDO λειτουργεί ως μία πρακτική εφαρμογή του PRIMATE επιδεικνύοντας τις δυνατότητές του και επεκτείνοντάς το με την εισαγωγή ενός μηχανισμού ανάλυσης προφίλ συμπεριφοράς. Η τρίτη σημαντική συνεισφορά της παρούσας διατριβής είναι το SMART. Το SMART περιγράφει ένα σύστημα τεχνητής νοημοσύνης για την ενορχήστρωση των υπολογιστικών και επικοινωνιακών πόρων των συσκευών που συμμετέχουν σε μια διαδικασία ομοσπονδιακής μάθησης. Η ενορχήστρωση των πόρων επιτυγχάνεται μέσω της εφαρμογής ενός αλγορίθμου ενισχυτικής μάθησης, ο οποίος επιτρέπει τη λήψη αποφάσεων σε πραγματικό χρόνο και αντιμετωπίζει την εγγενή ετερογένεια τόσο των συσκευών όσο και των δεδομένων. Αυτό το σύστημα βασίζεται στο πλαίσιο PRIMATE και χρησιμεύει ως απόδειξη στους ισχυρισμούς του σχετικά με τον αποτελεσματικό διαμοιρασμό δικτυακών πόρων, ενώ παράλληλα αξιοποιεί τον μηχανισμό ανάλυσης προφίλ συμπεριφοράς που προτείνεται από το σύστημα NINTENDO. Η τέταρτη σημαντική συνεισφορά της παρούσας διατριβής είναι το DISTINQT. Το DISTINQT εισάγει ένα πλαίσιο κατανεμημένης μάθησης στην τεχνητή νοημοσύνη πολλαπλών κεφαλών με διαφύλαξης της ιδιωτικότητας για την πρόβλεψη της ποιότητας της υπηρεσίας (QoS) του δικτύου. Το DISTINQT είναι ικανό να υποστηρίζει πολλαπλούς ετερογενείς δικτυακούς κόμβους, όσον αφορά τους τύπους δεδομένων και τις αρχιτεκτονικές μοντέλων τους, επιτυγχάνοντας τον διαμοιρασμό υπολογισμών μεταξύ τους. Αυτό επιτρέπει την ενσωμάτωση ετερογενούς γνώσης σε μια διαδικασία μάθησης τεχνητής νοημοσύνης που ενισχύει την ευρωστία και τις δυνατότητες γενίκευσης του τελικού μοντέλου πρόβλεψης της ποιότητας υπηρεσίας του δικτύου. Το DISTINQT συμβάλλει επίσης στη διατήρηση της ιδιωτικότητας των δεδομένων με την κωδικοποίηση οποιωνδήποτε ακατέργαστων δεδομένων εισόδου σε εξαιρετικά σύνθετες, συμπιεσμένες και μη αναστρέψιμες αναπαραστάσεις. Επιπλέον, αυτό το σύστημα βασίζεται στο πλαίσιο PRIMATE για τη διανομή των βασικών μηχανισμών πρόβλεψης του PRIMATE σε πολλαπλούς υπολογιστικούς κόμβους, διευκολύνοντας την εκφόρτωση υπολογισμών και τη διατήρηση της ιδιωτικότητας. Η πέμπτη και τελευταία σημαντική συνεισφορά είναι μια εννοιολογική ανάπτυξη για τα προαναφερθέντα συστήματα, χρησιμοποιώντας τις τελευταίες αρχιτεκτονικές προδιαγραφές που ορίζονται από την 3rd Generation Partnership Association ως σημείο αναφοράς καθώς και τις τελευταίες τεχνολογίες που ορίζονται στο 5G Advanced και τις προβλεπόμενες τεχνολογίες των δικτύων 6G.