Design and optimization of wireless communication systems and networks with native artificial intelligence

Abstract

Next generation wireless communication networks are envisioned to adopt a native artificial intelligence (AI) approach, aiming to deliver ubiquitous intelligent services, and to improve the underlying network architectures, protocols and operations through AI-driven solutions. In this context, the convergence of AI with wireless networks is driving the research in two distinct directions. Firstly, it delves into AI for wireless networks, which involves improving the performance of wireless networks through the utilization of AI and machine learning techniques. Secondly, it explores wireless networks for AI, where the goal is to enhance data-driven AI applications by jointly designing and optimizing communication and computing networks. The primary goal of this thesis is to explore the field of wireless networks for AI, while the study is not limited exclusively to this direction, and the aspect of AI for wireless networks is also addressed. Native AI is expected to heavily rely on edge and distributed intelligence, in the sense that intelligent services should be provided across the whole continuum of the network. A promising decentralized learning technique, whose primary goal is to preserve privacy, is the federated learning (FL). In FL, the participating users build collaboratively a machine learning model with the aid of a central entity, e.g., a server, which acts as a fusion center and generates the global model. Users transmit only the local training parameters to the server, and not their raw data, which alleviates privacy concerns. In the context of wireless networks, FL is termed as wireless FL (WFL) and aligns with the aspect of wireless networks for AI. WFL faces distinctive challenges owing to the unreliability of wireless links and their limited bandwidth. Therefore, efficient schemes should be employed that aim to guarantee fast convergence of FL over wireless networks and simultaneously retain increased model accuracy of the underlying task or AI application. Towards this direction, the thesis explores techniques that involve a joint optimization of communication and computation resources. This approach is prevalent throughout this dissertation, with the aim of reducing latency in WFL, while retaining high model accuracy.

Τα ασύρματα τηλεπικοινωνιακά δίκτυα επόμενης γενιάς αναμένεται να υιοθετήσουν μια προσέγγιση λειτουργίας βασιζόμενη στην εγγενή τεχνητή νοημοσύνη (ΤΝ), η οποία έχει ως στόχο τη διάχυτη παροχή ευφυών υπηρεσιών και τη βελτίωση των υποκείμενων αρχιτεκτονικών, πρωτοκόλλων και λειτουργιών των δικτύων. Σύμφωνα με τις παραπάνω απαιτήσεις, η σύγκλιση της ΤΝ με τα ασύρματα δίκτυα διαιρεί την έρευνα σε δύο ξεχωριστές κατευθύνσεις: “ΤΝ για ασύρματα δίκτυα” και “ασύρματα δίκτυα για ΤΝ ”. Το πρώτο πεδίο αφορά τη βελτίωση της επίδοσης των ασύρματων τηλεπικοινωνιακών συστημάτων και δικτύων με τη χρήση τεχνικών ΤΝ και μηχανικής μάθησης. Δηλαδή, η ΤΝ αναμένεται να συμπληρώσει ή να αντικαταστήσει παραδοσιακές μεθόδους σχεδίασης και βελτιστοποίησης ασύρματων δικτύων, σε περιπτώσεις που οι τελευταίες παρουσιάζουν περιορισμένες δυνατότητες. Το δεύτερο πεδίο αναφέρεται στην υποστήριξη εφαρμογών ΤΝ μέσω της από κοινού βελτιστοποίησης των τηλεπικοινωνιακών και υπολογιστικών πόρων ενός δικτύου. Σύμφωνα με αυτή τη κατεύθυνση, η σχεδίαση και βελτιστοποίηση των ασύρματων δικτύων εκτελείται με κύριο γνώμονα την παροχή υπηρεσιών και εφαρμογών ΤΝ. Η παρούσα διατριβή επικεντρώνεται κυρίως στην δεύτερη κατεύθυνση έρευνας, χωρίς όμως να περιορίζεται αποκλειστικά σε αυτή, καθώς μελετώνται χρήσιμες τεχνικές και παραδείγματα που ανήκουν στο πεδίο “ΤΝ για ασύρματα δίκτυα”. Η εγγενής ΤΝ συνδέεται στενά με την διανεμημένη ευφυΐα και την ευφυΐα στα δίκτυα παρυφής (edge), με την έννοια ότι οι έξυπνες υπηρεσίες και εφαρμογές θα πρέπει να παρέχονται σε όλες τις πτυχές και τα τμήματα του δικτύου, ανά πάσα στιγμή. Η ομοσπονδιακή μάθηση (federated learning - FL) θεωρείται ως μια πολλά υποσχόμενη τεχνική διανεμημένης μηχανικής μάθησης, η οποία έχει ως πρωταρχικό στόχο τη διατήρηση της ιδιωτικότητας των δεδομένων των κόμβων συμμετοχής και τη μείωση της μεταφοράς μεγάλων όγκων δεδομένων. Χαρακτηριστικό γνώρισμα του FL, είναι η συνεργατική δημιουργία ενός καθολικού μοντέλου εκπαίδευσης από τους χρήστες της διαδικασίας, μέσω της βοήθειας ενός κεντρικού διακομιστή (server). Αξιοσημείωτο είναι ότι οι χρήστες δεν αποστέλλουν τα δεδομένα τους καθαυτά στον διακομιστή, παρά μόνο τις παραμέτρους εκπαίδευσης του τοπικού τους μοντέλου. Επομένως, ο διακομιστής δεν έχει πρόσβαση στα γνήσια δεδομένα των χρηστών, σε αντίθεση με τις παραδοσιακές μεθόδους κεντροποιημένης μάθησης (centralized learning). Καθώς η παρούσα διατριβή εξετάζει την μετάδοση των δεδομένων σε ασύρματο κανάλι επικοινωνίας, η εν λόγω τεχνική αναφέρεται ως ασύρματο FL και εμπίπτει στο πεδίο “ασύρματα δίκτυα για ΤΝ ”. Το ασύρματο FL αντιμετωπίζει έντονες προκλήσεις, λόγω της έμφυτης αναξιοπιστίας του ασύρματου μέσου διάδοσης και του περιορισμένου εύρους ζώνης που αυτό παρέχει. Κατά συνέπεια, κρίνεται απαραίτητη η επινόηση αποδοτικών τεχνικών, που αποσκοπούν στην ταχεία σύγκλιση της διαδικασίας FL, χωρίς να θυσιάζεται η ακρίβεια και η επίδοση των μοντέλων μηχανικής μάθησης που συνοδεύουν τις υποκείμενες εφαρμογές ΤΝ. Στόχος της διατριβής είναι η σχεδίαση τέτοιων τεχνικών, με κύρια αρχή την από κοινού βελτιστοποίηση των τηλεπικοινωνιακών και υπολογιστικών πόρων των δικτύων και τελικό στόχο τη μείωση της χρονικής καθυστέρησης που προκαλείται από το ασύρματο FL.