Intelligent orchestration in heterogeneous networked systems

Abstract

The increasing complexity, heterogeneity, and scale of modern digital infrastructures have redefined the operational boundaries of networking and computing systems. Environments spanning dense urban wireless deployments, mobile ad hoc networks, disaggregated cloud datacenters, federated 5G testbeds, and the distributed cloud-to-things continuum now demand intelligent, efficient, and resilient orchestration mechanisms. These systems must adapt in real time, manage constrained and fluctuating resources, and remain energy-aware, while still delivering performance guarantees. The central hypothesis of this thesis is that intelligent orchestration in such environments is feasible through a combination of cross-layer observability, software-defined control, and learning-based automation. Rather than proposing a single monolithic solution, this thesis introduces several specialized orchestration frameworks that are tailored to the architectural and operational constraints and needs of their respective environments. These frameworks are based on the same foundational concept: orchestration must be context-aware, data-driven, and dynamically adaptive. We begin with wireless local area networks, where contention, interference, and hidden terminal effects lead to persistent performance degradation. We design and implement a MAC-layer-based diagnosis system that utilizes driver-exposed statistics from commercial access points to identify and classify WLAN pathologies. Without requiring any hardware modifications, this lightweight framework operates in both active and passive modes, achieving high accuracy and offering practical deployment potential. Next, we turn to mobile ad hoc networks (MANETs), where centralized orchestration appears incompatible with volatile topologies. To address this, we design a fault-tolerant Software Defined Networking (SDN) framework that supports distributed controller election, in-band signaling, and adaptive routing based on cross-layer link quality metrics. We further extend this system with reinforcement learning agents that dynamically tune SDN control-plane parameters to maintain network stability under mobility and channel fluctuations. Our experiments show significant improvements in throughput, latency, and resilience. In the datacenter domain, we investigate orchestration challenges in disaggregated systems, where compute and memory are decoupled and interconnected over programmable optical fabrics. We design a graph-based orchestration plane, the Software Defined Memory (SDM) controller, that enables efficient scheduling, dynamic attachment of memory resources, and fast topology reconfiguration. Our implementation, integrated with OpenStack, demonstrates substantial gains in scheduling latency and energy efficiency. Building upon the growing need for distributed experimentation across cloud-native, federated (5G) testbeds, we propose a multi-cluster orchestration framework that leverages state-of-the-art open-source solutions to securely expose services and establish inter-cluster connectivity across geographically dispersed administrative domains. Deployed over a high-speed fabric, the system enables cloud-native 5G workloads to be orchestrated transparently across distinct infrastructures, while preserving isolation and maintaining performance guarantees.Shifting to the computing continuum, we explore machine learning operations (MLOps) and the deployment of AI workflows across heterogeneous cloud, edge, and far-edge resources. First, we introduce an orchestration framework that decomposes ML pipelines into modular components and schedules them according to their resource and latency requirements. Then, we design EELAS, an energy-efficient and latency-aware scheduler for ML inference workloads that integrates into Kubernetes and is validated in real-world testbeds, achieving notable reductions in energy consumption while meeting application-level latency constraints. In overall, these contributions offer a comprehensive and realistic approach to orchestrating performance- and energy-critical systems in heterogeneous networking environments. They demonstrate that the principles of cross-layer design, programmability, and learning-based adaptation can be effectively applied to address the coordination challenges posed by next-generation infrastructures.

Η αυξανόμενη πολυπλοκότητα, ετερογένεια και κλίμακα των σύγχρονων ψηφιακών υποδομών έχει αναδιαμορφώσει τα λειτουργικά όρια των δικτυακών και υπολογιστικών συστημάτων. Περιβάλλοντα που εκτείνονται από πυκνές αστικές ασύρματες αναπτύξεις και κινητά ad hoc δίκτυα έως αποσυσχετισμένα (disaggregated) υπολογιστικά κέντρα δεδομένων και την κατανεμημένη υποδομή του cloud-to-things continuum απαιτούν πλέον ευφυείς, αποδοτικούς και ανθεκτικούς μηχανισμούς ενορχήστρωσης. Τα συστήματα αυτά πρέπει να προσαρμόζονται δυναμικά σε πραγματικό χρόνο, να διαχειρίζονται περιορισμένους και ευμετάβλητους πόρους και να παραμένουν ενεργειακά αποδοτικά, ενώ ταυτόχρονα ικανοποιούν αυστηρές απαιτήσεις απόδοσης. Η κεντρική υπόθεση αυτής της διατριβής είναι ότι η ευφυής ενορχήστρωση σε τέτοια περιβάλλοντα καθίσταται εφικτή μέσω του συνδυασμού διαστρωματικής παρατηρησιμότητας, λογισμικά καθοριζόμενου ελέγχου και αυτοματοποίησης βασισμένης στη μηχανική μάθηση. Αντί για μια ενιαία μονολιθική λύση, η διατριβή προτείνει μια σειρά από εξειδικευμένα πλαίσια ενορχήστρωσης, σχεδιασμένα με βάση τις αρχιτεκτονικές και λειτουργικές ιδιαιτερότητες των εκάστοτε περιβαλλόντων. Όλα βασίζονται στην ίδια θεμελιώδη αρχή: η ενορχήστρωση πρέπει να είναι απολύτως εξαρτημένη από το περιβάλλον, καθοδηγούμενη από δεδομένα και προσαρμοζόμενη δυναμικά. Αρχικά εξετάζουμε τα ασύρματα τοπικά δίκτυα (WLANs), στα οποία η συμφόρηση, οι παρεμβολές και το φαινόμενο των «κρυφών κόμβων» οδηγούν σε επίμονη υποβάθμιση της απόδοσης. Αναπτύσσουμε και υλοποιούμε ένα σύστημα διάγνωσης βασισμένο στο επίπεδο MAC, το οποίο αξιοποιεί στατιστικά στοιχεία που παρέχονται από εμπορικά access points για να εντοπίσει και να ταξινομήσει τις παθολογίες του WLAN. Το πλαίσιο αυτό, χωρίς να απαιτεί καμία υλική τροποποίηση, λειτουργεί τόσο σε ενεργή όσο και σε παθητική λειτουργία, προσφέροντας υψηλή ακρίβεια και άμεσες δυνατότητες εφαρμογής. Στη συνέχεια εστιάζουμε σε κινητά ad hoc δίκτυα (MANETs), όπου η συγκεντρωτική ενορχήστρωση εμφανίζεται ασύμβατη με τη δυναμική τοπολογία. Για την αντιμετώπιση του προβλήματος, σχεδιάζουμε ένα ανθεκτικό πλαίσιο Software Defined Networking (SDN), το οποίο υποστηρίζει κατανεμημένη εκλογή ελεγκτών, in-band σηματοδοσία και προσαρμοστική δρομολόγηση βάσει διαστρωματικών δεικτών ποιότητας σύνδεσης. Επεκτείνουμε το σύστημα αυτό με πράκτορες ενισχυτικής μάθησης (reinforcement learning) που ρυθμίζουν αυτόνομα τις παραμέτρους του καναλιού ελέγχου (control plane), διατηρώντας τη σταθερότητα του δικτύου σε συνθήκες κινητικότητας και μεταβαλλόμενων δικτυακών συνθηκών. Τα πειραματικά αποτελέσματα δείχνουν σημαντικές βελτιώσεις σε ρυθμοαπόδοση, καθυστέρηση και ανθεκτικότητα. Στον χώρο των datacenters, διερευνούμε τις προκλήσεις ενορχήστρωσης σε αποσυσχετισμένα συστήματα, όπου οι πόροι υπολογισμού και μνήμης είναι διαχωρισμένοι και διασυνδέονται μέσω προγραμματιζόμενων οπτικών υφιστάμενων δικτύων. Σχεδιάζουμε ένα επίπεδο ενορχήστρωσης βασισμένο σε γράφους, τον Software Defined Memory (SDM) controller, που επιτρέπει αποδοτικό προγραμματισμό, δυναμική σύνδεση απομακρυσμένων μνημών και ταχεία αναδιαμόρφωση της τοπολογίας. Η υλοποίηση, σε ενοποίηση με το OpenStack, επιδεικνύει σημαντικές βελτιώσεις στον χρόνο προγραμματισμού και στην ενεργειακή αποδοτικότητα. Επιπρόσθετα, εξετάζουμε το ζήτημα της ομοιογενούς και ασφαλούς ενορχήστρωσης πειραματικών, cloud-native (5G) υποδομών που ανήκουν σε διαφορετικούς διαχειριστικούς τομείς και γεωγραφικές περιοχές. Προτείνουμε ένα ολοκληρωμένο πλαίσιο πολυσυσταδικής (multi-cluster) ενορχήστρωσης, το οποίο αξιοποιεί προηγμένες τεχνολογίες ανοιχτού κώδικα για τη διαχείριση των συστάδων και την ασφαλή εξαγωγή υπηρεσιών μεταξύ απομακρυσμένων διοικητικών domains. Το πλαίσιο αυτό αναπτύσσεται πάνω από δικτυακή υποδομή υψηλής ταχύτητας και αξιολογείται σε πραγματικά πειραματικά περιβάλλοντα, αποδεικνύοντας την ικανότητά του να υποστηρίζει cloud-native 5G φορτία με αποδοτικότητα και διαφάνεια. Τέλος, στο πλαίσιο της υποδομής υπολογιστικού συνεχούς (computing continuum), εξετάζουμε τις λειτουργίες MLOps και την ανάπτυξη ροών εργασίας μηχανικής μάθησης σε ετερογενείς πόρους cloud, edge και far-edge. Παρουσιάζουμε αρχικά ένα πλαίσιο ενορχήστρωσης που αποσυνθέτει τα ML pipelines σε λειτουργικές ενότητες και τις προγραμματίζει σύμφωνα με τις απαιτήσεις τους. Επιπλέον, σχεδιάζουμε το EELAS, έναν ενεργειακά αποδοτικό και χρονικά ευαίσθητο προγραμματιστή (scheduler) για εργασίες πρόβλεψης (inference), ενσωματωμένο στο Kubernetes και επικυρωμένο σε πραγματικές δοκιμές, επιτυγχάνοντας σημαντική μείωση στην κατανάλωση ενέργειας ενώ διατηρείται η καθορισμένη καθυστέρηση στην εκτέλεση. Συνολικά, οι συνεισφορές αυτές παρέχουν μια πλήρη και ρεαλιστική προσέγγιση στην ενορχήστρωση συστημάτων με κρίσιμες απαιτήσεις απόδοσης και ενεργειακής αποδοτικότητας σε ετερογενή δικτυακά περιβάλλοντα. Αποδεικνύεται ότι οι αρχές της διαστρωματικής σχεδίασης, της προγραμματισιμότητας και της προσαρμογής μέσω μάθησης μπορούν να εφαρμοστούν αποτελεσματικά για την αντιμετώπιση των προκλήσεων συντονισμού των υποδομών επόμενης γενιάς.