AI-assisted resource orchestration for network services and distributed cloud-native applications

Abstract

Network Function Virtualization (NFV) has paved the way for the migration of Virtual Network Functions (VNFs) into multi-tenant datacenters, lowering the barrier for the introduction of new processing functionality into the network. In this context, we investigate the challenging problem of VNF placement in large-scale networks, particularly for Service Function Chains (SFCs), which represent sequences of VNFs. To this end, we initially present a state space complexity analysis of the orchestration problems associated with the placement of SFCs onto substrate networks and reason for the use of approximate methods for addressing the computational hardness of the problem. Genetic algorithms (GA) have emerged as a promising alternative to the proliferation of heuristic and exact methods for the SFC embedding problem. Motivated by this observation, we design a GA that computes efficient embeddings with runtimes on par with other approximate and state-of-the-art methods. Recent trends for resource orchestration across the entire compute continuum raise the need for decision making at low timescales, a requirement which can be hardly met by centralized resource optimizers that rely either on exact methods or Machine Learning (ML). In this respect, we present an approach based on Distributed Deep Learning tailored to the embedding of SFCs onto large-scale network infrastructures. In order to confront the computational hardness of the SFC embedding problem, we utilize a clustering method for the partitioning of the solution space, empowering the search for efficient solutions in parallel across all clusters. The convergence of Internet of Things and edge/cloud computing technologies empowers the provisioning of Hyper-Distributed Applications (HDA), encompassing components that can be deployed at both the edge and core part of the cloud infrastructure. The placement of HDAs across the so-called compute continuum poses significant challenges stemming from the vast search space, the coexistence of resource and spatial demands, as well as the potential heterogeneity among the various cloud Points-of-Presence (PoPs). To address these challenges, we propose a novel hierarchical resource optimization framework for HDA placement across the compute continuum. Our approach decomposes the complex placement problem into two core steps. At first the HDA-graph is partitioned into segments and using the aforementioned GA based method the segments are assigned to cloud PoPs. Subsequently, a multi-agent distributed deep learning method computes the segment mapping within the PoPs. Our evaluation demonstrates that our placement strategy significantly improves request acceptance rates and resource utilization, while effectively minimizes path stretch across cloud PoPs.

Η Εικονικοποίηση Λειτουργιών Δικτύου (NFV) έχει ανοίξει τον δρόμο για τη μετεγκατάσταση των Εικονικών Λειτουργιών Δικτύου (VNFs) σε κέντρα δεδομένων πολλαπλών μισθωτών (multi-tenant datacenters), μειώνοντας τα εμπόδια για την εισαγωγή νέας λειτουργικότητας στο δίκτυο. Σε αυτό το πλαίσιο, διερευνούμε το απαιτητικό πρόβλημα της ενσωμάτωσης VNF σε δίκτυα μεγάλης κλίμακας, ιδιαίτερα για Αλυσίδες Λειτουργιών Δικτύου (SFCs), οι οποίες αποτελούνται από ακολουθίες από VNFs. Προς τούτο, αρχικά παρουσιάζουμε μια ανάλυση πολυπλοκότητας του χώρου καταστάσεων των προβλημάτων ενορχήστρωσης που σχετίζονται με την ενσωμάτωση των SFCs σε υποκείμενα δίκτυα και τεκμηριώνουμε τη χρήση προσεγγιστικών μεθόδων για την αντιμετώπιση της υπολογιστικής δυσκολίας του προβλήματος. Οι γενετικοί αλγόριθμοι έχουν αναδειχθεί ως μια υποσχόμενη εναλλακτική λύση στην πληθώρα των ευρετικών και ακριβών μεθόδων για το πρόβλημα ενσωμάτωσης αλυσίδων SFC. Με κίνητρο αυτή την παρατήρηση, σχεδιάζουμε έναν γενετικό αλγόριθμο που υπολογίζει αποδοτικά τις ενσωματώσεις αλυσίδων SFC με χρόνους εκτέλεσης εφάμιλλους με άλλες προσεγγιστικές και σύγχρονες μεθόδους. Οι πρόσφατες τάσεις για την ενορχήστρωση πόρων σε ολόκληρο το υπολογιστικό συνεχές (compute continuum) εγείρουν την ανάγκη για λήψη αποφάσεων σε μικρές χρονικές κλίμακες, μια απαίτηση που δύσκολα μπορεί να ικανοποιηθεί από κεντρικοποιημένες τεχνικές βελτιστοποίησης πόρων που βασίζονται σε ακριβείς μεθόδους ή σε Μηχανική Μάθηση (ML). Σε αυτό το πλαίσιο, παρουσιάζουμε μια προσέγγιση βασισμένη σε Κατανεμημένη Βαθιά Μάθηση (DDL), προσαρμοσμένη στην ενσωμάτωση SFC σε υποδομές δικτύου μεγάλης κλίμακας. Προκειμένου να αντιμετωπίσουμε την υπολογιστική δυσκολία του προβλήματος ενσωμάτωσης SFC, η προσέγγιση μας ενσωματώνει μια μέθοδο συσταδοποίησης για την κατάτμηση του χώρου λύσεων, ενδυναμώνοντας την αναζήτηση αποδοτικών λύσεων παράλληλα σε όλες τις συστάδες. Η σύγκλιση του Διαδικτύου των Πραγμάτων (IoT) και των τεχνολογιών υπολογιστικής άκρου/νέφους (edge/cloud computing) επιτρέπει την παροχή Υπερ-Κατανεμημένων Εφαρμογών (HDA), που περιλαμβάνουν συστατικά στοιχεία τα οποία μπορούν να αναπτυχθούν τόσο στο άκρο (edge) όσο και στον πυρήνα (core) της υποδομής νέφους. Η τοποθέτηση των HDA στο λεγόμενο υπολογιστικό συνεχές θέτει σημαντικές προκλήσεις που πηγάζουν από τον τεράστιο χώρο αναζήτησης, τη συνύπαρξη απαιτήσεων σε πόρους και χωρικούς περιορισμούς, καθώς και την πιθανή ύπαρξη ετερογένειας μεταξύ των διαφόρων Σημείων Παρουσίας του νέφους (cloud PoPs). Για την αντιμετώπιση αυτών των προκλήσεων, προτείνουμε ένα καινοτόμο ιεραρχικό πλαίσιο βελτιστοποίησης πόρων για την τοποθέτηση HDA στο υπολογιστικό συνεχές. Η προσέγγισή μας αποσυνθέτει το πολύπλοκο πρόβλημα της τοποθέτησης σε δύο βασικά βήματα. Αρχικά, ο γράφος της HDA κατατέμνεται σε τμήματα και χρησιμοποιώντας την προαναφερθείσα μέθοδο που βασίζεται σε γενετικό αλγόριθμο, τα τμήματα ανατίθενται στα επιμέρους cloud PoPs. Στη συνέχεια, η μέθοδος DDL χρησιμοποιώντας πολλαπλούς πράκτορες υπολογίζει την αντιστοίχιση των τμημάτων εντός των PoPs. Η αξιολόγησή μας καταδεικνύει ότι η μέθοδος τοποθέτησής μας βελτιώνει σημαντικά τα ποσοστά αποδοχής αιτημάτων και την αξιοποίηση των πόρων του δικτύου, ενώ ελαχιστοποιεί αποτελεσματικά το μήκος της διαδρομής των δεδομένων μεταξύ των cloud PoPs.