Predictable application performance in resource clusters

Abstract

As applications such as augmented reality, connected vehicles, and real-time analytics grow in complexity, the need for fast and predictable task execution has become critical. Meeting these requirements is especially challenging at the network edge, where hardware is heterogeneous, power-limited, and shared among multiple co-located applications. These factors introduce performance variability, making it difficult to meet Round-Trip Time (RTT) deadlines. Modern distributed systems execute tasks across multiple servers, yet traditional schedulers and load balancers react only after performance degradation occurs, leading to inefficient resource use and possible Service Level Agreements (SLAs) violations. To address this, research has explored performance-aware decision-making, where scheduling and load balancing rely on monitoring data. However, existing methods often use coarse metrics, arbitrary subsets of system state, or high-overhead profiling that assumes homogeneous hardware. Such approaches fail to capture the rapid fluctuations and interference typical of edge clusters. Achieving strict RTT deadlines under these dynamic conditions requires anticipating performance in advance through lightweight, per-request predictions suitable for millisecond-scale workloads. This thesis develops lightweight and accurate performance predictors that enable proactive resource management in heterogeneous clusters, targeting time- sensitive applications. Instead of reacting to slowdowns, the predictors estimate task execution time—specifically RTT—while considering node heterogeneity and interference among co-located applications. These predictions offer foresight into potential bottlenecks, allowing schedulers and load balancers to place tasks on the most suitable nodes and maintain acceptable performance. The study focuses on Electron Microscopy (EM) workloads, using the Single Particle Analysis (SPA) workflow as a representative case. Monitoring data from a Kubernetes-based cluster include hundreds of Central Processing Unit (CPU), memory, and network metrics. A multi-stage methodology identifies the most relevant ones: (i) raw metrics are converted into statistical and time-series features, (ii) correlation analysis ranks their relation to RTT, and (iii) application-specific subsets are derived, revealing that each application requires a distinct set of metrics to capture variability effectively. These selected metrics are used to train lightweight machine learning models that predict both RTT and its variability at runtime. The models balance accuracy, computational cost, and delay, allowing continuous operation alongside running applications. Variability predictions guide scheduling by mapping applications to nodes that minimize interference, while RTT predictions guide load balancing by routing each request to the instance expected to respond fastest. Their performance is evaluated through simulations replicating heterogeneous edge clusters. The proposed predictors achieve high accuracy and minimal overhead through three principles: (1) selecting the most informative metrics, (2) using short observation windows to capture rapid changes, and (3) employing lightweight models for fast inference. Variability predictors reach up to 94% accuracy with prediction times under 8ms, while RTT predictors attain up to 95% accuracy with inference delays within 10% of the application RTT. Simulations show that integrating variability predictions into scheduling and RTT predictions into load balancing improves performance and reduces resource waste. These results highlight the potential of lightweight predictive models to enable runtime performance-aware orchestration in heterogeneous edge–cloud environments and form a solid basis for future deployment in production systems.

Καθώς εφαρμογές όπως η επαυξημένη πραγματικότητα (augmented reality), τα συνδεδεμένα οχήματα (connected vehicles) και η ανάλυση δεδομένων σε πραγματικό χρόνο (real-time analytics) αυξάνονται σε πολυπλοκότητα, η ανάγκη για γρήγορη εκτέλεση εργασιών με προβλέψιμα χρονικά χαρακτηριστικά (predictable task execution) καθίσταται κρίσιμη. Η ικανοποίηση αυτών των απαιτήσεων είναι ιδιαίτερα απαιτητική στο υπολογιστικό άκρο του δικτύου (network edge), όπου το υλικό είναι ετερογενές (heterogeneous hardware), περιορισμένης ενεργειακής ισχύος (power-limited) και κοινόχρηστο μεταξύ πολλαπλών συνεγκατεστημένων εφαρμογών (co-located applications). Οι παράγοντες αυτοί εισάγουν μεταβλητότητα απόδοσης (performance variability), καθιστώντας δύσκολη την τήρηση προθεσμιών Χρόνου Μετάβασης Μετ’ Επιστροφής (Round-Trip Time – RTT). Τα σύγχρονα κατανεμημένα συστήματα (distributed systems) εκτελούν εργασίες σε πολλαπλούς διακομιστές (servers), ωστόσο οι παραδοσιακοί χρονοπρογραμματιστές (schedulers) και μηχανισμοί εξισορρόπησης φορτίου (load balancers) αντιδρούν μόνο μετά την εκδήλωση υποβάθμισης της απόδοσης (performance degradation), οδηγώντας σε αναποτελεσματική χρήση πόρων και πιθανές παραβιάσεις Συμφωνιών Επιπέδου Παροχής Υπηρεσιών (Service Level Agreements – SLAs). Για την αντιμετώπιση αυτού του προβλήματος, έρευνες έχουν εξετάσει τη λήψη αποφάσεων με επίγνωση απόδοσης (performance-aware decision-making), όπου ο χρονοπρογραμματισμός και η εξισορρόπηση φορτίου βασίζονται σε δεδομένα παρακολούθησης (monitoring data). Ωστόσο, οι υφιστάμενες προσεγγίσεις συχνά χρησιμοποιούν χονδροειδείς μετρικές (coarse metrics), αυθαίρετα υποσύνολα της κατάστασης του συστήματος (system state) ή διαδικασίες προφίλ υψηλού κόστους (high-overhead profiling) που προϋποθέτουν ομοιογενές υλικό (homogeneous hardware). Τέτοιες μέθοδοι αποτυγχάνουν να αποτυπώσουν τις ταχείες διακυμάνσεις και τις παρεμβολές (interference) που είναι χαρακτηριστικές των υπολογιστικών περιβαλλόντων αιχμής (edge clusters). Η επίτευξη αυστηρών προθεσμιών RTT υπό αυτές τις δυναμικές συνθήκες απαιτεί την πρόβλεψη της απόδοσης εκ των προτέρων, μέσω υπολογιστικά αποδοτικών προβλέψεων ανά αίτημα (per-request predictions) κατάλληλων για φόρτους εργασίας της τάξης των χιλιοστών του δευτερολέπτου (millisecond-scale workloads). Η παρούσα διατριβή αναπτύσσει χαμηλού υπολογιστικού κόστους και ακριβείς προβλεπτικούς μηχανισμούς απόδοσης (lightweight and accurate performance predictors) που επιτρέπουν προδραστική διαχείριση πόρων (proactive resource management) σε ετερογενή υπολογιστικά περιβάλλοντα, με στόχο εφαρμογές ευαίσθητες στον χρόνο (time-sensitive applications). Αντί να αντιδρούν σε επιβραδύνσεις, οι προβλεπτικοί μηχανισμοί εκτιμούν τον χρόνο εκτέλεσης εργασιών — και συγκεκριμένα το RTT — λαμβάνοντας υπόψη την ετερογένεια των κόμβων (node heterogeneity) και την παρεμβολή μεταξύ συνεγκατεστημένων εφαρμογών (application co-location). Οι προβλέψεις αυτές επιτρέπουν τον έγκαιρο εντοπισμό μελλοντικών σημείων συμφόρησης (bottlenecks), δίνοντας τη δυνατότητα στους χρονοπρογραμματιστές και στους μηχανισμούς εξισορρόπησης φορτίου να κατανέμουν εργασίες στους καταλληλότερους κόμβους (cluster nodes) και να διατηρούν σταθερά και αποδεκτά επίπεδα απόδοσης. Η μελέτη επικεντρώνεται σε φόρτους εργασίας Ηλεκτρονικής Μικροσκοπίας (Electron Microscopy – EM), χρησιμοποιώντας τη ροή εργασίας Ανάλυσης Μεμονωμένων Σωματιδίων (Single Particle Analysis – SPA) ως αντιπροσωπευτικό παράδειγμα. Τα δεδομένα παρακολούθησης (monitoring data) προέρχονται από ένα υπολογιστικό περιβάλλον βασισμένο στο Kubernetes και περιλαμβάνουν εκατοντάδες μετρικές Κεντρικής Μονάδας Επεξεργασίας (Central Processing Unit – CPU), μνήμης και δικτύου. Μια πολυσταδιακή μεθοδολογία (multi-stage methodology) εντοπίζει τις πλέον σχετικές μετρικές: (i) οι αρχικές μετρικές μετατρέπονται σε στατιστικά και χαρακτηριστικά χρονοσειρών (statistical and time-series features), (ii) η ανάλυση συσχέτισης (correlation analysis) κατατάσσει τις μετρικές ως προς τη σχέση τους με το RTT και (iii) εξάγονται υποσύνολα ειδικά για κάθε εφαρμογή (application-specific subsets), αποκαλύπτοντας ότι κάθε εφαρμογή απαιτεί διαφορετικό σύνολο μετρικών για την αποτελεσματική αποτύπωση της μεταβλητότητας απόδοσης. Οι επιλεγμένες μετρικές χρησιμοποιούνται για την εκπαίδευση μοντέλων μηχανικής μάθησης (machine learning models) που προβλέπουν τόσο το RTT ατομικών αιτημάτων όσο και τη μεταβλητότητα της απόδοσης των εφαρμογών κατά την εκτέλεση (runtime). Τα μοντέλα επιτυγχάνουν ισορροπία μεταξύ ακρίβειας, υπολογιστικού κόστους και καθυστέρησης, επιτρέποντας τη συνεχή λειτουργία τους παράλληλα με τις εκτελούμενες εφαρμογές. Οι προβλέψεις μεταβλητότητας καθοδηγούν τον χρονοπρογραμματισμό αντιστοιχίζοντας εφαρμογές σε κόμβους που ελαχιστοποιούν την παρεμβολή, ενώ οι προβλέψεις RTT καθοδηγούν την εξισορρόπηση φορτίου δρομολογώντας κάθε αίτημα στο στιγμιότυπο εφαρμογής που αναμένεται να ανταποκριθεί ταχύτερα. Η απόδοση των προβλεπτικών μοντέλων στην καθοδήγηση αυτών των αποφάσεων αξιολογείται μέσω προσομοιώσεων (simulations) που αναπαράγουν ετερογενή υπολογιστικά περιβάλλοντα αιχμής. Οι προτεινόμενοι προβλεπτικοί μηχανισμοί επιτυγχάνουν υψηλή ακρίβεια και ελάχιστο υπολογιστικό κόστος μέσω τριών βασικών αρχών: (1) επιλογή των πιο συσχετισμένων μετρικών με την απόδοση της κάθε εφαρμογής, (2) χρήση σύντομων παραθύρων παρατήρησης (short observation windows) για την αποτύπωση ταχέων μεταβολών και (3) αξιοποίηση μοντέλων χαμηλού υπολογιστικού κόστους (lightweight models) για ταχεία εξαγωγή προβλέψεων (fast inference). Οι προβλεπτικοί μηχανισμοί μεταβλητότητας επιτυγχάνουν ακρίβεια έως και 94% με χρόνους πρόβλεψης κάτω από 8 ms, ενώ οι προβλεπτικοί μηχανισμοί RTT φτάνουν έως και 95% ακρίβεια με καθυστερήσεις εξαγωγής πρόβλεψης εντός του 10% του RTT της εφαρμογής. Οι προσομοιώσεις δείχνουν ότι η ενσωμάτωση προβλέψεων μεταβλητότητας στον χρονοπρογραμματισμό και προβλέψεων RTT στην εξισορρόπηση φορτίου βελτιώνει την απόδοση και μειώνει τη σπατάλη πόρων. Τα αποτελέσματα αυτά αναδεικνύουν τις δυνατότητες των υπολογιστικά αποδοτικών προβλεπτικών μοντέλων να υποστηρίξουν ενορχήστρωση με επίγνωση απόδοσης κατά τον χρόνο εκτέλεσης (runtime performance-aware orchestration) σε ετερογενή περιβάλλοντα αιχμής–νέφους (edge–cloud environments) και αποτελούν σταθερή βάση για μελλοντική αξιοποίηση σε παραγωγικά συστήματα (production systems).