Resource usage optimization in the cloud/edge continuum

Abstract

The increasing adoption of cloud, fog and edge computing has reshaped how modern systems are designed and operated, placing resource efficiency at the centre of distributed computing research. As computation and storage move closer to data sources and end users, infrastructures become more heterogeneous, constrained and dynamic, revealing the limits of static optimization and centralized control. This thesis examines resource usage optimization in the cloud–edge continuum by treating efficiency as a multi-factor optimization issue that is both a continuous and workload driven process, influenced by data characteristics, system topology and deployment decisions. The work is structured around a sequence of representative use cases that span multiple layers of the systems, including big data analysis, power consumption forecasting, smart city data distribution, edge storage systems and proactive application placement. Across these scenarios, the thesis investigates how resource consumption patterns and optimization opportunities emerge under realistic operational conditions. The results show a strong corelation between data volume, velocity, representation and resource demand, as well as clear trade offs between responsiveness, stability and efficiency when comparing streaming and batch processing models, centralized and peer-to-peer storage architectures and different orchestration strategies. A common finding is that optimization is often constrained less by algorithmic complexity than by how data and services are organized, accessed and positioned within the system. Lightweight predictive models, when carefully optimized, are proven able to capture short term workload dynamics on resource limited edge devices without introducing significant overhead. Similarly, changes in data representation, storage layout and placement strategies are demonstrated to substantially affect latency, network utilization, energy consumption, and quality of service, even when analytical models remain unchanged. Building on these observations, the thesis introduces adaptive optimization frameworks that treat placement and orchestration as ongoing decision making processes, contributing practical insights and methodologies for improving resource efficiency across the cloud–edge continuum.

Η αυξανόμενη υιοθέτηση του υπολογιστικού νέφους και του edge computing έχει αναδιαμορφώσει τον τρόπο με τον οποίο τα σύγχρονα συστήματα σχεδιάζονται και λειτουργούν, τοποθετώντας την αποδοτική χρήση πόρων στο κέντρο της ερευνητικής δραστηριότητας. Καθώς οι εφαρμογές και τα δεδομένα μετακινούνται εγγύτερα στους τελικούς χρήστες, οι υποδομές καθίστανται πιο ετερογενείς, περιορισμένων δυνατοτήτων και δυναμικές, αποκαλύπτοντας τα όρια της στατικής βελτιστοποίησης και του κεντρικού ελέγχου. Η παρούσα διατριβή εξετάζει τη βελτιστοποίηση της χρήσης πόρων στο cloud–edge συνεχές, αντιμετωπίζοντας την αποδοτικότητα ως ένα πολυπαραγοντικό ζήτημα βελτιστοποίησης που αποτελεί τόσο μια συνεχή όσο και μια καθοδηγούμενη από το φόρτο εργασίας διαδικασία, επηρεαζόμενη από τα χαρακτηριστικά των δεδομένων, την τοπολογία του συστήματος και τις αποφάσεις σχεδιασμού. Το έργο δομείται γύρω από ένα σύνολο αντιπροσωπευτικών περιπτώσεων χρήσης που εκτείνονται σε πολλαπλά επίπεδα των συστημάτων, συμπεριλαμβανομένων της ανάλυσης μεγάλων δεδομένων, της πρόβλεψης κατανάλωσης ενέργειας, της κατανομής δεδομένων σε περιβάλλοντα ευφυών πόλεων, των αποκεντρωμένων συστημάτων αποθήκευσης και της προληπτικής τοποθέτησης εφαρμογών. Σε αυτά τα σενάρια, η διατριβή διερευνά τα αναδυόμενα μοτίβα κατανάλωσης πόρων καθώς και ευκαιρίες βελτιστοποίησης υπό ρεαλιστικές συνθήκες λειτουργίας. Τα αποτελέσματα δείχνουν ισχυρή συσχέτιση μεταξύ του όγκου, της ταχύτητας και της αναπαράστασης των δεδομένων και της ζήτησης πόρων, καθώς και σαφών συμβιβασμών μεταξύ απόκρισης, σταθερότητας και αποδοτικότητας μοντέλων, κεντρικοποιημένων και peer-to-peer αρχιτεκτονικών αποθήκευσης, καθώς και διαφορετικών στρατηγικών ενορχήστρωσης. Ένα κοινό εύρημα είναι ότι η βελτιστοποίηση συχνά περιορίζεται λιγότερο από την πολυπλοκότητα των αλγορίθμων και περισσότερο από τον τρόπο με τον οποίο τα δεδομένα και οι υπηρεσίες οργανώνονται εντός του συστήματος. Όταν τα μοντέλα βελτιστοποιούνται προσεκτικά, αποδεικνύεται ότι μπορούν να αποτυπώσουν βραχυπρόθεσμες δυναμικές φορτίων εργασίας ακόμα και σε συσκευές περιορισμένων πόρων. Αντίστοιχα, μεταβολές στην αναπαράσταση των δεδομένων, στη διάταξη αποθήκευσης και στις στρατηγικές τοποθέτησης αποδεικνύονται σημαντικοί παράγοντες για την καθυστέρηση, την αξιοποίηση του δικτύου, την κατανάλωση ενέργειας και την ποιότητα υπηρεσιών, ακόμη και όταν τα αναλυτικά μοντέλα παραμένουν αμετάβλητα. Βασιζόμενη σε αυτές τις παρατηρήσεις, η διατριβή εισάγει εργαλεία βελτιστοποίηση πόρων που αντιμετωπίζουν την τοποθέτηση και την ενορχήστρωση ως συνεχείς διαδικασίες λήψης αποφάσεων, συμβάλλοντας με πρακτικές γνώσεις και μεθοδολογίες στη βελτίωση της αποδοτικής χρήσης πόρων στο cloud–edge συνεχές.