Data and uncertainty driven optimization for dymamic edge computing

Abstract

In the era of digital transformation, the convergence of ground breaking computing paradigms, namely the Internet of Things, EdgeComputing, Cluster Computing, and Pervasive Computing stands at the forefront of technological evolution. These paradigms are not only reshaping the technological landscape, but are also redefining the boundaries of efficiency, scalability, resource optimization, and adaptability in distributed systems. This thesis embarks on an in-depth exploration of these interconnected technologies, focusing on enhancing data processing and machine learning efficiency in edge computing environments, driven by both data characteristics and uncertainty. The research develops novel frameworks and algorithms in five key areas: (1) a synopsis-based similarity extraction framework that enables distributed nodes to identify and collaborate with peers holding similar datasets, optimizing data exchange and reducing redundancy in distributed environments; (2) a data-aware training acceleration framework that optimizes machine learning model training in resource-constrained environments, reducing the training time and improving efficiency while maintaining models’ performance over time; (3) a transfer learning model that enhances knowledge transfer between nodes in edge environments, leveraging model selection techniques to improve accuracy and efficiency in resource-constrained settings; (4) a drift-aware task management mechanism that dynamically adapts task allocation strategies based on evolving data distributions, ensuring efficient resource utilization and system adaptability in edge computing; (5) a correlation-aware task scheduling approach that optimally assigns tasks by detecting dependencies and resource availability, improving execution efficiency and minimizing bottlenecks in distributed systems. These contributions provide robust solutions to critical challengesin edge and cluster computing environments, where traditional methods struggle with scalability, resource constraints, and real-time data evolution. By integrating advanced statistical methods, adaptive learning, and task optimization techniques, the frameworks proposed in this thesis pave the way for more efficient and adaptive distributed systems. These developments contribute to the ongoing evolution of Internet of Things, Edge Computing, and related domains, offering practical applications in smart cities, autonomous systems, and large scale industrial networks.

Στην εποχή του ψηφιακού μετασχηματισμού, η σύγκλιση πρωτοποριακών υπολογιστικών παραδειγμάτων, δηλαδή του Διαδικτύου των Πραγμάτων, του Υπολογισμού στο Άκρο, της Υπολογιστικής Συστάδων και του Διάχυτου Υπολογισμού, βρίσκεται στην πρώτη γραμμή της τεχνολογικής εξέλιξης. Τα παραδείγματα αυτά δεν αναδιαμορφώνουν μόνο το τεχνολογικό τοπίο, αλλά επαναπροσδιορίζουν και τα όρια της αποδοτικότητας, της κλιμακωσιμότητας, της βελτιστοποίησης πόρων και της προσαρμοστικότητας σε κατανεμημένα συστήματα. Η παρούσα διατριβή προχωρά σε μια εις βάθος διερεύνηση αυτών των αλληλένδετων τεχνολογιών, με έμφαση στη βελτίωση της επεξεργασίας δεδομένων και της αποδοτικότητας της μηχανικής μάθησης σε περιβάλλοντα υπολογισμού στο άκρο, καθοδηγούμενη τόσο από τα χαρακτηριστικά των δεδομένων όσο και από την αβεβαιότητα. Η έρευνα αναπτύσσει νέα πλαίσια και αλγορίθμους σε πέντε βασικούς τομείς: (1) Ένα πλαίσιο εξαγωγής ομοιότητας βάσει συνοπτικών περιλήψεων που επιτρέπει σε κατανεμημένους κόμβους να αναγνωρίζουν και να συνεργάζονται με ομότιμους που διαθέτουν παρόμοια σύνολα δεδομένων, βελτιστοποιώντας την ανταλλαγή δεδομένων και μειώνοντας την πλεονασματικότητα σε κατανεμημένα περιβάλλοντα. (2) Ένα πλαίσιο επιτάχυνσης εκπαίδευσης ευαισθητοποιημένο στα δεδομένα, που βελτιστοποιεί την εκπαίδευση μοντέλων μηχανικής μάθησης σε περιβάλλοντα με περιορισμένους πόρους, μειώνοντας τον χρόνο εκπαίδευσης και βελτιώνοντας την αποδοτικότητα, ενώ διατηρεί την απόδοση των μοντέλων με την πάροδο του χρόνου. (3) Ένα μοντέλο μεταφοράς μάθησης που ενισχύει τη μεταφορά γνώσης μεταξύ κόμβων σε περιβάλλοντα άκρου, αξιοποιώντας τεχνικές επιλογής μοντέλων για τη βελτίωση της ακρίβειας και της αποδοτικότητας σε συστήματα με περιορισμένους πόρους. (4) Ένας μηχανισμός διαχείρισης εργασιών με επίγνωση μετατόπισης, που προσαρμόζει δυναμικά τις στρατηγικές κατανομής εργασιών με βάση τις εξελισσόμενες κατανομές δεδομένων, εξασφαλίζοντας αποδοτική αξιοποίηση πόρων και προσαρμοστικότητα του συστήματος κατά τον υπολογισμό άκρου. (5) Μια προσέγγιση χρονοπρογραμματισμού εργασιών με επίγνωση συσχέτισης, η οποία κατανέμει βέλτιστα τις εργασίες ανιχνεύοντας εξαρτήσεις και διαθεσιμότητα πόρων, βελτιώνοντας την αποδοτικότητα εκτέλεσης και ελαχιστοποιώντας τα σημεία συμφόρησης σε κατανεμημένα συστήματα. Οι συνεισφορές αυτές παρέχουν ισχυρές λύσεις σε κρίσιμες προκλήσεις των περιβαλλόντων υπολογισμού άκρου και συστάδων, όπου οι παραδοσιακές μέθοδοι δυσκολεύονται να ανταποκριθούν σε θέματα κλιμάκωσης, περιορισμών πόρων και εξέλιξης δεδομένων σε πραγματικό χρόνο. Ενσωματώνοντας προηγμένες στατιστικές μεθόδους, προσαρμοστική μάθηση και τεχνικές βελτιστοποίησης εργασιών, τα προτεινόμενα πλαίσια της διατριβής ανοίγουν τον δρόμο για πιο αποδοτικά και προσαρμοστικά κατανεμημένα συστήματα. Οι εξελίξεις αυτές συμβάλλουν στη συνεχή πρόοδο του Διαδικτύου των Πραγμάτων, του Υπολογισμού στο Άκρο και των συναφών τομέων, προσφέροντας πρακτικές εφαρμογές σε έξυπνες πόλεις, αυτόνομα συστήματα και μεγάλης κλίμακας βιομηχανικά δίκτυα.