Elastic dataflow processing on the cloud

Abstract

Clouds have become an attractive platform for the large-scale processing of modern applications on Big Data, especially due to the concept of elasticity, which characterizes them: resources can be leased on demand and used for as much time as needed, offering the ability to create virtual infrastructures that change dynamically over time. Such applications often require processing of complex queries that are expressed in a high-level language and are typically transformed into data processing flows (dataflows). A logical question that arises is whether elasticity affects dataflow execution and in which way. It seems reasonable that the execution is faster when more resources are used, however the monetary cost is higher. This gives rise to the concept eco-elasticity, an additional kind of elasticity that comes from economics, and captures the trade-offs between the response time of the system and the amount of money we pay for it as influenced by the use of different amounts of resources. In this thesis, we approach the elasticity of clouds in a unified way that combines both the traditional notion and eco-elasticity. This unified elasticity concept is essential for the development of auto-tuned systems in cloud environments. First, we demonstrate that eco-elasticity exists in several common tasks that appear in practice and that can be discovered using a simple, yet highly scalable and efficient algorithm. Next, we present two cases of auto-tuned algorithms that use the unified model of elasticity in order to adapt to the query workload: 1) processing analytical queries in the form of tree execution plans in order to maximize profit and 2) automated index management taking into account compute and storage re- sources. Finally, we describe EXAREME, a system for elastic data processing on the cloud that has been used and extended in this work. The system offers declarative languages that are based on SQL with user-defined functions (UDFs) extended with parallelism primitives. EXAREME exploits both elasticities of clouds by dynamically allocating and deallocating compute resources in order to adapt to the query workload.

Τα νέφη έχουν μετατραπεί σε μια ελκυστική πλατφόρμα για την πολύπλοκη επεξεργασία δεδομένων μεγάλης κλίμακας, ειδικά εξαιτίας της έννοιας της ελαστικότητας, η οποία και τα χαρακτηρίζει: οι υπολογιστικοί πόροι μπορούν να εκμισθωθούν δυναμικά και να χρησιμοποιούνται για όσο χρόνο είναι απαραίτητο. Αυτό δίνει την δυνατότητα να δημιουργηθεί μια εικονική υποδομή η οποία μπορεί να αλλάζει δυναμικά στο χρόνο. Οι σύγχρονες εφαρμογές απαιτούν την εκτέλεση πολύπλοκων ερωτημάτων σε Μεγάλα Δεδομένα για την εξόρυξη γνώσης και την υποστήριξη επιχειρησιακών αποφάσεων. Τα πολύπλοκα αυτά ερωτήματα, εκφράζονται σε γλώσσες υψηλού επιπέδου και τυπικά μεταφράζονται σε ροές επεξεργασίας δεδομένων, ή απλά ροές δεδομένων. ́Ενα λογικό ερώτημα που τίθεται είναι κατά πόσον η ελαστικότητα επηρεάζει την εκτέλεση των ροών δεδομένων και με πιο τρόπο. Είναι λογικό ότι η εκτέλεση να είναι πιθανόν γρηγορότερη αν χρησιμοποιηθούν περισσότεροι υπολογιστικοί πόροι, αλλά το κόστος θα είναι υψηλότερο. Αυτό δημιουργεί την έννοια της οικο-ελαστικότητας, ενός επιπλέον τύπου ελαστικότητας ο οποίος προέρχεται από την οικονομική θεωρία, και συλλαμβάνει τις εναλλακτικές μεταξύ του χρόνου εκτέλεσης και του χρηματικού κόστους όπως προκύπτει από την χρήση των πόρων. Στα πλαίσια αυτής της διδακτορικής διατριβής, προσεγγίζουμε την ελαστικότητα με ένα ενοποιημένο μοντέλο που περιλαμβάνει και τις δύο ειδών ελαστικότητες που υπάρχουν στα υπολογιστικά νέφη. Αυτή η ενοποιημένη προσέγγιση της ελαστικότητας είναι πολύ σημαντική στην σχεδίαση συστημάτων που ρυθμίζονται αυτόματα (auto-tuned) σε περιβάλλοντα νέφους. Αρχικά δείχνουμε ότι η οικο-ελαστικότητα υπάρχει σε αρκετούς τύπους υπολογισμού που εμφανίζονται συχνά στην πράξη και ότι μπορεί να βρεθεί χρησιμοποιώντας έναν απλό, αλλά ταυτόχρονα αποδοτικό και επεκτάσιμο αλγόριθμο. ́Επειτα, παρουσιάζουμε δύο εφαρμογές που χρησιμοποιούν αλγόριθμους οι οποίοι χρησιμοποιούν το ενοποιημένο μοντέλο ελαστικότητας που προτείνουμε για να μπορούν να προσαρμόζουν δυναμικά το σύστημα στα ερωτήματα της εισόδου: 1) την ελαστική επεξεργασία αναλυτικών ερωτημάτων τα οποία έχουν πλάνα εκτέλεσης με μορφή δέντρων με σκοπό την μεγιστοποίηση του κέρδους και 2) την αυτόματη διαχείριση χρήσιμων ευρετηρίων λαμβάνοντας υπόψη το χρηματικό κόστος των υπολογιστικών και των αποθηκευτικών πόρων. Τέλος, παρουσιάζουμε το EXAREME, ένα σύστημα για την ελαστική επεξεργασία μεγάλου όγκου δεδομένων στο νέφος το οποίο έχει χρησιμοποιηθεί και επεκταθεί σε αυτήν την δουλειά. Το σύστημα προσφέρει δηλωτικές γλώσσες που βασίζονται στην SQL επεκταμένη με συναρτήσεις οι οποίες μπορεί να οριστούν από χρήστες (User-Defined Functions, UDFs). Επιπλέον, το συντακτικό της γλώσσας έχει επεκταθεί με στοιχεία παραλληλισμού. Το EXAREME έχει σχεδιαστεί για να εκμεταλλεύεται τις ελαστικότητες που προσφέρουν τα νέφη, δεσμεύοντας και αποδεσμεύοντας υπολογιστικούς πόρους δυναμικά με σκοπό την προσαρμογή στα ερωτήματα.