Scheduling and performance characterization on heterogeneous computing systems

Abstract

The era of performance and power efficiency scaling through transistor shrinking and frequency scaling, characterized by Dennard’s law, has come to an end. Nevertheless, transistor doubling still withstanding, computing architectures have moved to the multicore and manycore era for improving performance through parallelism. However, this scaling of computing architectures exposed power consumption to be an important limiting factor and a key concern to sustain further growth. Heterogeneous computing architectures are the next evolution step and promise to improve the performance, power and cost efficiency of systems. They promise to do so through hardware specialization, by including components which exhibit different performance and power consumption characteristics. The potential for improved performance and power efficiency from heterogeneous architectures has rendered them ubiquitous in every aspect of computing, from mobile devices such as smartphones and tablets to large-scale computing installations such as supercomputers and datacenters. However, the efficient allocation of heterogeneous resources to match workload requirements with their capabilities, thus achieve their performance and power efficiency potential, is an open and challenging problem.In this dissertation we contribute novel solutions, techniques and insight on efficient resource allocation for heterogeneous systems. At the level of heterogeneous processor architectures, we present new techniques for managing instruction-based heterogeneity on state-of-the-art, shared-ISA architectures. These include binary adaptation techniques to enable software portability and thread migration across heterogeneous cores despite their binary incompatibilities. Following, we present a novel, heterogeneous-aware scheduler for maximizing the speedup of a workload through dynamic re-allocation of heterogeneous cores between co-executing programs. The evaluation of our methods on a hardware prototype platform shows that the dynamic scheduler we propose outperforms significantly previous state-of-the-art solutions. Moreover, we scope resource allocation for performance and energy efficiency on heterogeneous datacenter architectures. We present new methodologies and define iso-comparison metrics to fairly and accurately characterize the performance and energy efficiency across diverse, heterogeneous server platforms in the context of online data analytic services. We evaluate several heterogeneous types of servers, including standard servers, micro-servers and manycore accelerators. Our methods provide new insight by assessing resource allocations in heterogeneous datacenter architectures under the prism of meeting Quality-of-Service requirements of online data analytics while characterizing their energy efficiency. The application of our methodologies can effectively guide efficient heterogeneous resource allocation and provisioning in the datacenter.

Η εποχή της αύξησης των υπολογιστικών επιδόσεων και της ταυτόχρονης μείωσης της κατανάλωσης ισχύος μέσω της σμίκρυνσης των ημιαγωγών και της αύξησης της συ- χνότητας λειτουργίας (νόμος του Dennard) έχει παρέλθει. Παρ ́ όλ ́ αυτά, ο αριθμός των διαθέσιμων ημιαγωγών συνεχίζει να διπλασιάζεται. Αυτός είναι ο λόγος που η αρχιτεκτονική υπολογιστών έχει μετακινηθεί στη σχεδίαση πολυπύρηνων επεξεργαστών για την αύξηση των υπολογιστικών επιδόσεων μέσω της παράλληλης επεξεργασίας. ́Ομως, αυτή η κλιμάκωση στον αριθμό των επεξεργαστών έφερε στην επιφάνεια ένα νέο πρόβλημα, αυτό της κατανάλωσης ισχύος, που πλέον είναι σημαντικός περιοριστικός παράγοντας στην περαιτέρω κλιμάκωση των συστημάτων. Το επόμενη βήμα στην εξέλιξη της αρχιτεκτονικής συστημάτων είναι η σχεδίαση ετερογενών υπολογιστικών συστημάτων που μπορούν να βελτιώσουν σημαντικά τόσο τις υπολογιστικές επιδόσεις, την κατανάλωση ισχύος και τελικά την ενεργειακή αποδοτικότητα των συστημάτων. Λόγω αυτών των χαρακτηριστικών, τα ετερογενή συστήματα βρίσκονται σε κάθε έκφανση της υπολογιστικής, από φορητές συσκευές μέχρι εγκαταστάσεις υπερ-υπολογιστών και κέντρων δεδομένων. Για να επιτύχουν αυτά τα οφέλη, οι ετερογενείς αρχιτεκτονικές ακολουθούν την αρχή της εξειδίκευσης υλικού (hardware specialization), περιλαμβάνοντας συστήματα με διαφορετικές επιδόσεις και κατανάλωση ισχύος για την εκτέλεση προγραμμάτων. Ωστόσο, η ποσοτικοποίηση για τον χαρακτηρισμό της απόδοσης των ετερογενών πόρων και ο χρονοπρογραμματισμός τους για την αποδοτική εκτέλεση προγραμμάτων παραμένει ανοιχτό πρόβλημα.Σε αυτή τη διατριβή, συνεισφέρουμε νέες λύσεις, μεθόδους και τεχνικές στοχεύοντας στο πρόβλημα της απόδοσης και του χρονοπρογραμματισμού ετερογενών αρχιτεκτονικών. Συγκεκριμένα, στο επίπεδο των ετερογενών αρχιτεκτονικών επεξεργαστών, μελετούμε τις αρχιτεκτονικές διαμοιραζόμενου συνόλου εντολών (shared-ISA architectures) ως τεχνολογία αιχμής, και παρουσιάζουμε νέες τεχνικές για τη διαχείριση της ετερογένειας στο επίπεδο εντολών. Σ ́ αυτές περιλαμβάνονται τεχνικές μετεγγραφής δυαδικού κώδικα που επιτρέπουν τη φορητότητα δυαδικού κώδικα αλλά πιο σημαντικά επιτρέπουν τη μεταφορά νημάτων εκτέλεσης μεταξύ ετερογενών, επεξεργαστικών πυρήνων παρά τις ασυμβατότητες στο σύνολο εντολών. Επιπρόσθετα, παρουσιάζουμε μια καινούρια μέθοδο δυναμικού χρονοπρογραμματισμού που επιταχύνει την ταυτόχρονη εκτέλεση πολλαπλών προγραμμάτων, αντιλαμβάνοντας την επιτάχυνση λόγω της ετερογένειας για κάθε πρόγραμμα για να ανακατανείμει τους ετερογενείς πυρήνες μέσω της μεταφοράς νημάτων εκτέλεσης. Η αξιολόγηση των μεθόδων μας σε μια πλατφόρμα υλικού που υλοποιεί μια αρχιτεκτονική διαμοιραζόμενου συνόλου εντολών δείχνει ότι υπερτερούν σημαντικά σε επιδόσεις από τις υπάρχουσες προτεινόμενες τεχνικές. Επίσης, μελετούμε το πρόβλημα της διαχείρισης υπολογιστικών πόρων σε ετερογενείς αρχιτεκτονικές κέντρων δεδομένων. Παρουσιάζουμε μια νέα μεθοδολογία βασισμένη σε ισο-μετρικές που επιτρέπει τη σύγκριση ετερογενών εξυπηρετητών, όσον αφορά την υπολογιστική και ενεργειακή απόδοση τους, σε περιβάλλοντα εκτέλεσης online υπηρεσιών ανάλυσης δεδομένων. Μέσω αυτής της μεθοδολογίας, ποσοτικοποιούμε την απόδοση διάφορων τύπων εξυπηρετητών που περιλαμβάνουν τυπικούς εξυπηρετητές, μικρο-εξυπηρετητές και πλατφόρμες επιταχυντών πολλαπλών πυρήνων. Οι μέθοδοί μας εξετάζουν την ποσοτικοποίηση της ενεργειακής απόδοσης θέτοντας καθορισμένους στόχους στην αποδεκτή ποιότητα υπηρεσίας ως κοινό μέτρο της επίδοσης ετερογενών εξυπηρετητών. Η εφαρμογή της μεθοδολογίας μας μπορεί αποτελεσματικά να καθοδηγήσει τη διαμοιρασμό ετερογενών πόρων και τη προδιαγραφή ενεργειακά αποδοτικών κέντρων δεδομένων.