Model-assisted optimization of linear algebra routines on multi-GPU computing systems

Abstract

Dense linear algebra operations appear frequently in high-performance computing (HPC) applications, rendering their performance crucial to achieving optimal scalability. As many modern HPC clusters contain multi-GPU nodes, BLAS operations are frequently offloaded on GPUs, necessitating optimized libraries to ensure good performance. However, optimizing BLAS for multi-GPU introduces numerous challenges similar to distributed computing, like data decomposition, task scheduling, and communication across GPUs with distinct memory spaces. This complexity of multi-GPU makes BLAS optimization very complex, leading to sub-optimal performance or system-specific solutions with reduced portability. To address these issues, we suggest a model-based autotuning approach: we introduce several performance models for BLAS and integrate them into PARALiA, an end-to-end BLAS library. PARALiA uses model-driven insights to dynamically autotune BLAS execution, tailoring performance-critical parameters for each specific problem and system during runtime. This autotuning is coupled with an optimized task scheduler, leading to near-optimal data distribution and performance-aware resource utilization. PARALiA provides state-of-the-art performance and energy efficiency and incorporates the ability to adapt to heterogeneous systems and scenarios via model-based decisions. Finally, we focus on the GEMM kernel, extending PARALiA with a custom static scheduler that integrates model-driven algorithmic, communication, and autotuning optimizations (PARALiA-GEMMex), which delivers significantly superior performance compared to the state-of-the-art.

Οι πράξεις γραμμικής άλγεβρας εμφανίζονται συχνά σε εφαρμογές υψηλής απόδοσης (HPC), καθιστώντας την απόδοσή τους κρίσιμη για την επίτευξη βέλτιστης κλιμάκωσης. Καθώς πολλές σύγχρονες συστάδες HPC περιλαμβάνουν κόμβους με πολλαπλούς επεξεργαστές γραφικών (GPUs), οι πράξεις BLAS συχνά εκφορτώνονται σε GPUs, καθιστώντας απαραίτητη τη χρήση βελτιστοποιημένων βιβλιοθηκών για τη διασφάλιση της απόδοσης. Ωστόσο, η βελτιστοποίηση των BLAS σε πολλαπλές GPUs εισάγει πολλές προκλήσεις παρόμοιες με εκείνες του κατανεμημένου υπολογισμού, όπως την αποσύνθεση δεδομένων, την δρομολόγηση υποπροβλημάτων και την επικοινωνία μεταξύ GPU με διακριτές μνήμες. Αυτή η πολυπλοκότητα καθιστά την βελτιστοποίηση των BLAS πολύ περίπλοκη, οδηγώντας σε πτώση απόδοσης ή μεμονωμένες λύσεις που λειτουργούν μονο σε μερικά σύστήματα. Για να αντιμετωπίσουμε αυτά τα ζητήματα, προτείνουμε μια προσέγγιση αυτόματης βελτιστοποίησης με τη βοήθεια μοντελοποίησης: εισάγουμε διάφορα μοντέλα απόδοσης για τις BLAS και τα ενσωματώνουμε στο PARALiA, μια ολοκληρωμένη βιβλιοθήκη BLAS. Το PARALiA χρησιμοποιεί μοντέλα επίδοσης για την δυναμική αυτόματη βελτιστοποίηση της εκτέλεσης των BLAS, προσαρμόζοντας κρίσιμες παραμέτρους απόδοσης για κάθε συγκεκριμένο πρόβλημα και σύστημα κατά την εκτέλεση. Αυτή η αυτόματη βελτιστοποίηση συνδυάζεται με έναν δρομολογητή εργασιών, οδηγώντας σε αποδοτική κατανομή δεδομένων και απόδοση πόρων. Το PARALiA παρέχει κορυφαία απόδοση και ενεργειακή αποδοτικότητα και ενσωματώνει την ικανότητα προσαρμογής σε ετερογενή συστήματα και σενάρια μέσω αποφάσεων βασισμένων σε μοντέλα. Τέλος, εστιάζουμε στον πυρήνα GEMM, επεκτείνοντας το PARALiA με έναν προσαρμοσμένο στατικό δρομολογητή που ενσωματώνει νέες βελτιστοποιήσεις στον αλγόριθμο και την επικοινωνία της GEMM βασισμένες σε μοντέλα (PARALiA-GEMMex), ο οποίος παρέχει σημαντικά υψηλότερη απόδοση από τις προηγούμενες βιβλιοθήκες.