Cross-layer approximation techniques for synthesis and optimization of machine learning accelerators

Abstract

Machine learning has emerged as the pinnacle of modern technological progress, representing the forefront of state-of-the-art advancements, with its profound capacity to extract useful insights from real-world data, spanning various application domains. However, hardware deployment of ml algorithms on commodity hardware has become a challenging task, due to the increased demands for accuracy and performance. Domain-specific multiply and accumulate (mac)-based ml accelerators emerge as critical components, essential for alleviating the computational complexity of large ml models via parallelization of comprising mac operations. Still, we identify two main challenges with current ml deployment on accelerators. First, underlying circuitry suffers from runtime degradation phenomena, diminishing the reliability and potential performance of the application. Secondly, the massive parallelism causes elevated energy consumption, prohibiting the integration of ml algorithms on resource-constrained embedded systems. In this dissertation, we combat these challenges by utilizing cross-layer approximate computing (axc) principles. We propose automated approximation methodologies such that the energy efficiency of ml accelerators is improved, whilst their reliable operation is guaranteed. Our methodologies comply with given accuracy bounds, thus ensuring application quality, whilst targeting efficiency metrics via optimization methodologies. Specifically, we design aging- and variability-hardened arithmetic circuits for mac-based accelerators of improved performance, compared to the state-of-the-art. On the algorithmic level, we integrate compression methodologies in ml training and inference, such that the memory requirements and energy consumption of the deployed workloads are optimized. Overall, this dissertation promotes the automated application of approximate computing on several layers of ml accelerator design, achieving practical improvements on several important fronts, via coordinated and automated methodologies.

Η μηχανική μάθηση έχει εξελιχθεί στον ακρογωνιαίο λίθο των σύγχρονων τεχνολογικών εξελίξεων, με την εντυπωσιακή της ικανότητα να εξάγει χρήσιμες διαπιστώσεις από δεδομένα του πραγματικού κόσμου, επεκτεινόμενη σε διάφορους τομείς εφαρμογών. Η υλοποίηση αλγορίθμων μηχανικής μάθησης σε υλικό τυπικής χρήσης (π.χ., cpu) όμως γίνεται ένα δυσεπίλυτο πρόβλημα, λόγω των αυξημένων απαιτήσεων για ακρίβεια και απόδοση από πλευράς των χρηστών. Οι επιταχυντές μηχανικής μάθησης ειδικού σκοπού, βασισμένοι στην πράξη πολλαπλασιασμού-συσσώρευσης (mac), αναδύονται ως καίριες πλατφόρμες, απαραίτητες για την ανακούφιση της υπολογιστικής πολυπλοκότητας μεγάλων μοντέλων μηχανικής μάθησης μέσω της παραλληλίας των εμπλεκόμενων πράξεων. Ωστόσο, εντοπίζουμε δύο κύριες προκλήσεις στην τρέχουσα υλοποίηση της μηχανικής μάθησης σε επιταχυντές. Πρώτον, το υποκείμενο κύκλωμα επιβαρύνεται από φαινόμενα εγγενούς υποβάθμισης, μειώνοντας την αξιοπιστία και τη δυνητική απόδοση της εφαρμογής. Δεύτερον, ο μαζικός παραλληλισμός προκαλεί αυξημένη κατανάλωση ενέργειας, αποκλείοντας (ή δυσκολεύοντας) την ένταξη αλγορίθμων μηχανικής μάθησης σε ενσωματωμένα συστήματα με περιορισμένους πόρους. Σε αυτή τη διατριβή, αντιμετωπίζουμε αυτές τις προκλήσεις χρησιμοποιώντας αρχές προσεγγιστικού υπολογισμού σε διαφορετικά επίπεδα της υπολογιστικής βαθμίδας. Προτείνουμε αυτοματοποιημένες μεθοδολογίες προσέγγισης, έτσι ώστε η ενεργειακή απόδοση των επιταχυντών να βελτιώνεται, ενώ η αξιόπιστη λειτουργία τους παραμένει εξασφαλισμένη. Οι μεθοδολογίες μας συμμορφώνονται με δεδομένα όρια ακρίβειας, εξασφαλίζοντας έτσι την ποιότητα της εφαρμογής, ενώ στοχεύουν στη βελτίωση συγκεκριμένων μετρικών (π.χ., μείωση καθυστέρησης) μέσω μεθοδολογιών βελτιστοποίησης. Ειδικότερα, σχεδιάζουμε κυκλώματα ανθεκτικά σε φαινόμενα γήρανσης και κατασκευαστικές αποκλίσεις, στοχευμένα για επιταχυντές βασισμένους σε κυκλώματα mac. Τα παραγόμενα κυκλώματα εμφανίζουν βελτιωμένη απόδοση σε σύγκριση με την τεχνολογία αιχμής. Στο αλγοριθμικό επίπεδο, ενσωματώνουμε μεθοδολογίες συμπίεσης στην εκπαίδευση και την εκτέλεση αλγορίθμων μηχανικής μάθησης, έτσι ώστε οι απαιτήσεις μνήμης και κατανάλωσης ενέργειας των υλοποιημένων αλγορίθμων να βελτιστοποιούνται. Συνολικά, αυτή η διατριβή προωθεί την αυτόματη εφαρμογή του προσεγγιστικού υπολογισμού σε διάφορα επίπεδα του σχεδιασμού των επιταχυντών υλικού μηχανικής μάθησης, επιτυγχάνοντας πολλαπλές σημαντικές βελτιώσεις μέσω συντονισμένων και αυτοματοποιημένων μεθοδολογιών.