Design methodologies for sustainable hardware acceleration at the edge

Abstract

The rapid rise of Internet of Things (IoT) devices, along with the proliferation of applications and services requiring low latency and enhanced privacy, has led to increased demand for computational power closer to where data originates, at the edge of the network. This trend has given rise to the edge computing paradigm, where local computational and storage capabilities on devices are utilized for inference of tasks that are unsuitable for execution at centralized data centers. However, the heterogeneity of computing devices and their limited computational capabilities pose significant challenges in meeting the performance, power, and privacy requirements of diverse tasks executed within this ecosystem. Specialized hardware devices, such as ASICs, GPUs, and FPGAs, are ideal candidates for accelerating time-critical applications due to their custom architectures (ASICs, FPGAs), high parallelism (GPUs), and rapid development cycles (GPUs, FPGAs). Furthermore, the increasing availability of System-on-Chip (SoC) devices facilitates the deployment of such specialized accelerators in the resource- and power-constrained environments typically found at the network edge, while providing flexible design and deployment solutions. However, the growing demand for "green" sustainable computing often conflicts with the increasing computational and storage demands characteristic of edge computing. Sustainable computing requires minimal resource usage, reduced power budgets, and a low carbon footprint, while edge computing often demands high computational intensity. Exploiting the capabilities of specialized hardware devices and proposing effective design and deployment methodologies to satisfy both the strict constraints of edge execution and sustainability goals is the central objective of this dissertation. The proposed methodologies aim to cover the entire spectrum of the edge computing ecosystem—from extremely resource-constrained environments up to Mobile Edge Computing (MEC) servers deployed close to Radio Access Network (RAN) equipment, providing cloud-like capabilities to mobile users requiring time-sensitive processing. The dissertation follows an approach that begins from extremely constrained environments and progresses toward edge servers—often referred to as fog computing—proposing design methodologies across the entire stack. Specifically, design methodologies are introduced for ASICs fabricated using printed electronics, leveraging the unique features of these technologies to automate the creation of area- and power-efficient Multi-Layer Perceptron (MLP) classifiers. Additionally, methodologies for designing FPGA accelerators are proposed for both the TinyML domain and more resource-abundant environments. In the case of TinyML, a resource-utilization estimation methodology is proposed to enable the rapid and efficient design-space exploration of FPGA-based MLP accelerators designed through widely used acceleration workflows. For environments supporting more extensive resources, the dissertation presents a methodology to consolidate multiple FPGA accelerators onto a single platform, ensuring reliable execution and efficient sharing of FPGA on-chip resources. Furthermore, a Mobile Edge Computing acceleration architecture combined with an Optical Circuit Switch (OCS) is presented, focusing on the deployment of multiple accelerated applications onto MEC heterogeneous resources. Emphasis is given to performance, energy efficiency, isolated execution, and the associated control schemes developed for managing the underlying MEC infrastructure.

Η ραγδαία αύξηση του αριθμού των συσκευών που ανήκουν στο Διαδίκτυο των Πραγμάτων, σε συνδυασμό με την εμφάνιση εφαρμογών και υπηρεσιών με απαιτήσεις για χαμηλό χρόνο απόκρισης, προστασία της ιδιωτικότητας κατά την εκτέλεση και ασφάλεια κατά τη μεταφορά δεδομένων, έχει οδηγήσει σε σημαντική αύξηση της ζήτησης για υπολογιστική ισχύ κοντά στα σημεία παραγωγής των δεδομένων, δηλαδή στα άκρα του δικτύου. Η ανάγκη αυτή έχει οδηγήσει στην υιοθέτηση του παραδείγματος της υπολογιστικής άκρης, όπου οι διαθέσιμοι υπολογιστικοί και αποθηκευτικοί πόροι αξιοποιούνται τοπικά για την αποδοτική εκτέλεση εφαρμογών και την προσωρινή ή μόνιμη αποθήκευση δεδομένων, ιδιαίτερα όταν οι απαιτήσεις δεν είναι κατάλληλες για εξυπηρέτηση από απομακρυσμένα κέντρα δεδομένων. Ωστόσο, οι ανομοιογενείς δυνατότητες μεταξύ των συσκευών εισάγει σημαντικές προκλήσεις στην εκτέλεση εφαρμογών με διαφορετικά προφίλ απαιτήσεων όσον αφορά το χρόνο απόκρισης, την κατανάλωση ενέργειας και την ανάγκη για ιδιωτικότητα. Εξειδικευμένες πλατφόρμες υλικού, όπως τα ASICs, οι GPUs και τα FPGAs, αναδεικνύονται ως αποτελεσματικές λύσεις για την επιτάχυνση απαιτητικών εφαρμογών, λόγω της δυνατότητάς τους να προσφέρουν εξειδικευμένες σχεδιάσεις, υψηλό βαθμό παραλληλισμού, και ταχύ κύκλο ανάπτυξης. Επιπλέον, η ενσωμάτωση ετερογενών υπολογιστικών μονάδων σε ολοκληρωμένα κυκλώματα διευκολύνει τη συνέργεια μεταξύ επιταχυντών υλικού και συμβατικών επεξεργαστών, καθιστώντας εφικτή την κατασκευή ευέλικτων συστημάτων, ακόμη και σε περιβάλλοντα με αυστηρούς περιορισμούς πόρων. Ταυτόχρονα, η αυξανόμενη ανάγκη για βιώσιμες και περιβαλλοντικά φιλικές υπολογιστικές λύσεις (πράσινη υπολογιστική) έρχεται σε αντίθεση με τις διαρκώς αυξανόμενες απαιτήσεις σε υπολογιστική ισχύ και αποθήκευση που χαρακτηρίζουν τις σύγχρονες εφαρμογές. Η επίτευξη βιώσιμων στόχων απαιτεί τον περιορισμό της κατανάλωσης ενέργειας, τη χρήση ενεργειακά αποδοτικών συσκευών και τη μείωση πρόσθετων υπολογιστικών πόρων γεγονός που καθιστά κρίσιμη την εξισορρόπηση μεταξύ απόδοσης και περιβαλλοντικού αποτυπώματος. Η παρούσα διατριβή εστιάζει στην αξιοποίηση των δυνατοτήτων των εξειδικευμένων υπολογιστικών πλατφορμών και την ανάπτυξη μεθοδολογιών σχεδίασης και υλοποίησης που ανταποκρίνονται τόσο στις αυστηρές απαιτήσεις του edge computing όσο και στους στόχους της πράσινης υπολογιστικής. Συγκεκριμένα, προτείνονται μεθοδολογίες για τη σχεδίαση συστημάτων που κάνουν χρήση επιταχυντών υλικού και καλύπτουν ολόκληρο το φάσμα του edge computing — από εξαιρετικά περιορισμένα περιβάλλοντα έως υποδομές Mobile Edge Computing, που βρίσκονται κοντά στο δίκτυο πρόσβασης. Πιο αναλυτικά, προτείνονται μεθοδολογίες για το σχεδιασμό ολοκληρωμένων κυκλωμάτων ASIC μέσω τεχνολογιών εκτύπωσης, οι οποίες αξιοποιούνται για την αυτοματοποιημένη παραγωγή νευρωνικών δικτύων μικρού μεγέθους και χαμηλής ενεργειακής κατανάλωσης, για εφαρμογές ταξινόμησης. Παράλληλα, αναπτύσσονται στρατηγικές σχεδίασης επιταχυντών σε FPGA τόσο για το πεδίο του TinyML, όπου οι περιορισμοί είναι εξαιρετικά αυστηροί, όσο και για λιγότερο περιορισμένα περιβάλλοντα. Ειδικά για την πρώτη περίπτωση, παρουσιάζεται μια μεθοδολογία ταχείας εκτίμησης των απαιτούμενων πόρων για τη σχεδίαση επιταχυντών τεχνητών νευρωνικών δικτύων, διευκολύνοντας τη διερεύνηση του χώρου παραμέτρων κατά τη διαδικασία υλοποίησης. Για πλατφόρμες με μεγαλύτερη διαθεσιμότητα πόρων, η διατριβή προτείνει μια μεθοδολογία σχεδίασης σε περιβάλλοντα με πολλαπλούς επιταχυντές FPGA, διασφαλίζοντας τόσο την αξιόπιστη εκτέλεση τους όσο και τη βέλτιστη αξιοποίηση των κοινών πόρων της πλατφόρμας. Τέλος, παρουσιάζεται μια αρχιτεκτονική επιτάχυνσης για συστήματα Mobile Edge Computing. Η αρχιτεκτονική αυτή επιτρέπει την ταυτόχρονη εκτέλεση πολλαπλών επιταχυντών υλικού σε ετερογενείς πόρους, καλύπτοντας διαφορετικές απαιτήσεις απόδοσης, ενεργειακής αποδοτικότητας και ασφάλειας.