Design automation of approximate machine learning circuits for ultra resource constrained environments

Abstract

The continuous proliferation of connected devices and embedded intelligence has shifted computing from centralized data centers toward distributed, edge-centric processing. Edge computing reduces latency and preserves privacy by bringing analytics closer to the data source. In this spectrum, many IoT devices, microcontrollers, sensors, and other low-power nodes, operate under tight energy and cost constraints, giving rise to TinyML and extreme-edge computing. At the farthest end lie ultra-constrained devices that can sometimes run even without batteries, relying solely on ambient energy harvesting, and requiring extremely low manufacturing cost per unit. Printed and Flexible Electronics (PFEs) have emerged as a promising technology for such applications. By leveraging additive manufacturing, PFEs can produce ultra-low-cost, mechanically flexible, conformal, and even disposable circuits. They can be printed on substrates like paper, textiles, or polymers using non-toxic materials, enabling form factors that rigid silicon chips cannot achieve. These properties make PFEs attractive for smart packaging, wearable health patches, and environmental sensors, domains where conventional silicon devices struggle due to rigidity or cost constraints. However, PFEs face severe technological challenges that hinder their use in intelligent systems. Printed transistors have large feature sizes and high variability, resulting in very low integration density and slow switching speeds. Their immature fabrication processes also lead to high static power consumption and limited reliability. In particular, printed devices struggle to incorporate dense memory or on-chip storage. Even very simple digital circuits in printed form typically require extremely high area and power. As a result, existing printed ML accelerators are restricted to only the most basic classifiers, highlighting a significant gap between the potential of pervasive intelligence and the capabilities of current hardware. Early state-of-the-art efforts have attempted to bridge this gap through bespoke architectures, fully customized printed ML circuits where parameters are hardwired to minimize overhead. While these designs significantly improve efficiency, they remain limited by their rigidity and by the absence of systematic optimization methodologies. Moreover, the hardware overhead of peripheral components such as analog-to-digital converters (ADCs) becomes dominant as the computational core shrinks, revealing a new frontier in printed ML co-design. This dissertation addresses these challenges by applying approximate-computing (AC) principles across the hardware–software stack to make ML inference feasible under extreme constraints. We introduce a cross-layer co-design methodology that minimizes hardware requirements while preserving accuracy. Post-training approximations reduce model complexity through coefficient approximation, netlist pruning, and voltage scaling, achieving up to six-fold area and power reductions versus exact designs. Building on this, a hardware-aware training framework guides model retraining toward weights that are friendly to printed hardware, yielding battery-operable printed neural networks. We also propose on-sensor solutions, including ADC-aware decision trees and co-designed converters, that enable self-powered ML inference in printed systems. Beyond model-specific circuits, the dissertation extends the AC methodology to programmable domain-specific architectures. A mixed-precision RISC-V accelerator is proposed, featuring lightweight instruction-set extensions and multi-pumped SIMD units tailored for deep-learning inference at the extreme edge. This design achieves significant energy savings without sacrificing programmability, demonstrating how AC principles can scale from bespoke printed circuits to general-purpose embedded processors. Collectively, these contributions show that by orchestrating approximations at the algorithmic, architectural, and circuit levels, we can bridge the gap between ML workloads and ultra-low-cost hardware. In our printed implementations, the proposed methods reduce area and power by more than an order of magnitude while keeping accuracy loss below 1%. This paves the way for sustainable, on-device intelligence in disposable or biocompatible systems powered by energy harvesting.

Η συνεχής εξάπλωση των συνδεδεμένων συσκευών και της ενσωματωμένης νοημοσύνης έχει μετατοπίσει σταδιακά την υπολογιστική επεξεργασία από τα κεντρικοποιημένα κέντρα δεδομένων προς κατανεμημένα συστήματα στην άκρη του δικτύου. Το Edge Computing μειώνει την καθυστέρηση και ενισχύει την ιδιωτικότητα, φέρνοντας την επεξεργασία των δεδομένων πιο κοντά στην πηγή τους. Σε αυτό το πλαίσιο, πολλές συσκευές IoT, μικροελεγκτές, αισθητήρες και άλλοι κόμβοι χαμηλής κατανάλωσης λειτουργούν υπό αυστηρούς περιορισμούς ενέργειας, κόστους και διαθέσιμων πόρων, οδηγώντας στα πεδία του TinyML και του extreme-edge computing. Στο πιο περιορισμένο άκρο αυτού του φάσματος βρίσκονται συσκευές που ενδέχεται να λει τουργούν ακόμη και χωρίς μπαταρίες, βασιζόμενες αποκλειστικά σε energy harvesting, ενώ παράλληλα απαιτούν εξαιρετικά χαμηλό κόστος κατασκευής ανά μονάδα. Τα Εκτυπώσιμα και Εύκαμπτα Ηλεκτρονικά (Printed and Flexible Electronics– PFEs) έχουν αναδειχθεί ως μια υποσχόμενη τεχνολογία για τέτοιες εφαρμογές. Μέσω τεχνικών εκτύπωσης και προσθετικής κατασκευής, μπορούν να παραχθούν κυκλώματα εξαιρετικά χαμηλού κόστους, μηχανικά εύκαμπτα, προσαρμόσιμα σε καμπύλες επιφάνειες και, σε αρκετές περιπτώσεις, κατάλληλα για χρήση μίας φοράς. Μπορούν να κατασκευαστούν πάνω σε υποστρώματα όπως χαρτί ή πολυμερή, επιτρέποντας μορφές και εφαρμογές που δεν είναι εύκολο να επιτευχθούν με συμβατικά άκαμπτα κυκλώματα πυριτίου. Ωστόσο, τα PFEs αντιμετωπίζουν σοβαρούς τεχνολογικούς περιορισμούς, οι οποίοι δυσχεραίνουν τη χρήση τους σε ευφυή συστήματα. Τα εκτυπώσιμα τρανζίστορ χαρακτηρίζονται από μεγάλα γεωμετρικά μεγέθη και υψηλή μεταβλητότητα, με αποτέλεσμα χαμηλή πυκνότητα ολοκλήρωσης και περιορισμένες ταχύτητες μεταγωγής. Ως αποτέλεσμα, ακόμη και σχετικά απλά ψηφιακά κυκλώματα απαιτούν δυσανάλογα μεγάλη επιφάνεια και κατανάλωση ισχύος, περιορίζοντας τους υπάρχοντες εκτυπώσιμους επιταχυντές ML σε απλούς ταξινομητές. Οι πρώτες ερευνητικές προσπάθειες επιχείρησαν να αντιμετωπίσουν αυτό το κενό μέσω bespoke αρχιτεκτονικών, δηλαδή πλήρως προσαρμοσμένων εκτυπώσιμων κυκλωμάτων ML, στα οποία οι παράμετροι του μοντέλου ενσωματώνονται απευθείας στο υλικό. Παρότι οι σχεδιάσεις αυτές βελτιώνουν σημαντικά την αποδοτικότητα, παραμένουν περιορισμένες από τηv απουσία συστηματικών μεθοδολογιών βελτιστοποίησης. Επιπλέον, καθώς το υπολογιστικό μέρος του κυκλώματος συρρικνώνεται, το κόστος περιφερειακών μονάδων, όπως οι μετατροπείς αναλογικού σε ψηφιακό σήμα (ADCs), γίνεται κυρίαρχο, αναδεικνύοντας μια νέα κατεύθυνση για τη συν-σχεδίαση εκτυπώσιμων συστημάτων ML. Η παρούσα διδακτορική διατριβή αντιμετωπίζει αυτές τις προκλήσεις εφαρμόζοντας αρχές Approximate Computing σε διαφορετικά επίπεδα της στοίβας υλικού και λογισμικού, με στόχο να καταστήσει εφικτό το ML inference υπό ακραίους περιορισμούς. Προτείνεται μια μεθοδολογία cross-layer co-design, η οποία ελαχιστοποιεί τις απαιτήσεις σε υλικό, διατηρώντας παράλληλα την ακρίβεια ταξινόμησης. Post-training προσεγγίσεις, όπως το coefficient approximation, το netlist pruning και η κλιμάκωση της τάσης λειτουργίας, μειώνουν την πολυπλοκότητα των σχεδιάσεων και επιτυγχάνουν έως και εξαπλάσια μείωση επιφάνειας και κατανάλωσης ισχύος σε σχέση με ακριβείς υλοποιήσεις. Στη συνέχεια, ένα πλαίσιο hardware-aware training καθοδηγεί την επανεκπαίδευση των μοντέλων προς βάρη που είναι περισσότερο φιλικά προς την εκτυπώσιμη υλοποίηση, επιτρέποντας την ανάπτυξη εκτυπώσιμων νευρωνικών δικτύων που μπορούν να λειτουργήσουν με μπαταρία. Η διατριβή προτείνει επίσης λύσεις υπολογισμού πάνω ή κοντά στον αισθητήρα, όπως δέντρα απόφασης με επίγνωση του ADC και συν-σχεδιασμένους μετατροπείς, οι οποίοι επιτρέπουν ML inference σε αυτοτροφοδοτούμενα εκτυπώσιμα συστήματα. Πέρα από τα κυκλώματα που είναι πλήρως εξειδικευμένα για ένα συγκεκριμένο μοντέλο, η διατριβή επεκτείνει τημεθοδολογία Approximate Computing και σε προγραμματιζόμενες αρχιτεκτονικές ειδικού σκοπού. Συγκεκριμένα, προτείνεται ένας mixed-precision RISC-V επιταχυντής, ο οποίος διαθέτει ελαφριές επεκτάσεις του συνόλου εντολών και multi-pumped SIMD μονάδες, προσαρμοσμένες για deep-learning inference στο extreme edge. Η σχεδίαση αυτή επιτυγχάνει σημαντική εξοικονόμηση ενέργειας, δείχνοντας πώς οι αρχές του Approximate Computing μπορούν να επεκταθούν από bespoke εκτυπώσιμα κυκλώματα σε προγραμματιζόμενους ενσωματωμένους επεξεργαστές. Συνολικά, οι συνεισφορές της διατριβής δείχνουν ότι ο συντονισμός των προσεγγίσεων σε αλγοριθμικό, αρχιτεκτονικό και κυκλωματικό επίπεδο μπορεί να γεφυρώσει το χάσμα μεταξύ των απαιτήσεων των εφαρμογών ML και των δυνατοτήτων του εξαιρετικά χαμηλού κόστους υλικού. Στις εκτυπώσιμες υλοποιήσεις, οι προτεινόμενες μέθοδοι μειώνουν την επιφάνεια και την κατανάλωση ισχύος κατά περισσότερο από μία τάξη μεγέθους, διατηρώντας την απώλεια ακρίβειας κάτω από 1%. Με αυτόν τον τρόπο, η διατριβή συμβάλλει στην ανάπτυξη βιώσιμης νοημοσύνης πάνω στη συσκευή για συστήματα μίας χρήσης, βιοσυμβατά ή τροφοδοτούμενα μέσω energy harvesting.