Integrated circuits design automation with reinforcement learning

Abstract

The increasing complexity and scale of modern integrated circuits demand new methodologies that can optimize both performance and design effort in Electronic Design Automation (EDA). Traditional approaches in physical synthesis often rely on hand-crafted heuristics and fixed optimization flows, which can be suboptimal and difficult to generalize across design contexts. Recent advances in machine learning and particularly in Reinforcement Learning (RL), offer a powerful alternative. RL enables adaptive decision-making through continuous learning from feedback, making it an ideal candidate for navigating the vast and discrete optimization spaces characteristic of EDA problems. This thesis explores the integration of RL into two critical areas of digital design: timing closure in physical design and approximate datapath synthesis.The first part of this thesis focuses on timing closure, a core challenge in the physical design flow. We propose a novel optimization methodology that combines a Lagrangian Relaxation (LR)-based cost modeling framework with a Multi-Armed Bandit (MAB) algorithm to guide the selection of timing optimization heuristics. This hybrid approach enables the autonomous execution of a rich set of optimization techniques, including gate sizing, flip-flop resizing, buffer insertion, pin swapping, gate merging/splitting, and the application of useful clock skew. Each heuristic is dynamically selected in a context-aware manner, based on its historical reward in terms of timing improvement versus computational cost. The result is a fully adaptive and self-tuning optimization loop that eliminates the need for manual flow tuning.The second part of the thesis investigates the use of RL for the design of application-specific approximate arithmetic units, with a focus on parallel prefix adders. Approximate computing is increasingly relevant for domains where energy efficiency is prioritized over full numerical accuracy. We introduce an RL framework that co-optimizes hardware efficiency and application-level performance. An RL agent learns to explore the design space of approximate adders by receiving feedback from both hardware synthesis metrics and application error behavior. In contrast to previous approaches that rely on predefined architectural templates, our method employs a novel enumerative synthesis technique that generates all structurally valid solutions satisfying given constraints. This allows the discovery of Pareto-optimal designs with diverse trade-offs in delay, area, power, and accuracy across a variety of real-world applications.In summary, this thesis demonstrates the power of Reinforcement Learning and statistical decision-making to redefine traditional EDA methodologies. By intelligently orchestrating optimization decisions in both physical design and datapath synthesis, the proposed methods achieve state-of-the-art results while significantly reducing manual design effort. These contributions pave the way for more autonomous, efficient, and intelligent design tools in future VLSI systems.

Η συνεχώς αυξανόμενη πολυπλοκότητα και το μέγεθος των σύγχρονων ολοκληρωμένων κυκλωμάτων απαιτούν νέες μεθοδολογίες οι οποίες θα βελτιστοποιούν την επίδοση των μεθόδων Αυτοματοποιημένης Σχεδίασης Υλικού (Electronic Design Automation, EDA). Οι παραδοσιακές μέθοδοι φυσικής σύνθεσης βασίζονται συχνά σε ευρετικές προσεγγίσεις και σε σταθερές ροές βελτιστοποίησης, οι οποίες είναι εν δυνάμει μη βέλτιστες, και γενικεύονται δύσκολα σε διαφορετικά κυκλώματα. Η πρόσφατη πρόοδος στον τομέα της Μηχανικής Μάθησης, και συγκεκριμένα της Ενισχυτικής Μάθησης (Reinforcement Learning, RL), προσφέρει μια ισχυρή εναλλακτική επιλογή. Η ενισχυτική μάθηση επιτρέπει τη λήψη προσαρμοσμένων αποφάσεων μέσω συνεχούς ανάδρασης, καθιστώντας την ιδανική για την πλοήγηση στους τεράστιους διακριτούς χώρους βελτιστοποίησης που χαρακτηρίζουν τα προβλήματα στο χώρο του EDA. Αυτή η διατριβή εξερευνεί την ενσωμάτωση της ενισχυτικής μάθησης σε δύο κρίσιμα πεδία της ψηφιακής σχεδίασης: στην ικανοποίηση περιορισμών χρονισμού στη φυσική σχεδίαση, και στη σύνθεση προσεγγιστικών αριθμητικών κυκλωμάτων. Το πρώτο μέρος της διατριβής εστιάζει στο κλείσιμο χρονισμού (ικανοποίηση περιορισμών χρονισμού), μια κεντρική πρόκληση στη φυσική σχεδίαση. Προτείνουμε μια καινοτόμη μεθοδολογία βελτιστοποίησης η οποία συνδυάζει ένα πλαίσιο μοντελοποίησης κόστους βασισμένο στη μέθοδο Lagrangian Relaxation (LR) με έναν αλγόριθμο Multi-Armed Bandit (MAB), ο οποίος καθοδηγεί τη επιλογή των ευρετικών μεθόδων βελτιστοποίησης χρονισμού που θα εφαρμοστούν. Αυτή η υβριδική προσέγγιση επιτρέπει την αυτόνομη εκτέλεση μιας εκτενούς συλλογής μεθόδων βελτιστοποίησης, οι οποίες περιλαμβάνουν την επιλογή μεγέθους πυλών και καταχωρητών, την προσθήκη buffer, την εναλλαγή συνδέσεων στην είσοδο μιας πύλης, την συγχώνευση ή τον διαχωρισμό πυλών, και την ανάθεση χρόνου άφιξης του σήματος ρολογιού. Η κάθε ευρετική μέθοδος επιλέγεται δυναμικά, λαμβάνοντας υπόψη το πλαίσιο στο οποίο θα εφαρμοστεί, με βάση το ιστορικό των επιβραβεύσεων που έλαβε ως προς την βελτίωση που προκάλεσε στον χρονισμό του κυκλώματος, σε σχέση με το υπολογιστικό κόστος. Το αποτέλεσμα είναι μία πλήρως προσαρμοστική και αυτορυθμιζόμενη ροή βελτιστοποίησης χωρίς ανάγκη για χειροκίνητο συντονισμό.Το δεύτερο μέρος της διατριβής διερευνά τη χρήση της ενισχυτικής μάθησης για το σχεδιασμό προσεγγιστικών αριθμητικών κυκλωμάτων στοχευμένα σε συγκεκριμένες εφαρμογές, με έμφαση στους αθροιστές παράλληλου προθέματος. Η προσεγγιστική αριθμητική γίνεται ολοένα και πιο χρήσιμη σε τομείς όπου η ενεργειακή απόδοση έχει προτεραιότητα έναντι της πλήρους αριθμητικής ακρίβειας. Προτείνουμε μια μέθοδο ενισχυτικής μάθησης η οποία βελτιστοποιεί ταυτόχρονα την αποδοτικότητα του κυκλώματος και την αριθμητική επίδοση σε επίπεδο εφαρμογής. Το σύστημα ενισχυτικής μάθησης εξερευνά τον χώρο λύσεων των προσεγγιστικών αθροιστών λαμβάνοντας ανατροφοδότηση τόσο από μετρικές σύνθεσης υλικού όσο και από τη συμπεριφορά ως προς την αριθμητική ακρίβεια στην εφαρμογή. Σε αντίθεση με προηγούμενες δημοσιεύσεις που βασίζονται σε προκαθορισμένες αρχιτεκτονικές, η μέθοδός μας χρησιμοποιεί μια καινοτόμο τεχνική που παράγει όλες τις έγκυρες λύσεις που ικανοποιούν συγκεκριμένους περιορισμούς. Αυτό επιτρέπει την εξερεύνηση βέλτιστων αρχιτεκτονικών με διάφορα χαρακτηριστικά καθυστέρησης, εμβαδού, ισχύος και ακρίβειας σε μια ποικιλία πραγματικών εφαρμογών. Συνοψίζοντας, η παρούσα διατριβή αναδεικνύει την αποτελεσματικότητα της ενισχυτικής μάθησης και της στατιστικής λήψης αποφάσεων για τον επαναπροσδιορισμό των παραδοσιακών μεθοδολογιών EDA. Με την έξυπνα συντονισμένη λήψη αποφάσεων βελτιστοποίησης τόσο στο φυσικό σχεδιασμό, όσο και στη σύνθεση αριθμητικών κυκλωμάτων, οι προτεινόμενες μέθοδοι επιτυγχάνουν ανταγωνιστικά αποτελέσματα, μειώνοντας ταυτόχρονα σημαντικά τον χρόνο χειροκίνητου σχεδιασμού. Αυτές οι συνεισφορές ανοίγουν το δρόμο για πιο αυτόνομα, αποδοτικά και έξυπνα εργαλεία σχεδιασμού σε μελλοντικά συστήματα VLSI.