Photonic AI accelerators and optical memory architectures

Abstract

The rapid growth of artificial intelligence (AI) and deep learning (DL) workloads has exposed fundamental limitations in conventional electronic computing platforms in terms of computational throughput, energy efficiency, and memory bandwidth. Photonic computing offers a promising alternative by exploiting the inherent parallelism and high bandwidth of light. This dissertation presents a comprehensive investigation of photonic hardware building blocks for next-generation AI acceleration, addressing linear computation, nonlinear activation, and memory subsystems within a unified optical computing framework. First, novel photonic accelerator architectures are introduced for high-speed matrix and tensor multiplications, targeting the linear transformations required in neural network (NN) inference. The proposed architectures are based on optical arrayed waveguide grating routers (AWGRs) and exploit optical parallelism through wavelength-, space-, and time-division multiplexing. Experimental evaluation using benchmark NN models demonstrates accurate inference on the Fashion-MNIST and MNIST datasets, while achieving record-high computational performance of up to 262 tera operations per second (TOPS), representing a 24× improvement over prior state-of-the-art photonic implementations. System-level modeling further projects the scalability of the proposed architectures toward peta-scale computing, reaching up to 3.2 peta operations per second (POPS) with energy efficiency at the femtojoule-per-operation level. To enable fully hardware-based NN inference, the dissertation further investigates programmable optical nonlinear activation functions (NLAFs). Two integrated opto-electronic architectures are developed, supporting multiple reconfigurable nonlinear activation functions with tunable characteristics. Experimental results demonstrate the realization of both optical–electrical (O-E) and optical–electrical–optical (O-E-O) nonlinearities operating at symbol rates up to 10 GBd. When incorporated directly into NN training workflows, the proposed activation functions achieve classification accuracies exceeding 90%, highlighting their potential to replace conventional software-based nonlinearities. Finally, the dissertation addresses the critical challenge of memory bandwidth in optical computing systems through the design and experimental demonstration of all-optical random-access memory (RAM) and cache architectures. A fully addressable optical RAM bank composed of monolithically integrated indium phosphide (InP) optical flip-flops (FFs) is demonstrated, followed by its extension to the first fully optical cache memory incorporating an optical tag-comparison subsystem. Both memory architectures operate at multi-gigabit-per-second data rates with error-free performance, enabling high-speed data access without repeated optical–electrical–optical conversions. Overall, this dissertation demonstrates a cohesive set of photonic computing technologies that collectively enable high-performance, energy-efficient, and scalable AI acceleration. The presented architectures establish key building blocks toward fully integrated photonic computing systems for future artificial intelligence applications.

Η ραγδαία ανάπτυξη των εφαρμογών τεχνητής νοημοσύνης (ΤΝ) και βαθιάς μάθησης (ΒΜ) έχει αναδείξει θεμελιώδεις περιορισμούς στις συμβατικές ηλεκτρονικές πλατφόρμες επεξεργασίας, όσον αφορά την υπολογιστική ισχύ, την ενεργειακή αποδοτικότητα και το εύρος ζώνης μνήμης. Η φωτονική υπολογιστική αποτελεί μία πολλά υποσχόμενη εναλλακτική προσέγγιση, αξιοποιώντας τον εγγενή παραλληλισμό και το υψηλό εύρος ζώνης του φωτός. Η παρούσα διατριβή παρουσιάζει μία ολοκληρωμένη μελέτη φωτονικών δομικών στοιχείων για επιτάχυνση εφαρμογών ΤΝ επόμενης γενιάς, καλύπτοντας τις γραμμικές πράξεις, τις μη-γραμμικές συναρτήσεις ενεργοποίησης και τα υποσυστήματα μνήμης, στο πλαίσιο μιας ενιαίας αρχιτεκτονικής οπτικής υπολογιστικής. Αρχικά, παρουσιάζονται καινοτόμες αρχιτεκτονικές φωτονικών επιταχυντών για υψηλής ταχύτητας πολλαπλασιασμούς πινάκων και τανυστών, οι οποίοι αποτελούν βασικές γραμμικές πράξεις κατά την εκτέλεση συμπερασμάτων σε νευρωνικά δίκτυα (ΝΔ). Οι προτεινόμενες αρχιτεκτονικές βασίζονται σε οπτικούς δρομολογητές συστοιχίας κυματοδηγών και εκμεταλλεύονται τον οπτικό παραλληλισμό μέσω πολυπλεξίας μήκους κύματος, χώρου και χρόνου. Η πειραματική αξιολόγηση με τη χρήση προτύπων ΝΔ και συνόλων δεδομένων αναφοράς (Fashion-MNIST και MNIST) αποδεικνύει την εκτέλεση πράξεων με ακρίβεια, επιτυγχάνοντας υπολογιστική απόδοση έως και 262 tera πράξεις ανά δευτερόλεπτο (TOPS), η οποία αντιστοιχεί σε βελτίωση κατά 24 φορές σε σχέση με την προηγούμενη καλύτερη δουλειά στον τομέα των φωτονικών επιταχυντών. Επιπλέον, μέσω μοντελοποίησης σε επίπεδο συστήματος, καταδεικνύεται η δυνατότητα κλιμάκωσης των προτεινόμενων αρχιτεκτονικών σε υπολογιστική ισχύ επιπέδου peta-scale, φτάνοντας έως και 3.2 peta πράξεις ανά δευτερόλεπτο (POPS), με ενεργειακή αποδοτικότητα της τάξης των femtojoule ανά πράξη. Για την υλοποίηση φωτονικού υλικού με τη δυνατότητα εκτέλεσης ΝΔ, η διατριβή διερευνά επίσης προγραμματιζόμενες οπτικές μη-γραμμικές συναρτήσεις ενεργοποίησης. Αναπτύχθηκαν δύο ολοκληρωμένες οπτο-ηλεκτρονικές αρχιτεκτονικές, οι οποίες υποστηρίζουν πολλαπλές συναρτήσεις ενεργοποίησης με επαναδιαμορφώσιμα χαρακτηριστικά. Τα πειραματικά αποτελέσματα αποδεικνύουν την υλοποίηση τόσο οπτικο-ηλεκτρικών όσο και οπτικο-ηλεκτρο-οπτικών μη-γραμμικοτήτων, σε ρυθμούς εκτέλεσης έως 10 GBaud. Όταν ενσωματώνονται απευθείας στη διαδικασία εκπαίδευσης ΝΔ, οι προτεινόμενες συναρτήσεις ενεργοποίησης επιτυγχάνουν ακρίβειες κατηγοριοποίησης άνω του 90%, αναδεικνύοντας τη δυνατότητά τους να αντικαταστήσουν τις συμβατικές μη-γραμμικότητες. Τέλος, η διατριβή αντιμετωπίζει το κρίσιμο ζήτημα του εύρους ζώνης μνήμης στα οπτικά υπολογιστικά συστήματα, μέσω του σχεδιασμού και της πειραματικής υλοποίησης πλήρως οπτικών αρχιτεκτονικών μνήμης τυχαίας προσπέλασης (RAM) και κρυφής μνήμης (cache). Παρουσιάζεται μία πλήρως διευθυνσιοδοτούμενη οπτική μνήμη RAM, αποτελούμενη από μονολιθικά ολοκληρωμένα οπτικά flip-flops τεχνολογίας φωσφιδίου του ινδίου, καθώς και η επέκτασή της στην πρώτη πλήρως οπτική «κρυφή» μνήμη cache, η οποία ενσωματώνει οπτικό υποσύστημα σύγκρισης ετικέτας. Και οι δύο αρχιτεκτονικές μνήμης λειτουργούν σε ρυθμούς πολλών gigabit ανά δευτερόλεπτο με χαμηλό ρυθμό σφαλμάτων, επιτρέποντας υψηλής ταχύτητας πρόσβαση σε δεδομένα χωρίς επαναλαμβανόμενες μετατροπές οπτικού-ηλεκτρικού-οπτικού σήματος. Συνολικά, η παρούσα διατριβή παρουσιάζει ένα συνεκτικό σύνολο τεχνολογιών φωτονικής υπολογιστικής που επιτρέπουν υψηλής απόδοσης, ενεργειακά αποδοτική και κλιμακώσιμη επιτάχυνση εφαρμογών ΤΝ. Οι προτεινόμενες αρχιτεκτονικές αποτελούν βασικά δομικά στοιχεία για την υλοποίηση πλήρως ολοκληρωμένων φωτονικών υπολογιστικών συστημάτων για την εκτέλεση εφαρμογών ΤΝ.