Neuromorphic photonic architectures for biomedical and conventional image processing

Abstract

This doctoral thesis focuses on the development of a high-speed, power-efficient integrated neuromorphic photonic platform for reservoir computing (RC) and the acceleration of convolutional neural networks (CNNs) regarding biomedical and conventional image classification tasks. Neuromorphic architectures consist of two collocated components: neurons, modeled as biologically inspired spiking neurons or simplified artificial neuron models, and synapses, interconnecting the nodes. RC architectures have random, fixed interconnections between their neurons to project input signals into higher-dimensional spaces, enabling classification through a simple readout layer. On the other hand, CNNs are a subset of deep artificial neural networks which specialize in image and signal classification, performing convolutions in one or more layers of their structure. Implementing these architectures in the photonic domain poses challenges. Regarding photonic CNNs, convolutions are performed through discrete analog matrix-to-vector multiplications, which are prone to errors during weight transfer, require extensive electro-optic conversions, and demand multiple chip reconfigurations. In this thesis an alternative is presented based on an optical spectrum slicing (OSS) technique. This OSS approach employs multiple parallel optical filter nodes, each “slicing” a different spectral region of the optical signal, with these lower-bandwidth components photodetected and digitized before fed on a digital readout layer. Through this technique, convolutions occur in the analog temporal domain through the interaction of modulated optical signals with each OSS node’s complex-valued impulse response, with additional nonlinear and averaging operations performed during photodetection. Numerical simulations on a handwritten digit classification task showed that using the OSS preprocessing with 7 microring resonator nodes in front of a single-layer fully connected digital readout improved accuracy up to 5.4% compared to the direct readout processing. This impact of the OSS was also experimentally validated for this task using a reconfigurable photonic chip to implement the OSS nodes, achieving a comparable performance on a noise-present realistic photonic platform. Compared to a respective digital CNN, the OSS neural network (OSS-NN) demonstrated a 30% smaller total power consumption, while maintaining comparable precision. Furthermore, a comparative analysis revealed that the OSS accelerator achieved 7–13 times better power efficiency than state-of-the-art electronic and photonic CNN accelerators, demonstrating also high computational density. On an event-based imaging flow cytometry (IFC) classification task, the OSS-NN improved performance by 0.4%, reducing input digital samples, learnable parameters, and floating-point operations during inference by ~15× for a single and ~9× for a two dense layer readout, while it matched the precision of a GRU-RNN with 22× fewer parameters. Experimental validation confirmed OSS-NN’s performance for this task, resilient to noise and data compression. For a time-stretched IFC signal classification task, the OSS-NN enhanced accuracy by 0.2%, reducing trainable parameters 10× and 13× for a single and a two dense layer readout respectively. Lastly, a spatially distributed RC, comprising OSS nodes within a common recurrent loop, was used to directly process the optical output of a simulated time-stretched IFC system regarding a cell classification task, improving the accuracy of a single fully connected readout by 3%, while it reduced the photodetection and digitization demands by 10× and 5×, respectively.

Η διδακτορική αυτή διατριβή μελετά την ανάπτυξη μιας υψίρυθμης, ενεργειακά αποδοτικής, ολοκληρωμένης νευρομορφικής φωτονικής πλατφόρμας ως ένα υπολογιστικό ρεζερβουάρ (RC) και ως έναν επιταχυντή συνελικτικών νευρωνικών δικτύων (CNNs), για προβλήματα ταξινόμησης εικόνων σε βιοϊατρικές αλλά και συμβατικές εφαρμογές. Οι αρχιτεκτονικές RC περιλαμβάνουν τυχαίες, σταθερές διασυνδέσεις μεταξύ των επεξεργαστικών μονάδων (νευρώνων), προβάλλοντας τα σήματα στην είσοδό τους σ’ έναν παραμετρικό χώρο υψηλότερης διάστασης, ώστε να επιτρέψουν την ταξινόμηση τους μέσω ενός απλού επίπεδου ψηφιακής επεξεργασίας στην έξοδο. Από την άλλη πλευρά, τα CNNs είναι μια υποκατηγορία τεχνητών νευρωνικών δικτύων με πολλαπλά επίπεδα επεξεργασίας που εκτελούν συνελικτικές πράξεις σε τουλάχιστον ένα απ’ αυτά. Η υλοποίηση του συνελικτικού σταδίου ωστόσο σε ολοκληρωμένες φωτονικές πλατφόρμες απαιτεί μία σειρά από πολλαπλασιασμούς πινάκων με διανύσματα, οδηγώντας σε πολλές επαναχρησιμοποιήσεις του ίδιου τσίπ και κατ’ επέκταση σε μία αύξηση του συνολικού χρόνου επεξεργασίας καθώς και της συνολικής κατανάλωση ισχύος. Στη διατριβή αυτή, παρουσιάζεται μια εναλλακτική προσέγγιση βασισμένη σε μία τεχνική κατάτμησης του οπτικού φάσματος (OSS) μέσω πολλαπλών παράλληλων κόμβων αποτελούμενων από παθητικά οπτικά φίλτρα. Καθένας εξ’ αυτών των κόμβων αλληλεπιδρά με μία διαφορετική φασματική περιοχή του οπτικού σήματος, με την έξοδό τους να ανιχνεύεται μέσω ενός φωτοδέκτη και να ψηφιοποιείται, πριν οδηγηθούν σ’ ένα απλό ψηφιακό νευρωνικό δίκτυο για ταξινόμηση. Μέσω της τεχνικής αυτής, αναλογικές συνελίξεις πραγματοποιούνται στο πεδίο του χρόνου μέσω της αλληλεπίδρασης ενός διαμορφωμένου οπτικού σημάτος και των OSS κόμβων, χαρακτηριζόμενων από διαφορετικές κρουστικές αποκρίσεις, με τις εξόδους τους να υπόκεινται επιπλέον σε μη γραμμικότητες και μια διαδικασία εξαγωγής ενός μέσου όρου κατά τη φωτοανίχνευση. Αριθμητικές προσομοιώσεις της επεξεργασίας OSS με 7 κόμβους συντονιζόμενων μικροδακτυλίων πρίν από ενός απλό νευρωνικό δίκτυο για ένα πρόβλημα ταξινόμησης εικόνων χειρόγραφων ψηφίων, ανέδειξαν μία βελτίωση στην ακρίβεια έως και 5.4%. Η επιβεβαιώση για αυτό το πρόβλημα επήλθε και πειραματικά μέσω χρήσης ενός επαναπρογραμματιζόμενου ολοκληρωμένου φωτονικού τσίπ για το OSS στάδιο. Η σύγκριση αυτής της τεχνικής με ένα αντίστοιχο ψηφιακό CNN, ανέδειξε μία μείωση κατά 30% στη συνολική κατανάλωση ενέργειας με συγκρίσιμη ακρίβεια, ενώ μια συγκριτική ανάλυση με σύχρονους ηλεκτρονικούς και φωτονικούς επιταχυντές CNN, παρουσίασε μία έως και 13 φορές καλύτερη απόδοση ισχύος καθώς και μία επίσης υψηλή υπολογιστική πυκνότητα. Σ’ ένα πρόβλημα ταξινόμησης δεδομένων ενός νευρομορφικού συστήματος απεικόνισης κυτταρομετρίας ροής (IFC), η επιτάχυνση OSS βελτίωσε την ακρίβεια κατά 0.4%, μειώνοντας ταυτόχρονα τις εκπαιδεύσιμες παραμέτρους και τις πράξεις κινητής υποδιαστολής του ψηφιακού δικτύου ταξινόμησης στην έξοδο από 9 έως και 15 φορές, διατηρώντας επίσης παρόμοια ακρίβεια με ένα σύγχρονο GRU-RNN με 22 φορές λιγότερες παραμέτρους. Τέλος, για ένα πρόβλημα ταξινόμησης σημάτων ενός συστήματος IFC βασισμένο στην τεχνική του STEAM, η επιτάχυνση OSS βελτίωσε αντίστοιχα την ακρίβεια κατά 0.2%, ενώ μείωσε τις ψηφιακές παραμέτους έως και 13 φορές. Διερευνώντας μία αναδραστική RC τοπολογία στην οπτική έξοδο του ίδιου συστήματος βασισμένη σε OSS κόμβους, η ακρίβεια του νευρωνικού δικτύου στην έξοδο αυξήθηκε κατά 3%, ενώ μειώθηκαν οι απαιτήσεις ως προς το υλικό για φωτοανίχνευση και ψηφιοποίηση κατά 10 και 5 φορές αντίστοιχα.