Design of deficient neuromorphic systems for the study and development of chimeric synchronization phenomena and bioinspired calculations

Abstract

The human brain’s complexity presents significant challenges for understanding cognitive processes and emergent functionalities. Recent advancements in empirical brain networks elucidate the relationship between network topology and physiological functions utilizing advanced neuroimaging technologies to provide a more comprehensible and simplified yet effective representation of brain networks. Despite their slow and non-ideal processing units, biological brains manage complex functions through highly adaptive and robust network-level synchronization and the processing of noisy, nonlinear data. Chimera states, a form of neural synchronization, are particularly intriguing due to their experimental relation with cognitive functions and neurological disorders. They not only model certain brain functionalities and vulnerabilities but also have the potential to be used for the development of bio-inspired computing systems. However, the computational challenges in simulating chimera states in complex neuromorphic networks in software, necessitate the development of scalable and specialized neuromorphic systems that can emulate these states with high fidelity. Neuromorphic computing provides a versatile platform, which involves the design of analog and digital-level neuromorphic circuits, that simulate neuron and synapse models. Advanced neuromorphic chips aim to address both scalability and power efficiency challenges. However, they not only reproduce ideal neuromorphic features, but also follow the Von Neumann architecture. Adopting a top-down approach, this doctoral dissertation develops digital, analog and molecular neuromorphic networks to progressively incorporate and evaluate the effects of intrinsic device and system imperfections on chimera states. Within the scope of this doctoral dissertation digital neuromorphic networks with reconfigurable Field Programmable Gate Arrays (FPGAs) are designed, focusing on simple, biologically plausible neuron implementations. The design of digital neurons was focused on easy configuration, hardware resource minimization, and asynchronous communication, while providing the simulation of neuromorphic responses of cortical neurons. Then, exploiting parallel processing capabilities of FPGA, a digital neuromorphic network was designed to study synchronization and demonstrate chimera states by evaluating the effect of asynchronous communication between neurons. The results demonstrated the versatility of digital neuromorphic networks in reproducing chimera states, confirming the feasibility of using FPGAs to study and reproduce chimera states, providing a platform for further experimental exploration. However, for a more realistic simulation of neuromorphic responses with higher fidelity and accuracy, we had to pursue another alternative. Subsequently, the dissertation shifted towards analog neuromorphic networks using nano-electronic non-volatile memristors in crossbar arrays. These arrays more closely mimic the synaptic functionality of biological brains. The circuits progressively integrated intrinsic mechanisms and device imperfections, enhancing our understanding of how physical imperfections can induce chimera states under specific conditions in both neuromorphic networks of Fitzhugh-Nagumo neurons and Chua circuit networks. Starting from ideal devices, we evaluated the effect of switching threshold mechanisms, device-to-device variability and sneak-path currents on the emergence of chimera states. Extensive circuit-level simulations in LTSpice confirmed the synchronization phenomena and the potential for controlling synchronization by adjusting the states of the memristors through crossbar reprogramming is investigated. Memristor devices are then experimentally validated, with particular focus on the silicon nitride (SiN) devices We performed endurance tests on properly tuned SiN devices, which are then calibrated to examine the non-linearities effect o n synchronization. Our results demonstrated chimera states despite these conditions. However, recognizing the problem of extensive scalability and integration, of both digital and analog circuits, we proceeded with an alternative system-level approach. Finally, the dissertation expanded to molecular neuromorphic networks, utilizing the three-dimensional structure of Verotoxin proteins, to further scale up and simulate neuromorphic functions at the system level. These proteins, providing a biological and highly adaptable structure, resembling biological neural networks in self-organization, offering bio-compatibility, and allowing the configuration of complex and dense networks at the atomic level, enabled the emergence of synchronized and desynchronized domains, essential for chimera states. The study further explored the potential of molecular networks in bio-inspired computation, demonstrating their effectiveness in classification tasks within reservoir computing frameworks.

Η πολυπλοκότητα του ανθρώπινου εγκεφάλου θέτει σημαντικές προκλήσεις στην κα- τανόηση των υπολογιστικών του λειτουργιών. Το αναδυόμενο ερευνητικό πεδίο των εμπειρικών δικτύων εγκεφάλου (empirical brain networks) προσπαθεί να αναδείξει τη σχέση μεταξύ της τοπολογίας των δικτύων και των φυσιολογικών λειτουργιών τους, χρησιμοποιώντας σύγχρονες νευροαπεικονιστικές τεχνολογίες, παρέχοντας μια πιο απλοποιημένη εικόνα του εγκεφαλικού δικτύου με πεπερασμένο σύνολο κόμβων. Οι βιολογικοί εγκέφαλοι καταφέρνουν να εκτελούν εξαιρετικά πολύπλοκες λειτουργίες χρησιμοποιώντας μη-ιδανικές και αργές μονάδες επεξεργασίας, συνδεδεμένες σε εύπλαστα και αναξιόπιστα νευρομορφικά δίκτυα. Αυτή η αποδοτική λειτουργία απορρέει από την ικανότητα του εγκεφάλου να επεξεργάζεται θορυβώδη, μη γραμμικά δεδομένα, χρησιμο- ποιώντας τη νευρωνική δυναμική και τον συγχρονισμό σε επίπεδο δικτύου. Πρόσφατες μελέτες επίσης αποκάλυψαν τη σχέση νευρωνικού συγχρονισμού, γνωστού ως χιμαιρικές καταστάσεις (chimera states), με διάφορες λειτουργίες και διαταραχές του εγκεφάλου. Συνεπώς, οι χιμαιρικές καταστάσεις αποτελούν έναν μηχανισμό όχι μόνο για τη μοντελοποίηση ορισμένων νευρολογικών λειτουργιών και ευπαθειών αλλά και για τη χρήση σε βιο-εμπνευσμένους υπολογισμούς. Ωστόσο, οι υπολογιστικές απαιτήσεις που συναντώνται στην προσομοίωση χιμαιρικών καταστάσεων σε πολύπλοκα και κλιμακούμενα νευρομορφικά δίκτυα σε λογισμικό, καθιστούν αναγκαία την ανάπτυξη εξειδικευμένων νευρομορφικών συστημάτων που θα μπορούν να εξομοιώνουν αποδοτικά και βιο-ρεαλιστικά αυτές τις καταστάσεις συγχρονισμού. Λύση στο πρόβλημα αυτό δίνει το neuromorphic computing, που αφορά τη σχεδίαση νευρομορφικών κυκλωμάτων σε αναλογικό και ψηφιακό επίπεδο που προσομοιώνουν νευροβιολογικά χαρακτηριστικά. Τα σύγχρονα νευρομορφικά συστήματα προσφέρουν λύσεις τόσο στο πρόβλημα της επεκτασιμότητας (scalability), όσο και της απόδοσης (power efficiency). Ωστόσο, οι σύγχρονες νευρομορφικές υλοποιήσεις όχι μόνο αναπαράγουν ιδανικά νευροβιολογικά χαρακτηριστικά, αλλά επίσης ακολουθούν την von Neumann αρχιτεκτονική. Υιοθετώντας μια top-down προσέγγιση για την αντιμετώπιση αυτών των προκλήσεων, στη παρούσα διδακτορική διατριβή αναπτύχθηκαν ψηφιακά, αναλογικά, και μοριακά νευρο-μορφικά δίκτυα με στόχο την προοδευτική ενσωμάτωση και αξιολόγηση εγγενών ατελειών και χαρακτηριστικών τόσο των διατάξεων όσο και των συστημάτων ως προς την εμφάνιση χιμαιρικών καταστάσεων. Αρχικά, στα πλαίσια αυτής της διδακτορικής διατριβής πραγματοποιήθηκε η ανάπτυξη ψηφιακών νευρομορφικών δικτύων αξιοποιώντας την αναδιατασσόμενη λογική των Field Programmable Gate Arrays (FPGAs) για την αναπαραγωγή χιμαιρικών καταστάσεων. Αναπτύχθηκε ένα σχεδιαστικά απλό μοντέλο ψηφιακού νευρώνα με γνώμονα την εύκολη παραμετροποίηση του, την ελαχιστοποίηση πόρων υλικού, και την ασύγχρονη επικοινωνία, παρέχοντας ταυτόχρονα την προσομοίωση νευρομορφικών χαρακτηριστικών των βιολογικών νευρώνων. Στη συνέχεια, αξιοποιώντας τη δυνατότητα σχεδιασμού παράλληλης επεξεργασίας, σχεδιάστηκε ένα ψηφιακό νευρομορφικό δίκτυο για τη μελέτη συγχρονισμού και την ανάδειξη χιμαιρικών καταστάσεων αξιολογώντας την επίδραση της ασύγχρονης επικοινωνίας μεταξύ των νευρώνων. Τα αποτελέσματα ανέδειξαν τις χιμαιρικές καταστάσεις, επιβεβαιώνοντας ότι τα FPGA είναι ένα ικανό εργαλείο για τη μελέτη χιμαιρικών καταστάσεων, προσφέροντας μια πρακτική πλατφόρμα για πειραματική εξερεύνηση. Παρόλα αυτά, για μια πιο ρεαλιστική εξομοίωση των νευρομορφικών αποκρίσεων με μεγαλύτερη πιστότητα και ακρίβεια, χρειάστηκε να ακολουθηθεί μια άλλη εναλλακτική. Για τον σκοπό αυτό, η διατριβή ακολούθησε την προσέγγιση των αναλογικών νευρομορφικών δικτύων χρησιμοποιώντας νανοηλεκτρονικές μη-πτητικές μνήμες memristor σε διατάξεις διασταυρωμένων αγωγών crossbar που έχουν τη δυνατότητα να μιμούνται τις συναπτικές λειτουργίες των νευρώνων. Τα προτεινόμενα κυκλώματα ακολουθούν μια προοδευτική ενσωμάτωση εγγενών μηχανισμών και ατελειών των διατάξεων, μελετώντας την εμφάνιση χιμαιρικών καταστάσεων τόσο σε νευρομορφικά δίκτυα διασυνδεδεμένων Fitzhugh-Nagumo νευρώνων όσο και σε δίκτυα Chua κυκλωμάτων. Ξεκινώντας από ιδανικές διατάξεις σε επίπεδο προσομοίωσης, αξιολογήθηκε η επίδραση συγκεκριμένων χαρακτηριστικών, όπως το κατώφλι μεταγωγής (switching threshold), και ευπαθειών, όπως η μεταβλητότητα (device-to-device variability), τα οποία μπορούν να αξιοποιηθούν στην εμφάνιση χιμαιρικών καταστάσεων. Αξιολογήθηκε η επίδραση των ρευμάτων διαρροής (Sneak-path currents) και, στη συνέχεια, επιβεβαιώθηκε η εμφάνιση των φαινομένων συγχρονισμού σε κυκλωματικό επίπεδο στο περιβάλλον LTSpice, όπου και αξιοποιήθηκε ο επαναπρογραμματισμός (reprogramming) των καταστάσεων του μεμριστορ για να διερευνηθεί η δυνατότητα ελέγχου συγχρονισμού των δικτύων. ΄Επειτα, ακολούθησε η πειραματική επικύρωση και αξιολόγηση των διατάξεων μεμριστορ, με ιδιαίτερη έμφαση στις διατάξεις νιτριδίου του πυριτίου (SiN), όπου προσομοιώνουν μέσω του φαινομένου παγίδευσης φορτίου (charge trapping) τη μη-γραμμική ροή των ιόντων στις συνάψεις. Αφού προσαρμόστηκαν κατάλληλα οι SiN διατάξεις, διεξήχθησαν δοκιμές αντοχής (endurance) για να επαληθεύσουμε ότι διατηρούν την κατάστασή τους χωρίς να συμβαίνει διακοπτική συμπεριφορά (switching). Επειτα, βαθμονομήθηκαν οι πειραματικές διατάξεις και εξετάστηκε η επίδραση της μη-γραμμικότητας που παρουσιάζουν στον συγχρονισμό, επιβεβαιώνοντας σε κυκλωματικό επίπεδο την εμφάνιση χιμαιρικών καταστάσεων υπό αυτές τις συνθήκες. Παρόλα αυτά, αναγνωρίζοντας το πρόβλημα της εκτεταμένης επεκτασιμότητας (scalability), και ολοκλήρωσης (integration), τόσο των ψηφιακών όσο και των αναλογικών κυκλωμάτων, η διατριβή ακολούθησε με μια εναλλα- κτική προσέγγιση σε επίπεδο συστήματος. Ακολουθώντας αυτή τη λογική, σχεδιάστηκαν μοριακά νευρομορφικά δίκτυα χρησιμοποιώντας μια μοριακά εμπνευσμένη δομή πρωτεΐνης, τη Verotoxin, για την περαιτέρω κλιμάκωση και προσομοίωση νευρομορφικών λειτουργιών σε επίπεδο συστήματος. Οι πρωτεΐνες παρέχουν μια βιολογική και εξαιρετικά δυναμική τρισδιάστατη δομή, ενσωματώνουν παρόμοιους μηχανισμούς αυτο-οργάνωσης με τα βιολογικά νευρωνικά δίκτυα, προσφέρουν βιοσυμβατότητα (biocompatibility), και επιτρέπουν τη δημιουργία σύνθετων και πυκνών δικτύων σε ατομικό επίπεδο. Επιβεβαιώθηκε ότι η τρισδιάστατη δομή του μοριακού δικτύου παρουσιάζει παρόμοια χαρακτηριστικά με τα εγγενή χαρακτηριστικά των βιολογικών νευρωνικών δικτύων, και με χρήση μη-εποπτευόμενης μάθησης (unsupervised learning) παρατηρήθηκε τη δυναμική αυτο-οργάνωση του δικτύου και τη δημιουργία συγχρονισμένων και μη-συγχρονισμένων περιοχών, προ- σφέροντας έτσι τη δυνατότητα εμφάνισης χιμαιρικών καταστάσεων. Επειτα απο τη μελέτη συγχρονισμού, αξιοποιήθηκε η μοριακή δομή για βιο-εμπνευσμένους υπολογισμούς, αξιοποιώντας το πλαίσιο των υπολογισμών ταμιευτήρα (Reservoir Computing), όπου αξιολογήθηκε το μοριακό νευρομορφικό δικτυο σε προβλήματα ταξινόμησης (classification) καταδεικνύοντας, με λιγότερους νευρώνες και συναπτικές συνδέσεις, συγκρίσιμες ή/και καλύτερες αποδόσεις σε σχέση με μεγαλύτερα δίκτυα στο πλαίσιο του reservoir computing.