Υλοποίηση νευρομορφικών υπολογισμών με δικτυώματα μνημών μεταβλητής αντίστασης

Abstract

In recent decades, the global sales rate of integrated microelectronic circuits has rapidly increased, driven by the constant demand for “smart” portable electronic devices, electric and environmentally friendly cars, and embedded sensor systems capable of processing and recording data in real time. Although Moore’s Law continues to hold and the number of transistors per integrated circuit doubles every two years, technological limitations in scaling dimensions now make it imperative to search for innovative architectures and alternative computational approaches. In particular, end-user demands have focused on optimized computing system performance while reducing costs, achieving higher processing speeds, and drastically reducing energy consumption. These demands, combined with the exponentially increasing volume of data collected, transmitted, and processed daily, have led to the creation of a new technological era, known as the “Big Data Era”. This era, which emerged at the beginning of the second millennium, is characterized by massive and rapidly expanding data collections that require advanced storage, processing, and analysis methodologies. At the same time, artificial intelligence (AI) technologies have significantly contributed, facilitating the processing of the enormous volume of data collected daily.However, today's computers are based on the Von Neumann architecture, which requires the physical separation of the Central Processing Unit (CPU) and memory. This separation significantly reduces the speed of data processing and increases the power consumption. Although the use of Graphics Processing Units (GPU), which have multiple cores, can enhance the degree of parallelism when performing computational processes, however, when the GPU is used to implement neural networks, the synaptic weights are still stored in separate units, such as Static Random Access Memory (SRAM). An initial approach is to develop non-Von Neumann architectures, where the memory and computing units coexist on the same hardware substrate. Although large companies, such as IBM and Intel, have already invested in corresponding technologies, the implemented systems still lag behind biological systems in terms of energy efficiency. An attractive alternative for implementing neuromorphic systems with embedded memory properties, aiming to implement non-Von Neumann architectures and promote in-memory computing, is emerging memory technologies, known as Storage Class Memories (SCM). More specifically, Conductive Bridge Random Access Memories (CBRAM), which are part of the broader category of variable resistance memories, exhibit high write/erase speeds and high integration density. At the same time, they have good endurance in consecutive programming cycles and low power consumption. The operation of these memories, which were the subject of this research thesis, is based on the electrochemical phenomenon. More specifically, CBRAMs as two-terminal devices, consist of an electrochemically active electrode and an inert one, forming a metal - insulator - metal device. Under the application of external fields of appropriate polarity, metal ions produced by the electrochemically active electrode can be moved through the dielectric layer, towards the surface of the inert electrode. These ions form a conductive filament, connecting the two electrodes and inducing the low resistance state (LRS), while the local breakdown of the conductive channel creates the high resistance state (HRS). This thesis focuses on the study of the physical mechanisms that govern the operation of CBRAM devices while simultaneously presenting the individual steps for their development and electrical characterization. Specifically, these devices exhibit either volatile operation, which corresponds to a spontaneous return of the memory elements to the initial HRS state within a predetermined time interval (relaxation time), or non-volatile operation, during which the recording state is maintained stable without the need for an external power supply. The effect of the material of the passive electrode on the functional behavior of the devices was also systematically investigated, highlighting the decisive role of the passive electrode’s thermal conductivity coefficient in predicting and controlling the device operation. The ability of non-volatile devices to exhibit synaptic properties similar to those of the human brain was then examined, with emphasis laid on the characteristics of long-term synaptic plasticity. Also, their ability to be programmed into multiple, discrete conductance states is still under investigation. This feature is particularly important for their utilization as synaptic weights in artificial neural networks (ANNs), enabling the representation of intermediate weight values and, consequently, more accurate network training. Accordingly, volatile CBRAM devices are approached as candidate artificial neurons, offering a functional bridge between biological neural systems and Artificial Neural Networks (ANNs). In more detail, the development of crossbar structures with integrated non-volatile CBRAM memories constitutes a decisive step towards the implementation of non-Von Neumann architectures and the integration of processing and storage in the same computing system (in-memory computing). In this context, two different simulation models of CBRAM devices and by extension the corresponding Crossbar architectures were implemented, which were utilized for the modeling of various types of neural networks, such as deep neural networks (DNNs), recurrent neural networks (RNN) with reservoir computing (RC) and spiking neural networks (SNNs). Finally, a Crossbar architecture based on TiN (~25 nm) / SiO₂ (~60 nm) / Ag (~100 nm) is developed, and the corresponding peripheral circuit is designed for an application involving the recognition of the Iris dataset. The input data consist of four distinct features of petals and sepals from three flower species, achieving correct classification with a recognition accuracy of 86.66%. The complete circuit exhibits an energy requirement of approximately 48 mJ during the inference process, while the Crossbar architecture consumes about 1.15 mW. This approach demonstrates the capability of Crossbar-based architectures to perform supervised classification tasks directly at the hardware level, offering low power consumption and high integration density.

Κατά τις τελευταίες δεκαετίες, ο ρυθμός πωλήσεων ολοκληρωμένων μικροηλεκτρονικών κυκλωμάτων σε παγκόσμιο επίπεδο έχει σημειώσει ραγδαία αύξηση, γεγονός που αποδίδεται στην αδιάκοπη ζήτηση για «έξυπνες» φορητές ηλεκτρονικές συσκευές, ηλεκτρικά και φιλικά προς το περιβάλλον αυτοκίνητα, καθώς και για συστήματα ενσωματωμένων αισθητήρων ικανά για επεξεργασία και καταγραφή δεδομένων σε πραγματικό χρόνο. Παρότι, ο νόμος του Moore εξακολουθεί να επιβεβαιώνεται και ο αριθμός των τρανζίστορ ανά ολοκληρωμένο κύκλωμα να διπλασιάζεται κάθε δύο χρόνια, οι τεχνολογικοί περιορισμοί στην κλιμάκωση των διαστάσεων καθιστούν πλέον επιτακτική την αναζήτηση καινοτόμων αρχιτεκτονικών και εναλλακτικών υπολογιστικών προσεγγίσεων. Ειδικότερα, οι τελικές απαιτήσεις των χρηστών έχουν εστιαστεί στη βελτιστοποιημένη απόδοση υπολογιστικών συστημάτων με ταυτόχρονη μείωση του κόστους, στην επίτευξη υψηλότερων ταχυτήτων επεξεργασίας, καθώς και στη δραστική μείωση της ενεργειακής κατανάλωσης. Οι απαιτήσεις αυτές, σε συνδυασμό με τον εκθετικά αυξανόμενο όγκο δεδομένων που συλλέγονται, μεταδίδονται και επεξεργάζονται καθημερινά, έχουν οδηγήσει στη δημιουργία μίας νέας τεχνολογικής εποχής, γνωστής ως «Big Data Era». Η εν λόγω εποχή, η οποία διαμορφώθηκε με την έναρξη της δεύτερης χιλιετίας, χαρακτηρίζεται από μαζικές και ταχύτατα διογκούμενες συλλογές δεδομένων, οι οποίες απαιτούν προηγμένες μεθοδολογίες αποθήκευσης, επεξεργασίας και ανάλυσης. Ταυτόχρονα, οι τεχνολογίες τεχνητής νοημοσύνης (Artificial Intelligence – AI) συνέβαλαν σημαντικά, διευκολύνοντας την επεξεργασία του τεράστιου όγκου δεδομένων που συλλέγονται καθημερινά. Ωστόσο, οι σημερινοί υπολογιστές βασίζονται στην Von Neumann αρχιτεκτονική, η οποία προϋποθέτει τον φυσικό διαχωρισμό της κεντρικής μονάδας επεξεργασίας (Central Processing Unit – CPU) και της μνήμης. Αυτός ο διαχωρισμός μειώνει σημαντικά την ταχύτητα επεξεργασίας δεδομένων και αυξάνει σημαντικά την κατανάλωση ισχύος. Αν και η χρήση μονάδων επεξεργασίας γραφικών (Graphics Processing Unit – GPU), οι οποίες διαθέτουν πολλαπλούς πυρήνες, μπορεί να ενισχύσει τον βαθμό παραλληλίας κατά την εκτέλεση υπολογιστικών διεργασιών, παρόλα αυτά, όταν η GPU χρησιμοποιείται για την υλοποίηση νευρωνικών δικτύων, τα συναπτικά βάρη εξακολουθούν να αποθηκεύονται σε ξεχωριστές μονάδες, όπως η Στατική Μνήμη Τυχαίας Προσπέλασης (Static Random Access Memory – SRAM). Μία αρχική προσέγγιση συνίσταται στην ανάπτυξη non-Von Neumann αρχιτεκτονικών, όπου η μνήμη και η υπολογιστική μονάδα συνυπάρχουν στο ίδιο υλικό υπόστρωμα. Παρά το γεγονός ότι μεγάλες εταιρείες, όπως η IBM και η Intel, έχουν ήδη επενδύσει σε αντίστοιχες τεχνολογίες, τα υλοποιημένα συστήματα εξακολουθούν να υπολείπονται των βιολογικών συστημάτων ως προς την ενεργειακή αποδοτικότητα. Μια ελκυστική εναλλακτική για την υλοποίηση νευρομορφικών συστημάτων με ενσωματωμένες ιδιότητες μνήμης, με στόχο την υλοποίηση non-Von Neumann αρχιτεκτονικών και την προώθηση των υπολογισμών εντός της ίδιας διάταξης μνήμης (in-memory computing) συνιστούν οι αναδυόμενες τεχνολογίες μνήμης, οι οποίες είναι γνωστές ως Storage Class Memories (SCM). Πιο συγκεκριμένα, οι μνήμες αγώγιμης γέφυρας (Conductive Bridge Random Access Memories – CBRAM), οι οποίες εντάσσονται στην ευρύτερη κατηγορία μνημών μεταβλητής αντίστασης, παρουσιάζουν υψηλές ταχύτητες εγγραφής/διαγραφής και υψηλή πυκνότητα ολοκλήρωσης. Ταυτόχρονα έχουν καλή αντοχή σε διαδοχικούς κύκλους προγραμματισμού και χαμηλή κατανάλωση ισχύος. Η λειτουργία των εν λόγω μνήμων, που αποτέλεσαν αντικείμενο έρευνας της παρούσας ερευνητικής διατριβής, βασίζεται στο ηλεκτροχημικό φαινόμενο. Πιο συγκεκριμένα, οι CBRAM είναι διατάξεις δύο ακροδεκτών, ενός ηλεκτροχημικά ενεργού ηλεκτροδίου και ενός αδρανούς, σχηματίζοντας μία διάταξη μετάλλου – μονωτικού υλικού – μετάλλου. Κάτω από την εφαρμογή εξωτερικών ηλεκτρικών πεδίων κατάλληλης πολικότητας, είναι δυνατή η μετακίνηση ιόντων του ηλεκτροχημικά ενεργού ηλεκτροδίου μέσα από το διηλεκτρικό στρώμα, προς την επιφάνεια του αδρανούς ηλεκτροδίου. Αυτά τα ιόντα σχηματίζουν ένα αγώγιμο νήμα, που ενώνει τα δύο ηλεκτρόδια και επάγουν την κατάσταση χαμηλής αντίστασης (Low Resistance State – LRS), ενώ η τοπική διάρρηξη του αγώγιμου διαύλου δημιουργεί την κατάσταση υψηλής αντίστασης (High Resistance State – HRS). Η παρούσα διατριβή εστιάζει στη μελέτη των φυσικών μηχανισμών που διέπουν τη λειτουργία των διατάξεων CBRAM ενώ ταυτόχρονα παρουσιάζονται τα επιμέρους βήματα για την ανάπτυξη και τον ηλεκτρικό τους χαρακτηρισμό τους. Συγκεκριμένα, οι εν λόγω διατάξεις εμφανίζουν είτε πτητική λειτουργία, η οποία αντιστοιχεί σε αυθόρμητη επαναφορά των στοιχείων μνήμης στην αρχική κατάσταση HRS εντός προκαθορισμένου χρονικού διαστήματος (relaxation time – χρόνος χαλάρωσης), είτε μη-πτητική λειτουργία, κατά την οποία η κατάσταση εγγραφής διατηρείται σταθερή χωρίς την ανάγκη παροχής εξωτερικής τροφοδοσίας. Η επίδραση του υλικού του αδρανούς ηλεκτροδίου στη λειτουργική συμπεριφορά των διατάξεων διερευνήθηκε συστηματικά, αναδεικνύοντας τον καθοριστικό ρόλο του συντελεστή θερμικής αγωγιμότητας του αδρανούς ηλεκτροδίου στην πρόβλεψη και τον έλεγχο της λειτουργίας των στοιχείων μνήμης. Στην συνέχεια εξετάζεται η ικανότητα των μη-πτητικών διατάξεων να επιδεικνύουν συναπτικές ιδιότητες παρόμοιες με εκείνες του ανθρώπινου εγκεφάλου, με έμφαση στα χαρακτηριστικά της μακροπρόθεσμης συναπτικής πλαστικότητας (Long-Term Synaptic Plasticity). Ακόμα μελετάται η ικανότητά τους να προγραμματίζονται σε πολλαπλές, διακριτές στάθμες αγωγιμότητας. Το χαρακτηριστικό αυτό είναι ιδιαίτερα σημαντικό για την αξιοποίησή τους ως συναπτικά βάρη σε τεχνητά νευρωνικά δίκτυα, επιτρέποντας την αναπαράσταση ενδιάμεσων τιμών βάρους και, κατά συνέπεια, την ακριβέστερη εκπαίδευση των δικτύων (Artificial Neural Networks – ANNs). Αντίστοιχα, οι πτητικές CBRAM διατάξεις προσεγγίζονται ως υποψήφιοι τεχνητοί νευρώνες, προσφέροντας μια λειτουργική γέφυρα μεταξύ των βιολογικών νευρωνικών συστημάτων και των τεχνητών νευρωνικών δικτύων. Αναλυτικότερα, η ανάπτυξη αρχιτεκτονικών αλληλοδιασταυρωμένων δομών (Crossbar Architecture Structures) με ενσωματωμένες μη-πτητικές μνήμες CBRAM, συνιστά ένα καθοριστικό βήμα προς την υλοποίηση αρχιτεκτονικών non-Von Neumann και την ενοποίηση επεξεργασίας και αποθήκευσης στο ίδιο υπολογιστικό σύστημα (in-memory computing). Στο πλαίσιο αυτό, υλοποιήθηκαν δύο διαφορετικά μοντέλα προσομοίωσης των διατάξεων CBRAM και κατ’ επέκταση των αντίστοιχων αρχιτεκτονικών Crossbar, τα οποία αξιοποιήθηκαν για τη μοντελοποίηση ποικίλων τύπων νευρωνικών δικτύων, όπως βαθιά νευρωνικά δίκτυα (Deep Neural Networks – DNNs), αναδρομικά νευρωνικά δίκτυα (Recurrent Neural Networks – RNNs) με υπολογισμούς δεξαμενής (Reservoir Computing – RC) και νευρωνικά δίκτυα αιχμής (Spiking Neural Networks – SNNs). Τέλος, αναπτύσσεται μία αρχιτεκτονική Crossbar TiN(~25 nm)/SiO2(~60 nm)/Ag(~100 nm) και σχεδιάζεται το αντίστοιχο περιφερειακό κύκλωμα για μία εφαρμογή αναγνώρισης του συνόλου δεδομένων ίριδας (Irish Dataset). Τα δεδομένα εισόδου περιέχουν τέσσερα διαφορετικά χαρακτηριστικά των πετάλων και των σεπάλων από τρεις διαφορετικές κατηγορίες λουλουδιών και επιτυγχάνεται η ορθή κατηγοριοποίηση τους με ποσοστό επιτυχής αναγνώρισης 86.66%. Το συνολικό κύκλωμα παρουσιάζει απαιτήσεις ενέργειας ~48 mJ κατά την διαδικασία πρόβλεψης, ενώ η αρχιτεκτονική Crossbar έχει κατανάλωση ισχύος ~1.15 mW. Η συγκεκριμένη προσέγγιση αναδεικνύει τη δυνατότητα των αρχιτεκτονικών αλληλοδιασταυρωμένων δομών να επιτελούν εποπτευόμενες διαδικασίες ταξινόμησης σε επίπεδο υλικού (hardware implementation), προσφέροντας χαμηλή κατανάλωση ισχύος και υψηλή πυκνότητα ολοκλήρωσης.