Integrated circuit architectures for classical and neural computing with applications in artificial intelligence

Abstract

The structure of this doctoral thesis is as follows. Initially, a general introduction to Machine Learning and traditional algorithm implementation methods is provided, along with the prevailing trend in recent years, new methods with the introduction of hardware-friendly implementations, and the motivation behind this thesis. Next, the thesis continues with a literature review and classification of circuits implementing the Gaussian function. Alongside relevant applications and proposed architectures, these comprise the second chapter. The third chapter addresses a series of new circuits and architectures designed, studied, and analyzed in detail in this thesis for the first time, which are correlated with the implementation of the Gaussian function. The fourth chapter discusses architectures for implementing classifiers using Gaussian Mixture Model and Bayes models. Circuits implementing the Gaussian function serve as the fundamental circuitry unit. All implementations are approaches to the mathematical model governing machine learning algorithms/models. The fifth chapter elaborates on the methods and topologies for implementing machine learning models/algorithms, Radial Basis Function, and Centroid-based Classifiers. The function describing the distance is implemented with the help of the Gaussian function. The sixth chapter presents a new approach to architectures aiming to implement not only classification but also learning in hardware. Based on this, new architectures for implementing the Support Vector Machine and Threshold algorithms are introduced. A variety of applications have been studied so far, including medical (thyroid, epilepsy, anesthesia control, and others) as well as interdisciplinary ones. The seventh chapter introduces a generalized methodology for designing Bell-shaped classifiers, aiming to categorize the previous categories. The eighth chapter presents the content of three works concerning the implementation of Edge detectors in hardware for peak detection with circuits operating in the Subthreshold region, offering low power consumption. In the ninth chapter, architectures based on Fuzzy Logic are analyzed, aiming to implement classifiers and controllers using circuits operating in the Subthreshold region. The tenth chapter presents implementations of more complex models. It also provides a generalized comparison of previous architectures in interdisciplinary applications. The summary and future work section evaluate the conducted research, summarize its conclusions, and outline future goals.

Η δομή της παρούσας διδακτορικής διατριβής είναι η ακόλουθη. Αρχικά, πραγματοποιείται μια γενική εισαγωγή στην Μηχανική Μάθηση και τις παραδοσιακές μεθόδους υλοποίησης αλγορίθμων, την τάση που κυριαρχεί τα τελευταία χρόνια, τις νέες μεθόδους με την εισαγωγή hardware-friendly υλοποιήσεων αλλά και το κίνητρο της παρούσας διατριβής. Έπειτα η παρούσα Διατριβή συνεχίζει με μια βιβλιογραφική μελέτη και ταξινόμηση των κυκλωμάτων που υλοποιούν την Γκαουσιανή συνάρτηση. Μαζί με σχετικές εφαρμογές και προτεινόμενες αρχιτεκτονικές συμπληρώνουν το δεύτερο κεφάλαιο. Το τρίτο κεφάλαιο αναφέρεται σε μια σειρά από νέα κυκλώματα και αρχιτεκτονικές που πρώτη φορά σχεδιάστηκαν, μελετήθηκαν και αναλύθηκαν λεπτομερώς στην παρούσα Διατριβή, τα οποία συσχετίζονται με την υλοποίηση της Γκαουσιανής συνάρτησης. Το τέταρτο κεφάλαιο αναφέρεται σε αρχιτεκτονικές υλοποίησης ταξινομητών με χρήση των μοντέλων Gaussian Mixture Model και Bayes. Ως βασική κυκλωματική μονάδα έχουν τα κυκλώματα υλοποίησης Γκαουσιανής συνάρτησης. Όλες οι υλοποιήσεις είναι προσεγγίσεις του μαθηματικού μοντέλου που διέπει τους αλγορίθμους/μοντέλα μηχανικής μάθησης. Το πέμπτο κεφάλαιο περιγράφει αναλυτικά τις μεθόδους και τοπολογίες υλοποίησης των μοντέλων αλγορίθμων μηχανικής μάθησης, Radial Basis Function και Centroid-based Classifiers. Η συνάρτηση που περιγράφει την απόσταση υλοποιείται με την βοήθεια της Γκαουσιανής συνάρτησης. Στο έκτο κεφάλαιο παρουσιάζεται μια νέα προσέγγιση αρχιτεκτονικών με στόχο την υλοποίηση εκτός από την ταξινόμηση και την εκμάθηση στο υλικό. Με βάση το παραπάνω έγινε εισαγωγή σε νέες αρχιτεκτονικές για την υλοποίηση του αλγορίθμου Support Vector Machine και Threshold. Σε όλα τα μέχρι τώρα μελετήθηκε μια ποικιλία από εφαρμογές τόσο ιατρικές (θυροειδής, επιληψία, έλεγχος αναισθησίας και άλλες) όσο και διαθεματικές. Στο έβδομο κεφάλαιο παρουσιάζεται μια γενικευμένη μεθοδολογία σχεδίασης Bell-shaped ταξινομητών, η οποία έχει ως στόχο να ομαδοποιήσει τις προηγούμενες κατηγορίες. Στο όγδοο κεφάλαιο παρατίθεται το περιεχόμενο τριών εργασιών που αφορούν την υλοποίηση Edge detectors στο hardware με σκοπό την ανίχνευση κορυφών με κυκλώματα που λειτουργούν στην περιοχή του Υποκατωφλίου, προσφέροντας χαμηλή κατανάλωση. Στο ένατο κεφάλαιο, αναλύονται αρχιτεκτονικές βασισμένες στη Fuzzy Logic, με σκοπό την υλοποίηση ταξινομητών αλλά και ελεγκτών με τη χρήση κυκλωμάτων που λειτουργούν στην περιοχή Υποκατωφλίου. Στο δέκατο κεφάλαιο, παρουσιάζονται υλοποιήσεις Νευρωνικών Δικτύων αλλά και πιο πολύπλοκων μοντέλων. Επίσης προσφέρει μια γενικευμένη σύγκριση των προηγούμενων αρχιτεκτονικών σε διαθεματικές εφαρμογές Στην σύνοψη και μελλοντική δουλειά γίνεται η αποτίμηση της διεξαχθείσας έρευνας και η σύνοψη των συμπερασμάτων της αλλά και στόχοι για το μέλλον.