Ανάπτυξη και θεμελίωση μεθόδων για αξιόπιστους νευρωνικούς υπολογισμούς

Abstract

This dissertation deals with the development of methods and algorithms offering reliable neural computation. An important part of the research has focused on providing the necessary theoretical basis for these developments. More specifically, research in this thesis focuses on handling uncertainty issues inherent in the data processing, that is, the algorithms used in neural computing. The questions that highlight and qualify the uncertainty in the data processing level are related to matters such as, the initial and boundary values of the algorithms, the robustness of the algorithms against computation or data errors, the multitude of heuristics which substitute mathematical modeling of unknown parameters etc. For modeling and resolving issues such as the above, we, mainly, adopted concepts and methods of Interval Analysis. We also used mathematical approaches such as global optimization and the zero norm of a vector. For specific analysis purposes we used clustering and data mining techniques. In this thesis we study neural networks such as multi-layer perceptrons. Formulation of reliable algorithms implies dealing with uncertainty on matters such as the following: a) initialization of synaptic weights, b) optimization of the network architecture, c) determining the search space where a global minimizer is located for the global optimization procedure when training a network, and d) reliable estimation of a neural network’s domain of validity.

Το αντικείμενο της διδακτορικής διατριβής αϕορά στην ανάπτυξη και στη θεμελίωση μεθόδων για αξιόπιστους νευρωνικούς υπολογισμούς. Ένα σημαντικό τμήμα της διατριβής είναι αφιερωμένο στη μαθηματική θεμελίωση των μεθόδων. Ειδικότερα, η διατριβή εστιάζει στη διαχείριση της αβεβαιότητας που είναι σύμϕυτη με την επεξεργασία των δεδομένων δηλαδή με τους αλγορίθμους επεξεργασίας. Τα ζητήματα που αναδεικνύουν και χαρακτηρίζουν την αβεβαιότητα σε επίπεδο επεξεργασίας των δεδομένων σχετίζονται με τις αρχικές και τις οριακές τιμές των αλγορίθμων, τη σθεναρότητα των αλγορίθμων σε σϕάλματα των υπολογισμών ή των δεδομένων, την πληθώρα των ευρετικών που υποκαθιστούν τη μαθηματική μοντελοποίηση άγνωστων παραμέτρων κλπ. Για τη μοντελοποίηση και την επίλυση ζητημάτων, όπως τα ανωτέρω, χρησιμοποιήθηκαν κύρια οι έννοιες και οι μέθοδοι της Ανάλυσης Διαστημάτων καθώς και μαθηματικές προσεγγίσεις όπως η ολική βελτιστοποίηση και η μηδενική στάθμη διανυσμάτων. Επί πλέον, αξιοποιήθηκαν κάποιες τεχνικές ομαδοποίησης και εξόρυξης δεδομένων για συγκεκριμένες περιπτώσεις ανάλυσης δεδομένων. Στα πλαίσια της διατριβής μελετώνται, κυρίως, πολυστρωματικά δίκτυα τύπου perceptron. Η διατύπωση αξιόπιστων αλγορίθμων σχετίζεται με τη διαχείριση της αβεβαιότητας στα ακόλουθα ζητήματα: α) αρχικοποίηση των συναπτικών βαρών, β) βελτιστοποίηση της σχεδίασης του δικτύου, γ) καθορισμός του χώρου εντός του οποίου εγγυημένα βρίσκεται κάποιος ολικός ελάχιστοποιητής της συνάρτησης κόστους της εξόδου του δικτύου, και δ) αξιόπιστη εκτίμηση του πεδίου εγκυρότητας ενός δικτύου.