Στατιστική και υπολογιστική νοημοσύνη

Abstract

The present thesis is dealing with the study and the development of classification models that are based on Probabilistic Neural Networks (PNN). The proposed models were developed by the incorportation of statistical methods as well as methods from several fields of Computational Intelligence (CI) into PNNs. The presentation of the subjects and the results of the dissertation is organized as follows: In Chapter 1 the required theoretical elements of the statistical decision theory in classification tasks is presented. Moreover, a summary of the most common decision rules and discriminant functions is provided. Chapter 2 is devoted in the presentation of the concepts that consist CI. Special credit is given to the optimization methods of CI and especially to Particle Swarm Optimization (PSO) and Differential Evolution Algorithms (DEA). Furthermore, Artificial Neural Networks are briefly presented and a thorough presentation about PNNs is provided regarding the structure, the operation, the usefulness and their various applications. Several known variants of PNNs are also exhibited. Chapter 3 provides a brief description of the typical resampling methods that are necessary for machine learning classification problems. Moreover, the required methodology for the statistical comparisons of classification algorithms on one or several application tasks is presented. In Chapter 4 a novel class of classification models that comprise variants of PNNs is proposed. In particular, evolutionary optimization algorithms are incorporated into PNN for the pursuit of promising values for the spread parameters of its kernel functions. For this purpose, PSO and DEA are employed and the new models are named Evolutionary PNNs (EPNN). In the next chapter, a list of improvements for EPNNs is proposed regarding their performance and required training time. Using unsupervised clustering methods, a new Improved EPNN (IEPNN) is constructed that requires much shorter training time. For further improvement of EPNN’s performance, the bagging technique is also employed. Moreover, a different spread parameters’ matrix of PNNs’ kernels is used for every class of the available data. In Chapter 6 a brief summary of the fundamental concepts of Bayesian Analysis is provided. Afterwards, a Bayesian model is proposed for the estimation of PNN’s spread parameters where the estimation is achieved by Gibbs sampler. The aforementioned model is incorporated into PNNs and EPNNs, proposing a new class of models that are named Bayesian PNNs (BPNN). Moreover, we study the viii use of Epanechnikov’s kernel function besides the normal kernel. In the first part of Chapter 7 a short review on the theory of Fuzzy Sets is provided. A Fuzzy Membership Function is employed for the further improvement of EPNN’s performance in binary classification tasks and the proposed model is named Fuzzy EPNN (FEPNN). Furthermore, we propose a new decomposition algorithm that converts multi–class classification problems into multiple binary classification ones. Utilizing this algorithm, FEPNNs can also be applied on multi– class classification problems. This dissertation is completed with Chapter 8 and Appendix A. In the last chapter, a comparison between all the novel models takes place. Moreover, the proposed models are compared to the model that has achieved the greatest performance ever for each classification problem. In Appendix A, we provide a short description of all the classification problems that were used in this thesis for the evaluation of the proposed models

Η παρούσα διατριβή ασχολείται με τη μελέτη και την ανάπτυξη μοντέλων τα- ξινόμησης τα οποία ϐασίζονται στα Πιθανοτικά Νευρωνικά Dίκτυα (ΠΝD). Τα προ- τεινόμενα μοντέλα αναπτύχθηκαν ενσωματώνοντας στατιστικές μεθόδους αλλά και μεθόδους από διάφορα πεδία της Υπολογιστικής Νοημοσύνης (ΥΝ). Η παρουσία- ση των επιμέρους ϑεμάτων και αποτελεσμάτων της διατριβής αυτής οργανώνεται ως εξής : Στο Κεφάλαιο 1 παρουσιάζουμε τα απαιτούμενα ϑεωρητικά στοιχεία της στατι- στικής ϑεωρίας αποφάσεων σε προβλήματα ταξινόμησης. Επιπλέον, παρέχεται μια σύνοψη των ϐασικών κανόνων ταξινόμησης και των συναρτήσεων διαχωρισμού. Το Κεφάλαιο 2 αφιερώνεται στην παρουσίαση των εννοιών που απαρτίζουν την ΥΝ. Ιδιαίτερη μνεία γίνεται στις μεθόδους ϐελτιστοποίησης της ΥΝ και συγκεκριμένα στη Βελτιστοποίηση με Σμήνος Σωματιδίων (ΒΣΣ) και στους Dιαφοροεξελικτικούς αλ- γόριθμους (DΕΑ). Στη συνέχεια, παρουσιάζονται εν συντομία τα Τεχνητά Νευρωνικά Dίκτυα (ΤΝD) και ειδικότερα τα ΠΝD για τα οποία γίνεται μια εκτενής αναφορά για τη δομή, τη λειτουργία, τη χρησιμότητα και τις ποικίλες εφαρμογές τους. Επίσης, παρουσιάζονται και αρκετές παραλλαγές των ΠΝD. Στο Κεφάλαιο 3 παρέχεται μια σύντομη περιγραφή των τυπικών μεθόδων επα- ναδειγματοληψίας που απαιτούνται σε προβλήματα μηχανικής μάθησης. Επιπλέον, παρουσιάζεται η απαιτούμενη μεθοδολογία στατιστικών συγκρίσεων για αλγόριθμους ταξινόμησης σε ένα αλλά και σε πολλαπλά πεδία εφαρμογών. Στο Κεφάλαιο 4 προτείνεται μια νέα κλάση μοντέλων ταξινόμησης τα οποία απο- τελούν μια παραλλαγή των ΠΝD. Συγκεκριμένα, εξελικτικοί αλγόριθμοι ϐελτιστοποί- ησης ενσωματώνονται στο ΠΝD για την αναζήτηση ϐέλτιστων τιμών των παραμέτρων λείανσης των συναρτήσεων πυρήνων του ΠΝD. Για τον σκοπό αυτό χρησιμοποιείται η ΒΣΣ και οι DΕΑ και τα νέα μοντέλα καλούνται Εξελικτικά ΠΝD (ΕΠΝD). Στο Κεφάλαιο 5 παρουσιάζεται μια σειρά ϐελτιώσεων των ΕΠΝD ως προς την από- δοση αλλά και τον απαιτούμενο χρόνο εκπαίδευσης των. Χρησιμοποιώντας μεθόδους ομαδοποίησης (clustering) χωρίς επίβλεψη, κατασκευάζουμε ένα Βελτιωμένο ΕΠΝD (ΒΕΠΝD) το οποίο απαιτεί πολύ μικρότερο χρόνο εκπαίδευσης. Για την περαιτέρω ϐελτίωση του ΕΠΝD χρησιμοποιείται η τεχνική bagging και επιπλέον επιτρέπουμε σε κάθε κλάση δεδομένων να έχει διαφορετικές παραμέτρους λείανσης στους πυρήνες των ΠΝD. Το Κεφάλαιο 6 παρέχει αρχικά μια σύντομη περίληψη των ϐασικών εννοιών της Μπεϋζιανής Ανάλυσης. Στη συνέχεια, προτείνεται ένα Μπεϋζιανό μοντέλο για την εκτίμηση των παραμέτρων λείανσης των ΠΝD η οποία επιτυγχάνεται μέσω του Dειγ- vi ματολήπτη Gibbs. Το προαναφερθέν μοντέλο ενσωματώνεται στα ΠΝD και ΕΠΝD, προτείνοντας μια κλάση μοντέλων τα οποία καλούνται Μπεϋζιανά ΠΝD (ΜΠΝD). Τέ- λος, μελετάται και η χρήση του πυρήνα του Epanechnikov στα ΠΝD εκτός από τον πυρήνα κανονικής κατανομής Το πρώτο μέρος του Κεφαλαίου 7 παρέχει μια σύντομη εισαγωγή στη ϑεωρία των Ασαφών Συνόλων. Αρχικά, χρησιμοποιούμε μια Ασαφή Συνάρτηση Συμμετοχής χρησιμοποιείται για την περαιτέρω ϐελτίωση της απόδοσης των ΕΠΝD σε προβλήματα ταξινόμησης δύο κλάσεων και το μοντέλο που προκύπτει καλείται Ασαφές ΕΠΝD (ΑΕΠΝD). Επιπρόσθετα, προτείνεται ένας αλγόριθμος διάσπασης ενός προβλήματος πολλαπλών κλάσεων σε προβλήματα δύο κλάσεων έτσι ώστε να μπορεί να εφαρμοστεί το ΑΕΠΝD και σε τέτοιου είδους προβλήματα. Η παρουσίαση της διατριβής ολοκληρώνεται με το Κεφάλαιο 8 και το Παράρτημα Α. Στο Κεφάλαιο 8 παρουσιάζεται η σύγκριση των νέων μοντέλων ταξινόμησης μεταξύ τους. Επίσης, τα προτεινόμενα μοντέλα συγκρίνονται και με τα μοντέλα άλλων ερευ- νητών που έχουν πετύχει τα καλύτερα αποτελέσματα στα συγκεκριμένα προβλήματα ταξινόμησης. Το Παράρτημα Α περιέχει μια σύντομη περιγραφή των προβλημάτων ταξινόμησης και των δεδομένων που χρησιμοποιήθηκαν στην παρούσα διατριβή, για τη σύγκριση των προτεινόμενων μοντέλων.