Ανάπτυξη μεθόδων υπολογιστικής νοημοσύνης για την εκπαίδευση νευρωνικών δικτύων ακτινικής συνάρτησης βάσης με έμφαση σε προσαρμοστικές τεχνικές

Abstract

The purpose of this PhD thesis is to develop new computational intelligence methods, focusing specifically on the development of new training algorithms for radial basis function (RBF) networks. The primary goal of the research is to address the challenges associated with modeling real-world systems, which present complex computational and statistical difficulties. By employing both conventional and non-conventional methods and incorporating new adaptive training algorithms, this research seeks to further enhance the existing body of knowledge around RBF network training with the goal of modeling complex systems. To begin with, three new RBF network training algorithms were developed in the context of modeling time-invariant systems, offering distinct features and advantages. The first methodology is based on the use of conventional optimization techniques, in particular the Levenberg-Marquardt (LM) algorithm combined with the variable projection (VP) method, while the fuzzy means (FM) algorithm formes the basis of the method. Extensive experimentation on benchmark data sets demonstrated the ability of the algorithm to achieve high accuracy in short computational time compared to known models and methods of literature. The other two training algorithms are based on metaheuristic optimization methods, namely the tabu search (TS) and differential evolution (DE) in two novel combinatorial frameworks with the non symmetric fuzzy means (NSFM) algorithm. The proposed training schemes are able to handle large datasets in short computational time and take into account many input variables for efficient system modeling. The performance of the algorithms was evaluated on real-world systems, more specifically on the modeling of wind turbine power curves and the modeling of biogas production in an industrial wastewater treatment plant, respectively. The comparative analyses with other existing methods showed the superior performance of the proposed approaches in terms of modelling capabilities, also allowing the identification of potential plant malfunctions. In the field of adaptive algorithms, two new algorithms for modeling data streams were developed through this PhD thesis. The first method integrates the adaptive FM algorithm with Givens rotations, forming a new combinatorial FM-Givens framework. This approach facilitates efficient continuous training on high-volume and high-dimensional data streams, as demonstrated by extensive experimental work on real and artificial data stream sets. This research has spurred subsequent studies in the field of adaptive training methods to overcome some problems implied by the use of standard least squares. In particular, the second algorithm developed involves the incorporation of a modified recursive least squares (RLS) problem. The results highlighted the superiority of the algorithm compared to known methods in the literature, and compared to the FM-Givens algorithm, experimental results showed that the FM-RLS algorithm offers several advantages, including low computational cost and efficiency, making it suitable for large datasets and data streams. Another challenge of this PhD thesis is to overcome the difficulties associated with modelling non-linear time series using RBF networks. Thus, a new hybrid model is proposed that combines the characteristics of an autoregressive moving average (ARMA) model with RBF networks. For the new ARMA-RBF hybrid model, a new two-phase training algorithm is developed that allows automatic determination of the network structure and parameters. The research demonstrates that the proposed approach ensures the convergence of the centers and, moreover, formulates the necessary conditions to achieve convergence of the weights. Extensive evaluations conducted on benchmark time series datasets show that the proposed model outperforms its competitors in terms of modeling accuracy, while achieving faster computational times compared to known methods in the literature. The findings of this research contribute to the advancement of nonlinear time series modeling techniques using RBF networks, providing a promising approach to address real-world prediction problems. Finally, this PhD thesis also focuses on the development of new reinforcement learning (RL) methods based on fully adaptive RBF networks with the primary goals of improving accuracy and reducing complexity. The evaluation of the new reinforcement learning techniques is carried out using two reference control systems, namely a simple pendulum and a rotating inverted pendulum (RIP) system. These are two complex and nonlinear systems with scalar difficulty for which traditional control methods face challenges in the absence of accurate models. The goal in both systems is to guide the pendulum to the upper vertical position through full control by a novel reinforcement learning algorithm based on adaptive RBF networks. The broad findings of this research highlight the effectiveness of the proposed algorithm in challenging control systems.

Σκοπός της παρούσας διδακτορικής διατριβής είναι η ανάπτυξη νέων μεθόδων υπολογιστικής νοημοσύνης, εστιάζοντας συγκεκριμένα στην ανάπτυξη νέων αλγορίθμων εκπαίδευσης για τα δίκτυα ακτινικής συνάρτησης βάσης (radial basis function, RBF). Πρωταρχικός στόχος της έρευνας είναι η αντιμετώπιση των προκλήσεων που σχετίζονται με τη μοντελοποίηση συστημάτων του πραγματικού κόσμου, τα οποία παρουσιάζουν περίπλοκες υπολογιστικές και στατιστικές δυσκολίες. Με την ενίσχυση συμβατικών και μη μεθόδων και την ενσωμάτωση νέων προσαρμοστικών αλγορίθμων, αυτή η έρευνα επιδιώκει να ενισχύσει περαιτέρω το υπάρχον σώμα γνώσεων γύρω από την εκπαίδευση δικτύων RBF με στόχο τη μοντελοποίηση πολύπλοκων συστημάτων. Αρχικά, στο πλαίσιο μοντελοποίησης χρονικά αναλλοίωτων συστημάτων αναπτύχθηκαν τρεις νέοι αλγόριθμοι εκπαίδευσης δικτύων RBF, προσφέροντας ξεχωριστά χαρακτηριστικά και πλεονεκτήματα. Η πρώτη μεθοδολογία βασίζεται στη χρήση συμβατικών τεχνικών βελτιστοποίησης και πιο συγκεκριμένα στον αλγόριθμο Levenberg-Marquardt (LM) σε συνδυασμό με τη μέθοδο προβολής μεταβλητής (variable projection, VP) ενώ βάση της μεθόδου αποτέλεσε ο αλγόριθμος των ασαφών μέσων (fuzzy means, FM). Εκτενής πειραματισμός σε σύνολα δεδομένων αναφοράς ανέδειξε την ικανότητα του αλγορίθμου να επιτυγχάνει υψηλή ακρίβεια σε σύντομο υπολογιστικό χρόνο σε σχέση με γνωστά μοντέλα και μεθόδους της βιβλιογραφίας. Οι άλλοι δύο αλγόριθμοι εκπαίδευσης βασίζονται σε μεθευρετικές (metaheuristic) μεθόδους βελτιστοποίησης και συγκεκριμένα στον αλγόριθμο αναζήτησης ταμπού (tabu search, TS) και της διαφορικής εξέλιξης (differential evolution, DE) σε δύο καινοτόμα συνδυαστικά πλαίσια με τον αλγορίθμο των μη συμμετρικών ασαφών μέσων (non symmetric fuzzy means, NSFM). Τα προτεινόμενα σχήματα εκπαίδευσης είναι σε θέση να διαχειρίζονται μεγάλα σύνολα δεδομένων σε σύντομο υπολογιστικό χρόνο και να παίρνουν υπόψη πολλές μεταβλητές εισόδου για την αποτελεσματική μοντελοποίηση συστημάτων. Η απόδοση των αλγορίθμων αξιολογήθηκε σε συστήματα του πραγματικού κόσμου και πιο συγκεκριμένα στη μοντελοποίηση καμπυλών ισχύος ανεμογεννητριών και στη μοντελοποίηση της παραγωγής βιοαερίου σε μια μονάδα επεξεργασίας βιομηχανικών λυμάτων, αντίστοιχα. Οι συγκριτικές αναλύσεις με άλλες υπάρχουσες μεθόδους ανέδειξαν την ανώτερη απόδοση των προτεινόμενων προσεγγίσεων ως προς τις ικανότητες μοντελοποίησης, επιτρέποντας επίσης και τον εντοπισμό πιθανών δυσλειτουργιών των μονάδων. Στον τομέα των προσαρμοστικών αλγορίθμων, μέσω της παρούσας διδακτορικής διατριβής αναπτύχθηκαν δύο νέοι αλγόριθμοι για τη μοντελοποίηση ροών δεδομένων. Ο πρώτος αλγόριθμος ενσωματώνει τον προσαρμοστικό αλγορίθμο FM με τις περιστροφές Givens, διαμορφώνοντας ένα νέο συνδυαστικό πλαίσιο FM-Givens. Η προσέγγιση αυτή διευκολύνει την αποτελεσματική συνεχή εκπαίδευση σε ροές δεδομένων μεγάλου όγκου και υψηλών διαστάσεων, όπως αποδεικνύεται από την εκτεταμένη πειραματική διαδικασία σε πραγματικά και τεχνητά σύνολα ροών δεδομένων. Αυτή η έρευνα ώθησε μεταγενέστερες μελέτες στον τομέα των προσαρμοστικών μεθόδων εκπαίδευσης για να ξεπεραστούν κάποια προβλήματα που συνεπάγονται από τη χρήση κλασικών ελαχίστων τετραγώνων. Συγκεκριμένα, ο δεύτερος αλγόριθμος που αναπτύχθηκε αφορά στην ενσωμάτωση ενός τροποποιημένου προβλήματος αναδρομικών ελάχιστων τετραγώνων (recursive least squares, RLS). Τα αποτελέσματα ανέδειξαν την υπεροχή του αλγορίθμου σε σύγκριση με γνωστές μεθόδους της βιβλιογραφίας ενώ σε σύγκριση με τον αλγόριθμο FM-Givens, τα πειραματικά αποτελέσματα έδειξαν ότι ο αλγόριθμος FM-RLS προσφέρει πολλά πλεονεκτήματα, συμπεριλαμβανομένου του χαμηλού υπολογιστικού κόστους και της αποδοτικότητας, τα οποία τον καθιστούν κατάλληλο για μεγάλα σύνολα δεδομένων και ροές δεδομένων. Μία ακόμα πρόκληση της παρούσας διδακτορικής διατριβής είναι να ξεπεράσει τις δυσκολίες που σχετίζονται με τη μοντελοποίηση μη γραμμικών χρονοσειρών με τη χρήση δικτύων RBF. Έτσι προτείνεται ένα νέο υβριδικό μοντέλο που συνδυάζει τα χαρακτηριστικά ενός μοντέλου αυτοπαλίνδρομου κινητού μέσου (autoregressive moving average, ARMA) με τα δίκτυα RBF. Για το νέο υβριδικό μοντέλο ARMA-RBF, αναπτύσσεται ένας νέος αλγόριθμος εκπαίδευσης δύο φάσεων που επιτρέπει τον αυτόματο προσδιορισμό της δομής και των παραμέτρων του δικτύου. Η έρευνα αποδεικνύει ότι η προτεινόμενη προσέγγιση εξασφαλίζει τη σύγκλιση των κέντρων και, επιπλέον, διατυπώνει τις απαιτούμενες προϋποθέσεις για την επίτευξη σύγκλισης των βαρών. Εκτεταμένες αξιολογήσεις σε σύνολα χρονοσειρών αναφοράς που πραγματοποιήθηκαν δείχνουν ότι το προτεινόμενο μοντέλο υπερτερεί των ανταγωνιστών του όσον αφορά την ακρίβεια μοντελοποίησης, ενώ παράλληλα επιτυγχάνει ταχύτερους υπολογιστικούς χρόνους σε σύγκριση με γνωστές μεθόδους τις βιβλιογραφίας. Τα ευρήματα της παρούσας έρευνας συμβάλλουν στην πρόοδο των τεχνικών μοντελοποίησης μη γραμμικών χρονοσειρών με τη χρήση δικτύων RBF, παρέχοντας μια πολλά υποσχόμενη προσέγγιση για την αντιμετώπιση προβλημάτων πρόβλεψης στον πραγματικό κόσμο. Τέλος, αυτή η διδακτορική διατριβή επικεντρώνεται και στην ανάπτυξη νέων μεθόδων ενισχυτικής μάθησης (reinforcement learning, RL) που βασίζονται σε πλήρως προσαρμοστικά δίκτυα RBF με πρωταρχικούς στόχους τη βελτίωση της ακρίβειας και τη μείωση της πολυπλοκότητας. Η αξιολόγηση των νέων τεχνικών ενισχυτικής μάθησης πραγματοποιείται χρησιμοποιώντας δύο συστήματα ελέγχου της αναφοράς, συγκεκριμένα ένα απλό εκκρεμές και ένα σύνθετο περιστροφικό ανάστροφο εκκρεμές (ΠΑΕ). Πρόκειται για δύο πολύπλοκα και μη γραμμικά συστήματα με κλιμακωτή δυσκολία για τα οποία οι παραδοσιακές μέθοδοι ελέγχου αντιμετωπίζουν προκλήσεις ελλείψει ακριβών μοντέλων. Στόχος και στα δύο συστήματα είναι η καθοδήγηση του εκκρεμούς στην άνω κατακόρυφη θέση μέσω πλήρους ελέγχου από έναν καινοτόμο αλγόριθμο ενισχυτικής μάθησης που βασίζεται σε προσαρμοστικά δίκτυα RBF. Τα ευρήματα της παρούσας έρευνας αναδεικνύουν την αποτελεσματικότητα του προτεινόμενου αλγορίθμου στα απαιτητικά συστήματα ελέγχου.