Bio-inspired algorithms for data analysis and decision-making

Abstract

This doctoral dissertation investigates bio-inspired algorithms and models for decision-making and data analysis. In view of scientific challenges for developing innovative solutions with high social impact, it explores applications in the context of image and signal analysis, including interpretable image classification, emotion recognition, depression severity estimation, risk transmission of infectious diseases, assistive navigation of visually impaired individuals, and virtual coaching for physical exercise. In this context, it focuses on the development of interpretable decision-making frameworks and models, based on fuzzy logic, and their optimization using bio-inspired algorithms. Optimization algorithms constitute a powerful tool and are used in many decision-making tasks. Although a plethora of such algorithms has been proposed there are still directions for improvement. For example, many of these algorithms have limitations like premature convergence, the possibility of being trapped into local optima, and limited diversity in generating optimal solutions. A recent bio-inspired algorithm is Brain Storm Optimization (BSO). The BSO algorithm mimics the human brainstorming process for efficient problem solving. Solutions are modeled as individuals, each representing an idea generated during the brainstorming process. These individuals belong to a larger population, which is clustered and iteratively updated by selecting a subset of individuals. Specifically, during the clustering process, all individuals are divided into several groups by applying the k-means algorithm. A new individual is then created, using cluster centers or individuals of one or two clusters. The best individual is selected and recorded as the final solution to the given problem. In BSO and most of its current modifications, the termination of the algorithm usually depends on a predefined upper bound of algorithm iterations, whereas its convergence speed needs improvement. To deal with the above limitations, in this dissertation, two novel modifications of BSO are proposed; firstly, the Determinative BSO (DBSO) algorithm is proposed, which is capable of automatically converging to optimal solutions. Specifically, a key component of the algorithm is a clustering component it includes, which starts with a relatively large number of clusters corresponding to the possible ideas and whenever clusters are identified, the clusters are merged, considering the criteria mentioned above. After the number of clusters has been reduced and there are not any other different enough possible solutions, the algorithm terminates. Another algorithm, named Stepladder Determinative BSO (S-DBSO) has been created based on a brainstorming technique for decision making, proposed in the field of psychology, named stepladder technique; this decision-making tool aims to the equal participation of all members during the brainstorming process, in a way that all of them can express their thoughts. The results of the experiments using well-known benchmark functions, and the scalability investigation performed, confirm that S-DBSO has an optimized directed search ability towards the best solutions, compared to the baseline algorithm as well as other recently proposed state-of-the-art algorithms. Interpretable machine learning (ML) models have received remarkable attention in terms of their capability to provide understandable explanations of their predictions evoked from complex systems. In this dissertation, a novel generalized framework is developed aiming to create interpretable auto-constructed Fuzzy Cognitive Maps (FCMs). Structured knowledge in the form of graphs, including FCMs, provides many benefits, including high understandability and knowledge representation accuracy. However, the manual development of the graphs requires the intervention and participation of experts with specific knowledge. Thus, despite their simple structure and ease of use, current FCMs also have some limitations, as in some cases, no expert may be available to contribute to the definition of an FCM. Furthermore, in complex systems, the large number of concepts and their interconnections that may include make manual model design difficult. Considering the above, the introduced FCM framework embeds a mechanism for automatic determination of the FCM structure from the datasets used in each experiment. This is achieved by considering a training dataset as a source of knowledge to automatically detect and define the cause-and-effect relationships between the concepts of a given problem. The introduced framework has been effectively applied to multi-label image classification as well as to biomedical image analysis, aiming to address the challenge of automated lesion risk assessment based on wireless capsule endoscopy (WCE) images, and pneumonia diagnosis using X-rays. Experiments using publicly available datasets demonstrate the effectiveness of the proposed framework and models and confirm that they can successfully extend the application of baseline FCMs for image analysis. A contribution of this dissertation is the development of FCMs for signal analysis, on a novel application considering electroencephalogram (EEG) signals. In particular, a novel framework for automatically creating FCMs is proposed, and applied for the estimation of depression severity of adolescents. The introduced framework uses features extracted from a model that detects the cause-and-effect relationships using fuzzy logic, between brain activity and depression, in a more intuitive way. Furthermore, an auto-constructed FCM model, using EEG signals, has been developed aiming to perform interpretable emotion recognition. The proposed approaches are simple to implement and earn the trust of the user, while providing interpretable results. Another research direction investigated in this dissertation has led to the development of a novel FCM model, aiming to deal with the challenge of assistive navigation of visually impaired individuals. The proposed model is based on DBSO, which is used to automatically adapt the weights of the FCM structure. This application ensures the avoidance of static obstacles in an unknown environment, while considering the output of an obstacle detection system based on a depth camera. The simulation results show that the proposed model can effectively assist the users to avoid static obstacles and safely reach a desired destination. A novel user-centered virtual coaching (VC) framework based on FCMs is also introduced in this work for physical exercise. Τhe introduced framework, an FCM plays the role of a virtual coach as it configures suitable paths for users to navigate, based on their desired exercise intensity, as well as their physiological measurements obtained from wearable sensors, during their exercise. The contributions of the proposed framework include the following: i) a novel VC FCM that automatically determines its structure through a supervised process; ii) a dynamic personalized adaptation mechanism enabling the FCM graph to change its parameters based on the evoked physiological measurements and adapt to any desired path the users want to navigate, iii) an inherent interpretation mechanism capable of explaining the decisions of the FCM to the users, thus gaining their trust. Another contribution of this dissertation is the development of a novel framework based on intuitionistic FCMs (iFCMs) for interpretable image classification. . Intuitionistic FCMs (iFCMs) have been proposed as an extension of FCMs with the aim of offering a natural mechanism for evaluating the quality of their output through the estimation of hesitancy, a concept resembling human hesitation in decision making. In the context of image classification, hesitancy is considered as a degree of unconfidence with which an image is categorized to a class. Specifically, this framework includes a CNN-based feature extraction process that focuses on the most informative image regions. It also presents a methodology for constructing data-driven IFSs and a learning algorithm that automatically defines the graph interconnections based on these IFSs. In addition, an interpretable classification approach is proposed, using the iFCM structure to explain the classification results based on local information derived from image regions. The various methodologies introduced in this dissertation outperform the respective state-of-the-art methods, while they are able to cope with various challenges that have been documented in the literature for each domain of application. The research landscape explored is broad and its contributions are expected to have significant scientific and societal impact, opening new perspectives for further future research and the advancement of science.

Αυτή η διδακτορική διατριβή διερευνά αλγόριθμους και μοντέλα εμπνευσμένα από τη βιολογία για τη λήψη αποφάσεων και την ανάλυση δεδομένων. Ενόψει των επιστημονικών προκλήσεων για την ανάπτυξη καινοτόμων λύσεων με υψηλό κοινωνικό αντίκτυπο, διερευνά εφαρμογές στο πλαίσιο της ανάλυσης εικόνας και των σημάτων, συμπεριλαμβανομένης της ερμηνεύσιμης ταξινόμησης εικόνας, της αναγνώρισης συναισθημάτων, της εκτίμησης της σοβαρότητας της κατάθλιψης, της μετάδοσης κινδύνου μολυσματικών ασθενειών, της υποβοηθητικής πλοήγησης ατόμων με προβλήματα όρασης και της εικονικής καθοδήγησης για σωματική άσκηση. Σε αυτό το πλαίσιο, εστιάζει στην ανάπτυξη ερμηνεύσιμων μεθοδολογιών και μοντέλων λήψης αποφάσεων, βασισμένων στην ασαφή λογική, και στη βελτιστοποίησή τους χρησιμοποιώντας βιο-εμπνευσμένους αλγόριθμους, δηλαδή αλγορίθμους εμπνευσμένους από τη βιολογία Οι αλγόριθμοι βελτιστοποίησης αποτελούν ένα ισχυρό εργαλείο και χρησιμοποιούνται σε πολλές εφαρμογές λήψης αποφάσεων. Παρόλο που έχει προταθεί πληθώρα τέτοιων αλγορίθμων, υπάρχουν ακόμη κατευθύνσεις για την περαιτέρω βελτίωσή τους. Για παράδειγμα, πολλοί από αυτούς τους αλγόριθμους έχουν περιορισμούς, όπως η πρόωρη σύγκλιση, η πιθανότητα παγίδευσης σε τοπικά βέλτιστα και η περιορισμένη ποικιλομορφία στη δημιουργία βέλτιστων λύσεων. Ένας πρόσφατος βιο-εμπνευσμένος αλγόριθμος είναι ο Αλγόριθμος Βελτιστοποίησης Ιδεοκαταιγισμού (Brain Storm Optimization (BSO)). Ο αλγόριθμος BSO μιμείται τη διαδικασία καταιγισμού ιδεών από ανθρώπους για την αποτελεσματική επίλυση προβλημάτων. Οι πιθανές λύσεις μοντελοποιούνται ως άτομα, καθένα από τα οποία αντιπροσωπεύει μια ιδέα που δημιουργείται κατά τη διάρκεια της διαδικασίας καταιγισμού ιδεών. Αυτά τα άτομα ανήκουν σε έναν μεγαλύτερο πληθυσμό, ο οποίος συνεχώς ενημερώνεται επιλέγοντας ένα υποσύνολο των ατόμων από τα οποία αποτελείται. Συγκεκριμένα, κατά τη διάρκεια της διαδικασίας ομαδοποίησης που περιέχει ο αλγόριθμος, τα άτομα χωρίζονται σε διάφορες ομάδες εφαρμόζοντας τον αλγόριθμο ομαδοποίησης Κ-Μέσων. Έτσι, στη συνέχεια δημιουργείται μία νέα πιθανή λύση, χρησιμοποιώντας τα κέντρα που έχουν προκύψει από τις ομαδοποιήσεις αυτές. Το καλύτερο άτομο επιλέγεται και καταγράφεται ως η τελική, βέλτιστη δηλαδή, λύση στο δεδομένο πρόβλημα. Στο BSO και στις περισσότερες από τις τρέχουσες τροποποιήσεις του, ο τερματισμός του αλγορίθμου εξαρτάται συνήθως από ένα προκαθορισμένο ανώτερο όριο επαναλήψεων του αλγορίθμου, ενώ η ταχύτητα σύγκλισής του χρειάζεται διερεύνηση και βελτίωση. Για την αντιμετώπιση των παραπάνω περιορισμών, στην παρούσα διατριβή, προτείνονται δύο νέες τροποποιήσεις του BSO. Πρώτον, προτείνεται ο αλγόριθμος Determinative BSO (DBSO), ο οποίος είναι ικανός να συγκλίνει αυτόματα σε βέλτιστες λύσεις. Συγκεκριμένα, ένα βασικό στοιχείο του αλγορίθμου είναι πως ο αλγόριθμος ξεκινά με έναν σχετικά μεγάλο αριθμό συστάδων που αντιστοιχούν στις πιθανές ιδέες και κάθε φορά που εντοπίζονται όμοιες πιθανές λύσεις, οι συστάδες συγχωνεύονται. Αφού μειωθεί ο αριθμός των συστάδων και δεν υπάρχουν άλλες αρκετά διαφορετικές πιθανές λύσεις, ο αλγόριθμος τερματίζει. Επιπρόσθετα, ένας άλλος αλγόριθμος, που ονομάζεται Stepladder Determinative BSO (S-DBSO), έχει δημιουργηθεί βασισμένος σε μια τεχνική καταιγισμού ιδεών για τη λήψη αποφάσεων, που προτείνεται στον τομέα της ψυχολογίας, και ονομάζεται stepladder technique. Αυτό το εργαλείο λήψης αποφάσεων στοχεύει στην ισότιμη συμμετοχή όλων των μελών κατά τη διάρκεια της διαδικασίας καταιγισμού ιδεών, με τρόπο ώστε όλοι να μπορούν να εκφράσουν τις σκέψεις τους. Τα αποτελέσματα των πειραμάτων που πραγματοποιήθηκαν, χρησιμοποιώντας γνωστές συναρτήσεις αναφοράς, επιβεβαιώνουν ότι το S-DBSO έχει βελτιστοποιημένη ικανότητα κατευθυνόμενης αναζήτησης προς τις καλύτερες λύσεις, σε σύγκριση με τον βασικό αλγόριθμο, καθώς και με άλλους πρόσφατα προτεινόμενους αλγόριθμους αιχμής. Τα ερμηνεύσιμα μοντέλα μηχανικής μάθησης έχουν λάβει αξιοσημείωτη προσοχή και ενδιαφέρον όσον αφορά την ικανότητά τους να παρέχουν κατανοητές εξηγήσεις των προβλέψεών τους που προκύπτουν από πολύπλοκα συστήματα. Σε αυτή τη διατριβή, αναπτύσσεται ένα νέο γενικευμένο πλαίσιο με στόχο τη δημιουργία ερμηνεύσιμων αυτοκατασκευασμένων Ασαφών Γνωστικών Χαρτών (Fuzzy Cognitive Maps (FCMs)). Η γνώση με τη μορφή γράφων, συμπεριλαμβανομένων των FCMs, παρέχει πολλά οφέλη, όπως υψηλή κατανοησιμότητα και ακρίβεια αναπαράστασης. Ωστόσο, η χειροκίνητη ανάπτυξη αυτών των γράφων απαιτεί την παρέμβαση και τη συμμετοχή ειδικών με συγκεκριμένες γνώσεις. Έτσι, παρά την απλή δομή και την ευκολία χρήσης τους, τα τρέχοντα FCMs έχουν ορισμένους περιορισμούς, καθώς σε ορισμένες περιπτώσεις, δεν υπάρχει διαθέσιμος ειδικός για να συνεισφέρει στον ορισμό τους. Επιπλέον, σε πολύπλοκα συστήματα, ο μεγάλος αριθμός εννοιών και οι διασυνδέσεις που μπορεί να περιλαμβάνουν, δυσχεραίνουν τον χειροκίνητο σχεδιασμό αυτών των μοντέλων. Λαμβάνοντας υπόψη τα παραπάνω, το εισαγόμενο πλαίσιο ενσωματώνει έναν μηχανισμό για τον αυτόματο προσδιορισμό της δομής των FCMs, από τα σύνολα των δεδομένων εκπαίδευσης που χρησιμοποιούνται σε κάθε πείραμα. Το εισαγόμενο πλαίσιο έχει εφαρμοστεί αποτελεσματικά στην ταξινόμηση εικόνων πολλαπλών ετικετών καθώς και στην ανάλυση βιοϊατρικών εικόνων, με στόχο την αντιμετώπιση της πρόκλησης της αυτοματοποιημένης αξιολόγησης κινδύνου αλλοιώσεων με βάση εικόνες ασύρματη ενδοσκοπικής κάψουλας, και της διάγνωσης πνευμονίας χρησιμοποιώντας ακτίνες Χ. Πειράματα που πραγματοποιήθηκαν χρησιμοποιώντας δημόσια διαθέσιμα σύνολα δεδομένων επιβεβαιώνουν την αποτελεσματικότητα του προτεινόμενου πλαισίου και μοντέλων και επιβεβαιώνουν ότι μπορούν να επεκτείνουν με επιτυχία την εφαρμογή των FCMs για την ανάλυση εικόνας. Μια επιπλέον συνεισφορά αυτής της διατριβής είναι η ανάπτυξη ενός FCM για τη ανάλυση σημάτων ηλεκτροεγκεφαλογραφήματος. Συγκεκριμένα, προτείνεται ένα νέο πλαίσιο για την αυτόματη δημιουργία FCMs και εφαρμόζεται για την εκτίμηση της σοβαρότητας της κατάθλιψης σε εφήβους. Το εισαγόμενο πλαίσιο χρησιμοποιεί χαρακτηριστικά που εξάγονται από ένα μοντέλο που ανιχνεύει τις σχέσεις αιτίας-αποτελέσματος χρησιμοποιώντας ασαφή λογική, μεταξύ της εγκεφαλικής δραστηριότητας και της κατάθλιψης, με πιο διαισθητικό τρόπο. Επιπλέον, έχει αναπτυχθεί ένα μοντέλο FCM, χρησιμοποιώντας σήματα ηλεκτροεγκεφαλογραφήματος, με στόχο την εκτέλεση ερμηνεύσιμης αναγνώρισης συναισθημάτων. Οι προτεινόμενες προσεγγίσεις είναι απλές στην εφαρμογή και κερδίζουν την εμπιστοσύνη του χρήστη, παρέχοντας παράλληλα ερμηνεύσιμα και κατανοητά αποτελέσματα των προβλέψεών τους. Μια άλλη ερευνητική κατεύθυνση που διερευνήθηκε σε αυτή τη διατριβή οδήγησε στην ανάπτυξη ενός καινοτόμου FCM μοντέλου, με στόχο την αντιμετώπιση της πρόκλησης της υποβοηθητικής πλοήγησης ατόμων με προβλήματα όρασης. Το προτεινόμενο μοντέλο βασίζεται στον DBSO αλγόριθμο, ο οποίος χρησιμοποιείται για την προσαρμογή των βαρών του FCM. Αυτή η εφαρμογή διασφαλίζει την αποφυγή στατικών εμποδίων σε άγνωστο περιβάλλον, λαμβάνοντας παράλληλα υπόψη την έξοδο ενός συστήματος ανίχνευσης εμποδίων, που βασίζεται σε κάμερα βάθους. Τα αποτελέσματα των πειραμάτων, δείχνουν ότι το προτεινόμενο μοντέλο μπορεί να βοηθήσει αποτελεσματικά τους χρήστες να αποφύγουν τα στατικά εμπόδια και να φτάσουν με ασφάλεια στον επιθυμητό προορισμό. Ένα νέο πλαίσιο εικονικής καθοδήγησης (Virtual Coaching (VC)) με επίκεντρο τον χρήστη, βασισμένο σε FCMs, εισάγεται επίσης σε αυτή την εργασία για τη σωματική άσκηση. Στο εισαγόμενο πλαίσιο, ένα FCM παίζει τον ρόλο ενός εικονικού προπονητή. Διαμορφώνει κατάλληλες διαδρομές για την πλοήγηση των χρηστών, με βάση την επιθυμητή ένταση άσκησής τους, καθώς και τις φυσιολογικές τους μετρήσεις που λαμβάνονται από φορετούς αισθητήρες, κατά τη διάρκεια της άσκησής τους. Οι συνεισφορές του προτεινόμενου πλαισίου περιλαμβάνουν τα ακόλουθα: i) ένα νέο VC FCM που καθορίζει αυτόματα τη δομή του μέσω μιας εποπτευόμενης διαδικασίας. ii) ένας δυναμικός εξατομικευμένος μηχανισμός προσαρμογής που επιτρέπει στο FCM να αλλάζει τις παραμέτρους του με βάση τις προκληθείσες φυσιολογικές μετρήσεις και να προσαρμόζεται σε οποιαδήποτε επιθυμητή διαδρομή θέλουν να ακολουθήσουν οι χρήστες, iii) ένας εγγενής μηχανισμός ερμηνείας ικανός να εξηγήσει τις αποφάσεις του FCM στους χρήστες, κερδίζοντας έτσι την εμπιστοσύνη τους. Μια άλλη συμβολή αυτής της διατριβής είναι η ανάπτυξη ενός νέου πλαισίου βασισμένου σε διαισθητικά ασαφή σύνολα, και συγκεκριμένα σε Διαισθητικούς Ασαφείς Γνωστικούς Χάρτες (Intuitionistic FCMs ((iFCMs)) για την ερμηνεύσιμη ταξινόμηση εικόνων. Τα iFCMs έχουν προταθεί ως επέκταση των βασικών FCMs με στόχο την προσφορά ενός φυσικού μηχανισμού για την αξιολόγηση της ποιότητας του αποτελέσματός τους μέσω της εκτίμησης της διστακτικότητας, μιας έννοιας που μοιάζει με τον ανθρώπινο δισταγμό στη λήψη αποφάσεων. Στο πλαίσιο της ταξινόμησης εικόνων, η διστακτικότητα θεωρείται ως ένας βαθμός αμφιβολίας με τον οποίο μια εικόνα εντάσσεται σε μια κατηγορία. Συγκεκριμένα, η έρευνα αυτή περιλαμβάνει μια διαδικασία εξαγωγής χαρακτηριστικών βασισμένη σε Συνελικτικά Νευρωνικά Δίκτυα που εστιάζει στις πιο αντιπροσωπευτικές περιοχές μίας εικόνας. Παρουσιάζεται επίσης μια μεθοδολογία για την κατασκευή διαισθητικών ασαφών συνόλων που βασίζονται σε δεδομένα εκπαίδευσης, καθώς και ένας αλγόριθμος μάθησης που ορίζει αυτόματα τις διασυνδέσεις των γράφων, αξιοποιώντας διαισθητικά ασαφή σύνολα. Οι διάφορες μεθοδολογίες που εισάγονται σε αυτή τη διατριβή υπερτερούν των αντίστοιχων σύγχρονων μεθόδων, ενώ είναι σε θέση να αντιμετωπίσουν διάφορες προκλήσεις που έχουν τεκμηριωθεί στη βιβλιογραφία για κάθε τομέα εφαρμογής. Το ερευνητικό πεδίο που διερευνάται σε αυτή τη διδακτορική διατριβή είναι ευρύ και οι συνεισφορές του αναμένεται να έχουν σημαντικό επιστημονικό και κοινωνικό αντίκτυπο, ανοίγοντας νέες προοπτικές για περαιτέρω μελλοντική έρευνα και πρόοδο της επιστήμης.