Αναγνώριση συναισθημάτων από ηλεκτροεγκεφαλογράφημα μέσω προηγμένων μεθόδων επεξεργασίας σήματος

Abstract

The aim of the present thesis is to develop advanced signal processing techniques for Electroencephalogram (EEG)-based emotion recognition. The proposed methodologies lie in two major lines: (i) the extraction of valuable information, related with emotions, that would lead to the enhancement of the emotion recognition task and (i) the evaluation of emotion elicitation procedures, as far as their ability to induct emotions is concerned. Moreover, the aforementioned methodologies are based on the basic principles that govern the emotional expression in EEG signals, as are proved from the current findings in neuroscience, and intend to incorporate those principles in the relative emotion recognition systems. In the first part of the thesis, the recognition of the six basic emotions is examined, i.e., the emotions of happiness, surprise, anger, fear, disgust, and sadness. For the elicitation of the aforementioned discrete emotions, the theory behind the Mirror Neuron System (MNS) is adopted. According to MNS, the EEG activity that is expressed when a subject feels an emotion, is the same or akin when a subject is actually watches another person expressing this emotion through face or body gesture, via a mechanism that is responsible for decoding other people's intentions. A new technique for the classification of the six basic emotions is proposed, where a feature set drawn from Higher Order Crossings (HOC) analysis is employed. Subsequently, an attempt to efficiently isolate the emotion-related EEG characteristics, a novel algorithmic tool is proposed, namely Hybrid Adaptive Filtering (HAF). High classification rates are accomplished, reaching 85%. In the second part of this thesis, the recognition of generalized affective states is studied. These affective states are not described as discrete emotions but rather as states characterized by two fundamental dimensions, arousal and valence. The subjective criteria that govern the emotional evaluation of the pictures emotional content, revealed the need of a measure that would evaluate the emotion elicitation trial in terms of its ability to induct emotional experience. Towards that, an index is proposed, namely Asymmetry Index (AsI). Furthermore, in order to localize the emotional experience in time and better isolate the frequency components that incorporate emotional information, four different implementations of the AsI measure are proposed. The resulted methodologies accomplish, as the HAF algorithm does, a kind of “emotional” filtering that boosts the emotional content of the filtered signals and leads to better classification results. Finally, for the first time in the EEG-based emotion recognition area, the detection of emotional transitions is studied. The conduct of a specifically designed experiment, that aims to elicit emotional transitions, is described. Moreover the methodology to detect these transitions is presented. The method proposed, is based on a variation of the AsI index, i.e., the transitional AsI (TAsI). The effectiveness of TAsI is tested for various subjects' mood scenarios and its dependence from mood is revealed. The whole approach shows promising results and lays the foundations for a more realistic implementation of EEG-based emotion recognition systems.

Σκοπός της διατριβής είναι ανάπτυξη μεθοδολογιών επεξεργασίας σήματος για την αναγνώριση συναισθημάτων από ηλεκτροεγκεφαλογράφημα (ΗΕΓ). Οι προτεινόμενες μεθοδολογίες βασίζονται σε δύο κύριους άξονες: (i) την εξόρυξη της χρήσιμης πληροφορίας από τα σήματα ΗΕΓ για την όσο το δυνατόν πιο αποτελεσματική αναγνώριση των συναισθημάτων και (ii) την αξιολόγηση των διαδικασιών εκμαίευσης συναισθημάτων ως προς την αποτελεσματικότητά τους να προκαλούν συναισθήματα. Κάθε μέθοδος που προτείνεται βασίζεται στις αρχές που διέπουν την έκφραση του συναισθήματος στα σήματα ΗΕΓ, όπως περιγράφονται από τις σύγχρονες μελέτες των νευροεπιστημών, και σκοπό έχουν την ενσωμάτωση αυτών των αρχών στα συστήματα αναγνώρισης συναισθημάτων. Αρχικά, εξετάζεται η αναγνώριση διακριτών συναισθημάτων και συγκεκριμένα των έξι βασικών συναισθημάτων, δηλαδή, της χαράς, της έκπληξης, του θυμού, του φόβου, της απέχθειας και της λύπης. Η εκμαίευση των συναισθημάτων αυτών βασίζεται στη θεωρία του Συστήματος Νευρώνων Καθρεπτών σύμφωνα με την οποία, η πρόκληση του συναισθήματος προέρχεται μέσα από μια διαδικασία υποσυνείδητης αποκωδικοποίησης των συναισθηματικών εκφράσεων των άλλων ατόμων. Για την αναγνώριση των διακριτών συναισθημάτων προτείνεται η δημιουργία ενός διανύσματος χαρακτηριστικών που βασίζεται στην ανάλυση των διαβάσεων από το Μηδέν Ανώτερης Τάξης (ΜΑΤ). Στη συνέχεια, σε μια προσπάθεια να απομονωθεί από τα σήματα ΗΕΓ η πληροφορία που σχετίζεται με τα συναισθήματα και να απορριφθούν τυχόν φαινόμενα θορύβου (μη συναισθηματική πληροφορία), αναπτύχθηκε ένα εργαλείο «συναισθηματικού» φιλτραρίσματος, το Υβριδικό Προσαρμοζόμενο Φιλτράρισμα (ΥΠΦ). Τα ποσοστά ταξινόμησης είναι αρκετά υψηλά, αγγίζοντας το 85%. Στο δεύτερο μέρος της διατριβής εξετάζεται η αναγνώριση πιο γενικευμένων συναισθηματικών καταστάσεων, οι οποίες περιγράφονται από δύο παραμέτρους, αυτή της συναισθηματικής έντασης και αυτή της συναισθηματικής πολικότητας (θετικό ή αρνητικό συναίσθημα). Ο υποκειμενικός χαρακτήρας της συναισθηματικής αξιολόγησης των εικόνων αυτών οδήγησε στην ανάγκη ανάπτυξης ενός δείκτη, του δείκτη AsI, που χαρακτηρίζει την εκάστοτε δοκιμή εκμαίευσης συναισθήματος ως προς την αποτελεσματικότητά της. Επιπλέον, σε μια προσπάθεια για τον εντοπισμό των τμημάτων στο χρόνο και των συχνοτικών συνιστωσών που ενέχουν σε μεγάλο βαθμό συναισθηματική πληροφορία, εξετάστηκαν διαφορετικές παραλλαγές εφαρμογής του δείκτη AsI. Οι διαφορετικοί τρόποι εφαρμογής του AsI στο χρόνο και στη συχνότητα οδηγούν στην απομόνωση της χρήσιμης πληροφορίας για την αναγνώριση των συναισθηματικών καταστάσεων, επιτελώντας πάλι ένα είδος «συναισθηματικού» φιλτραρίσματος. Τέλος, μελετάται για πρώτη φορά στην περιοχή της αναγνώρισης συναισθημάτων από ΗΕΓ, ο εντοπισμός των συναισθηματικών μεταβάσεων. Περιγράφεται η διεξαγωγή κατάλληλου πειράματος, που σχεδιάστηκε για την εκμαίευση συναισθηματικών μεταβάσεων, και κατόπιν αναλύεται η μεθοδολογία για τον εντοπισμό των μεταβάσεων αυτών. Η μέθοδος που προτείνεται στηρίζεται σε μια παραλλαγή του δείκτη AsI, το μεταβατικό (transitional) AsI (TAsI). Η αποτελεσματικότητα του TAsI εξετάζεται για διάφορα σενάρια συναισθηματικής διάθεσης (mood) των υποκειμένων και αποκαλύπτεται η εξάρτησή του από αυτήν. Η όλη προσέγγιση παρουσιάζει ελπιδοφόρα αποτελέσματα και θέτει τις βάσεις για μια πιο ρεαλιστική υλοποίηση των συστημάτων αναγνώρισης συναισθημάτων από σήματα ΗΕΓ.