Διερεύνηση αντιληπτικών αποκρίσεων σε μουσικά ερεθίσματα μέσω ανάλυσης ηλεκτροεγκεφαλογραφήματος με προηγμένες τεχνικές επεξεργασίας σήματος

Abstract

The aim of this thesis was to investigate two folds of music perception, i.e., the relationship between music and motion and the recognition of music preference, through the analysis of electroencephalogram (EEG) signals. In the first part, the sensorimotor activation of musicians and non-musicians due to audiovisual stimulation concerning orchestral performance-direction and motion-reflecting programmatic music was investigated, through targeted experimental procedures. The level of sensorimotor activation was detected through the quantification of the EEG mu rhythm complexity by the estimation of its fractal dimension, while a relevance analysis of audiovisual stimuli-based characteristics was also implemented using the relevance ratio. Stronger sensorimotor activity was found during the passive listening of orchestral performance and of motion-reflecting music, in the case of musicians, while the relevance of characteristics of the aforementioned stimuli was higher in the case of the trained subjects. The latter outcomes were interpreted in the context of musical education and experience. In the case where visual stimuli relating to the musical excerpts was also present, stronger sensorimotor activity in the case of musicians or a convergence in the response between the latter and non-musicians was observed, by combining results of the fractal and relevance analysis, depending on whether the visual stimulus presented motion that leads to the production of music or not. In the second part of the thesis, the focus was placed on the discrimination of listeners’ electrophysiological (EEG) responses during the listening of liked and disliked musical excerpts, by systematically investigating various parameters concerning both the field of neurophysiology and the fields of signal processing and pattern recognition. EEG data was acquired through an experimental procedure, while the subsequent feature extraction was based on time-frequency distributions of the signals. According to the results, highest classification accuracy (86.52%) was achieved through features extracted from the beta and gamma EEG bands during the whole duration of music listening. Moreover, two time intervals were detected in which classification accuracy reached its peak depending on the level of familiarity with 15 s-long musical excerpts, i.e., 7.5-10.5 s in the case of familiar excerpts (91.02%) and 10-15 s in the case of unfamiliar ones (87.10%). Finally, topological neurophysiological correlates concerning music appraisal responses were also presented based on the EEG features that led to highest classification rates.

Σκοπός της διατριβής ήταν η διερεύνηση δύο πτυχών της μουσικής αντίληψης, η σχέση της μουσικής με την κίνηση και η ανίχνευση της μουσικής προτίμησης, μέσω ανάλυσης σημάτων ηλεκτροεγκεφαλογραφήματος (ΗΕΓ). Στο πρώτο μέρος διερευνήθηκε η ενεργοποίηση του αισθητικοκινητικού φλοιού μουσικών και μη μουσικών κατά τη διάρκεια οπτικοακουστικής διέγερσης, σχετικής με ορχηστρική εκτέλεση-διεύθυνση και με προγραμματική μουσική που αντανακλά κίνηση, μέσω κατάλληλων πειραματικών διαδικασιών. Ο βαθμός ενεργοποίησης του αισθητικοκινητικού φλοιού ανιχνεύθηκε μέσω της ποσοτικοποίησης της πολυπλοκότητας του ρυθμού μ του ΗΕΓ, με τον υπολογισμό της μορφοκλασματικής διάστασής του, ενώ έλαβε χώρα και μία ανάλυση συνάφειας χαρακτηριστικών των οπτικοακουστικών διεγέρσεων με τις αποκρίσεις των συμμετεχόντων, μέσω του λόγου συνάφειας. Βρέθηκε εντονότερη δραστηριότητα του αισθητικοκινητικού φλοιού των μουσικών κατά τη διάρκεια παθητικής ακρόασης τόσο ορχηστρικού εκτέλεσης, όσο και μουσικής που αντανακλούσε κίνηση μέσω της μεταβολής της δομής της, ενώ μουσικά χαρακτηριστικά των προαναφερθέντων διεγέρσεων βρέθηκαν να είναι πιο συναφή με τις αποκρίσεις των εκπαιδευμένων υποκειμένων. Οι παρατηρήσεις αυτές ερμηνεύτηκαν στο πλαίσιο της μουσικής εμπειρίας και εκπαίδευσης. Στις περιπτώσεις που παρουσιάζονταν παράλληλη με το εκάστοτε μουσικό απόσπασμα οπτική διέγερση παρατηρήθηκε μέσω της μορφοκλασματικής ανάλυσης, σε συνδυασμό με την ανάλυση συνάφειας, είτε εντονότερη ενεργοποίηση στην περίπτωση των μουσικών, είτε σύγκλιση των αποκρίσεων μεταξύ αυτών και των μη μουσικών ανάλογα με το αν το οπτικό ερέθισμα σχετίζονταν με κινήσεις που οδηγούν στην παραγωγή μουσικής ή όχι, αντίστοιχα. Το δεύτερο μέρος της διατριβής εστίασε στη διάκριση ηλεκτροφυσιολογικών αποκρίσεων (ΗΕΓ) ακροατών σε αρεστά και μη αρεστά μουσικά αποσπάσματα μέσω της συστηματικής μελέτης διαφόρων παραμέτρων που αφορούσαν τόσο στη νευροφυσιολογία, όσο και στη επεξεργασία σήματος και αναγνώρισης προτύπων. Τα δεδομένα ΗΕΓ λήφθηκαν μέσω κατάλληλης πειραματικής διαδικασίας, ενώ η μετέπειτα εξαγωγή χαρακτηριστικών βασίστηκε σε κατανομές χρόνου-συχνότητας των σημάτων. Σύμφωνα με τα αποτελέσματα, η υψηλότερη ακρίβεια ταξινόμησης (86.52%) επετεύχθη μέσω της εξαγωγής χαρακτηριστικών από τις συχνοτικές ζώνες β και γ του ΗΕΓ κατά τη συνολική διάρκεια της μουσικής ακρόασης. Επιπλέον, ανιχνεύθηκαν δύο διαστήματα στα οποία μεγιστοποιείται η απόδοση ταξινόμησης συναρτήσει του βαθμού εξοικείωσης με τα μουσικά αποσπάσματα διάρκειας 15 s, ήτοι 7.5-10.5 s για την περίπτωση μεγάλου βαθμού εξοικείωσης (91.02%) και 10-15 s για την περίπτωση μικρού βαθμού εξοικείωσης (87.10%). Τέλος, παρουσιάστηκαν τοπολογικές νευροφυσιολογικές συσχετίσεις αναφορικά με την εκδήλωση αποκρίσεων προτίμησης, οι οποίες εξήχθησαν με βάση τα χαρακτηριστικά του ΗΕΓ που οδήγησαν στα υψηλότερα ποσοστά ταξινόμησης.