Τεχνικές βελτίωσης επεξηγησιμότητας συστημάτων τεχνητής νοημοσύνης σε δεδομένα ηλεκτροεγκεφαλογραφήματος

Abstract

Electroencephalography (EEG) is a neurophysiological technique offering high temporal resolution, crucial for understanding brain function and developing Brain-Computer Interfaces (BCIs). Despite the rich information contained in EEG signals, their analysis and interpretation present significant challenges, particularly in extracting precise spatial information from scalp sensors and understanding the underlying neural mechanisms driving specific responses or behaviors. Simultaneously, the increasing use of deep learning (DL) models for EEG signal classification, while yielding impressive performance levels, often creates "black boxes" that make it difficult to justify predictions, limiting trust and clinical adoption. This thesis aims to bridge the gap between the high performance of Artificial Intelligence (AI) models on EEG data and the need for physiologically valid and anatomically informed interpretability. To this end, a comprehensive framework combining advanced signal analysis techniques, source localization, and explainable deep learning was developed. The work was structured across three main axes. Firstly, the value of Time-Frequency Analysis was explored as a powerful feature engineering tool, demonstrating its effectiveness in conjunction with a computationally efficient Convolutional Neural Network for classifying EEG signals in a mental fatigue detection context. This part highlighted the potential for achieving high accuracy (97%) with low computational cost, while also identifying, through explainability techniques like SHAP, spectral patterns (in theta and alpha bands) consistent with fatigue literature, underscoring the utility of TFR analysis and explainable models beyond the central BCI application. Subsequently, a critical review of current EEG Source Localization methods was presented. Their theoretical foundations, various algorithm categories (e.g., beamformers, minimum norm solutions), applications, and inherent limitations were analyzed. This review established the necessity of moving from sensor-level analysis to brain source level to achieve accurate anatomical interpretation, justifying the choice of a source localization approach (beamformer) for estimating cortical activity in the main application of the thesis. The third and central part of the work applied the combination of these techniques to a motor imagery BCI system, integrating explainability techniques (SHAP, Integrated Gradients). By using features extracted from source-localized EEG data (using a beamformer and Desikan–Killiany parcellation) as input to a convolutional neural network, competitive accuracy in classifying motor imagery of hands, feet, and tongue was achieved. The most significant finding emerged from applying the explainability techniques: the most important regions highlighted for each motor imagery class showed strong agreement with established neuroscientific knowledge and the somatotopic organization of the motor cortex, essentially reproducing a functional "homunculus" and laterality phenomena observed in fMRI studies. This convergence confirmed that the classifier relies on genuine neuroanatomical patterns rather than random features, resolving the ambiguity of sensor-level analysis and providing anatomically specific explanations. These results have significant implications for both clinical BCI applications and neuroscience. They enhance trust in the use of DL models in clinical settings, enable the provision of anatomically informed neurofeedback, and offer a tool for monitoring neuroplastic changes. At a scientific level, the framework can serve as a tool for verifying known patterns and discovering less understood aspects of brain function. Despite the limitations (finite source localization accuracy, sensitivity to deep sources, dataset size), the thesis demonstrates that a combined framework can achieve high performance without remaining a "black box." Future directions include improving spatial/temporal resolution, integrating multimodal data, applying advanced explainability techniques (such as interaction analysis), and application to clinical populations and other EEG tasks. Overall, the work lays the foundation for a new generation of brain-computer interfaces and neuroscientific tools where transparency and understanding of underlying neural mechanisms are central.

Το ηλεκτροεγκεφαλογράφημα (ΗΕΓ) αποτελεί μια νευροφυσιολογική μέθοδο με υψηλή χρονική ανάλυση, κρίσιμη για την κατανόηση της εγκεφαλικής λειτουργίας και την ανάπτυξη διεπαφών εγκεφάλου-υπολογιστή (BCI). Παρά την πλούσια πληροφορία που περιέχουν τα δεδομένα ΗΕΓ, η ανάλυση και ερμηνεία τους παρουσιάζουν σημαντικές προκλήσεις, ιδίως όσον αφορά την εξαγωγή ακριβούς χωρικής πληροφορίας από τους αισθητήρες του κρανίου και την κατανόηση των υποκείμενων νευρωνικών μηχανισμών που οδηγούν σε συγκεκριμένες αποκρίσεις ή συμπεριφορές. Ταυτόχρονα, η αυξανόμενη χρήση μοντέλων βαθιάς μάθησης (DL) για την ταξινόμηση σημάτων ΗΕΓ, ενώ οδηγεί σε εντυπωσιακά επίπεδα απόδοσης, συχνά δημιουργεί "μαύρα κουτιά" που καθιστούν δύσκολη την αιτιολόγηση των προβλέψεων, περιορίζοντας την εμπιστοσύνη και την κλινική τους υιοθέτηση. Η παρούσα διατριβή επιδιώκει να γεφυρώσει το χάσμα μεταξύ της υψηλής απόδοσης των μοντέλων Τεχνητής Νοημοσύνης (ΤΝ) σε δεδομένα ΗΕΓ και της ανάγκης για φυσιολογικώς έγκυρη και ανατομικά πληροφορημένη ερμηνευσιμότητα. Για τον σκοπό αυτό, αναπτύχθηκε ένα ολοκληρωμένο πλαίσιο που συνδυάζει προηγμένες τεχνικές ανάλυσης σήματος, εντοπισμού πηγών και εξηγήσιμης βαθιάς μάθησης. Το έργο διαρθρώθηκε σε τρεις κύριους άξονες. Αρχικά, διερευνήθηκε η αξία της ανάλυσης χρόνου-συχνότητας (Time-Frequency Analysis) ως ισχυρού εργαλείου εξαγωγής χαρακτηριστικών, επιδεικνύοντας την αποτελεσματικότητά της σε συνδυασμό με ένα υπολογιστικά αποδοτικό συνελικτικό νευρωνικό δίκτυο για την ταξινόμηση σημάτων ΗΕΓ σε ένα πλαίσιο ανίχνευσης νοητικής κόπωσης. Αυτό το τμήμα ανέδειξε τη δυνατότητα επίτευξης υψηλής ακρίβειας (97%) με χαμηλό υπολογιστικό κόστος, εντοπίζοντας παράλληλα, μέσω τεχνικών ερμηνευσιμότητας όπως το SHAP, φασματικά πρότυπα (στις ζώνες θήτα και άλφα) συμβατά με τη βιβλιογραφία της κόπωσης, υπογραμμίζοντας τη χρησιμότητα της ανάλυσης TFR και των εξηγήσιμων μοντέλων πέρα από την κεντρική εφαρμογή BCI. Στη συνέχεια, παρουσιάστηκε μια κριτική ανασκόπηση των τρεχουσών μεθόδων εντοπισμού πηγών ΗΕΓ (EEG Source Localization). Αναλύθηκαν οι θεωρητικές βάσεις, οι διάφορες κατηγορίες αλγορίθμων (π.χ. beamformers, αναλύσεις ελάχιστης νόρμας), οι εφαρμογές και οι εγγενείς περιορισμοί τους. Η ανασκόπηση αυτή θεμελίωσε την αναγκαιότητα της μετάβασης από την ανάλυση σε επίπεδο αισθητήρων σε επίπεδο εγκεφαλικών πηγών για την επίτευξη ακριβούς ανατομικής ερμηνείας, δικαιολογώντας την επιλογή μιας προσέγγισης εντοπισμού πηγών (beamformer) για την εκτίμηση φλοιϊκής δραστηριότητας στην κύρια εφαρμογή της διατριβής. Το τρίτο και κεντρικό τμήμα της εργασίας εφάρμοσε τον συνδυασμό των παραπάνω τεχνικών σε ένα σύστημα BCI νοερής κίνησης, ενσωματώνοντας τεχνικές ερμηνευσιμότητας (SHAP, Integrated Gradients). Χρησιμοποιώντας χαρακτηριστικά που εξήχθησαν από πηγαιοτοποθετημένα δεδομένα ΗΕΓ (με χρήση beamformer και παρσελοποίηση Desikan–Killiany) ως είσοδο σε ένα συνελικτικό νευρωνικό δίκτυο, επιτεύχθηκε ανταγωνιστική ακρίβεια στην ταξινόμηση νοερών κινήσεων χεριών, ποδιών και γλώσσας. Το σημαντικότερο εύρημα προέκυψε από την εφαρμογή των τεχνικών ερμηνευσιμότητας: οι σημαντικότερες περιοχές που αναδείχθηκαν για κάθε κλάση νοερής κίνησης έδειξαν ισχυρή συμφωνία με την εδραιωμένη νευροεπιστημονική γνώση και τη σωματοτοπική οργάνωση του κινητικού φλοιού, αναπαράγοντας ουσιαστικά έναν λειτουργικό "homunculus" και τα φαινόμενα πλευρίωσης που παρατηρούνται σε μελέτες fMRI. Αυτή η σύγκλιση επιβεβαίωσε ότι ο ταξινομητής βασίζεται σε γνήσια νευροανατομικά πρότυπα και όχι σε τυχαία χαρακτηριστικά, άροντας την ασάφεια της ανάλυσης σε επίπεδο αισθητήρων και παρέχοντας ανατομικά εξειδικευμένες εξηγήσεις. Τα αποτελέσματα αυτά έχουν σημαντικές συνέπειες τόσο για τις κλινικές εφαρμογές BCI όσο και για τη νευροεπιστήμη. Ενισχύουν την εμπιστοσύνη στη χρήση μοντέλων DL σε κλινικά περιβάλλοντα, επιτρέπουν την παροχή ανατομικά πληροφορημένης νευροανάδρασης και προσφέρουν ένα εργαλείο για την παρακολούθηση νευροπλαστικών αλλαγών. Σε επιστημονικό επίπεδο, το πλαίσιο μπορεί να λειτουργήσει ως εργαλείο επαλήθευσης γνωστών προτύπων αλλά και ανακάλυψης λιγότερο κατανοητών όψεων της εγκεφαλικής λειτουργίας. Παρά τους περιορισμούς (πεπερασμένη ακρίβεια εντοπισμού πηγών, ευαισθησία σε βαθιές πηγές, μέγεθος συνόλου δεδομένων), η διατριβή αποδεικνύει ότι ένα συνδυαστικό πλαίσιο μπορεί να επιτύχει υψηλή απόδοση χωρίς να παραμένει "μαύρο κουτί". Οι μελλοντικές κατευθύνσεις περιλαμβάνουν τη βελτίωση της χωρικής/χρονικής ανάλυσης, την ενσωμάτωση πολυτροπικών δεδομένων, την εφαρμογή προηγμένων τεχνικών ερμηνευσιμότητας (όπως ανάλυση αλληλεπιδράσεων) και την εφαρμογή σε κλινικούς πληθυσμούς και άλλες εργασίες ΗΕΓ. Συνολικά, η εργασία θεμελιώνει μια νέα γενιά διεπαφών εγκεφάλου-υπολογιστή και νευροεπιστημονικών εργαλείων, όπου η διαφάνεια και η κατανόηση των υποκείμενων νευρωνικών μηχανισμών είναι κεντρικής σημασίας.