Autonomous vehicle control with brain-computer interface

Abstract

Brain-computer interfaces (BCIs) allow people to control and interact with machines by decoding their brain signals, usually collected using electroencephalography (EEG). These systems are very useful for assistive technology because they make it possible to control devices like wheelchairs, robots, and drones using only brain signals. This study focused on the applications of BCIs connected with autonomous vehicles, combining theoretical frameworks with extensive real-world scenarios and experiments. The first part of the study included two systematic reviews: one focused on BCI-controlled ground vehicles and the second on drones and other aerial vehicles. The goal of these extensive reviews was to identify current methodologies, trends, and limitations in real-time BCI applications. Based on the insights and findings of the systematic reviews, two BCI-controlled games were developed to evaluate user adaptation and intra-user analysis in BCI applications. The Muse 2 headset was used to acquire raw data, and the OpenViBE software was used to process the brain signals. EEG signals were classified using Linear Discriminant Analysis (LDA) and transmitted through the Lab Streaming Layer (LSL) for real-time game control. LDA was chosen due to its frequent usage and success in similar research. Healthy volunteers participated in the experiments and played the games to evaluate effectiveness and system responsiveness. In the next part of the study, three extensive real-time experiments were conducted to command an electric wheelchair using EEG. In these experiments, both healthy individuals and individuals with brain or motor disabilities participated, which created a diverse dataset with motor imagery (MI) and Electrooculogram (EOG) commands. Several traditional algorithms for signal processing and classification were employed, including Common Spatial Patterns (CSP), Fast Fourier Transform (FFT), LDA, and Support Vector Machines (SVM), all of which were frequently employed in the literature as identified in the early stages of the research. The experiment protocols started with office navigation and progressed to navigation on a predefined route using only brain signals. Three EEG headsets, Muse S, Emotiv Insight, and Emotiv Epoc, were used for these experiments. A key part of the research was the participant preparation protocol, which focused on high-repetition training. This approach aimed to help users improve, feel more confident, and adapt to controlling the BCI systems. In the final part of the study, a robust Convolutional Neural Network (CNN) algorithm was developed to classify left and right MI hand movements. EEG data were processed and spatially filtered, and then they were transformed into 2D images to be used in the CNN training. The proposed model is not personalized since it was trained on data from fourteen healthy subjects, allowing user generalization. The EEG signals were recorded using the Emotiv Epoc headset, which helped the proposed pipeline to be more versatile and suitable for broader search applications. The results validate the proposed algorithm and show that it can lead to significant progress in real-time and generalized control. This research advances the field of BCI-controlled autonomous systems, enhancing their practicality, adaptability, and inclusiveness in real-world assistive scenarios.

Διεπαφές Εγκεφάλου-Υπολογιστή (ΔΕΥ) επιτρέπουν στους ανθρώπους να ελέγχουν και να αλληλεπιδρούν με μηχανές μέσω της αποκωδικοποίησης σημάτων του εγκεφάλου που συλλέγονται με τη χρήση ηλεκτροεγκεφαλογραφήματος (ΗΕΓ). Αυτά τα συστήματα είναι εξαιρετικά σημαντικά στην έρευνα για την ανάπτυξη υποστηρικτικών εφαρμογών και τεχνολογιών, καθώς επιτρέπουν τον έλεγχο συσκευών όπως αναπηρικά αμαξίδια, ρομπότ και drones μέσω εγκεφαλικών σημάτων. Η παρούσα μελέτη επικεντρώθηκε στις εφαρμογές των ΔΕΥ σε συνδυασμό με αυτόνομα οχήματα, συνδυάζοντας θεωρητικά πλαίσια με εκτενείς πειραματικές διαδικασίες και σενάρια σε πραγματικό χρόνο και κόσμο. Το πρώτο μέρος της μελέτης περιλάμβανε δύο συστηματικές ανασκοπήσεις: μία για τα οχήματα εδάφους που ελέγχονται μέσω ΔΕΥ και μία για τα drones και άλλα εναέρια οχήματα. Στόχος αυτών των εκτενών ανασκοπήσεων ήταν ο εντοπισμός των υφιστάμενων μεθοδολογιών, των τρεχουσών τάσεων και των περιορισμών στις εφαρμογές ΔΕΥ σε πραγματικό χρόνο. Βάσει των ευρημάτων των συστηματικών ανασκοπήσεων, αναπτύχθηκαν δύο παιχνίδια ελεγχόμενα από ΔΕΥ για να αξιολογηθεί η προσαρμογή των χρηστών και η απόδοση των χρηστών με δικά τους και μη δεδομένα σε εφαρμογές ΔΕΥ. Χρησιμοποιήθηκε η συσκευή Muse 2 για την απόκτηση των σημάτων ΗΕΓ και το λογισμικό OpenViBE για την επεξεργασία των εγκεφαλικών σημάτων. Η ταξινόμηση των σημάτων ΗΕΓ έγινε μέσω της μεθόδου Γραμμική Διακριτική Ανάλυση (ΓΔΑ), ενώ τα δεδομένα μεταδίδονταν σε πραγματικό χρόνο μέσω του Lab Streaming Layer (LSL) για τον έλεγχο των παιχνιδιών. Η ΓΔΑ επιλέχθηκε λόγω της συχνής χρήσης της και της επιτυχίας της σε συναφείς ερευνητικές εργασίες. Στα πειράματα συμμετείχαν υγιείς εθελοντές που έπαιξαν τα παιχνίδια για να αξιολογηθεί η αποτελεσματικότητα και η απόκριση του συστήματος. Στο επόμενο μέρος της μελέτης, διεξήχθησαν τρία εκτενή πειράματα σε πραγματικό χρόνο για την οδήγηση ενός ηλεκτρικού αναπηρικού αμαξιδίου μέσω ΗΕΓ. Στα πειράματα συμμετείχαν τόσο υγιή άτομα όσο και άτομα με εγκεφαλικές ή κινητικές αναπηρίες, δημιουργώντας ένα ποικίλο σύνολο δεδομένων που περιλάμβανε εντολές της τεχνικής της Κινητικής Νοερής Αναπαράστασης (KNA) και του Ηλεκτροοφθαλμογραφήματος. Χρησιμοποιήθηκαν αρκετοί παραδοσιακοί αλγόριθμοι για την επεξεργασία και ταξινόμηση των σημάτων, όπως Κοινά Χωρικά Πρότυπα, Γρήγορος μετασχηματισμός Fourier, ΓΔΑ και Μηχανές Διανυσμάτων Στήριξης (ΜΔΣ), οι οποίοι είχαν εντοπιστεί και στη βιβλιογραφία κατά τα πρώτα στάδια της έρευνας. Τα πρωτόκολλα των πειραμάτων ξεκίνησαν με πλοήγηση σε εσωτερικό χώρο γραφείου και εξελίχθηκαν σε πλοήγηση σε προκαθορισμένη διαδρομή χρησιμοποιώντας αποκλειστικά εγκεφαλικά σήματα. Στα πειράματα χρησιμοποιήθηκαν τρεις ΗΕΓ συσκευές: Muse S, Emotiv Insight και Emotiv Epoc. Κομβικό στοιχείο της έρευνας αποτέλεσε το πρωτόκολλο προετοιμασίας των συμμετεχόντων, το οποίο βασίστηκε σε προπονήσεις με επαναλήψεις. Αυτή η προσέγγιση στόχευε στη βελτίωση των επιδόσεων των χρηστών, την ενίσχυση της αυτοπεποίθησής τους και τη διευκόλυνση της προσαρμογής τους στα ΔΕΥ συστήματα. Στην τελική φάση της μελέτης, αναπτύχθηκε ένας αλγόριθμος Συνελικτικού Νευρωνικού Δικτύου (ΣΝΔ) για την ταξινόμηση των κινήσεων αριστερού και δεξιού χεριού μέσω KNA. Τα ΗΕΓ δεδομένα επεξεργάστηκαν και φιλτραρίστηκαν χωρικά και στη συνέχεια μετατράπηκαν σε δισδιάστατες εικόνες για την εκπαίδευση του ΣΝΔ. Το προτεινόμενο μοντέλο δεν είναι εξατομικευμένο, καθώς εκπαιδεύτηκε με δεδομένα από δεκατέσσερις υγιείς συμμετέχοντες, επιτρέποντας τη γενίκευση της χρήσης του. Η συλλογή των ΗΕΓ σημάτων έγινε με το Emotiv Epoc, γεγονός που καθιστά την προτεινόμενη μεθοδολογία πιο ευέλικτη και κατάλληλη για ευρύτερες εφαρμογές. Τα αποτελέσματα επικυρώνουν την προτεινόμενη προσέγγιση και δείχνουν ότι μπορεί να επιφέρει σημαντική πρόοδο στον τομέα. Τέλος, η παρούσα έρευνα προωθεί το πεδίο των ΔΕΥ-ελεγχόμενων αυτόνομων συστημάτων, ενισχύοντας την πρακτικότητα, την προσαρμοστικότητα και την αποτελεσματικότητα σε πραγματικά σενάρια και πειράματα υποστηρικτικής τεχνολογίας.