Συντονισμένη κίνηση πολλαπλών βραχιόνων με χρήση διεπαφής υπολογιστή-εγκεφάλου

Abstract

This thesis addresses the design and implementation of a Brain-Computer Interface (BCI) system for synchronized control of multiple robotic arms through electroencephalography (EEG) signals. The research aims to develop a Python-based, high-performance BCI framework capable of real-time application in robotic arm coordination. The work is structured into two primary sections. In the initial section, a feature-based methodology is utilized, encompassing stages such as data collection, preprocessing, feature extraction, and model training with classification algorithms like Support Vector Machine (SVM), Decision Tree, Xboost and Random Forest. The second section introduces a Multivariate Time Series approach to improve model precision and robustness. This method includes data preprocessing (e.g., normalization), modeling, analysis, and deployment readiness. The architecture integrates convolutional filters with a long short-term memory (LSTM) network, where the convolutional layers extract high-level features, and the LSTM captures long-term dependencies to overcome vanishing gradient issues. The model achieves an accuracy of 98%, making it suitable for real-time applications. This system could be widely applicable in fields requiring accurate, real-time BCI-based action prediction. This approach thus presents a viable solution for EEG-driven action prediction, with scope for further development and optimization. The thesis further performs a comparative analysis of deep learning architectures, including convolutional and bidirectional LSTM layers, recurrent neural networks (RNNs), multilayer perceptrons (MLPs), and Transformer models, focusing on real-time servomotor control with EEG signals to simulate the robotic arms. Using OpenBCI Community Dataset, a deep neural network with convolutional and bidirectional LSTM layers achieved an accuracy of 98% via k-fold cross-validation. Comparative assessments showed that the CNN-LSTM architecture excelled due to its effective capture of both spatial and temporal EEG features. Implemented in Python, this model communicated with an Arduino board for real-time servomotor control, with classification reports and confusion matrices confirming seamless performance. The Arduino system, programmed for serial communication with Python, executed precise motor control based on EEG predictions, demonstrating the potential of BCI in human-robot interaction and assistive technology. The study also identifies critical security challenges in BCI technology. BCIs, while promising in facilitating brain-device interactions, are susceptible to cybersecurity threats, notably Bluetooth vulnerabilities. This research examines Bluetooth-based risks in BCI systems and proposes countermeasures. Attacks like Bluebugging, Bluejacking, Bluesnarfing, BlueBorne, Location Tracking, Man-in-the-Middle, KNOB, BLESA, and Reflection Attack are analyzed for their mechanics and impact on commercial BCI systems, with specific mitigation strategies recommended to secure BCI applications. The innovation of this study lies in its comprehensive comparative analysis and the application of advanced models under real-world conditions, an aspect that has not been sufficiently explored in previous works. The use of various neural network architectures and their evaluation on real data provides significant insights into the development and enhancement of BCI technology. This framework facilitates a better understanding of the challenges and opportunities arising from the use of this technology and lays the foundation for future innovations in the field of human-machine interaction. Overall, the study demonstrates that the integration of deep learning techniques, such as CNN-LSTM, into BCI systems provides a reliable and efficient solution for the prediction and control of robotic systems, with significant potential for application in real-world scenarios. Simultaneously, the implementation of security mechanisms during the development of these systems is essential to ensure their smooth and safe operation. This doctoral research contributes to science through the development of an innovative model that approaches consumer-oriented brain-computer interface (BCI) systems, which have primarily been designed for entertainment purposes. Despite lacking the high medical precision, characteristic of specialized medical BCI systems, these consumer-grade products offer significant advantages, such as affordability and widespread availability to the public. The research examines the potential of repurposing these systems to support individuals with mobility impairments arising either from injuries or neurological disorders, such as myasthenia. Utilizing affordable BCI systems opens new horizons for patient rehabilitation and independence, making this technology accessible to a broader audience and reducing the financial burden associated with traditional medical solutions. Additionally, the research emphasizes the importance of interdisciplinary collaboration among neuroscience, engineering, and computer science to achieve optimal integration of BCI systems into users' everyday lives. This approach may potentially lead to future innovative solutions, enabling individuals with motor impairments to regain a degree of autonomy and actively participate in society.

Η παρούσα διατριβή επικεντρώνεται στον σχεδιασμό και την υλοποίηση ενός συστήματος διεπαφής εγκεφάλου-υπολογιστή (brain computer interface, BCI) για τον συγχρονισμένο έλεγχο πολλαπλών ρομποτικών βραχιόνων μέσω σημάτων ηλεκτροεγκεφαλογραφίας (Electroencephalography ,EEG) . Η έρευνα στοχεύει στην ανάπτυξη ενός βασισμένου σε Python, υψηλής απόδοσης συστήματος BCI, το οποίο θα μπορεί να εφαρμοστεί σε πραγματικό χρόνο στο συντονισμό ρομποτικών βραχιόνων. Η εργασία διαρθρώνεται σε δύο βασικές ενότητες. Στην πρώτη ενότητα, υιοθετείται μια προσέγγιση σταθερών χαρακτηριστικών, η οποία περιλαμβάνει στάδια όπως η συλλογή δεδομένων, η προεπεξεργασία, η εξαγωγή χαρακτηριστικών και η εκπαίδευση μοντέλων με αλγορίθμους ταξινόμησης όπως το Support Vector Machine (SVM), το Decision Tree, το Xboost και το Random Forest. Η δεύτερη ενότητα εισάγει μια προσέγγιση πολυμεταβλητών χρονοσειρών για τη βελτίωση της ακρίβειας και της ευρωστίας του μοντέλου. Η μέθοδος αυτή περιλαμβάνει προεπεξεργασία δεδομένων όπως η κανονικοποίηση, μοντελοποίηση, ανάλυση και προετοιμασία της ανάπτυξης. Η αρχιτεκτονική ενσωματώνει συνελικτικά φίλτρα ενός συνελικτικού νευρωνικού δικτύου (Convolutional Neural Network, CNN) με ένα δίκτυο μακράς βραχυπρόθεσμης μνήμης (Long sort term memory, LSTM), όπου τα συνελικτικά στρώματα εξάγουν χαρακτηριστικά υψηλού επιπέδου και το LSTM καταγράφει μακροπρόθεσμες εξαρτήσεις για να ξεπεραστούν τα προβλήματα εξαφανιζόμενης κλίσης. Το μοντέλο επιτυγχάνει ακρίβεια 98%, καθιστώντας το κατάλληλο για εφαρμογές πραγματικού χρόνου. Η προσέγγιση αυτή παρουσιάζει έτσι μια βιώσιμη λύση για την πρόβλεψη κίνησης με βάση την ηλεκτροεγκεφαλογραφία, με περιθώρια περαιτέρω ανάπτυξης και βελτιστοποίησης. Η διατριβή πραγματοποιεί περαιτέρω μια συγκριτική ανάλυση αρχιτεκτονικών βαθιάς μάθησης, συμπεριλαμβανομένων των συνελικτικών και αμφίδρομων στρωμάτων LSTM, των επαναλαμβανόμενων νευρωνικών δικτύων (Recurrent neural networks, RNN), των πολυστρωματικών perceptrons (multilayer perceptron, MLP) και των μοντέλων Transformer, εστιάζοντας στον έλεγχο σερβοκινητήρων σε πραγματικό χρόνο με σήματα EEG για την προσομοίωση κίνησης ρομποτικών βραχιόνων. Χρησιμοποιώντας το OpenBCI Community Dataset, ένα ενισχυμένο βαθύ νευρωνικό δίκτυο CNN- διπλής κατεύθυνσης LSTM δημιουργήθηκε εκ νέου χρησιμοποιώντας διασταυρωμένη επικύρωση k-fold . Οι συγκριτικές αξιολογήσεις έδειξαν ότι η αρχιτεκτονική CNN-LSTM υπερείχε των υπολοίπων συνεχίζοντας να έχει ακρίβεια 98% λόγω της αποτελεσματικής σύλληψης τόσο των χωρικών όσο και των χρονικών χαρακτηριστικών των σημάτων EEG. Υλοποιημένο σε Python, αυτό το μοντέλο επικοινωνούσε με μια πλακέτα Arduino για τον έλεγχο σερβοκινητήρων σε πραγματικό χρόνο, με τις αναφορές ταξινόμησης και τους πίνακες σύγχυσης να επιβεβαιώνουν την απρόσκοπτη απόδοση. Το σύστημα Arduino, προγραμματισμένο για σειριακή επικοινωνία με την Python, εκτέλεσε ακριβή έλεγχο των σερβοκινητήρων με βάση τις προβλέψεις των σημάτων EEG, αποδεικνύοντας τις δυνατότητες του BCI στην αλληλεπίδραση ανθρώπου-ρομπότ και στην υποστηρικτική τεχνολογία. Η μελέτη εντοπίζει επίσης κρίσιμες προκλήσεις ασφαλείας στην τεχνολογία BCI. Τα BCI, ενώ είναι πολλά υποσχόμενα συστήματα για τη διευκόλυνση της αλληλεπίδρασης εγκεφάλου-μηχανής, είναι ευάλωτα σε απειλές κυβερνοασφάλειας, ιδίως σε ευπάθειες του πρωτοκόλλου Bluetooth. Η παρούσα έρευνα εξετάζει τους κινδύνους που βασίζονται στο Bluetooth, στα συστήματα BCI και προτείνει αντίμετρα. Επιθέσεις όπως Bluebugging, Bluejacking, Bluesnarfing, BlueBorne, Location Tracking, Man-in-the-Middle, KNOB, BLESA, και Reflection Attack αναλύονται ως προς τη μηχανική τους και τον αντίκτυπό τους στα εμπορικά συστήματα BCI, ενώ προτείνονται συγκεκριμένες στρατηγικές μετριασμού για την ασφάλεια των εφαρμογών BCI. Η καινοτομία της μελέτης έγκειται στην ολοκληρωμένη συγκριτική ανάλυση και την εφαρμογή προηγμένων μοντέλων σε πραγματικές συνθήκες, κάτι που δεν έχει διερευνηθεί επαρκώς σε προηγούμενες εργασίες. Η χρήση διαφόρων αρχιτεκτονικών νευρωνικών δικτύων και η αξιολόγησή τους σε πραγματικά δεδομένα προσφέρει σημαντικές γνώσεις για την ανάπτυξη και βελτίωση της τεχνολογίας BCI. Αυτό το πλαίσιο επιτρέπει την καλύτερη κατανόηση των προκλήσεων και των ευκαιριών που προκύπτουν από τη χρήση της τεχνολογίας αυτής και θέτει τα θεμέλια για μελλοντικές καινοτομίες στον τομέα της αλληλεπίδρασης ανθρώπου-μηχανής. Συνολικά, η μελέτη καταδεικνύει ότι η ενσωμάτωση τεχνικών βαθιάς μάθησης, όπως τα CNN-LSTM, σε συστήματα BCI προσφέρει μια αξιόπιστη και αποδοτική λύση για την πρόβλεψη και τον έλεγχο ρομποτικών συστημάτων, με σημαντικές προοπτικές εφαρμογής σε πραγματικές συνθήκες. Παράλληλα, η υλοποίηση μηχανισμών ασφάλειας κατά την ανάπτυξη αυτών των συστημάτων είναι απαραίτητη για την εξασφάλιση της ομαλής και ασφαλούς λειτουργίας τους. Η παρούσα διδακτορική έρευνα συμβάλλει στην επιστήμη μέσω της ανάπτυξης ενός πρωτότυπου μοντέλου που προσεγγίζει καταναλωτικά συστήματα διεπαφής εγκεφάλου-υπολογιστή, τα οποία έχουν σχεδιαστεί κυρίως για ψυχαγωγικούς σκοπούς. Παρά την έλλειψη της υψηλής ιατρικής ακρίβειας, που χαρακτηρίζει κυρίως εξειδικευμένα ιατρικά BCI συστήματα, αυτά τα καταναλωτικά προϊόντα προσφέρουν σημαντικά πλεονεκτήματα, όπως η οικονομική προσιτότητα και η ευρεία διαθεσιμότητα στο κοινό. Η έρευνα εξετάζει τη δυνατότητα επαναπροσδιορισμού της χρήσης αυτών των συστημάτων για την ενδεχόμενη υποστήριξη ατόμων με κινητικά προβλήματα, είτε αυτά προκύπτουν από τραυματισμούς είτε από νευρολογικές παθήσεις, όπως η μυασθένεια. Η δυνατότητα χρήσης προσιτών BCI συστημάτων ανοίγει νέους ορίζοντες στην αποκατάσταση και την υποστήριξη της ανεξαρτησίας των ασθενών, καθιστώντας την τεχνολογία αυτή προσβάσιμη σε ένα ευρύτερο κοινό και μειώνοντας το οικονομικό βάρος που συνδέεται με τις παραδοσιακές ιατρικές λύσεις. Επιπλέον, η έρευνα αναδεικνύει τη σημασία της διεπιστημονικής συνεργασίας μεταξύ των τομέων της νευροεπιστήμης, της μηχανικής και της πληροφορικής, προκειμένου να επιτευχθεί η βέλτιστη ενσωμάτωση των BCI συστημάτων στην καθημερινή ζωή των χρηστών. Αυτή η προσέγγιση μπορεί ενδεχομένως να οδηγήσει σε μελλοντικές καινοτόμες λύσεις που θα επιτρέψουν στα άτομα με κινητικά προβλήματα να επανακτήσουν μέρος της αυτονομίας τους και να συμμετέχουν ενεργά στην κοινωνία.