Computer vision based rehabilitation and motor function assessment with clinical study and validation for upper limb recovery in post stroke patients

Abstract

Stroke-induced upper limb motor deficits remain one of the most prevalent and debilitating outcomes among survivors, significantly impairing daily functioning and quality of life. Traditional rehabilitation practices, while clinically effective, are often constrained by their dependence on in-person evaluations, the subjectivity of observational assessments, and limited accessibility for individuals facing mobility or logistical barriers. These challenges underscore the growing necessity for remote, objective, and scalable rehabilitation and evaluation tools that can support both patients and clinicians. In response to this pressing need, this Thesis explores the integration of computer vision technologies into post-stroke upper limb rehabilitation frameworks, aiming to deliver accurate, real-time motor performance assessments without the requirement for specialized sensors or equipment. The work presented herein introduces both desktop-based and mobile-oriented systems that leverage standard cameras and modern computer vision techniques to simulate established rehabilitation protocols, such as the Box and Block Test (BBT) and the Sollerman Hand Function Test (SHFT). Through algorithmic tracking of hand movements and gesture recognition, the proposed applications automatically compute clinically relevant metrics in a non-invasive, user-friendly manner. The Thesis outlines the complete software architecture of these systems, including interaction modeling, gesture interpretation, and augmented feedback mechanisms. In addition to providing an immersive and engaging rehabilitation experience, both implementations were rigorously performance-evaluated with respect to latency, robustness, and system responsiveness, under a variety of computational and environmental conditions. These evaluations confirm the technical feasibility of delivering high-fidelity rehabilitation tools across both platforms, enhancing the accessibility and practicality of home-based motor recovery interventions. To support clinical relevance and interpretability of the measured outcomes, a comprehensive baseline score normalization study was conducted using a cohort of healthy individuals to establish normative performance ranges. This process enables direct comparison between users and facilitates the detection of motor impairments with greater precision. Furthermore, a clinical validation study was carried out involving older post-stroke individuals, wherein the system’s outputs were compared against conventional therapist-administered evaluations. Results indicate strong concordance between automated and manual assessments, demonstrating the potential of computer vision-driven tools to augment clinical decision-making and empower patients to engage in effective, self-directed rehabilitation. Overall, this Thesis offers a robust, scalable, and clinically grounded framework for enhancing upper limb rehabilitation through accessible computer vision methodologies. The Thesis is organized into Sections. Following the Introduction (Section 1), Section 2 presents the computer vision foundations underpinning the system, including key algorithms, architectural choices, and real-time implementation strategies. It also examines augmented reality as an interactive medium for motor rehabilitation, discussing relevant design principles, healthcare use cases, and technical constraints. Furthermore, the section situates the work within established clinical rehabilitation standards by detailing upper limb rehabilitation protocols and motor assessments such as the BBT and the SHFT. Lastly, it reviews existing digital adaptations of these assessments, identifying limitations in current approaches and outlining integration challenges that this Thesis seeks to address. Section 3 describes the desktop-based system architecture, including virtual test modules and a custom exergame to enhance engagement. Section 4 extends the system to mobile platforms, highlighting design adaptations and deployment strategies for at-home use. Section 5 provides a comparative evaluation of technical performance metrics across platforms under varied conditions. Section 6 presents clinical validation via score normalization and trials with post-stroke individuals, assessing diagnostic and therapeutic outcomes. Finally, Section 7 summarizes the contributions and proposes directions for future research and system expansion.

Τα κινητικά ελλείμματα της άκρας χείρας που προκαλούνται από αγγειακό εγκεφαλικό επεισόδιο παραμένουν μία από τις πιο συχνές και εξουθενωτικές συνέπειες στους ασθενείς, επηρεάζοντας σημαντικά τη λειτουργικότητα στην καθημερινότητα και την ποιότητα ζωής τους. Οι παραδοσιακές πρακτικές αποκατάστασης, παρότι κλινικά αποτελεσματικές, περιορίζονται συχνά από την ανάγκη για δια ζώσης αξιολογήσεις, την υποκειμενικότητα στις παρατηρησιακές μεθόδους και τη μειωμένη προσβασιμότητα για άτομα με κινητικούς ή υλικοτεχνικούς περιορισμούς. Οι προκλήσεις αυτές καθιστούν επιτακτική την ανάγκη για απομακρυσμένα, αντικειμενικά και επεκτάσιμα εργαλεία αποκατάστασης και αξιολόγησης, ικανά να υποστηρίξουν τόσο τους ασθενείς όσο και τους κλινικούς επαγγελματίες. Ανταποκρινόμενη σε αυτή την ανάγκη, η παρούσα διδακτορική διατριβή εξετάζει την ενσωμάτωση τεχνολογιών υπολογιστικής όρασης και επαυξημένης πραγματικότητας, σε πλαίσια αποκατάστασης της άκρας χείρας μετά από εγκεφαλικό επεισόδιο, με σκοπό την παροχή ακριβών και σε πραγματικό χρόνο αξιολογήσεων κινητικής απόδοσης, χωρίς την απαίτηση εξειδικευμένων αισθητήρων ή εξοπλισμού. Στο πλαίσιο της παρούσας διατριβής περιλαμβάνεται η ανάπτυξη συστημάτων τόσο σε περιβάλλον επιτραπέζιου υπολογιστή όσο και σε φορητές συσκευές, τα οποία αξιοποιούν συμβατικές κάμερες και σύγχρονες τεχνικές υπολογιστικής όρασης για την προσομοίωση καθιερωμένων πρωτοκόλλων αποκατάστασης, όπως το τεστ Box and Block (BBT) και το τεστ λειτουργικότητας χεριού Sollerman (SHFT). Μέσω αλγοριθμικής παρακολούθησης της κίνησης του χεριού και αναγνώρισης χειρονομιών, οι προτεινόμενες εφαρμογές υπολογίζουν αυτόματα κλινικά σημαντικούς δείκτες με μη επεμβατικό και φιλικό προς τον χρήστη τρόπο. Η εργασία περιγράφει πλήρως την αρχιτεκτονική λογισμικού των συστημάτων αυτών, συμπεριλαμβανομένης της μοντελοποίησης αλληλεπίδρασης, της ερμηνείας κινήσεων και των μηχανισμών ενισχυμένης ανατροφοδότησης. Πέραν της παροχής μιας διαδραστικής εμπειρίας αποκατάστασης, και οι δύο υλοποιήσεις αξιολογήθηκαν αυστηρά ως προς την απόκριση, την ανθεκτικότητα και τη συνολική απόδοση υπό διάφορες υπολογιστικές και περιβαλλοντικές συνθήκες, επιβεβαιώνοντας τη τεχνική βιωσιμότητα της διάθεσης ψηφιακών εργαλείων υψηλής ακρίβειας για χρήση στο σπίτι. Για τη διασφάλιση της κλινικής εγκυρότητας και της ερμηνευσιμότητας των αποτελεσμάτων, διεξήχθη μελέτη κανονικοποίησης βασικών τιμών αναφοράς σε δείγμα υγιών ατόμων, με σκοπό τη δημιουργία ενός φυσιολογικού εύρους επιδόσεων. Η διαδικασία αυτή επιτρέπει την άμεση σύγκριση μεταξύ χρηστών και διευκολύνει την ακριβέστερη ανίχνευση κινητικών διαταραχών. Επιπλέον, πραγματοποιήθηκε κλινική μελέτη σε ηλικιωμένα άτομα που είχαν υποστεί αγγειακό εγκεφαλικό επεισόδιο, κατά την οποία τα αποτελέσματα του συστήματος συγκρίθηκαν με συμβατικές αξιολογήσεις από εξειδικευμένους θεραπευτές. Τα ευρήματα ανέδειξαν υψηλή συμφωνία μεταξύ αυτόματων και χειροκίνητων αξιολογήσεων, αποδεικνύοντας τη δυναμική των εργαλείων υπολογιστικής όρασης ως υποστηρικτικών μέσων στην κλινική λήψη αποφάσεων και την ενίσχυση της ενεργούς, αυτοκατευθυνόμενης αποκατάστασης. Συνολικά, η διατριβή αυτή προσφέρει ένα ισχυρό, επεκτάσιμο και κλινικά τεκμηριωμένο πλαίσιο για την ενίσχυση της αποκατάστασης της άκρας χείρας μέσω προσβάσιμων μεθόδων υπολογιστικής όρασης. Η διατριβή είναι οργανωμένη σε Ενότητες. Μετά την εισαγωγή (Ενότητα 1), η Ενότητα 2 παρουσιάζει τα θεμέλια της υπολογιστικής όρασης που στηρίζουν το σύστημα, συμπεριλαμβανομένων βασικών αλγορίθμων, αρχιτεκτονικών επιλογών και στρατηγικών υλοποίησης σε πραγματικό χρόνο. Εξετάζει επίσης την επαυξημένη πραγματικότητα ως διαδραστικό μέσο για την κινητική αποκατάσταση, αναλύοντας αρχές σχεδιασμού, εφαρμογές στον τομέα της υγείας και τεχνικούς περιορισμούς. Επιπλέον, η Ενότητα αυτή τοποθετεί το πλαίσιο της παρούσας διατριβής εντός των κλινικών προτύπων αποκατάστασης, περιγράφοντας εδραιωμένα πρωτόκολλα αποκατάστασης της άκρας χείρας και δοκιμασίες αποτίμησης της λειτουργικότητας, όπως τα BBT και SHFT. Τέλος, ανασκοπεί τις υπάρχουσες ψηφιακές προσαρμογές των δοκιμασιών αυτών, εντοπίζοντας ερευνητικά κενά, προκλήσεις ενσωμάτωσης αλλά και υλοποίησης. Η Ενότητα 3 περιγράφει την αρχιτεκτονική του προτεινόμενου συστήματος για επιτραπέζιο υπολογιστή, το οποίο περιλαμβάνει τις εικονικές δοκιμασίες και ένα προσαρμοσμένο παιχνίδι άσκησης που στοχεύει στην αύξηση της αφοσίωσης. Η Ενότητα 4 επεκτείνει το σύστημα σε φορητές συσκευές, παρουσιάζοντας τις προσαρμογές σχεδιασμού και υλοποίησης, για διευκόλυνση της χρήσης κατ' οίκον. Η Ενότητα 5 παρέχει συγκριτική αξιολόγηση των τεχνικών μετρικών απόδοσης μεταξύ των πλατφορμών, υπό διάφορες συνθήκες. Η Ενότητα 6 παρουσιάζει την κλινική επικύρωση του συστήματος μέσω κανονικοποίησης των αποτελεσμάτων και δοκιμών με ασθενείς μετά από εγκεφαλικό, αξιολογώντας διαγνωστικά και θεραπευτικά αποτελέσματα. Τέλος, η Ενότητα 7 συνοψίζει τις συμβολές της παρούσας διατριβής και προτείνει κατευθύνσεις για μελλοντική έρευνα και επέκταση του προτεινόμενου συστήματος.