Smart tele-rehabilitation and tele-monitoring system based on 3D sensors and advanced computer vision techniques

Abstract

Telerehabilitation is important for the restoration of hand mobility in patients with after-stroke and after-surgery problems or neurological conditions. In this work, we aim to create a remote hand rehabilitation system employing the Virtual Glove (VG). The VG is a computer vision-based structure that simultaneously utilizes two synchronized Leap Motion Controller (LMC)s to track the motion of the hand and reconstruct a numerical hand model in real time. It has been conceptualized for telerehabilitation purposes, but it can also be used for human-system interaction. We have analyzed the use of computer vision methods that employ more than one sensor and focused on optimizing the function of the VG for detailed hand and finger movement tracking. Several methods have been developed and tested to efficiently combine the data from the two IR sensors. The problem of occlusions, frequent and common in computer vision systems, has been examined, and methods for minimizing them, while maintaining real-time, have been used. The results have been implemented to a complete framework for at-home hand rehabilitation, in a system made for the use of the patient as well as the therapist. The total of the data analysis procedure has been implemented in an interactive application designated to be used by a therapist to control and analyze hand telerehabilitation sessions, numerically control joints’ mobility, as well as to organize personalized exercises for each patient. Then, to allow the system to be used together with Machine Learning techniques, a humanoid actuator in the form of a human hand has been 3D printed and used to produce controlled wrist and finger movements, recorded by the VG. A complete pipeline for data analysis and a method to map spatial VG information to the motor movements of a mechanical actuator have been established. Also, a method for moving to a sensor-independent, hand-based Cartesian coordinate reference system has been developed. Finally, the pipeline has been developed to create a database of hand and finger movement data with ground truth information using the 3D printed actuator.

Η τηλε-φυσιοθεραπεία είναι σημαντική για την αποκατάσταση της κινητικότητας του χεριού σε ασθενείς στους οποίους η κινητικότητα έχει μειωθεί λόγω εγκεφαλικού επεισοδίου, εγχείρησης ή νευρολογικής πάθησης. Σε αυτή τη μελέτη στοχεύσαμε να δημιουργήσουμε ένα σύστημα αποκατάστασης εξ αποστάσεως, χρησιμοποιώντας το Virtual Glove (VG). To VG είναι μια δομή βασισμένη στην υπολογιστική οπτική, που χρησιμοποιεί ταυτόχρονα δύο συγχρονισμένους πομπους-ανιχνευτές υπέρυθρης ακτινοβολίας Leap Motion (Leap Motion Controllers, LMCs) για την ανίχνευση της κίνησης του χεριού και την ανακατασκευή ενός αριθμητικού μοντέλου του σε πραγματικό χρόνο. Η ιδέα του VG βασίστηκε στην ανάγκη για ένα σύστημα εισαγωγής δεδομένων για σκοπούς τηλεθεραπείας, αλλα μπορεί να χρησιμοποιηθεί γενικότερα για την επικοινωνία ανθρώπου - υπολογιστή. Αναλύσαμε τη χρήση μεθόδων υπολογιστικής όρασης που χρησιμοποιούν πάνω από έναν ανιχνευτή και εστιάσαμε στη βελτιστοποίηση της λειτουργίας του VG με στόχο τη λεπτομερή ανίχνευση της κίνησης του χεριού αλλά και των δακτύλων. Αναπτύξαμε και ελέγξαμε πειραματικά διαφορετικές μεθόδους συνδυασμού δεδομένων από τους δύο ανιχνευτές LMC. Το πρόβλημα της απόκρυψης τμημάτων του χεριού από άλλα, κοινό πρόβλημα στα συστήματα υπολογιστικής οπτικής, μελετήθηκε και αναπτύχθηκαν μέθοδοι ελαχιστοποίησής του, πάντα διατηρώντας την απόκριση σε πραγματικό χρόνο. Τα αποτελέσματά μας συγκεντρώθηκαν σε μία πλήρη δομή (hardware και software) για θεραπεία στο σπίτι, ένα σύστημα που μπορεί να χρησιμοποιηθεί από τον ασθενή και από τον θεραπευτή. Το σύστημα πραγματοποιεί όλη την απαραίτητη συγκέντρωση και ανάλυση δεδομένων, ενώ μια διαδραστική εφαρμογή, σχεδιασμένη για χρήση από τον θεραπευτή, ελέγχει και αναλύει συνεδρίες θεραπείας, καταγράφωντας ποσοτικά την κινητικότητα των αρθρώσεων, και ταυτόχρονα χρησιμοποιείται για την σχεδίαση εξατομικευμένων ασκήσεων. Για να μπορεί το σύστημα να χρησιμοποιηθεί σε συνδυασμό με μεθόδους μηχανικής μάθησης, ένα ανθρωπόμορφο ρομποτικό χέρι κατασκευάστηκε σε 3D εκτυπωτή και χρησιμοποιήθηκε για την πραγματοποίηση κινήσεων που ανιχνεύθηκαν από το VG ενώ ταυτόχρονα είχαμε την πραγματική πληροφορία της θέσης του καρπού και των δακτύλων. Δημιουργήθηκε έτσι ένα συνολικό σχέδιο ανάλυσης δεδομένων και μια μέθοδος mapping, ταύτισης της χωρικής πληροφορίας του VG με την πραγματική θέση των τμημάτων του ρομποτικού χεριού. Επίσης, αναπτύχθηκε μέθοδος μεταφοράς της πληροφορίας σε σύστημα καρτεσιανών συντεταγμένων ανεξάρτητο της θέσης των ανιχνευτών, που βασίζεται στη θέση του κέντρου του χεριού. Ολοκληρώνοντας, αναπτύξαμε και παρουσιάσαμε μία πλήρη μέθοδο δημιουργίας βάσης δεδομένων για μελλοντικές εφαρμογές υπολογιστικής μάθησης, με βάση το ρομποτικό χέρι.