Reactive motion planning for robotic manipulators and interaction control with deformable environment: application to physical human-assistive tasks

Abstract

Natural human-robot physical interaction has a key role in the acceptance of robotic applications in everyday life. Especially in the case of applications for the care and assistance of people with mobility or other impairments, the functional requirement of physical contact between humans and robots is one of the key factors that determine the safety of the robotic system. Such human-robot interaction applications require an interactive motionplanning system based on a continuous monitoring of the human condition, in order to achieve a completely safe and continuously adaptable robotic motion and task planning.Towards this end, this dissertation deals with reactive adaptation and motion generation of human demonstrated interactive tasks with deformable surfaces, such as those of the human body parts. Particularly, in the first part of this thesis, and in the context of a broader research effort aimed at building a flexible robotic bath mechanism, a motion planning algorithm was developed, which uses the visual feedback from a depth camera and the corresponding scene perception information, in order to adapt predefined, time scalable trajectories on curved and deformable surfaces, such as the human body parts, with simultaneous avoidance of obstacle areas, such as injuries. The adaptation is achieved with the establishment of bijective transformations, which reformulate the tracking problem to a 2D Canonical Space. Accurate trajectory tracking is then realized with a Navigation Function (NF) controller with proven globally uniformly asymptotic convergence. The proposed algorithm was tested both in lab conditions and in a real clinical environment with elderly users in both dry and humid conditions. A clinical validation study was conducted, which focused on the acceptance and operation aspects of such a complex system by elderly users.In the next phase of the thesis, an integrated system based on Dynamic Motion Primitives (DMP) approach is proposed, which can learn and encode demonstrated washing actions by professional nursing experts, imitating their actions. The washing actions were recorded with the use of optical motion tracker systems, analyzed and decomposed into primitive actions appropriate for robotic execution. The learned motions can then be adapted to the user’s body parts, compensating their motion or deformation, as well as on-line modified with respect to their execution parameters, in order to meet the user’s requirements during of the robotic assistance process. This system was experimentally validated with the use of a humanoid robot, which executed a wiping scenario, demonstrating the applicability of this method in real world scenarios of assistive robotics. Alternatively to the DMP approach, a NF method is proposed in order to learn and reproduce the way an expert clinical carer executes the bathing activities, by means of constructing artificial repulsive potential fields generated by virtual obstacles, which in essence represent the demonstrated motions.In the final stage of this dissertation, an efficient interactive motion planning framework is proposed, to effectively and accurately control a robotic manipulator executing interactive tasks on the surface of a deformable object. The proposed interactive motion planning framework is based on a mesh representation of the object, integrating three efficient preprocessing algorithmic steps, including visual object segmentation, FEM deformation tracking and local mesh parameterization. The use of barycentric coordinates, defined on the mesh triangles, enables the establishment of bijective transformations between the deformable part of an object surface and its planar (static and dynamic) parameterized mapping. By merging these spatial transformations with the preprocessing steps, in combination with an active stiffness scheme for robot manipulator control, we are able to achieve accurate and reactive motion planning of interactive trajectories, even under large and persistent visual occlusions. An extensive experimental evaluation study is presented, involving a robotic manipulator in interaction with a hemispherical model of controllable periodic active deformation, which permits precise ground truth derivation. Motion planning accuracy is evaluated in comparison with the previously described direct vision-based approach, showing clearly superior performance of the mesh-based approach under all experimental conditions. The performance of the proposed framework is also further highlighted in tasks involving physical point tracking, interactive programming by human demonstration, as well as contact force regulation.

Η φυσική διεπαφή και αλληλεπίδραση ανθρώπου-ρομπότ διαδραματίζει κεντρικό ρόλο στην αποδοχή ρομποτικών εφαρμογών στην καθημερινή ζωή. Ειδικότερα στην περίπτωση εφαρμογών περίθαλψης και υποβοήθησης ανθρώπων με κινητικές ή άλλες δυσκολίες, η λειτουργική απαίτηση φυσικής επαφής ανθρώπου-ρομπότ αποτελεί και έναν από τους βασικούς παράγοντες που καθορίζουν την ασφάλεια του ρομποτικού συστήματος. Σε τέτοιες εφαρμογές αλληλεπίδρασης ανθρώπου-ρομπότ, απαιτείται ένα σύστημα διαδραστικού σχεδιασμού κίνησης βασιζόμενο σε μία διαρκή παρακολούθηση της κατάστασης του ανθρώπου, για να επιτευχθεί ένας πλήρως ασφαλής και συνεχώς προσαρμοζόμενος σχεδιασμός ρομποτικών κινήσεων και εργασιών.Με βάση αυτήν τη γενική στόχευση, η παρούσα διατριβή πραγματεύεται τη διαδραστική παραγαγωγή και προσαρμογή ρομποτικών κινήσεων, οι οποίες έχουν προκύψει μέσω καταγραφής δεδομένων ανθρώπινης επίδειξης, κατάλληλες για εργασίες αλληλεπίδρασης με παραμορφώσιμες επιφάνειες, όπως μέρη του ανθρώπινου σώματος. Πιο συγκεκριμένα, στο πρώτο μέρος της διατριβής, και στο πλαίσιο μιας ευρύτερης ερευνητικής προσπάθειας που αποσκοπούσε στην κατασκευή ενός εύκαμπτου ρομποτικού μηχανισμού μπάνιου, αναπτύχθηκε ένας αλγόριθμος σχεδιασμού ρομποτικής κίνησης, ο οποίος χρησιμοποιεί την οπτική πληροφορία μιας κάμερας βάθους και την αντίστοιχη πληροφορία αντίληψης της σκηνής ρομποτικής δράσης, για να προσαρμόσει προκαθορισμένες και χωροχρονικά κλιμακούμενες τροχιές πάνω σε καμπύλες και παραμορφώσιμες επιφάνειες, όπως μέρη του ανθρώπινου σώματος, με ταυτόχρονη αποφυγή εμποδίων ή συγκεκριμένων υποπεριοχών της επιφάνειας αλληλεπίδρασης (για παράδειγμα, λόγω ύπαρξης τοπικών τραυματισμών, κ.α.). Η προσαρμογή επιτυχγάνεται με τη δημιουργία χωρικών μετασχηματισμών, με τις ιδιότητες του αμφιμονοσήμαντου και επί (bijection), οι οποίοι επιτυγχάνουν την έκφραση του προβλήματος παρακολούθησης σε ένα διδιάστατο κανονικοποιημένο χώρο. Η ακριβής παρακολούθηση τροχιάς πραγματοποιείται στη συνέχεια με έναν ελεγκτή συναρτήσεων πλοήγησης με αποδεδειγμένη καθολικά ομοιόμορφη ασυμπτωτική σύγκλιση στην επιθυμητή τροχιά. Η απόδοση του προτεινόμενου αλγορίθμου ελέγχθηκε τόσο σε συνθήκες εργαστηρίου όσο και σε πραγματικό κλινικό περιβάλλον με ηλικιωμένους χρήστες σε ξηρές συνθήκες και σε συνθήκες με χρήση νερού. Συμπληρωματικά πραγματοποιήθηκε μια κλινική μελέτη, η οποία αποσκοπούσε στην αξιολόγηση της αποδοχής και των δυνατοτήτων χρήσης ενός τέτοιου πολύπλοκου συστήματος από ηλικιωμένους χρήστες.Στο επόμενο στάδιο της διατριβής, προτείνεται ένα ολοκληρωμένο σύστημα το οποίο, βασιζόμενο στην μέθοδο των Δυναμικών Πρωτογενών Κινήσεων (Dynamic Movement Primitives– DMPs), μπορεί να μάθει και να κωδικοποιήσει δράσεις χειρισμού και επαναληπτικές κινήσεις οι οποίες έχουν προκύψει κατόπιν επίδειξης από ειδικούς (εν προκειμένω, νοσηλευτικό προσωπικό) και να μιμηθεί τη συμπεριφορά τους. Οι συγκεκριμένενες δράσεις καταγράφηκαν με χρήση συστημάτων οπτικής καταγραφής κίνησης, και ακολούθως αναλύθηκαν και αποσυντέθηκαν σε δυναμικές πρωτογενείς κινήσεις κατάλληλες για εκτέλεση από ρομποτικό σύστημα. Οι κωδικοποιημένες αυτές κινήσεις μπορούν στη συνέχεια να προσαρμοστούν στην επιφάνεια του σώματος του χρήστη, αντισταθμίζοντας την κίνηση ή την παραμόρφωσή του, καθώς και να μεταβληθούν ως προς συγκεκριμένες παραμέτρους της κίνησης κατά την εκτέλεση της εργασίας, για να ικανοποιηθούν δεδομένες ανάγκες του χρήστη κατά τη διάρκεια της διαδικασίας ρομποτικής υποβοήθησης. Το προτεινόμενο σύστημα αξιολογήθηκε πειραματικά με τη χρήση ενός ανθρωποειδούς ρομπότ, το οποίο εκτέλεσε ένα σενάριο καθαρισμού επιφάνειας, καταδεικνύοντας την εφαρμοσιμότητα της μεθόδου σε πραγματικά σενάρια ρομποτικής υποβοήθησης. Επιπλέον της μεθόδου αυτής, προτείνεται και μία εναλλακτική μέθοδος εκμάθησης και αναπαραγωγής σύνθετων κινήσεων από δεδομένα επίδειξης μέσω της διαμόρφωσης ενός απωστικού δυναμικού πεδίου συναρτήσεων πλοήγησης.Στο τελευταίο στάδιο της παρούσας διατριβής, προτείνεται ένα πρωτότυπο σύστημα διαδραστικού σχεδιασμού κίνησης, με στόχο τον αποδοτικό και ακριβή έλεγχο ενός ρομποτικού χειριστή, ο οποίος εκτελεί διαδραστικές εργασίες στην επιφάνεια ενος παραμορφώσιμου αντικειμένου. Το προτεινόμενο σύστημα βασίζεται σε μία αναπαράσταση πλέγματος του αντικειμένου και ενσωματώνει τρία αποδοτικά στάδια προ-επεξεργασίας δεδομένων, τα οποία περιλαμβάνουν την οπτική κατάτμηση του αντικειμένου, την παρακολούθηση της παραμόρφωσης του αντικειμένου και την τοπική παραμετροποίηση του πλέγματος. Η χρήση βαρυκεντρικών συντεταγμένων, που ορίζονται στα τριγωνικά στοιχεία του πλέγματος, επιτρέπει τον ορισμό αμφιμονοσήμαντων μετασχηματισμών μεταξύ του εξεταζόμενου μέρους της επιφανείας του αντικειμένου και της επίπεδης παραμετροποιημένης απεικόνισής του. Ο συνδυασμός αυτών των μετασχηματισμών με τα αρχικά στάδια επεξεργασίας και με ένα σχήμα ελέγχου ενεργούς ακαμψίας για τον ρομποτικό χειριστή, επιτρέπει τον ακριβή σχεδιασμό διαδραστικών τροχιών ακόμη και υπό συνθήκες οπτικής απόκρυψης μεγάλων τμημάτων της επιφανείας. Παρουσιάζεται μία εκτενής πειραματική αξιολόγηση της μεθόδου, η οποία περιλαμβάνει ένα ρομποτικό χειριστή σε διάδραση με ένα ημισφαιρικό μοντέλο το οποίο υπόκειται σε ελέγξιμη παραμόρφωση. Σε αυτό το πλαίσιο, αξιολογείται η ακρίβεια του σχεδιασμού της κίνησης τόσο κατά την εκτέλεση διαδραστικών τροχιών όσο και κατά την συνεχή παρακολούθηση ενός σημείου στην επιφάνεια του αντικειμένου. Ελέγχθηκε επίσης η ικανότητα χρήσης της μεθόδου για προγραμματισμό κινήσεων από ανθρώπινη επίδειξη και για ρύθμιση των δυνάμεων επαφής με το αντικείμενο.