Intelligent control and impedance adjustment for efficient human-robot cooperation

Abstract

Human - robot Cooperation (HRC) is the research topic which aims at the complementary combination between the robot abilities and the human skills. The robots can assist humans by increasing their capabilities in precision, speed, and force. In addition, the robots could reduce the stress and the tiredness of the human operator and hence improve its working conditions. The humans could contribute to the cooperation in terms of experience, knowledge of executing a task, intuition, easy learning and adaptation, and easy understanding of control strategies. This thesis is composed from three parts: the first part about the safety of human-robot co-manipulation, the second part is about the control method for human-robot co-manipulation. In the third part, a method for improving the performance of human-robot co-manipulation is presented. Towards the safety of the human-robot co-manipulation, a multilayer feedforward Neural Network based approach is proposed for human-robot collision detection and collided link identification taking safety standards into consideration. The topology of one neural network is designed considering the coupled dynamics of the robot and trained, with and without external contacts, by Levenberg-Marquardt algorithm to detect unwanted collisions of the human operator with the manipulator and the link that is collided. Two neural networks architectures are implemented; one architecture with one hidden layer is using both the intrinsic joint position and torque sensors of the manipulator. This architecture can be applied to the collaborative robots. The other neural network architecture with two hidden layers is using only the intrinsic position sensors of the manipulator. This architecture can be applied to any robot. The experimental results prove that the developed system is considerably efficient and very fast in detecting the collisions in the safe region and identifying the collided link along the entire workspace of the joints motion of the manipulator. Separate/Uncoupled neural networks, one for each joint, are also designed and trained using the same data and their performance are compared with the coupled one. Quantitative and qualitative comparison between the both neural networks architectures is also included. In the second part of the thesis, an approach is presented for variable admittance control in human-robot co-manipulation depending on the online training of neural network. The virtual damping, the virtual inertia, or both are tuned and investigated in improving the human-robot co-manipulation. The design of the variable virtual controller is analyzed, and the choice of the neural network type and their inputs and output are justified. In case of adjusting the virtual inertia only or the virtual damping only, the multilayer feedforward neural network (MLFFNN) is selected, and the error backpropagation analysis is used to train the network. In case of adjusting both the virtual damping and the virtual inertia simultaneously, a Jordan recurrent neural network (JRNN) is designed and the real-time recurrent learning algorithm for the training process. The training of any network (whether the MLFFNN or the JRNN) is happening indirectly and based on the velocity error between the reference velocity of the minimum jerk trajectory model and the actual velocity of the robot. The proposed variable admittance controller performance is experimentally investigated, and its generalization is evaluated by conducting cooperative tasks with help of multiple subjects using the KUKA LWR manipulator under different conditions and tasks than the ones used for the neural network training. Finally, a comparative study is presented between the proposed variable controller with previous published ones. Moreover, the comparison between the variable admittance controller, where both the virtual damping and the virtual inertia are adjusted simultaneously, and variable admittance controller where only the virtual damping or the virtual inertia is adjusted. Towards improving the performance of human-robot co-manipulation, an approach for the evaluation of human-robot collaboration towards high performance is introduced and implemented. The human arm and the manipulator are modelled as a closed kinematic chain (CKC) and the proposed task performance criterion is investigated based on the manipulability index of the closed kinematic chain. The selected task is a straight motion in which the robot end-effector is guided by the human operator via an admittance controller. The best location of the selected task is determined by the maximization of the minimal manipulability along the path. Evaluation criteria for the performance are adapted considering the ergonomics literature. In the experimental set-up with a KUKA LWR manipulator, multiple subjects repeat the specified motion to evaluate the introduced approach experimentally.

Η αλληλεπίδραση ανθρώπου – ρομπότ είναι μια ερευνητική περιοχή που στοχεύει στον επιτυχή συνδυασμό των δυνατοτήτων ρομπότ και ανθρώπου. Τα ρομπότ μπορούν να βοηθήσουν τους ανθρώπους σε ζητήματα ακρίβειας, ταχύτητας και δύναμης. Επιπρόσθετα, τα ρομπότ μπορούν περιορίσουν συμπτώματα όπως το άγχος και η κούραση του χρήστη, βελτιώνοντας έτσι τις συνθήκες εργασίας του. Βέβαια, καθοριστικός παράγοντας στην υλοποίηση των παραπάνω είναι ο άνθρωπος, όπου μέσα από την εμπειρία και την τεχνογνωσία εκτέλεσης καθημερινών καθηκόντων, τη διαίσθηση του, την εύκολη μάθηση την κατανόηση και την προσαρμογή του με τις μεθόδους ελέγχου, μπορεί να εκπαιδεύσει ένα ρομπότ. Ο κορμός αυτής της διδακτορικής διατριβής χωρίζεται σε 3 μέρη: το πρώτο μέρος έχει να κάνει με την ασφάλεια ενώ στο δεύτερο μέρος αναλύονται οι τεχνικές ελέγχου αλληλεπίδρασης ανθρώπου – ρομπότ. Στο τρίτο μέρος, παρουσιάζονται τεχνικές βελτίωσης της αλληλεπίδρασης. Όσο αφορά την ασφαλή αλληλεπίδραση ανθρώπου-ρομπότ, προτείνεται μια προσέγγιση πολυστρωματικού πρόσθιας φόρτωσης νευρωνικού δικτύου (multilayer feedforward Neural Network) για τον εντοπισμό της σύγκρουσης ανθρώπου-ρομπότ καθώς και της αναγνώρισης του σχετικού συνδέσμου (link), λαμβάνοντας υπόψιν τα πρότυπα ασφαλείας. Η τοπολογία ενός νευρωνικού δικτύου σχεδιάζεται με βάση την δυναμική σύζευξης (coupled dynamics) του ρομπότ, η οποία εκπαιδεύεται με και χωρίς εξωτερικές επαφές σύμφωνα με τον αλγόριθμο του Levenberg-Marquardt που ανιχνεύει ανεπιθύμητες συγκρούσεις μεταξύ χειριστή και του εκάστοτε συνδέσμου του ρομπότ. Δυο αρχιτεκτονικές νευρωνικών δικτύων αναπτύσσονται: Η πρώτη εξαρτάται από τις θέσεις των αρθρώσεων και των αισθητήρων ροπής του ρομποτικού βραχίονα. Αυτή η αρχιτεκτονική είναι ιδιαίτερα ωφέλιμη σε συνεργατικά ρομπότ. Η δεύτερη αρχιτεκτονική βασίζεται μόνο στους αισθητήρες θέσης του ρομποτικού βραχίονα. Η δεύτερη μέθοδος μπορεί να εφαρμοστεί σε οποιοδήποτε βιομηχανικό ρομπότ. Τα πειραματικά αποτελέσματα αποδεικνύουν ότι οι προτεινόμενες μέθοδοι είναι ιδιαίτερα αποδοτικές και πολύ γρήγορες στον εντοπισμό συγκρούσεων σε ασφαλείς περιοχές, προσδιορίζοντας τον σύνδεσμο σε ολόκληρο τον χώρο εργασίας. Ανεξάρτητα (χωρίς συσχέτιση με άλλους συνδέσμους) νευρωνικά δίκτυα, ένα για κάθε άρθρωση, σχεδιάζονται και εκπαιδεύονται, χρησιμοποιώντας τα ίδια δεδομένα, και η απόδοση τους συγκρίνεται με τα εξαρτώμενα νευρωνικά δίκτυα ποσοτικά αλλά και ποιοτικά. Στο δεύτερο μέρος της διατριβής, παρουσιάζεται μια μέθοδος ελέγχου μεταβλητής εισόδου (variable admittance control) για την συνεργασία ανθρώπου – ρομπότ, εξαρτώμενη από την σύγχρονη (online) εκπαίδευση ενός νευρωνικού δικτύου. Η εικονική απόσβεση, η εικονική αδράνεια ή και οι δύο ρυθμίζονται και διερευνώνται για τη βελτίωση της συνεργασίας ανθρώπου-ρομπότ. Ο σχεδιασμός του μεταβλητού ελεγκτή αναλύεται καθώς επίσης και η επιλογή του νευρωνικού δικτύου, συμπεριλαμβανομένου των εισόδων και εξόδων του. Σε περίπτωση ρύθμισης μόνο της εικονικής αδράνειας ή μόνο της εικονικής απόσβεσης επιλέγεται ένα πολυστρωματικό πρόσθιας φόρτωσης νευρωνικό δίκτυο (multilayer feedforward Neural Network), όπου το σφάλμα (backpropagation error) λαμβάνεται υπόψιν κατά την εκπαίδευση του νευρωνικού δικτύου. Σε περίπτωση ρύθμισης τόσο της εικονικής απόσβεσης όσο και της εικονικής αδράνειας ταυτόχρονα, χρησιμοποιείται το επαναλαμβανόμενο νευρωνικό δίκτυο (RNN) Jordan συνοδευόμενος από τον αντίστοιχο αλγόριθμο μάθησης σε πραγματικό χρόνο. Υλοποιείται έμμεση εκπαίδευση του δικτύου με βάση το σφάλμα ταχύτητας μεταξύ της ταχύτητας αναφοράς του μοντέλου στην περίπτωση που ακολουθεί ελάχιστα απότομη τροχιά και της πραγματικής ταχύτητας του ρομπότ. Η προτεινόμενη απόδοση του ελεγκτή μεταβλητής εισόδου (variable admittance controller) διερευνάται πειραματικά και η γενίκευση της αξιολογείται με συνεργατικές εργασίες με τη βοήθεια πολλαπλών χειριστών του ρομποτικού βραχίονα KUKA LWR υπό διαφορετικές συνθήκες και εργασίες οι οποίες αξιοποιούνται στην εκπαίδευση του νευρικού δικτύου. Επιπλέον, γίνεται σύγκριση μεταξύ των παραλλαγών του ελεγκτή μεταβλητής εισόδου (variable admittance controller), όπου τόσο η εικονική απόσβεση όσο και η εικονική αδράνεια ρυθμίζονται ταυτόχρονα ή ξεχωριστά. Για τη βελτίωση της αλληλεπίδρασης ανθρώπου-ρομπότ, προτείνεται μια προσέγγιση για την αξιολόγηση της συνεργασίας ανθρώπου-ρομπότ με στόχο την επίτευξη υψηλών επιδόσεων. Τόσο το ανθρώπινο χέρι όσο και ο ρομποτικός βραχίονας μοντελοποιούνται ως μια κλειστή κινηματική αλυσίδα (closed kinematic chain) και τα κριτήρια αξιολόγησης της απόδοσης αναλύονται βάσει της δυνατότητας χειρισμού. Η επιλεγμένη εργασία είναι μια ευθεία κίνηση στην οποία το άκρο του ρομπότ οδηγείται από τον άνθρωπο μέσω ενός ελεγκτή εισόδου (admittance controller). Η καλύτερη θέση της επιλεγμένης εργασίας καθορίζεται με τη μεγιστοποίηση της ελάχιστης δυνατότητας χειρισμού κατά μήκος της διαδρομής. Τα κριτήρια αξιολόγησης για την απόδοση υιοθετούνται λαμβάνοντας υπόψη εργονομικές μεθόδους. Στην πειραματική διάταξη με τον βραχίονα KUKA LWR, πολλοί εθελοντές χειριστές επαναλαμβάνουν την καθορισμένη κίνηση και αξιολογούν εμπειρικά την παραπάνω προσέγγιση.