Enhancing the generalization and adaptation capabilities of dynamic movement primitives during robot learning from human demonstrations and execution in dynamic environments

Abstract

Advancements in robotics have spurred interest in deploying robots alongside humans, necessitating efficient methods for transferring human skills to robots. Programming by Demonstration (PbD), where humans teach tasks to robots through demonstrations, offers an intuitive solution. For encoding human demonstrations and generalizing them to novel task conditions, the use of non-linear dynamical systems has been propounded, with Dynamic Movement Primitives (DMP) and Dynamical Systems with Gaussian Mixture Models (DS-GMM) being two of the most prevalent and widely employed models. However, existing approaches have limitations in adapting to dynamic environments and generalizing beyond demonstrated scenarios. This thesis addresses these limitations by proposing enhancements to learning human demonstrations with non-linear dynamical systems. Firstly, a novel parameterization for DS- GMM encoding Cartesian trajectories ensures global stability and reduces computational complexity. Additionally, leveraging task symmetries reduces model complexity and the number of required demonstrations. The focus then shifts to DMP, where a new mathematical formulation is derived, that is proven to be equivalent to the classical DMP formulation retaining all its favorable properties, while enabling to derive the model’s reference position, velocity, and acceleration in linear closed form with respect to the DMP’s learnable parameters. This enables training using only position measurements, online parameter alteration, and reversible execution. These advancements facilitate precise task execution and recovery from sensor faults. Furthermore, an optimization framework incorporates kinematic constraints and obstacle avoidance in real-time, enhancing online trajectory planning. Moreover, a novel spatial generalization framework overcomes limitations of traditional DMP generalization. It extends to dynamic via-points and external signals while preserving motion smoothness and shape fidelity. The applicability of DMP is also extended to complex tasks by employing deep Convolutional Neural Networks (CNNs) to infer DMP parameters from raw image inputs. This enables encoding multiple motion patterns and considering scene structure in task execution. By training the CNN to extract task-relevant features, DMP generalization incorporates complex scene information. In summary, this thesis contributes to advancing robot learning by enhancing DS-GMM and DMP capabilities. The proposed enhancements address limitations in generalization, adaptability to dynamic environments, and dealing with complex tasks. By combining novel mathematical formulations, optimization frameworks, and deep learning techniques, the thesis offers a comprehensive approach to improving robot learning from human demonstrations in dynamic environments, pushing the boundaries of what robots can accomplish autonomously.

Οι προηγμένες εξελίξεις στη ρομποτική έχουν πυροδοτήσει ενδιαφέρον για την ανάπτυξη ρομπότ που θα λειτουργούν δίπλα στους ανθρώπους, γεγονός που προϋποθέτει την ύπαρξη αποτελεσματικών μεθόδων για τη μεταφορά ανθρώπινων δεξιοτήτων στα ρομπότ. Ο Προγραμματισμός μέσω Επιδείξεων (PbD), όπου ο άνθρωπος επιδεικνύει στο ρομπότ την εργασία που πρέπει να εκτελεστεί, αποτελεί μια ενδιαφέρουσα και διαισθητική λύση. Για την κωδικοποίηση ανθρώπινων επιδείξεων και τη γενίκευσή τους σε νέες συνθήκες εργασίας, έχει προταθεί η χρήση μη γραμμικών δυναμικών συστημάτων, με τα Θεμελιώδη Δυναμικά Συστήματα (DMP) και τα Δυναμικά συστήματα με μίξη Γκαουσιανών (DS-GMM) να είναι δύο από τα πλέον διαδεδομένα και ευρέως χρησιμοποιούμενα μοντέλα. Ωστόσο, οι υπάρχουσες μέθοδοι έχουν περιορισμούς όσον αφορά την προσαρμογή σε δυναμικά περιβάλλοντα και τη γενίκευση πέρα από τις επιδείξεις. Η παρούσα διατριβή αντιμετωπίζει αυτούς τους περιορισμούς προτείνοντας βελτιώσεις στη μάθηση ανθρώπινων επιδείξεων με μη γραμμικά δυναμικά συστήματα. Αρχικά, προτείνεται μια νέα παραμετροποίηση για την κωδικοποίηση Καρτεσιανών τροχιών με DS-GMM, εξασφαλίζοντας γενική ασυμπτωτική ευστάθεια και μειώνοντας την υπολογιστική πολυπλοκότητα. Επιπλέον, με την αξιοποίηση συμμετριών σε συγκεκριμένες εργασίες, μειώνεται η πολυπλοκότητα του μοντέλου και ο αριθμός των απαιτούμενων επιδείξεων. Έπειτα, το ενδιαφέρον επικεντρώνεται στα Θεμελιώδη Δυναμικά Συστήματα, όπου προτείνεται μια νέα μαθηματική μοντελοποίηση, η οποία αποδεικνύεται ότι είναι ισοδύναμη του κλασσικού DMP διατηρώντας όλα τις επιθυμητές ιδιότητές, ενώ ταυτόχρονα επιτρέπει τον υπολογισμό της θέσης, ταχύτητας και επιτάχυνσης αναφοράς του μοντέλου σε γραμμική κλειστή μαθηματική μορφή ως προς τις εκπαιδεύσιμες μεταβλητές του DMP. Αυτό επιτρέπει την εκμάθηση των παραμέτρων του DMP μόνο από μετρήσεις θέσης, την αλλαγή παραμέτρων σε πραγματικό χρόνο και την αντίστροφη εκτέλεση του μοντέλου. Οι βελτιώσεις αυτές διευκολύνουν την ακριβή εκτέλεση καθηκόντων και την αντιμετώπιση αστοχιών αισθητήρων μέσω της αντίστροφης εκτέλεσης. Επιπλέον, προτείνεται μια μέθοδος βελτιστοποίησης που ενσωματώνει κινηματικούς περιορισμούς και περιορισμούς για την αποφυγή εμποδίων σε πραγματικό χρόνο, βελτιώνοντας τη σχεδίαση τροχιάς. Επιπλέον, αναπτύσσεται μια νέα μέθοδος χωρικής γενίκευσης που ξεπερνά τους περιορισμούς της κλασικής γενίκευσης των DMP, επεκτείνοντάς την σε δυναμικά ενδιάμεσα σημεία και εξωτερικά σήματα, διατηρώντας παράλληλα την ομαλή κίνηση και την ακρίβεια του μοντέλου. Επιπλέον, η χρήση των DMP επεκτείνεται σε πολύπλοκες εργασίες με τη χρήση βαθιών Συνελικτικών Νευρωνικών Δικτύων (CNN) για την εκτίμηση των παραμέτρων του DMP από ακατέργαστες εικόνες. Με αυτόν τον τρόπο καθίσταται δυνατή η κωδικοποίηση πολλαπλών μοτίβων κίνησης και λαμβάνεται υπόψη η δομής της σκηνής στην εκτέλεση της εργασίας. Με την εκπαίδευση του CNN για την εξαγωγή χαρακτηριστικών που σχετίζονται με την εργασία από την εικόνα της σκηνής, η γενίκευση των DMP ενσωματώνει πλούσιες πληροφορίες της σκηνής. Συνολικά, αυτή η διατριβή συμβάλλει στην προαγωγή της ρομποτικής εκμάθησης μέσω της βελτίωσης των δυνατότητες των DS-GMM και των DMP. Οι προτεινόμενες βελτιώσεις αντιμετωπίζουν περιορισμούς στη γενίκευση, την προσαρμογή σε δυναμικά περιβάλλοντα και την εκτέλεση σύνθετων εργασιών. Συνδυάζοντας καινοτόμες μαθηματικές διατυπώσεις, μεθόδους βελτιστοποίησης και τεχνικές βαθιάς μάθησης, η διατριβή προσφέρει μια συνολική προσέγγιση για τη βελτίωση της ρομποτικής μάθησης από ανθρώπινες επιδείξεις σε δυναμικά περιβάλλοντα, διευρύνοντας τις δυνατότητες των αυτόνομων ρομποτικών συστημάτων.