Ανάπτυξη και αξιολόγηση διαδραστικών μοντέλων εικονικής πραγματικότητας για το σχεδιασμό ρομποτικών συστημάτων παραγωγής

Abstract

In modern manufacturing systems, a need for Human - Industrial Robot Collaboration (HRC) and work-space sharing, to execute manufacturing tasks, has arisen. The key aim of this collaboration and coexistence between Human and Robot, in tasks that are typically performed manually, is to improve quality and productivity, by enhancing workers’ knowledge, cognitive skills and sensory-motor abilities with the strength, accuracy and repeatability of robots. In this case, rather than replacing the human’s work with robots in repetitive and alienating tasks, collaborative assistance of robots can lead workers to perform increased value-added work. Still, HRC remains under-exploited due to safety concerns. For a long time now, safety of HRC is addressed by segregation between humans and robots, and the existing safety techniques are built in a serial, “stop-and-go” fashion, which is unacceptable for highly collaborative tasks. This research investigates safety techniques for a fluent collaboration (“beyond stop-and-go” interaction type), as well as cognitive aids, to support human’s awareness of the robot motion, and anticipation of intent by both humans and robots. A highly-interactive and immersive Virtual Environment (VE) is developed, in order to study HRC and to serve as an experimentation platform for different HRC scenarios. During the collaboration of human with the industrial robot, the user is provided with real-time audiovisual stimuli (cognitive aids), aiming at enriching this collaboration with information. Two safety HRC strategies (techniques) are proposed: in the first, the robot slows down to a reduced, safe speed, when a potential H-R collision is detected; in the second, the robot moves back (retracts) and its trajectory is altered towards a new safe position, so that a potential collision is avoided.Thus, three major research questions arose and had to be dealt with. The first research question is twofold: the first is about is the efficiency of interactive VEs on modeling such a collaboration, and the second is about the acceptability of the VE by the user, as a tool for HRC modeling and research. The second research question concerns the use of different cognitive aids and their contribution to the perceived safety and awareness of the user. The third research question treats the use of the different safety strategies (slow down/move back), their acceptability, and their contribution to the safety and efficiency (fluency) of HRC.The first aim of the research was to build this system as a platform for experimentation of several H-R interaction techniques, as well as of the fluency of H-R collaboration inside the virtual world. The second goal was to investigate users’ enhanced experience and behavior inside the virtual world while cooperating with the robot; the system can be used to investigate the acceptability of H-R collaboration in regard to safety issues, by fostering human’s awareness of the robot motion, with the use of multisensorial cues and aids. Ultimately, the final goal of this research was to consider safety-based robot motion programming, by evaluating different collision avoidance techniques, based on motion awareness and anticipation of intention by both human and robot inside the VE. Therefore, Virtual Reality is used both as a tool for HRC modeling and research, and, as a research field, itself, that can reproduce and enhance the cognitive process of human-robot interaction. In order to respond to the research questions, a novel interactive VE was developed, the “beWare of the Robot” training demo application. “BeWare of the Robot” is a standalone Windows application implemented and assembled in the Unity 3D game engine platform, that can run in a typical PC. Two main 3D user interfaces are employed: (i) a Microsoft Kinect sensor is used as an input device for skeletal tracking and travelling of the user, and, (ii) a stereoscopic HMD (Oculus Rift or eMagin Z800) is used as an output device for 3D visual display, and as an input device for head motion tracking. The use case scenario represents several H-R collaborative tasks (handling, hand-over, holding, collaborative laying) during tape-laying for building aerospace parts, in a composites hand layout work-cell. The main actors of the virtual scene are the user and the industrial robot. A Stäubli RX90L robotic manipulator picks and transfers carbon patches towards the user, and holds the patch during collaborative laying. The user is represented in the VE by a realistic avatar which reproduces in real-time the tracked user movements. Two different use cases were developed. The first use case (beWare of the Robot v1.0 - v1.5) represents collaborative handling of carbon patches towards the user (synchronized collaboration type with spatial coincidence and temporal separation). The second use case (beWare of the Robot v2.0) represents collaborative handling, patch setup, adhesive cover removal, and finally collaborative and assisted laying of the patch on the mould (simultaneous and assisted collaboration type, with spatial and temporal coincidence). The implementation of H-R interaction tasks involves a wide variety of different interaction techniques (direct tracking, ray-casting, collision detection, events triggering etc). The use of markerless body and head tracking to control the avatar during the execution of collaborative tasks, lead to natural and direct interaction in all four generic interaction task types (selection, navigation, manipulation and system control). In addition, two novel interaction metaphors were developed, the “virtual lay metaphor” and the “virtual removal metaphor”. The real laying task is reproduced in the VE with the implementation of the “follow-my-hand” technique: the user has to follow with his hand a virtual hand-like index (guide) that moves along a predefined pattern. The developed safe collaboration techniques can be classified to two categories: passive/proactive techniques and active/adaptive techniques. Proactive techniques are based on the use of cognitive aids (visual and audio cues, alarms etc.), and they aim at facilitating HR communication awareness, and, thus, fostering human’s proactive behavior. On the other hand, adaptive techniques suggest adjustive kinematic behavior by the robot (slow down/move back), and their goal is collision avoidance, without stopping the robot motion. Two user tests (experiments) were set up, one for each use case, using both subjective satisfaction metrics (self-report measures) to investigate user experience, as well as performance metrics concerning HRC issues (collaboration time, robot velocity, detected H-R collisions), mainly for safety techniques testing. The results revealed the efficiency of the two safe HRC techniques, their contribution to safety issues, and their overall acceptance by the users. The system also scored great in HRC modeling capacity, in “presence by involvement”, and in perceived immersion issues. Eventually, overall results are positive and suggest a positive prospect for the use of such VR applications for training on H-R collaboration.

Στα σύγχρονα συστήματα παραγωγής, τα τελευταία χρόνια έχει εμφανιστεί η ανάγκη για συνεργασία Ανθρώπου-Βιομηχανικού Ρομπότ (Α-Ρ) σε κοινό (διαμοιραζόμενο) χώρο εργασίας, για την από κοινού εκτέλεση βιομηχανικών καθηκόντων ή κατεργασιών. Ο σκοπός της συνεργασίας και της συνύπαρξης Α-Ρ κατά την εκτέλεση καθηκόντων που συνήθως εκτελούνται χειρωνακτικά, είναι η βελτίωση της ποιότητας και η αύξηση της παραγωγικότητας, εμπλουτίζοντας τη γνώση, τις δεξιότητες και τις κιναισθητικές δυνατότητες του εργαζόμενου με τη δύναμη, την ακρίβεια και την επαναληψιμότητα των ρομπότ. Στην περίπτωση που εξετάζουμε λοιπόν, αντί να έχουμε αντικατάσταση της ανθρώπινης εργασίας από ρομπότ σε επαναλαμβανόμενα, επικίνδυνα ή χαμηλής προστιθέμενης αξίας καθήκοντα, επιθυμούμε τη συνύπαρξη Α-Ρ και τη συνεργατική υποστήριξη της ανθρώπινης εργασίας και δεξιότητας από το ρομπότ, με αποτέλεσμα την πραγματοποίηση συνολικής εργασίας υψηλής προστιθέμενης αξίας.Μέχρι και σήμερα, τα ανακύπτοντα ζητήματα ασφαλείας αντιμετωπίζονται πρωτίστως με χωρικό ή/και χρονικό διαχωρισμό ανθρώπου και ρομπότ, και, κατ’ αυτό τον τρόπο, κρατούν ακόμα την εφαρμογή της συνεργασίας Α-Ρ ουσιαστικά ανεκμετάλλευτη στη βιομηχανία. Επιπρόσθετα, οι υφιστάμενες τεχνικές ασφαλούς συνεργασίας είναι δομημένες σε μια σειριακή λογική γεγονότων τύπου «σταμάτα-και-προχώρα» (stop-and-go), η οποία είναι αναποτελεσματική, καθώς ενδέχεται να σταματά την παραγωγή, και να ακυρώνει ουσιαστικά τα πλεονεκτήματα της συνεργασίας Α-Ρ.Η παρούσα ερευνητική εργασία διερευνά τεχνικές ασφαλούς συνεργασίας οι οποίες δεν διακόπτουν -κατά το δυνατόν- την ομαλή ροή της συνεργασίας Α-Ρ. Επιπλέον, αναζητά τρόπους γνωστικής διευκόλυνσης και υποστήριξης της αντίληψης της κατάστασης του χρήστη, έτσι ώστε να είναι δυνατή η πρόβλεψη της συμπεριφοράς του ρομπότ. Τέλος, ερευνάται η αποτελεσματικότητα των διαφορετικών τεχνικών ασφαλούς συνεργασίας, αλλά και τα κριτήρια ενεργοποίησης των τεχνικών αυτών, έτσι ώστε να αποφεύγονται πιθανές άσκοπες, ή πρώιμες ενεργοποιήσεις. Προκειμένου να επιτευχθεί η παραπάνω διερεύνηση, προτείνεται η δημιουργία ενός υψηλά-αλληλεπιδραστικού Εικονικού Περιβάλλοντος (ΕΠε), το οποίο λειτουργεί ως πλατφόρμα δοκιμών της συνεργασίας Α-Ρ. Κατά τη διάρκεια της συνεργασίας του με το ρομπότ, ο χρήστης δέχεται ανάδραση με δυναμικά ερεθίσματα (γνωστικά βοηθήματα) σε πραγματικό χρόνο, τα οποία σκοπεύουν να εμπλουτίσουν με πληροφορία την ερευνώμενη συνεργασία. Τέλος, προτείνονται δύο στρατηγικές (τεχνικές) ασφαλούς συνεργασίας: στην πρώτη το ρομπότ επιβραδύνει όταν ανιχνεύεται επερχόμενη σύγκρουση (ανεπιθύμητη επαφή) με τη χρήστη, ενώ στη δεύτερη το ρομπότ υποχωρεί και κατευθύνεται στον τελικό προορισμό με τροποποιημένη τροχιά, έτσι ώστε να αποφύγει τον άνθρωπο.Με βάση τα παραπάνω, στην παρούσα θεώρηση, προέκυψαν τρεις βασικές ερευνητικές προβληματικές. H πρώτη προβληματική έχει δύο σκέλη: αναφέρεται αφενός στην ικανότητα και την αποτελεσματικότητα της μοντελοποίησης της συνεργασίας Α-Ρ από το διαδραστικό ΕΠε, και αφετέρου, στην αποδοχή του ΕΠε από το χρήστη, ως εργαλείου για τη διερεύνηση αυτής της συνεργασίας και για την εκπαίδευση σε αυτήν. H δεύτερη προβληματική αφορά στη χρήση των γνωστικών βοηθημάτων που παρέχονται στο χρήστη, αλλά και στην επίδραση που έχουν αυτά στην αντίληψη του κινδύνου (προσλαμβανόμενη/αντιληπτή ασφάλεια) και στην αντίληψη της κατάστασης. H τρίτη προβληματική αφορά στη χρήση των διαφορετικών στρατηγικών ασφάλειας (επιβράδυνση/υποχώρηση), στην αποδοχή τους από το χρήστη και στην επίδραση που έχουν στην ασφάλεια και στην απόδοση (εύροια) της συνεργασίας Α-Ρ. Ο βραχυπρόθεσμος στόχος της διδακτορικής διατριβής ήταν η δημιουργία ενός Εικονικού Περιβάλλοντος (ΕΠε) υψηλής αλληλεπίδρασης και εμβύθισης, το οποίο θα λειτουργεί ως μια πλατφόρμα πειραματισμού και δοκιμών των τεχνικών αλληλεπίδρασης Α-Ρ και της εύροιας της συνεργασίας Α-Ρ στον εικονικό κόσμο. Ο μεσοπρόθεσμος στόχος είναι η διερεύνηση της επαυξημένης εμπειρίας, της αντίληψης και της συμπεριφοράς του χρήστη στο ΕΠε κατά τη διάρκεια της εικονικής συνεργασίας Α-Ρ. Το διαδραστικό ΕΠε μπορεί να χρησιμοποιηθεί για τη διερεύνηση της αποδοχής και της ασφάλειας της συνεργασίας Α-Ρ, ενισχύοντας την αντίληψη (awareness) του χρήστη όσον αφορά την κίνηση του ρομπότ με τη χρήση πολυαισθητηριακών σημάτων και βοηθημάτων. Τελικά, ο μακροπρόθεσμος στόχος αυτής της έρευνας είναι η διερεύνηση τρόπων ασφαλειοκεντρικού προγραμματισμού της τροχιάς του ρομπότ, με την αξιολόγηση διαφορετικών τεχνικών αποφυγής συγκρούσεων και τη χρήση τεχνικών, μέσα στο ΕΠε, βασισμένων στην αντίληψη της κίνησης και την επικοινωνία της πρόθεσης, τόσο από τον άνθρωπο όσο και από τον ελεγκτή του βιομηχανικού ρομπότ.Συνεπώς, η διδακτορική διατριβή περιστρέφεται γύρω από τη συνεργασία Ανθρώπου-Ρομπότ (Α-Ρ) στα ρομποτικά συστήματα παραγωγής, την αποτελεσματικότητα, την ασφάλεια και την αποδοχή αυτής της συνεργασίας και τέλος, γύρω από τη διαδραστική Εικονική Πραγματικότητα αφενός ως εργαλείο μελέτης της παραπάνω συνεργασίας, και αφετέρου, η ίδια εγγενώς, ως ερευνητικό πεδίο έρευνας το οποίο αναπαριστά και εμπλουτίζει γνωστικά την αλληλεπίδραση με τον άνθρωπο.Προκειμένου να διερευνηθούν οι ερευνητικές προβληματικές και οι υποθέσεις επίλυσής τους, δημιουργήθηκε το ΕΠε “beWare of the Robot”. Η “beWare of the Robot” είναι μια αυτόνομη (standalone) εφαρμογή που αναπτύχθηκε και συναρμολογήθηκε στο περιβάλλον του Unity 3d™ και η οποία μπορεί να τρέξει σε έναν τυπικό προσωπικό υπολογιστή με λειτουργικό σύστημα Windows™. Το δημιουργηθέν ΕΠε είναι πλήρως πρωτότυπο και έντονα διαδραστικό, ενώ στην εικονική σκηνή χρησιμοποιείται ένα ρεαλιστικό μοντέλο ανθρωποειδούς και το μοντέλο ενός βιομηχανικού ρομποτικού βραχίονα. Χρησιμοποιήθηκαν δύο τύποι τρισδιάστατων διεπαφών αλληλεπίδρασης: (i) κάσκες στερεοσκοπίας (HMDs), ως συσκευές εξόδου τρισδιάστατης απεικόνισης (Z800 3DVisor και Oculus Rift DK2), αλλά και ως συσκευές εισόδου για την αναγνώριση της κίνησης του κεφαλιού και (ii) αισθητήρες αναγνώρισης κίνησης (Microsoft Kinect™) ως τρισδιάστατες συσκευές εισόδου και κιναισθητικού ελέγχου.Ως πεδίο εφαρμογής (υπόθεση εργασίας) επιλέχθηκε η συνεργατική χειροκίνητη στρώση ανθρακοϋφασμάτων (hand lay-up), καθώς είναι ισχυρά αλληλεπιδραστική, απαιτεί μεγάλη εγγύτητα και παράλληλη εργασία Α-Ρ, ενώ μπορούν να προσαρμοστούν σε αυτήν οι συνηθέστεροι τύποι συνεργασίας Α-Ρ (τροφοδοσία, παράδοση τεμαχίου, συγκράτηση, ταυτόχρονη και από κοινού εργασία πάνω στο ίδιο τεμάχιο). Συνολικά αναπτύχθηκαν δύο περιπτώσεις εφαρμογής (use cases). H πρώτη περίπτωση εφαρμογής (εκδόσεις beWare of the Robot v1.0 και v1.5) αναπαριστά τη ρομποτική τροφοδοσία (παράδοση) των ανθρακοϋφασμάτων από έναν πάγκο εναπόθεσης υφασμάτων προς τον άνθρωπο και συνιστά συγχρονισμένο τύπο συνεργασίας με χωρική σύμπτωση Α-Ρ. Η δεύτερη περίπτωση εφαρμογής, (έκδοση beWare of the Robot v2.0) αφορά συνεργατική προετοιμασία του τεμαχίου (αφαίρεση ενός αυτοκόλλητου καλύμματος) και συνεργατική και από κοινού στρώση του ανθρακοϋφάσματος σε ένα καλούπι (ταυτόχρονος και υποβοηθητικός τύπος συνεργασίας Α-Ρ).Για την εκτέλεση των βασικών καθηκόντων της συνεργασίας Α-Ρ στο Εικονικό Περιβάλλον χρησιμοποιείται μεγάλο πλήθος τεχνικών αλληλεπίδρασης. Εξαιτίας της ανίχνευσης κίνησης (tracking) και της χρήσης του ανθρωποειδούς για την αναπαράσταση των καθηκόντων του χρήστη, επιτυγχάνεται αντίστοιχα αμεσότητα και φυσικότητα σε όλα τα γενικά καθήκοντα αλληλεπίδρασης (επιλογή, πλοήγηση, χειρισμός και έλεγχος συστήματος). Επίσης, δημιουργήθηκαν δύο πρωτότυπες μεταφορές αλληλεπίδρασης, αυτές της εικονικής συνεργατικής στρώσης (virtual lay metaphor) και αυτή της εικονικής αφαίρεσης του αυτοκόλλητου καλύμματος (virtual removal metaphor), και μία τεχνική. Η τεχνική «ακολούθησε το χέρι μου» (follow my hand) πραγματοποιείται με τη χρήση ενός εικονικού χεριού (οδηγού/πιλότου) και ενός μοτίβου κίνησης, παράγοντας ένα γνωστικό βοήθημα προσομοίωσης του πραγματικού καθήκοντος στο ΕΠε.Οι δημιουργηθείσες τεχνικές ασφαλούς συνεργασίας μπορούν να κατηγοριοποιηθούν σε παθητικές/προνοητικές (proactive) τεχνικές και ενεργητικές/προσαρμοστικές (adaptive) τεχνικές. Η λογική των προβλεπτικών τεχνικών βασίζεται κυρίως στη χρήση γνωστικών βοηθημάτων (οπτικών και ηχητικών ενδείξεων, νύξεων και συναγερμών) και στοχεύει στην υποστήριξη της επικοινωνίας του χρήστη με το ρομπότ, της επίγνωσης της κατάστασης και της αντίληψης του κινδύνου. Οι προσαρμοστικές (adaptive) τεχνικές ασφαλούς συνεργασίας Α-Ρ που ερευνούμε είναι δύο (i-επιβράδυνση, ii-υποχώρηση), αναφέρονται στην (προσαρμοστική) κινηματική συμπεριφορά του ρομπότ και εστιάζουν στην αποφυγή της επαφής μεταξύ Α-Ρ, χωρίς διακοπή της κίνησης του ρομπότ (αδιάκοπη συνεργασία).Πραγματοποιήθηκαν δύο δοκιμές χρηστών, μία για κάθε περίπτωση εφαρμογής, και χρησιμοποιήθηκαν τόσο υποκειμενικές μετρικές ικανοποίησης των χρηστών (αυτο-αξιολόγηση), όσο και μετρικές απόδοσης της συνεργασίας Α-Ρ (χρόνοι, ταχύτητα ρομπότ, αριθμός συγκρούσεων Α-Ρ). Τα αποτελέσματα που προκύπτουν έπειτα από στατιστικά τεστ, δείχνουν ότι οι χρησιμοποιούμενες τεχνικές ασφαλούς συνεργασίας (επιβράδυνση/υποχώρηση) είναι όντως αποτελεσματικές και αποδεκτές από τους χρήστες, αλλά επιβαρύνουν την απόδοση της συνεργασίας. Επίσης, συνολικώς θετικά κρίνονται τα αποτελέσματα στις θεματικές ενότητες της αποτελεσματικότητας της μοντελοποίησης της συνεργασίας Α-Ρ, της αποτελεσματικότητας και της αποδοχής του ΕΠε και της εμπλοκής, εμβύθισης και παρουσίας του χρήστη.