Μεθοδολογικό πλαίσιο σχεδίασης της αλληλεπίδρασης μέσω ενάεριων χειρονομιών του χρήστη με πολλαπλούς στόχους στον φυσικό χώρο

Abstract

This PhD thesis deals with issues of Human-Computer Interaction focusing on systems that support mid-air gestural interaction. In mid-air gestural interaction (or simply mid-air interaction), the user can interact directly with devices located in the same physical space, or with content projected on them (through some interface), using gestures or postures of his body (mainly with his hands). In mid-air interaction there are no general patterns and gesture sets that are ideal for all applications. Therefore, defining the most appropriate gestures is an important design issue that should be adapted to the needs and characteris-tics of each application.To date mid-air interaction has typically been studied in cases where the user interacts with a single device (target). However, the case of interacting with multiple targets in the same physical space has not been extensively researched, such as in smart homes, in rooms with various technological augmentations (e.g., classrooms), in exhibition places and museums, in spatial augmented reality scenarios, etc. In such cases, additional design challenges arise, some of the most important being that: the process of empirical gesture research, prototyping and evaluation is more complex, the problem of "addressing" a tar-get before commanding it is introduced, the risk of false activation is enhanced (also known as "Midas-touch"), the number of gestures that the user will have to memorize is very large, the possibility of having "conflicting" gestures is high, etc.The purpose of this PhD thesis is to propose and implement an iterative and integrated design methodology for systems with multiple interactive targets that support mid-air in-teraction, which uses, extents, and specializes design techniques that address the entire life cycle and include gesture elicitation, system design, prototyping and empirical evaluation. The objectives of the PhD thesis are: to critically review and analyze the methodological and technological state-of-the-art of mid-air interaction, to propose an integrated methodo-logical framework for the design of mid-air interaction on systems with multiple targets (i.e. various appliances of a smart home) that involves gesture elicitation, prototyping, and empirical evaluation, and to propose two interaction models that support two-stage or in-stant addressing and commanding of each target.During the experimental investigation of mid-air interaction with multiple targets, two dif-ferent interaction models were proposed and tested. In the first interaction model, "Ad-dress-then-Command" (AtC), the user must first make a gesture to address the device and then make a second gesture to activate the command on it. In the second interaction model, called "Address-and-Command" (A&C), the user must apply with both hands at the same time, a posture with the left hand for addressing the device and a gesture (or posture) with the right hand to command it. The above models were investigated for the case of smart home devices, a prototype was developed, and an empirical evaluation was conducted, according to the proposed methodology. The main result of the experimental research showed that mid-air interaction in the smart home is feasible, easy to remember, and easy to use. Between the two interaction models, the A&C model has some comparative ad-vantages over AtC mainly in terms of task completion time, and user errors.The contribution of this thesis focuses mainly on mid-air design methodology issues as well as on proposition of two interaction models for systems with multiple targets. At the stage of the empirical investigation of gesture design, a frame-based elicitation study is proposed, so that the user suggested gestures have an environmental validity with the con-text of the application. Also, the “User Consistency Rate” metric is introduced, which measures the agreement rate of the gestures proposed by one user for a given command on many different devices. At the stage of prototyping, an original technological synthesis is proposed by exploiting: tools that allow rapid prototyping of gesture definition and recognition, a game engine in order to implement the graphical interface of the system (displaying devices that provide graphical and audio feedback for each recognized ges-ture), and spatial augmented reality technology (using projection mapping) that allows the devices and the graphical interface of the "ecosystem" to be projected onto mock-ups in order to simulate a realistic interactive multi-targeted environment of a smart home. In the evaluation stage, an empirical evaluation with user participation and the use of a frame-work is proposed, similar to the one used during the stage of empirical gestural research in a process with three sessions (training, recap, and testing). Also, a set of evaluation metrics concerning gesture ease of use, user experience and memorability, are used, as well as questionnaires for benchmarking of the above.The PhD thesis is original in the following respects. It addresses the topic of mid-air in-teraction in multi-targeted environment through an integrated research approach that in-cludes empirical gesture research, prototyping, and evaluation. It explores the interaction with multiple devices as a single ecosystem rather than with each device individually. It presents, investigates, and compares two different mid-air interaction models that address the problem of "addressing" the devices, and the problem of "Midas touch", and allow the reduction of the gesture set (with respect to the total functions that activate) contributing to easy memorization. It proposes a single methodological framework for designing mid-air interaction with multiple devices.

Η παρούσα διδακτορική διατριβή πραγματεύεται ζητήματα της Αλληλεπίδρασης Ανθρώπου Υπολογιστή (Human-Computer Ιnteraction) εστιάζοντας σε συστήματα που προσφέρουν εναέρια αλληλεπίδραση με χειρονομίες (mid-air gestural interaction). Στην εναέρια αλληλεπίδραση με χειρονομίες ή απλά εναέρια αλληλεπίδραση (ΕΑ) ο χρήστης χρησιμοποιώντας κινήσεις ή στάσεις του σώματός του (κυρίως των χεριών του), μπορεί να αλληλοεπιδράσει απευθείας με συσκευές που βρίσκονται στο ίδιο χώρο ή με περιεχόμενο που προβάλλεται σε αυτές (μέσω κάποιας διεπαφής). Στην ΕΑ δεν υπάρχουν γενικά πρότυπα και σύνολα χειρονομιών τα οποία να είναι ιδανικά για όλες τις εφαρμογές. Συνεπώς, ο προσδιορισμός των κατάλληλων χειρονομιών αποτελεί ένα σημαντικό σχεδιαστικό πρόβλημα το οποίο θα πρέπει να προσαρμόζεται στις ανάγκες και χαρακτηριστικά της εκάστοτε εφαρμογής. Μέχρι σήμερα η εναέρια αλληλεπίδραση έχει μελετηθεί κατά κανόνα σε περιπτώσεις όπου ο χρήστης αλληλοεπιδρά με μια συσκευή (στόχο). Ωστόσο, δεν έχει διερευνηθεί εκτενώς η περίπτωση αλληλεπίδρασης με πολλαπλούς στόχους στον ίδιο χώρο, όπως για παράδειγμα στο έξυπνο σπίτι, σε αίθουσες με διάφορες τεχνολογικές επαυξήσεις (π.χ. αίθουσες διδασκαλίας ή συνεργασίας), σε χώρους εκθέσεων και μουσεία, σε σενάρια χωρικής επαυξημένης πραγματικότητας, κ.α. Εδώ, προκύπτουν επιπλέον σχεδιαστικές προκλήσεις, μερικές από τις πιο σημαντικές είναι ότι: η διαδικασία εμπειρικής έρευνας χειρονομιών, πρωτοτυποποίησης και αξιολόγησης είναι πιο σύνθετη, ότι εισάγεται το πρόβλημα της «απεύθυνσης» (addressing), ενισχύεται ο κίνδυνος της κατά-λάθος ενεργοποίησης («άγγιγμα του Μίδα»), ο αριθμός των χειρονομιών που θα πρέπει να απομνημονεύσει ο χρήστης είναι πολύ μεγάλος, αυξάνεται η πιθανότητα για «αλληλοσυγκρουόμενες» χειρονομίες, κ.α.Ο σκοπός της διδακτορικής διατριβής είναι να προτείνει και να εφαρμόσει μια επαναληπτική και ολοκληρωμένη μεθοδολογία σχεδιασμού εναέριας αλληλεπίδρασης σε συστήματα με πολλαπλούς στόχους, με κατάλληλη αξιοποίηση, επέκταση και ειδίκευση σχεδιαστικών μεθόδων που αφορούν ολόκληρο τον κύκλο ζωής και περιλαμβάνουν την εκμαίευση χειρονομιών, τη σχεδίαση συστήματος, την πρωτοτυποποίηση και την εμπειρική αξιολόγηση. Οι στόχοι της διδακτορικής διατριβής είναι: η κριτική ανασκόπηση και ανάλυση της τρέχουσας επιστημονικής και τεχνολογικής στάθμης του πεδίου της εναέριας αλληλεπίδρασης με χειρονομίες, η πρόταση μεθοδολογικού πλαισίου για τον ολοκληρωμένο σχεδιασμό της εναέριας αλληλεπίδρασης με χειρονομίες σε περιβάλλοντα με πολλαπλούς στόχους όπου περιλαμβάνονται τρία στάδια: εκμαιευτική μέθοδος, πρωτοτυποποίηση, και εμπειρική αξιολόγηση, τα οποία ειδικεύονται και προσαρμόζονται, και η πρόταση δύο μοντέλων εναέριας αλληλεπίδρασης σε περιβάλλοντα με πολλαπλούς στόχους (συσκευές στο έξυπνο σπίτι), που έχουν τη δυνατότητα σταδιακής ή απευθείας απεύθυνσης και εντολής προς κάθε συσκευή. Κατά την πειραματική διερεύνηση της ΕΑ με πολλαπλούς στόχους δοκιμάστηκαν δύο διαφορετικά μοντέλα αλληλεπίδρασης. Στο πρώτο μοντέλο αλληλεπίδρασης, «Απεύθυνση-έπειτα-Εντολή» (ΑεΕ), ο χρήστης πρέπει πρώτα να ασκήσει μια χειρονομία για να απευθυνθεί στην συσκευή και έπειτα να ασκήσει μια δεύτερη για να ενεργοποιήσει την εντολή. Στο δεύτερο μοντέλο αλληλεπίδρασης, με όνομα «Απεύθυνση-και-Εντολή» (ΑκΕ), ο χρήστης θα πρέπει να εφαρμόσει και με τα δύο του χέρια ταυτόχρονα, μια στάση με το αριστερό χέρι και μια χειρονομία (ή στάση) του με το δεξί χέρι. Στο πλαίσιο της διδακτορικής διατριβής τα παραπάνω μοντέλα διερευνήθηκαν για την περίπτωση συσκευών έξυπνου σπιτιού, αναπτύχθηκε πρωτότυπο και έγινε εμπειρική αξιολόγηση τους με χρήστες, σύμφωνα με την προτεινόμενη μεθοδολογία. Το κύριο αποτέλεσμα της πειραματικής διερεύνησης έδειξε πως η ΕΑ στο έξυπνο σπίτι είναι απολύτως εφικτή, εύκολη στην ενθύμηση, εύχρηστη, και κινητοποιεί το ενδιαφέρον των χρηστών. Μεταξύ των δύο μοντέλων αλληλεπίδρασης, το μοντέλο ΑκΕ έχει κάποια συγκριτικά πλεονεκτήματα έναντι του ΑεΕ κυρίως ως προς την ταχύτητα ολοκλήρωσης των εργασιών, και τα λάθη των χρηστών. Η συμβολή της διδακτορικής διατριβής εστιάζει σε θέματα μεθοδολογίας σχεδιασμού ΕΑ καθώς και σε προτεινόμενα μοντέλα αλληλεπίδρασης σε συστήματα με πολλαπλούς στόχους. Στο στάδιο της εμπειρικής έρευνας χειρονομιών προτείνεται η εφαρμογή εκμαιευτικών μεθόδων σύμφωνα με συγκεκριμένες αρχές (principles), και πλαίσιο οριοθέτησης (frame) της διαδικασίας, ώστε οι χειρονομίες που προτείνονται από τους χρήστες να είναι εστιασμένες στο πεδίο εφαρμογής. Επίσης, εισάγεται η μετρική ‘Βαθμού Συνοχής Χρήστη’ (User Consistency Rate) η οποία αποτυπώνει το βαθμό συμφωνίας των χειρονομιών που προτείνει ένας χρήστης για μια δεδομένη εντολή σε πολλές διαφορετικές συσκευές. Στο στάδιο της πρωτοτυποποίησης ΕΑ με πολλαπλούς στόχους προτείνεται πρωτότυπη τεχνολογική σύνθεση με αξιοποίηση εργαλείων που επιτρέπουν τη γρήγορη παραγωγή χειρονομιών, αξιοποίηση μηχανής παιχνιδιών προκειμένου να υλοποιηθεί η ανάδραση κάθε χειρονομίας για κάθε στόχο με τη βοήθεια γραφικών (στατικών και κινούμενων) και ήχου, και αξιοποίηση τεχνολογίας χωρικής επαυξημένης πραγματικότητας (Spatial Augmented Reality) μέσω χαρτογραφημένης προβολής (Projection Mapping) όπου οι συσκευές και η ανάδραση του «οικοσυστήματος» προβάλλεται πάνω σε ψεύτικα ομοιώματα αντικειμένων (mockups) έτσι ώστε να προσομοιώνεται ένα αληθοφανές περιβάλλον πολλαπλών στόχων αλληλεπίδρασης ενός έξυπνου σπιτιού. Στο στάδιο της αξιολόγησης προτείνεται εμπειρική αξιολόγηση με συμμετοχή χρηστών και χρήση πλαισίου, αντίστοιχο με αυτό που χρησιμοποιήθηκε κατά το στάδιο της εμπειρικής έρευνας χειρονομιών σε διαδικασία με τρεις συνεδρίες (εκπαίδευσης, ανακεφαλαίωσης, και δοκιμής). Επίσης αξιοποιείται σύνολο μετρικών αξιολόγησης που αφορούν την ευχρηστία, την εμπειρία του χρήστη και την ευκολία ενθύμησης, καθώς και ερωτηματολόγια διαβάθμισης (benchmarking) των παραπάνω. Η διδακτορική διατριβή είναι πρωτότυπη ως προς τα παρακάτω. Ασχολείται με το θέμα της ΕΑ με πολλαπλές συσκευές μέσω μιας ολοκληρωμένης ερευνητικής προσέγγισης που περιλαμβάνει εμπειρική έρευνα χειρονομιών, πρωτοτυποποίηση, και αξιολόγηση. Ερευνά την αλληλεπίδραση με πολλαπλές συσκευές ως ένα ενιαίο οικοσύστημα και όχι την κάθε συσκευή μεμονωμένα. Παρουσιάζει, ερευνά, και συγκρίνει δύο διαφορετικά μοντέλα εναέριας αλληλεπίδρασης τα οποία αντιμετωπίζουν το πρόβλημα της «απεύθυνσης» προς τις συσκευές και το πρόβλημα του «αγγίγματος του Μίδα», και επιτρέπουν την μείωση των διαφορετικών χειρονομιών του συστήματος (σε σχέση με τις λειτουργίες που ενεργοποιούν), συμβάλλοντας στην εύκολη απομνημόνευσή τους. Προτείνει ένα ενιαίο μεθοδολογικό πλαίσιο σχεδιασμού της ΕΑ με πολλαπλές συσκευές.