UXAml Framework: user experience evaluation in ambient intelligence environments

Abstract

Ambient Intelligence (AmI) constitutes a new human-centred technological paradigm, where technologically advanced environments that feature interconnected and embedded devices, supported by sensors’ network, computer vision, as well as reasoning and adaptation capabilities, are oriented towards anticipating and satisfying the needs of their inhabitants. In this context, and in view of the not distant realization of AmI environments, evaluation becomes of paramount importance.Evaluation constitutes a central concept in Human-Computer Interaction, exhibiting increased interest and confronting novel challenges, as technology evolves from the desktop paradigm and contexts expand beyond the organizational domain to almost any life activity. To this end, several efforts have attempted to “frame” evaluation and define how it should be pursued in terms of usability, user experience, as well as interaction adaptation and ubiquitousness. Nevertheless, as technology advances, the number of parameters to be assessed becomes too large to be studied through user experiment observators’ notes, or evaluation questionnaires to be filled-in by users (a common current practice when evaluating user experience). On the other hand, despite the fact that the notion of Ambient Intelligence exists for more than a decade and the vital importance of evaluation, efforts in the domain have mainly focused in identifying the challenges in the field and advocating the importance of in situ evaluations, while there is a lack of generic and systematic approaches towards user experience evaluation in Ambient Intelligence.This thesis proposes a novel comprehensive conceptual and methodological framework, named UXAmI, for the evaluation of user experience in AmI environments, aiming to assess a wide range of characteristics and qualities of such environments, taking into account traditional and modern models and evaluation approaches. Adopting an iterative approach, the framework suggests metrics to be assessed through expert-based reviews during the early stages of development, and user-based evaluations for the latter development stages of an AmI system or environment. Taking advantage of the infrastructure of AmI environments, UXAmI framework proposes the automatic assessment of several attributes during user-based evaluation. A combination of automated measurements, user observation, questionnaires and interviews is expected to allow evaluators to gain insight into the composite nature of user experience in AmI environments, studying issues related to intuitiveness, unobtrusiveness, adaptivity, usability, cross-platform and multi-user usage, implicit interactions, appeal and emotions, safety and privacy, as well as user acceptance. Finally, a number of tools are proposed in the context of the current thesis, aiming to assist UX engineers in carrying out evaluations in AmI environments based on the UXAmI framework. These include a tool for expert-based reviews against guidelines, a tool for aggregating experimental data and analysing the results of user testing experiments, and a professional networking platform for UX engineers, which will act as an information resource and a means for collaboration, integrating the other two tools as a reward to active and loyal community members.

Η Διάχυτη Νοημοσύνη (ΔΝ) αποτελεί ένα νέο ανθρωποκεντρικό τεχνολογικό παράδειγμα, όπου τεχνολογικά προηγμένα περιβάλλοντα που απαρτίζονται από διασυνδεδεμένες και ενσωματωμένες συσκευές, δίκτυα αισθητήρων, υπολογιστική όραση, καθώς και δυνατότητες συλλογιστικής και αυτοπροσαρμογής, προσανατολίζονται στην πρόβλεψη και ικανοποίηση των αναγκών των κατοίκων τους. Σε αυτό το πλαίσιο και εν όψει της όχι τόσο μακρινής πραγμάτωσης των περιβαλλόντων ΔΝ, η αξιολόγηση λαμβάνει εξέχουσα σημασία.Η αξιολόγηση αποτελεί κεντρική έννοια στην Αλληλεπίδραση Ανθρώπου – Υπολογιστή, προσελκύοντας αυξανόμενο ενδιαφέρον και αντιμετωπίζοντας νέες προκλήσεις καθώς η τεχνολογία εξελίσσεται πέρα από το υπόδειγμα της επιφάνειας εργασίας (desktop paradigm), ενώ τα πιθανά πλαίσια χρήσης επεκτείνονται εκτός από το εργασιακό περιβάλλον σε οποιαδήποτε σχεδόν δραστηριότητα του ανθρώπου. Προς αυτή την κατεύθυνση, αρκετές προσπάθειες έχουν επιχειρήσει να ορίσουν ένα πλαίσιο για την αξιολόγηση και να καθορίσουν πώς θα πρέπει να επιδιώκεται σε ότι αφορά την ευχρηστία και την εμπειρία χρήσης, καθώς και για αυτοπροσαρμοζόμενα περιβάλλοντα και περιβάλλοντα πανταχού παρούσας υπολογιστικής δύναμης (ubiquitous computing). Ωστόσο, με την πρόοδο της τεχνολογίας, ο αριθμός των παραμέτρων που πρέπει να αξιολογούνται καθίσταται πολύ μεγάλος για να μελετηθεί μέσω σημειώσεων των παρατηρητών μιας συνεδρίας αξιολόγησης, ή μέσω ερωτηματολογίων τα οποία απευθύνονται στους χρήστες (μια συνηθισμένη τρέχουσα πρακτική κατά την αξιολόγηση της εμπειρίας χρήσης). Αφ’ ετέρου, παρά το γεγονός ότι η έννοια της Διάχυτης Νοημοσύνης υπάρχει για περισσότερο από μια δεκαετία και παρά την καίρια σημασία της αξιολόγησης, οι προσπάθειες στο πεδίο έχουν επικεντρωθεί στον προσδιορισμό των προκλήσεων και στην προώθηση της σημασίας των επί τόπου αξιολογήσεων (in situ), ενώ παρατηρείται έλλειψη γενικευμένων και συστηματικών προσπαθειών προς την κατεύθυνση της αξιολόγησης της εμπειρίας χρήσης σε περιβάλλοντα Διάχυτης Νοημοσύνης.Η παρούσα διατριβή προτείνει ένα καινοτόμο, περιεκτικό εννοιολογικό και μεθοδολογικό πλαίσιο, που ονομάζεται UXAmI, για την αξιολόγηση της εμπειρίας χρήσης σε περιβάλλοντα ΔΝ, στοχεύοντας στην αξιολόγηση ενός μεγάλου εύρους χαρακτηριστικών και ιδιοτήτων τέτοιων περιβαλλόντων, λαμβάνοντας υπόψη παραδοσιακά και σύγχρονα μοντέλα και προσεγγίσεις αξιολόγησης. Υιοθετώντας μια επαναληπτική προσέγγιση, το πλαίσιο προτείνει μετρικές που προσδιορίζονται μέσω επιθεωρήσεων από εμπειρογνώμονες (expert-based reviews) κατά τα αρχικά στάδια της ανάπτυξης, και μέσω αξιολογήσεων με χρήστες σε μετέπειτα στάδια της ανάπτυξης ενός συστήματος ή περιβάλλοντος ΔΝ. Επωφελούμενο από την υποδομή των περιβαλλόντων ΔΝ, το προτεινόμενο UXAmI πλαίσιο εισηγείται την αυτόματη ανάκτηση ποικίλων παραμέτρων κατά τη διάρκεια αξιολογήσεων με χρήστες. Ο συνδυασμός των αυτόματων μετρήσεων, της παρατήρησης των χρηστών, των ερωτηματολογίων και των συνεντεύξεων με χρήστες αναμένεται να βοηθήσει τους αξιολογητές να αποκτήσουν επίγνωση των σύνθετων ζητημάτων της εμπειρίας χρήσης σε περιβάλλοντα ΔΝ, μελετώντας παραμέτρους που αφορούν στη διαισθητικότητα, μη παρεμβατικότητα (unobtrusiveness), αυτοπροσαρμογή, ευχρηστία, χρήση σε πολλαπλές πλατφόρμες και από πολλαπλούς χρήστες, συνεπαγόμενες αλληλεπιδράσεις (implicit interactions), ελκυστικότητα και συναισθήματα, ασφάλεια και ιδιωτικότητα, καθώς και αποδοχή από τους χρήστες. Τέλος, στο πλαίσιο της παρούσας διατριβής προτείνονται εργαλεία που στοχεύουν στην υποβοήθηση των μηχανικών εμπειρίας χρήσης (user experience engineers) κατά τη διεξαγωγή αξιολογήσεων σε περιβάλλοντα ΔΝ με τη χρήση του πλαισίου UXAmI. Αυτά περιλαμβάνουν ένα εργαλείο για αξιολογήσεις από εμπειρογνώμονες βάσει οδηγιών (guidelines), ένα εργαλείο για τη συλλογή δεδομένων από αξιολογήσεις με χρήστες και ανάλυση των αποτελεσμάτων τους, καθώς και μια επαγγελματική πλατφόρμα δικτύωσης για μηχανικούς εμπειρίας χρήσης, η οποία θα δρα ως πηγή πληροφόρησης και μέσο συνεργασίας, ενσωματώνοντας τα άλλα δύο εργαλεία ως επιβράβευση των ενεργών και τακτικών μελών της.