Adaptive and implicit interaction techniques in human-computer interaction

Abstract

As digital technology becomes ever more embedded in day-to-day activities, control is moving away from deliberate commands toward systems that infer users’ needs. Although such Adaptive User Interfaces (AUI) promise friction-free interaction, unconstrained automation can compromise predictability, transparency, and trust. To mitigate these risks, this dissertation introduces and formalizes Passive Interaction, a deliberately scoped form of implicit adaptation whose purpose is to keep the current experience consistent in an ongoing task as the user’s physical or affective state drifts. Rather than inferring a person’s high-level intentions, a passive system makes unobtrusive adjustments to maintain perceptual stability as a user’s physical or mental state naturally changes. The dissertation is organized around three interconnected strands. First, it defines Passive Interaction and presents two working prototypes that run on commodity hardware: an adaptive-font web reader for mobile devices that resizes text according to viewing distance and scores highly on usability metrics; and an emotion-aware video game that adjusts game elements to match player affect and is rated on par with commercial titles. Second, it explores eye-tracking as a richer implicit signal. A study with UAV pilots shows how gaze-responsive cockpits could ease cognitive load, while a lecture-slide summarizer personalizes study materials by tracking what learners actually read. Third, a series of foundational studies reveals how objective performance can diverge from subjective preference, how user background and context shape satisfaction, and uncovers robust behavioral patterns, such as block-wise reading, that can inform future adaptive interfaces. Together, these strands contribute a design framework that reconciles adaptive assistance with predictability; provide empirical evidence that subtle, on-device corrections can be delivered with commodity cameras; and yield actionable insights into how user diversity shapes interface preference, ultimately guiding the design of more effective and trustworthy adaptive systems.

Καθώς η ψηφιακή τεχνολογία ενσωματώνεται όλο και περισσότερο στις καθημερινές δραστηριότητες, ο τρόπος χειρισμού των ψηφιακών διεπαφών μετατοπίζεται: απομακρυνόμαστε από τις σαφείς, συνειδητές εντολές και υιοθετούμε έξυπνα συστήματα που, αναλύοντας το πλαίσιο και τη συμπεριφορά μας, προβλέπουν και ικανοποιούν τις ανάγκες του χρήστη πριν ακόμη αυτές εκφραστούν. Παρόλο που τέτοιες Προσαρμοστικές Διεπαφές Χρήστη (Adaptive User Interfaces) υπόσχονται απρόσκοπτη και αβίαστη αλληλεπίδραση, η αυτοματοποίηση χωρίς περιορισμούς μπορεί να υπονομεύσει την προβλεψιμότητα, τη διαφάνεια και την εμπιστοσύνη. Για να αντιμετωπίσει αυτά τα ζητήματα, η παρούσα διατριβή ορίζει την έννοια της Παθητικής Αλληλεπίδρασης (Passive Interaction), μιας σκόπιμα περιορισμένης μορφής έμμεσης προσαρμογής με στόχο τη διατήρηση της εμπειρίας χρήσης σε μια τρέχουσα εργασία καθώς μεταβάλλεται η σωματική ή συναισθηματική κατάσταση του χρήστη. Αντί να επιχειρεί να προβλέψει τις προθέσεις του χρήστη, ένα παθητικό σύστημα πραγματοποιεί διακριτικές αλλαγές ώστε να διαφυλάσσει μια αδιάλειπτη αίσθηση συνέχειας στην εμπειρία κατά την αλλαγή της σωματικής ή ψυχικής κατάστασης ενός χρήστη. Η διατριβή οργανώνεται γύρω από τρία αλληλένδετα σκέλη. Πρώτον, ορίζει την Παθητική Αλληλεπίδραση (Passive Interaction) και παρουσιάζει δύο λειτουργικά πρωτότυπα που εκτελούνται σε συμβατικό, εμπορικά διαθέσιμο υλικό: ένα πρόγραμμα ανάγνωσης ιστοσελίδων για κινητές συσκευές που αλλάζει το μέγεθος του κειμένου ανάλογα με την απόσταση θέασης και βαθμολογήθηκε υψηλά ως προς την χρηστικότητα, και ένα βιντεοπαιχνίδι με επίγνωση συναισθημάτων που προσαρμόζει τα στοιχεία του παιχνιδιού ώστε να ταιριάζουν με τα συναισθήματα του παίκτη και αξιολογήθηκε ισότιμα με εμπορικούς τίτλους. Δεύτερον, διερευνά την ιχνηλάτηση βλέμματος (eye-tracking) ως έμμεσο τρόπο αλληλεπίδρασης. Μια μελέτη με χειριστές UAV (Unmanned Aerial Vehicle) δείχνει πώς πιλοτήρια που ανταποκρίνονται αυτόματα στο βλέμμα του πιλότου θα μπορούσαν να μειώσουν το γνωστικό φορτίο, ενώ μια εφαρμογή περίληψης διαφανειών διαλέξεων εξατομικεύει το διδακτικό υλικό παρακολουθώντας τι διαβάζουν πραγματικά οι εκπαιδευόμενοι. Τρίτον, μια σειρά από θεμελιώδεις μελέτες αποκαλύπτει πώς η αντικειμενική απόδοση μπορεί να αποκλίνει από την υποκειμενική προτίμηση, πώς το υπόβαθρο και το πλαίσιο χρήσης επηρεάζουν την ικανοποίηση, και εντοπίζει πρότυπα συμπεριφοράς, όπως η τμηματική ανάγνωση της οθόνης, που μπορούν να καθοδηγήσουν τις μελλοντικές προσαρμοστικές διεπαφές.