Interacting with augmented physical printed matter in ambient intelligence environments: the InPrinted framework

Abstract

Indisputably, paper constitutes a fundamental means for information sharing among people throughout the centuries. Although many believe that paper will be eliminated by the emerging technologies and will stop being an integral part of our everyday life, it can be easily proven that this will not become a reality, at least for the forthcoming years. On the other hand, the idea of augmenting physical paper with technology and digital information has led to the birth of many research efforts in this direction, beginning from the last decade of the previous century. Since then, numerous approaches have been proposed, aiming to benefit from users’ familiarity with paper and the natural interaction fostered by the paper’s affordances. All these approaches have the potential to be widely accepted and applied in everyday life, due to the fundamental properties of paper: it is inexpensive, lightweight and can be easily found anywhere.On the other hand the rise of smart environments and ubiquitous computing provides the opportunity for the creation of new interaction paradigms in the digital world, which resemble those used in everyday activities of the physical world. Furthermore, the opportunity of pervasive access to digital information that approaches such as Ambient Technology can offer to the users increases the potential of engaging everyday objects, like printed matter, in digital interaction.However, there is still a lack of generic and systematic approaches to support the augmentation and interaction with printed matter in the context of intelligent environments.This PhD thesis pursues to define and elaborate a generic framework supporting printed matter augmentation and user interaction with Ambient Intelligence (AmI) technologies in Smart Environments. Aiming to fill the identified gap, an extensible context-aware interaction framework is presented, the InPrinted framework, which enables the integration of printed matter into AmI environments by providing: - natural multimodal interaction with printed matter - an open reference model for printed matter interaction in AmI environments - context aware and anticipation mechanisms for printed matter incorporation in AmI environments - tools and interaction techniques supporting the development of systems and / or applications which offer printed matter augmentation in AmI environments.As a result, the InPrinted framework can constitute a valuable asset, assisting the easy embedment of interaction with printed matter in AmI environments as well as printed matter augmentation, ensuring high quality and robustness.For the assessment and evaluation of the proposed framework with end users, four Ambient Intelligence applications have been implemented and assessed, representing indicative examples from different real life activities. Τhe evaluation iterations carried out in the context of this thesis have led to the conclusion that interaction with augmented printed matter has consistently been positively assessed and has been found to be natural by users.

Το χαρτί αδιαμφισβήτητα αποτελεί ένα βασικό μέσο μεταφοράς της πληροφορίας μεταξύ των ανθρώπων, δια μέσου των αιώνων. Αν και πολλοί πιστεύουν ότι η χρήση του χαρτιού τελικά θα αντικατασταθεί από τις νέες τεχνολογίες και θα σταματήσει να αποτελεί αναπόσπαστο τμήμα της καθημερινότητας, μπορεί εύκολα να αποδειχθεί ότι κάτι τέτοιο δεν αποτελεί ορατή πραγματικότητα, τουλάχιστον για τα επόμενα χρόνια. Από την άλλη μεριά, η ιδέα της επαύξησης του φυσικού χαρτιού με τεχνολογία και ψηφιακή πληροφορία έχει οδηγήσει σε πολλές ερευνητικές προσπάθειες, οι πρώτες από τοις οποίες ξεκινήσαν από τα τέλη του περασμένου αιώνα. Από τότε, πολυάριθμες προσεγγίσεις προς την κατεύθυνση αυτή έχουν προταθεί, εκμεταλλευόμενες τα οφέλη που προσφέρει το φυσικό χαρτί, όπως είναι η εξοικείωση που έχουν όλοι οι χρήστες με αυτό, καθώς επίσης οι δυνατότητες φυσικής αλληλεπίδρασης που προσφέρονται και ενισχύονται από τις φυσικές ιδιότητες του χαρτιού. Όλες αυτές οι προσεγγίσεις παρουσιάζουν τα απαιτούμενα εχέγγυα για να γίνουν ευρέως αποδεκτές και να εφαρμοστούν στην καθημερινή ζωή, κυρίως λόγω των βασικών ιδιοτήτων του χαρτιού: αποτελεί φθηνό μέσο, είναι ελαφρύ και μπορεί εύκολα να βρεθεί οπουδήποτε.Από την άλλη μεριά, η εμφάνιση των έξυπνων περιβαλλόντων και της πανταχού παρούσας υπολογιστικής δύναμης (ubiquitous computing) παρέχουν ευκαιρίες για τη δημιουργία νέων παραδειγμάτων αλληλεπίδρασης στον ψηφιακό κόσμο, τα οποία ομοιάζουν με τη φυσική αλληλεπίδραση που χρησιμοποιείται στις καθημερινές δραστηριότητες στον πραγματικό κόσμο. Επιπλέον, οι δυνατότητες διάχυτης πρόσβασης των χρηστών στην ψηφιακή πληροφορία, που παρέχονται από τα ευφυή περιβάλλοντα, όπως τα Περιβάλλοντα Διάχυτης Νοημοσύνης (ΔΝ), αυξάνουν το ενδεχόμενο της χρήσης καθημερινών φυσικών αντικειμένων όπως η έντυπη ύλη στην ψηφιακή αλληλεπίδραση.Παρόλα αυτά, ακόμα και σήμερα παρατηρείται η έλλειψη μίας γενικευμένης και συστηματικής προσέγγισης με στόχο την υποστήριξη της τεχνολογικής επαύξησης και αλληλεπίδρασης με την έντυπη ύλη στο πλαίσιο ευφυών περιβαλλόντων.Η παρούσα εργασία στοχεύει να συμπληρώσει το κενό αυτό, προτείνοντας το InPrinted framework, ένα ευέλικτο τεχνολογικό πλαίσιο αλληλεπίδρασης με δυνατότητα επίγνωσης-πλαισίου (context awareness), το οποίο θα καθιστά δυνατή την αλληλεπίδραση με την έντυπη ύλη σε περιβάλλοντα ΔΝ. Συγκεκριμένα, το προτεινόμενο πλαίσιο υποστηρίζει: - φυσική πολυτροπική αλληλεπίδραση με έντυπα - ένα ανοικτό μοντέλο αναφοράς για την αλληλεπίδραση των εντύπων σε περιβάλλοντα ΔΝ - μηχανισμούς γνώσης, πρόβλεψης και επίγνωσης-πλαισίου για την ενσωμάτωση της έντυπης ύλης σε περιβάλλοντα ΔΝ - εργαλεία και τεχνικές αλληλεπίδρασης που υποστηρίζουν την ανάπτυξη συστημάτων ή/και εφαρμογών που προσφέρουν τεχνολογική επαύξηση έντυπης ύλης σε περιβάλλοντα ΔΝ.Ως εκ τούτου, το InPrinted framework μπορεί να αποτελέσει ένα πολύτιμο βοήθημα για την εύκολη ενσωμάτωση της αλληλεπίδρασης με έντυπη ύλη και την ψηφιακή επαύξηση της έντυπης ύλης σε περιβάλλοντα ΔΝ, διασφαλίζοντας την υψηλή ποιότητα και ευρωστία.Για τη δοκιμή και αξιολόγηση του προτεινόμενου πλαισίου με τελικούς χρήστες, τέσσερις εφαρμογές ΔΝ έχουν επίσης υλοποιηθεί βάσει του πλαισίου αυτού, αντιπροσωπεύοντας ενδεικτικά παραδείγματα από διαφορετικούς τομείς της καθημερινής ζωής. Η επαναληπτική αξιολόγηση που πραγματοποιήθηκε στο πλαίσιο της παρούσας εργασίας, κατέδειξε ότι η αλληλεπίδραση με την έντυπη ύλη εκλήφθηκε απολύτως θετικά ως βασικό μέσο αλληλεπίδρασης και τεχνολογικής, διατηρώντας την φυσική του ιδιότητα ως ένα καθημερινό απλό αντικείμενο που είναι συνυφασμένο με της καθημερινές μας δραστηριότητες.