Information worlds: interactive visualizations and storytelling using augmented, virtual and mixed reality

Abstract

The research work presented in this thesis aims to contribute a generic and holistic approach for generating applications substituting (Virtual Reality), enhancing (Augmented Reality) or interweaving physical and virtual worlds (Mixed Reality) in an effort to visualize large data volumes that belong to demanding domains such as Big Data or Cultural Heritage.Towards this end, a framework is proposed, based on the concepts of Information Worlds and Information Things, to depict the physical or imaginative environments that encapsulate information through distinct elements in a scalable and easily perceivable data model. The framework provides more than 15 ready-to-use components which can be directly integrated in applications and an extensive architecture which allows future additions. Moreover, the framework supports the definition and visualization of personalized stories (either generated by professionals or by end users). In terms of interaction, this thesis proposes the usage of multimodal, natural means of interaction, seamlessly integrating Augmented, Virtual and Mixed Reality applications in Ambient Intelligence environments.The Information Worlds framework can constitute a valuable asset for the creation of dynamic visualizations using X Reality, providing interoperability with various data sources, ready to use tools to visualize information, extensibility for additional components and a scalable conceptual model which suits diverse needs.The use case of a smart museum is presented, depicting highly interconnected and sparsely located information in the demanding context of Cultural Heritage using augmented and virtual reality. Moreover, the use case of a real time data center infrastructure management application showcases the framework’s ability to cope with high velocity, large data volumes which are congested. Results of this work have been deployed in public space installations, temporary exhibitions and international conferences. Each use case has been evaluated by more than 20 users in order to assess the final results produced by the Information Worlds framework in terms of usability and user experience. The excellent results reported in the evaluation illustrate the potential of AR, VR and MR in terms of efficiency and technology adoption by end users, but also constitute a motivation for further improving and extending the presented framework.

Η παρούσα διατριβή στοχεύει να συνεισφέρει μια γενική και ολιστική προσέγγιση για τη δημιουργία εφαρμογών που αντικαθιστούν (Εικονική Πραγματικότητα), επαυξάνουν (Επαυξημένη Πραγματικότητα) ή συνυφαίνουν πραγματικούς και εικονικούς κόσμους (Μεικτή Πραγματικότητα) σε μια προσπάθεια να απεικονίσει μεγάλους όγκους δεδομένων που ανήκουν στους απαιτητικούς τομείς των Μεγάλων Δεδομένων και της Πολιτιστικής Κληρονομιάς.Με αυτό το σκοπό παρουσιάζεται ένα πλαίσιο χρήσης (framework) βασισμένο στις έννοιες των Κόσμων Πληροφορίας και των Αντικειμένων Πληροφορίας για να αναπαραστήσει υπαρκτά ή εικονικά περιβάλλοντα που περιλαμβάνουν αντίστοιχα πληροφορία που ανήκει σε διακριτές οντότητες, ενώ ωστόσο είναι ευέλικτο και διαλειτουργικό με ποικίλες πηγές δεδομένων. Το πλαίσιο παρέχει περισσότερα από 15 δομικά στοιχεία (components) τα οποία μπορούν να ενσωματωθούν απευθείας σε εφαρμογές και μια επεκτάσιμη αρχιτεκτονική που επιτρέπει μελλοντικές προσθήκες. Επιπλέον, το framework υποστηρίζει τον ορισμό και την οπτικοποίηση προσωποποιημένων ιστοριών (οι οποίες έχουν δημιουργηθεί από επαγγελματίες του τομέα ή από τελικούς χρήστες). Αναφορικά με την αλληλεπίδραση, η διατριβή αυτή προτείνει τη χρήση πολυτροπικών, φυσικών μεθόδων αλληλεπίδρασης και ενσωματώνει απρόσκοπτα εφαρμογές Επαυξημένης, Εικονικής και Μικτής Πραγματικότητας σε περιβάλλοντα Διάχυτης Νοημοσύνης.Το πλαίσιο χρήσης Κόσμοι Πληροφορίας μπορεί να αποτελέσει ένα πολύτιμο δομικό στοιχείο για τη δημιουργία δυναμικών οπτικοποιήσεων μέσω της Χ Πραγματικότητας (X Reality), παρέχοντας διαλειτουργικότητα με διάφορες πηγές δεδομένων, έτοιμα προς χρήση εργαλεία απεικόνισης πληροφορίας, επεκτασιμότητα για την προσθήκη επιπλέον στοιχείων και ένα νοητικό μοντέλο που καλύπτει μια πληθώρα αναγκών και μπορεί να επεκταθεί.Παρουσιάζεται η υπόθεση χρήσης ενός έξυπνου μουσείου το οποίο απεικονίζει πυκνά διασυνδεδεμένη και αραιά τοποθετημένη στατική πληροφορία στο απαιτητικό πλαίσιο της Πολιτιστικής Κληρονομιάς χρησιμοποιώντας επαυξημένη και εικονική πραγματικότητα. Επιπλέον παρουσιάζεται η υπόθεση χρήσης μιας εφαρμογής διαχείρισης υποδομών ενός κέντρου δεδομένων (data center), αναδεικνύοντας τη δυνατότητα των Κόσμων Πληροφορίας να ανταπεξέλθουν σε μεγάλους όγκους δεδομένων που αλλάζουν με μεγάλη ταχύτητα και είναι περιορισμένα χωρικά. Τα αποτελέσματα αυτής της διατριβής έχουν εγκατασταθεί σε δημόσιους χώρους, σε εκθέσεις και διεθνή συνέδρια. Η κάθε υπόθεση χρήσης έχει αξιολογηθεί από περισσότερους από 20 χρήστες ούτως ώστε να αξιολογηθεί το τελικό αποτέλεσμα που παράγεται από τους Κόσμους Πληροφορίας ως προς την ευχρηστία και την εμπειρία χρήσης. Τα εξαιρετικά αποτελέσματα που εξήχθησαν από την αξιολόγηση αναδεικνύουν τις δυνατότητες που έχουν η Επαυξημένη, η Εικονική και η Μεικτή Πραγματικότητα αναφορικά με την αποδοτικότητα και την υιοθέτηση της τεχνολογίας από τους τελικούς χρήστες, ενώ παράλληλα αποτελούν ένα κίνητρο για την περαιτέρω βελτίωση και επέκταση του παρουσιαζόμενου πλαισίου χρήσης.