(Co)Designing mixed reality experiences for the enrichment of intangible cultural heritage in museum exhibits: conceptual framework, (co)design methods, and case studies

Abstract

This thesis focuses on (co)designing interactive experiences that employ Mixed Reality (MR) technologies in combination with Tangible User Interfaces (TUIs) to enrich aspects of Intangible Cultural Heritage (ICH) in museum environments. It explores how digital and physical components can be merged into exhibits that convey living traditions, i.e., practices often difficult to digitise, document and present authentically. Emphasis is placed on "enacting" the tradition · namely, the performative and participatory dimension of ICH that can engage both community bearers and museum visitors. Until now, research in Digital Cultural Heritage (DCH) has largely addressed two domains: the digitisation of tangible (e.g., monuments, historical objects and buildings) and intangible (e.g., dances, oral traditions) cultural assets, and the development of interactive applications, mainly using augmented or virtual reality (AR/VR), to enhance the museum experience. However, the active involvement of tradition bearers in early design stages remains rare. Codesign, especially within the context of ICH in museums, is underexplored, with most contributions from communities appearing only during the evaluation or dissemination events. Museum exhibits also tend to centre on spatial augmented reality and around tangible cultural assets, rather than the lived, embodied cultural practices. The thesis proposes a (co)design conceptual framework that brings together ICH bearers, designers, technologists, and cultural heritage professionals throughout all stages of museum exhibit development, emphasising embodied, participatory learning over passive consumption. The methodology unfolds in four phases: (1) ethnographic fieldwork to explore community practices and narratives; (2) participatory workshops using methods such as bodystorming and role-play, which support codesign through physical movement and reenactment; (3) low to medium fidelity prototyping and (4) iterative evaluation of MR-TUI prototypes, tested both in lab and real museum settings. The formulated methodology is applied through three ICH case studies: (i) Tinian marble craftsmanship, (ii) Chios mastic cultivation, and (iii) traditional wooden shipbuilding, shedding light on how to enhance ICH's authenticity and educational value of a museum experience. Consequently, the derived outcomes are organised as follows: (a) a codesign workflow for MR experiences with ICH communities, (b) (co)design guidelines that advance both cultural authenticity and visitor engagement and (c) future directions for merging MR with tangible interaction. Overall, this thesis offers an interdisciplinary contribution at the intersection of participatory design, human-computer interaction, museology, and digital cultural heritage, highlighting how codesigning with local communities can effectively transform the intangible and performative nature of heritage into essential digital encounters for the general public.

Η παρούσα διατριβή εστιάζει στη (συ)σχεδίαση διαδραστικών εμπειριών που αξιοποιούν τεχνολογίες Μικτής Πραγματικότητας (MR) σε συνδυασμό με Απτικές Διεπαφές Χρήστη (TUI), με στόχο τον ανάδειξη εκφάνσεων της Άυλης Πολιτιστικής Κληρονομιάς (ΑΠΚ) σε μουσειακά περιβάλλοντα. Εξετάζεται πώς μπορούν να συνδυαστούν ψηφιακά και φυσικά στοιχεία σε μουσειακά εκθέματα προκειμένου να αποτυπώσουν ζωντανή κληρονομιά, δηλαδή παραδόσιες και πρακτικές που συχνά είναι δύσκολο να ψηφιοποιηθούν, να τεκμηριωθούν, και να παρουσιαστούν με αυθεντικότητα. Ιδιαίτερη έμφαση δίνεται στην επιτέλεση (enacting) της παράδοσης· δηλαδή στη βιωματική και συμμετοχική της διάσταση, που μπορεί να εμπλέξει τόσο τους φορείς της όσο και τους επισκέπτες του μουσείου. Μέχρι σήμερα, η έρευνα στο πεδίο της Ψηφιακής Πολιτιστικής Κληρονομιάς (ΨΠΚ) έχει επικεντρωθεί κυρίως σε δύο άξονες: την ψηφιοποίηση πολιτιστικών αγαθών, υλικών (π.χ. μνημεία, αντικείμενα, κτήρια) και άυλων (π.χ. χοροί, προφορικές παραδόσεις), και την ανάπτυξη διαδραστικών εφαρμογών, κυρίως μέσω επαυξημένης ή εικονικής πραγματικότητας (AR/VR), για την ενίσχυση της μουσειακής εμπειρίας. Ωστόσο, η ενεργή εμπλοκή των φορέων της παράδοσης από τα αρχικά στάδια σχεδίασης παραμένει σπάνια. Η συσχεδίαση, ειδικά στο πλαίσιο της ΑΠΚ, είναι ελάχιστα διερευνημένη, καθώς η συμμετοχή των κοινοτήτων περιορίζεται συχνά σε φάσεις αξιολόγησης ή επικοινωνίας των αποτελεσμάτων. Τα μουσειακά εκθέματα, επίσης, τείνουν να επικεντρώνονται στην επαυξημένη απεικόνιση χώρων και στα υλικά πολιτιστικά αγαθά, παρά στις ενσώματες πολιτιστικές πρακτικές. Η διατριβή προτείνει ένα εννοιολογικό πλαίσιο (συ)σχεδίασης που εμπλέκει φορείς ΑΠΚ, σχεδιαστές, ειδικούς τεχνολογίας και επαγγελματίες πολιτιστικής κληρονομιάς σε όλα τα στάδια ανάπτυξης μουσειακών εκθεμάτων, δίνοντας έμφαση στη βιωματική και συμμετοχική μάθηση έναντι της παθητικής πρόσληψης πληροφορίας. Η μεθοδολογία υλοποιείται σε τέσσερις φάσεις: (1) επιτόπια εθνογραφική έρευνα για τη χαρτογράφηση των πρακτικών και αφηγήσεων των κοινοτήτων· (2) συμμετοχικά εργαστήρια με μεθόδους όπως ο καταιγισμός ιδεών με το σώμα (bodystorming) και τα παιχνίδια ρόλων (role-playing), που ενισχύουν τη συνδημιουργία μέσω σωματικής εμπλοκής και αναπαράστασης· (3) δημιουργία πρωτοτύπων χαμηλής έως μεσαίας πιστότητας, και (4) επαναληπτική αξιολόγηση των πρωτοτύπων MR-TUI τόσο σε εργαστηριακά περιβάλλοντα όσο και σε πραγματικούς μουσειακούς χώρους. Η μεθοδολογία εφαρμόζεται σε τρεις μελέτες περίπτωσης ΑΠΚ: (i) την Τηνιακή μαρμαροτεχνία, (ii) την μαστιχοκαλλιέργεια της Χίου, και (iii) την παραδοσιακή ξυλοναυπηγική. Μέσα από αυτές, αναδεικνύεται ο τρόπος με τον οποίο μπορεί να ενισχυθεί η πολιτιστική αυθεντικότητα και η εκπαιδευτική αξία της μουσειακής εμπειρίας. Τα βασικά αποτελέσματα συνοψίζονται σε: (α) ροή εργασιών συσχεδίασης για εμπειρίες MR με κοινότητες ΑΠΚ, (β) οδηγίες σχεδίασης που προάγουν την πολιτιστική αυθεντικότητα και τη συμμετοχή των επισκεπτών, και (γ) μελλοντικές κατευθύνσεις ως προς τη σύνδεση MR-TUIs. Συνολικά, η διατριβή προσφέρει μια διεπιστημονική συμβολή στην τομή της συμμετοχικής σχεδίασης, της αλληλεπίδρασης ανθρώπου-υπολογιστή, της μουσειολογίας, και της ψηφιακής πολιτιστικής κληρονομιάς, αναδεικνύοντας πώς η συσχεδίαση με τοπικές κοινότητες μπορεί να μεταμορφώσει τον άυλο και επιτελεστικό χαρακτήρα της πολιτιστικής κληρονομιάς σε ψηφιακές εμπειρίες με νόημα για το ευρύ κοινό.