Generative computational storytelling for cultural heritage: contextual and adaptive narrative mechanisms

Abstract

This doctoral thesis investigates the intersection of artificial intelligence, interactive narrative, and immersive technologies for enhancing user experiences in cultural heritage (CH) settings. Titled ”Generative computational storytelling for cultural heritage: contextual and adaptive narrative mechanisms”, the work introduces novel computational approaches to storytelling, emphasizing emergent, multimodal, and user-adaptive narratives. The research begins with an extensive survey of 92 computational storytelling projects and 37 augmented reality smart glasses (ARSG) applications, systematically categorized by purpose, media, and interaction type. It reveals a vibrant landscape of interactive digital narratives (IDN), particularly in CH, education, healthcare, and entertainment. Building on this foundation, the thesis proposes a series of innovative systems integrating tangible user interfaces (TUIs), digital twins, and large language models (LLMs). Notably, it introduces MAGICAL (Museum AI Guide for Augmenting Cultural heritage with Intelligent Language model), a hybrid museum guide and recommendation system powered by GPTbased language models. MAGICAL supports dynamic generation of personalized narratives and spatially aware recommendations, trained on contextual data such as exhibit location, chronology, and user role. Methodologically, the thesis combines laboratory and field experimentation. It details three field deployments of MAGICAL in a contemporary art exhibition, a fine arts museum, and an archaeological museum. Each scenario involved contextual training of GPT4, interface adaptation, and implementation of voice-based interactions. Evaluation included statistical analysis of user engagement and qualitative interviews, utilizing modified versions the User Experience Questionnaire (UEQ) and Museum Experience Scale (MES). The results indicate that MAGICAL significantly enhances perceived user engagement, personalization, and satisfaction. The system’s adaptability across different cultural domains underscores its generalizability and scientific impact.Concluding, the thesis outlines challenges in AI-based narrative systems—including hallucination, lack of spatial awareness, and ethical concerns—and proposes future research directions. These include integration of RAG (Retrieve-Augmented Generation), development of context-aware LLMs, and expansion of embodied storytelling systems using ARSGs and robotics. This work contributes a unified framework for intelligent storytelling systems in CH, demonstrating how AI can meaningfully transform visitor interaction and cultural engagement.

Η παρούσα διδακτορική διατριβή διερευνά την ένωση της τεχνητής νοημοσύνης, της διαδραστικής αφήγησης και των τεχνολογιών εμβύθισης, με στόχο τη βελτίωση της εμπειρίας του επισκέπτη και την ενίσχυση της εκπαιδευτικής διάστασης της επίσκεψης σε περιβάλλοντα πολιτιστικής κληρονομιάς. Με τίτλο «Γενετική υπολογιστική αφήγηση για την πολιτιστική κληρονομιά: προσαρμοστικοί και με βάση τα συμφραζόμενα μηχανισμοί αφήγησης», η εργασία αυτή εισάγει καινοτόμες υπολογιστικές προσεγγίσεις στην αφήγηση, δίνοντας έμφαση σε αναδυόμενες, πολυτροπικές και προσαρμοστικές στον χρήστη αφηγήσεις.Η έρευνα ξεκινά με μία εκτενή καταγραφή και ανάλυση 92 έργων υπολογιστικής αφήγησης και 37 εφαρμογών με επαυξημένη πραγματικότητα σε έξυπνα γυαλιά (ARSG), οι οποίες κατηγοριοποιούνται συστηματικά ως προς τον σκοπό, το μέσο και τον τύπο αλληλεπίδρασης. Η μελέτη αναδεικνύει ένα δυναμικό πεδίο διαδραστικών ψηφιακών αφηγήσεων (IDN), ιδιαίτερα σε τομείς όπως η πολιτιστική κληρονομιά, η εκπαίδευση, η υγεία και η ψυχαγωγία. Με βάση αυτό το υπόβαθρο, η διατριβή προτείνει μία σειρά καινοτόμων συστημάτων που ενσωματώνουν απτές διεπαφές χρήστη (TUI), ψηφιακά δίδυμα και μεγάλα γλωσσικά μοντέλα (LLM). Ειδικότερα, παρουσιάζει το σύστημα MAGICAL (Museum AI Guide for Augmenting Cultural heritage with Intelligent Language model), έναν υβριδικό οδηγό μουσείων και σύστημα συστάσεων που υποστηρίζεται από γλωσσικά μοντέλα τύπου GPT. Το MAGICAL προσφέρει δυναμική παραγωγή προσωποποιημένων αφηγήσεων και χωρικά ευαίσθητες συστάσεις, εκπαιδευόμενο σε συμφραζόμενα όπως η τοποθεσία του εκθέματος, η χρονολογική περίοδος και ο ρόλος του χρήστη. Μεθοδολογικά, η διατριβή συνδυάζει εργαστηριακές και επιτόπιες δοκιμές. Περιγράφει τρεις εφαρμογές του MAGICAL σε περιβάλλοντα πραγματικών επισκεπτών: μία έκθεση ψηφιακής τέχνης, ένα μουσείο καλών τεχνών και ένα αρχαιολογικό μουσείο. Σε κάθε περίπτωση πραγματοποιήθηκε συμφραζόμενη εκπαίδευση του GPT4, προσαρμογή της διεπαφής και εφαρμογή φωνητικών αλληλεπιδράσεων. Η αξιολόγηση περιλάμβανε στατιστική ανάλυση της εμπλοκής του χρήστη και ποιοτικές συνεντεύξεις, μέσω τροποποιημένων εκδόσεων των ερωτηματολογίων User Experience Questionnaire (UEQ) καιMuseum Experience Scale (MES). Τα αποτελέσματα καταδεικνύουν ότι το MAGICAL ενισχύει σημαντικά την αντιλαμβανόμενη εμπλοκή, την προσωποποίηση και την ικανοποίηση των χρηστών. Η ικανότητα προσαρμογής του σε διαφορετικά πολιτιστικά περιβάλλοντα αναδεικνύει τη δυνατότητα γενίκευσής του και την επιστημονική του συνεισφορά. Στο τέλος, η διατριβή αναδεικνύει τις προκλήσεις των αφηγηματικών συστημάτων βασισμένων σε ΤΝ — όπως οι παραισθήσεις, η έλλειψη χωρικής επίγνωσης και τα ηθικά ζητήματα — και προτείνει κατευθύνσεις για μελλοντική έρευνα. Αυτές περιλαμβάνουν την ενσωμάτωση RAG (Retrieve-Augmented Generation), την ανάπτυξη συμφραζόμενων LLM και τη διεύρυνση των ενσωματωμένων αφηγηματικών συστημάτων με χρήση ARSG και ρομποτικής. Η εργασία αυτή συνεισφέρει ένα ενιαίο θεωρητικό και τεχνολογικό πλαίσιο για έξυπνα αφηγηματικά συστήματα στον χώρο της πολιτιστικής κληρονομιάς, αποδεικνύοντας πώς η τεχνητή νοημοσύνη μπορεί να μετασχηματίσει ουσιαστικά την αλληλεπίδραση του επισκέπτη και την πολιτιστική εμπλοκή.