A virtual actor prepares: the virtual actor through artificial intelligence tools and acting techniques in the VR Era

Abstract

Advances in artificial intelligence (AI), immersive media, and computational modeling are rapidly transforming the performing arts, expanding the expressive possibilities of human actors while introducing new forms of digitally mediated performance. Despite these developments, the systematic integration of acting theory, affective neuroscience, and machine learning for modeling expressive performance remains largely unexplored. The objective of this dissertation is to investigate how the emotional, cognitive, and behavioral dimensions of acting can be measured, structured, and computationally translated into emotionally expressive Virtual Actors (VAs). The concept of the Virtual Actor is proposed as both a theoretical framework and a methodological construct, an embodiment spectrum through which artistic practice, scientific inquiry, and technological innovation converge. To examine the aesthetic, technical, and ethical dimensions of Virtual Actors, the research develops three interconnected directions. First, it introduces the Emotion-Driven Virtual Actor (EDVA) framework, developed through multimodal data collection from professional actors trained in the Stanislavsky system. Neurophysiological signals (EEG and galvanic skin response), audiovisual recordings, facial Action Unit extraction, and self-reported emotional measures were collected and assessed through machine learning pipelines, specifically CPCA+LDA for neural decoding and SVM for acoustic and facial expression classification, to model expressive dynamics and generate emotionally grounded digital embodiments. This framework provides preliminary empirical evidence linking subjective affective states with measurable neural and behavioral correlates. Second, the dissertation develops the Virtual Physical Actor framework for cinematic practice through an AI-based relighting and post-production framework employing Camera-Aligned Material Planes (CAMPs), physically based rendering, and inferred material properties. This methodology enables live-action performances to be embedded within digitally controlled environments, broadening creative flexibility without compromising the actor's expressive integrity. Third, the study proposes actor-centered AI rehearsal systems, including adaptive line-memorization assistants and Meisner-inspired interactive virtual bodies designed to augment, rather than replace, human performers. Within this framework, artificial intelligence functions not as a generator of performance but as an embodied rehearsal collaborator. These frameworks are demonstrated through practice-based realizations, including the proof-of-concept short film Can I Have a Minute?, the Venice Girl project in both parametric and AI-generated variations, and a series of interactive rehearsal prototypes. Across these frameworks, the dissertation analyzes how performance migrates across biological, parametric, and generative embodiment systems, revealing how different computational architectures redistribute expressive control, authorship, and cinematic affordances. This research contributes to affective computing, XR cinema, virtual production, and AI-assisted performance by demonstrating that emotionally intelligent virtual actors can be grounded in human neural and expressive data while remaining artistically controllable. Rather than positioning AI as a substitute for human performers, the dissertation advocates hybrid human–AI collaborations that preserve agency, transparency, and ethical responsibility. The results indicate potential and motivate future investigation of emotionally expressive Virtual Actors across cinematic, immersive, educational, and therapeutic contexts, reaffirming the centrality of human expressive practice within the computational architectures of contemporary digital media. The doctoral research presented in this dissertation was conducted between 2021 and 2026 at the School of Film of the Aristotle University of Thessaloniki, with empirical and practice-based components developed at the USC Institute for Creative Technologies (Summer 2024; IKY-Fulbright Visiting Researcher placement, 2024–2025).

Η παρούσα διδακτορική διατριβή εξετάζει τον μετασχηματισμό των παραστατικών τεχνών υπό το πρίσμα της τεχνητής νοημοσύνης (Artificial Intelligence – AI), των εμβυθιστικών μέσων και της υπολογιστικής μοντελοποίησης, τα οποία επεκτείνουν τις εκφραστικές δυνατότητες των ανθρώπων-ηθοποιών και εισάγουν νέες μορφές ψηφιακά διαμεσολαβημένης ερμηνείας. Παρά τις σημαντικές εξελίξεις στον τομέα αυτό, η συστηματική ενοποίηση της θεωρίας της υποκριτικής, της συναισθηματικής νευροεπιστήμης και της μηχανικής μάθησης για τη μοντελοποίηση της εκφραστικής ερμηνείας παραμένει σε μεγάλο βαθμό ανεξερεύνητη. Στόχος της παρούσας διατριβής είναι η διερεύνηση του τρόπου με τον οποίο οι συναισθηματικές, γνωστικές και συμπεριφορικές διαστάσεις της υποκριτικής μπορούν να μετρηθούν, να δομηθούν και να μεταφραστούν υπολογιστικά σε συναισθηματικά αποκρινόμενους Εικονικούς Ηθοποιούς (Virtual Actors - VAs). Η έννοια του Εικονικού Ηθοποιού προτείνεται τόσο ως θεωρητικό πλαίσιο όσο και ως μεθοδολογικό κατασκεύασμα, ένα φάσμα ενσάρκωσης μέσα από το οποίο συγκλίνουν η καλλιτεχνική πρακτική, η επιστημονική διερεύνηση και η τεχνολογική καινοτομία. Για τη διερεύνηση των αισθητικών, τεχνικών και ηθικών διαστάσεων των Εικονικών Ηθοποιών, η έρευνα αναπτύσσει τρεις αλληλένδετες κατευθύνσεις. Πρώτον, εισάγει το πλαίσιο Emotion-Driven Virtual Actor (EDVA), το οποίο αναπτύχθηκε μέσω πολυτροπικής συλλογής δεδομένων από επαγγελματίες ηθοποιούς εκπαιδευμένους στο σύστημα Stanislavsky. Νευροφυσιολογικά σήματα (EEG και γαλβανική απόκριση του δέρματος), οπτικοακουστικές καταγραφές, εξαγωγή Facial Action Units και αυτοαναφερόμενα συναισθηματικά μέτρα συλλέχθηκαν και μελετήθηκαν μέσω αλγορίθμων μηχανικής μάθησης (CPCA+LDA για EEG, SVM για ήχο και εκφράσεις προσώπου), με στόχο τη μοντελοποίηση των εκφραστικών δυναμικών και τη δημιουργία συναισθηματικά θεμελιωμένων ψηφιακών ενσαρκώσεων. Το παρόν πλαίσιο προσφέρει προκαταρκτική εμπειρική υποστήριξη για την ύπαρξη σχέσης μεταξύ των υποκειμενικά βιούμενων συναισθηματικών καταστάσεων και των αντίστοιχων μετρήσιμων νευρωνικών και συμπεριφορικών εκδηλώσεών τους. Δεύτερον, η διατριβή αναπτύσσει το παράδειγμα του Virtual Physical Actor για την κινηματογραφική πρακτική μέσω μοντέλων τεχνητής νοημοσύνης ανοικτής πρόσβασης για επαναφωτισμό και αλλαγή φυσικών σκηνικού σε εικονικού κατά την μεταπαραγωγή, το οποίο υλοποιεί Camera-Aligned Material Planes (CAMPs), φυσικά βασισμένη απόδοση φωτισμού (physically based rendering) και εξαγόμενες ιδιότητες υλικών. Η μεθοδολογία αυτή επιτρέπει την ενσωμάτωση ζωντανών ερμηνειών σε ψηφιακά ελεγχόμενα περιβάλλοντα, διευρύνοντας τη δημιουργική ευελιξία και διατηρώντας παράλληλα την εκφραστική ακεραιότητα της ερμηνείας του ηθοποιού. Τρίτον, η μελέτη προτείνει συστήματα πρόβας βασισμένα σε τεχνητή νοημοσύνη με επίκεντρο τον ηθοποιό, συμπεριλαμβανομένων προσαρμοστικών βοηθών απομνημόνευσης κειμένου και διαδραστικών εικονικών παρτενέρ εμπνευσμένων από την τεχνική Meisner, οι οποίοι έχουν σχεδιαστεί ώστε να ενισχύουν και όχι να αντικαθιστούν τον ανθρώπινο ερμηνευτή. Στο πλαίσιο αυτό, η τεχνητή νοημοσύνη λειτουργεί όχι ως γεννήτρια ερμηνείας, αλλά ως ενσώματος συνεργάτης στη διαδικασία της πρόβας. Τα προτεινόμενα πλαίσια παρουσιάζονται μέσα από πρακτικές εφαρμογές, όπως η ταινία proof-of-concept Can I Have a Minute?, το project Venice Girl σε παραμετρικές και AI-generated εκδοχές, καθώς και μια σειρά διαδραστικών πρωτοτύπων πρόβας. Μέσα από αυτά τα πλαίσια, η διατριβή αναλύει τον τρόπο με τον οποίο η ερμηνεία μετακινείται μεταξύ βιολογικών, παραμετρικών και γενετικών συστημάτων ενσάρκωσης, αναδεικνύοντας πώς διαφορετικά υπολογιστικά παραδείγματα ανακατανέμουν τον εκφραστικό έλεγχο, τη δημιουργική ιδιοκτησία και τις κινηματογραφικές δυνατότητες. Συνολικά, η παρούσα έρευνα συμβάλλει στη διασταύρωση της συναισθηματικής υπολογιστικής (affective computing), του XR κινηματογράφου, της εικονικής παραγωγής και της υποκριτικής υποστηριζόμενης από τεχνητή νοημοσύνη, δείχνοντας ότι οι συναισθηματικά ευφυείς εικονικοί ηθοποιοί μπορούν να θεμελιωθούν σε ανθρώπινα νευρωνικά και εκφραστικά δεδομένα, διατηρώντας παράλληλα καλλιτεχνικό έλεγχο. Αντί να αντιμετωπίζει την τεχνητή νοημοσύνη ως υποκατάστατο του ανθρώπινου ηθοποιού, η διατριβή υποστηρίζει υβριδικές συνεργασίες ανθρώπου–AI που διατηρούν την ανθρώπινη αυτενέργεια, τη διαφάνεια και την ηθική ευθύνη. Τα ευρήματα υποδεικνύουν τις δυνατότητες της προσέγγισης αυτής και παρέχουν κίνητρο για περαιτέρω διερεύνηση συναισθηματικά εκφραστικών Εικονικών Ηθοποιών (Virtual Actors) σε κινηματογραφικά, εμβυθιστικά, εκπαιδευτικά και θεραπευτικά περιβάλλοντα, αναδεικνύοντας παράλληλα τη συνεχιζόμενη σημασία της ανθρώπινης εκφραστικής πρακτικής για τον σχεδιασμό και την ανάπτυξη των υπολογιστικών αρχιτεκτονικών των σύγχρονων ψηφιακών μέσων. Η διδακτορική έρευνα της παρούσας διατριβής εκπονήθηκε κατά την περίοδο 2021–2026 στη Σχολή Κινηματογράφου του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης, ενώ οι εμπειρικές και πρακτικές συνιστώσες της αναπτύχθηκαν στο USC Institute for Creative Technologies (Καλοκαίρι 2024· ΙΚΥ-Fulbright Visiting Researcher, 2024–2025).