Γενίκευση περιεχομένου και αυτοματοποιημένος έλεγχος με ευφυείς πράκτορες σε δυναμικά παιχνίδια σοβαρού σκοπού για την υγεία

Abstract

This doctoral thesis designs and implements a comprehensive framework for managing, generalizing, and testing content in Serious Games for Health (SGHs), incorporating artificial intelligence techniques with the aim of personalizing and enhancing the intervention. The development of SGHs is a time-consuming and costly process, while the lack of standardized methods for content reuse and evaluation of their mechanisms limits the ability to create effective SGHs. The aim of this thesis is to develop a framework that, independently of the content of the intervention, facilitates the faster implementation of SGHs, as well as the objective evaluation of the techniques used to produce personalized content in an automated manner. The proposed framework allows the content to be decoupled from the game mechanics, facilitating its reuse and adaptation to different health fields. It consists of three main axes: the generalization of the content of SGHs, the development of Procedural Content Generation (PCG) techniques, and the creation of a methodological framework for evaluating both the content of SGHs and the PCG techniques applied to them. The axes of the proposed framework are documented using a series of five original SGHs, which concern Obstructive Sleep Apnea (OSA), nutritional education, stress management, type 1 diabetes mellitus (T1DM), and obesity. The first axis of the proposed framework concerns the generalization of the content of SGHs by disconnecting it from game mechanisms. This process initially involves the detailed recording of the elements of the SGH, including its scope, objectives, mechanisms, and graphics. These elements are then redesigned, removing references to the specific field and replacing them with a color coding system. The game mechanisms are generalized and adapted to function independently of the content, while the graphics related to the field are replaced by abstract representations that retain their basic characteristics. The final step involves the implementation of a "Content Manager," which provides programming interfaces for switching and customizing content. This approach allows the same SGH to be reused in different health fields, replacing only the content and not the game mechanics, achieving significant time and resource savings when developing new interventions. The effectiveness of this approach is evaluated by the transition of the SGH from the field of OSA to the field of depression, maintaining the same game mechanics but with completely different content that reflects the particularities of the new field. The second axis of the proposed framework focuses on the development and generalization of PCG techniques for SGHs. A central element is the development of a PCG technique based on a genetic algorithm, which is initially applied to the SGH for OSA to create game character profiles and then extended to the SGH for T1DM and childhood obesity management to provide personalized recommendations and game missions. The process of generalizing the PCG technique involves defining the affected content, classifying it into categories and characteristics, and replacing it with a color code. The genetic algorithm represents the characteristics of game entities as genes on chromosomes and, through two fitness functions, evaluates the player's performance and choices to generate personalized content that meets their specific needs. In the case of the SGH for managing T1DM and childhood obesity, the algorithm was modified to utilize data from physical activity sensors and adapt game recommendations and missions according to the child's daily habits. This approach allows for dynamic adjustment of difficulty and educational content, optimizing user engagement and intervention effectiveness, as demonstrated by the results of experimental evaluations. The third axis of the proposed framework focuses on the testing of dynamic SGH content and the PCG techniques with the help of deep reinforcement learning agents. Initially, content evaluation is examined through player modeling based on biofeedback sensors and subjective player reports. As the experimental process often requires human testing of the SGHs, a machine learning model is designed to enhance the value of live experiments with real players. The model is trained on screen recording data from sessions along with player annotations for indicators of interest to predict indicators in future sessions. The generated data and sensor data enable more efficient estimation and correlation of indicators with the target indicators of the SGH. The application of this testing in the SGH for dietary behaviors in order to model player engagement highlighted the need for further study of the architecture and training process of the machine learning model. In the SGH for stress management, the modeling of the stress indicator was possible, as demonstrated by the analysis of measurements recorded by photoplethysmography sensors, with high correlation values between the measured and estimated values of stress. With regard to the applied PCG techniques, their testing traditionally requires extensive sessions with humans, a process that is time-consuming, costly, and often prone to subjective errors. The proposed framework automates this process, consisting of three main spaces: the SGH space, which encapsulates the logic of the game, the Interaction Interpreter space, which translates the game mechanisms into a form suitable for agents, and the Deep Reinforcement Learning space, where agent training and evaluation take place. The Game Description Language and the Gymnasium environment are used to standardize the interaction between the SGH and the agents, while the Stable Baselines 3 library is used to implement the deep reinforcement learning algorithms. The evaluation methodology includes two validation procedures: exhaustive validation, where trained agents encounter a wide range of procedurally generated content, and scenario-based validation, where they encounter realistic versions of the content controlled exclusively by the PCG. The results of applying the framework to the SGH for OSA confirm the improved performance of genetic algorithm versions by 5% compared to random content generation, with agents reaching the 50% win-rate threshold earlier during training. In addition, a direct correlation was observed between changes in the dominant genes of the genetic algorithm and changes in the success rate of the agents, confirming the effectiveness of the adaptation mechanism. In addition to automated testing, experimental procedures are conducted with real users, demonstrating the positive effect of the technique on user experience, with a significant increase in the feeling of competence (2.45±0.71 vs. 2.13±0.84, p=0.033) and a reduction in negative experience (0.02±0.08 vs. 0.11±0.17, p=0.020) in the SGH for OSA, as well as in clinical outcomes, with a statistically significant reduction in BMI z-score (mean reduction -0.21±0.26, p<0.001) in the SGH for T1DM and childhood obesity management. The findings of the thesis indicate that the application of the framework in the development of SGHs can lead to more effective interventions, both in terms of user experience and clinical outcomes, contributing to the promotion of self-management of chronic diseases and the wider adoption of SGHs as complementary tools in the arsenal of modern health interventions. In summary, the framework presented in this thesis offers a methodological approach to the management, generalization, and testing of content in SGHs, addressing key challenges in the development of digital health interventions. The three axes of the framework aim to reduce the time and cost of development, while supporting the personalization of content and the enhancement of the intervention. The application of the framework in different health fields indicates its potential for generalization, while the results of the experiments provide encouraging evidence of its contribution to improving user experience and clinical outcomes, supporting further exploration and development of similar approaches in the field of digital health interventions.

Η παρούσα διδακτορική διατριβή σχεδιάζει και αναπτύσσει ένα ολοκληρωμένο πλαίσιο για τη διαχείριση, γενίκευση και έλεγχο δυναμικού περιεχομένου σε Παιχνίδια Σοβαρού Σκοπού για την Υγεία (ΠΣΣΥ), ενσωματώνοντας τεχνικές τεχνητής νοημοσύνης με στόχο την εξατομίκευση και την ενίσχυση της παρέμβασης. Η ανάπτυξη ΠΣΣΥ αποτελεί μια χρονοβόρα και δαπανηρή διαδικασία, ενώ η έλλειψη τυποποιημένων μεθόδων για την επαναχρησιμοποίηση του περιεχομένου και την αξιολόγηση των μηχανισμών τους περιορίζει τη δυνατότητα δημιουργίας αποτελεσματικών ΠΣΣΥ. Σκοπός της διατριβής είναι η ανάπτυξη ενός πλαισίου που με τρόπο ανεξάρτητο από το περιεχόμενο της παρέμβασης, διευκολύνει την ταχύτερη υλοποίηση ΠΣΣΥ, καθώς και την αντικειμενική αξιολόγηση των τεχνικών που χρησιμοποιούνται για την παραγωγή δυναμικού εξατομικευμένου περιεχομένου με αυτοματοποιημένο τρόπο. Το προτεινόμενο πλαίσιο επιτρέπει την αποσύνδεση του περιεχομένου από τους μηχανισμούς παιχνιδιού, διευκολύνοντας την επαναχρησιμοποίηση και προσαρμογή του σε διαφορετικά πεδία υγείας. Αποτελείται από τρεις κύριους άξονες: τη γενίκευση του περιεχομένου των ΠΣΣΥ, την ανάπτυξη τεχνικών Αυτοματοποιημένης Παραγωγής Περιεχομένου (ΑΠΠ) και τη δημιουργία μεθοδολογικού πλαισίου για τον έλεγχο τόσο του περιεχομένου των ΠΣΣΥ όσο και των τεχνικών ΑΠΠ που εφαρμόζονται σε αυτά. Οι άξονες του προτεινόμενου πλαισίου τεκμηριώνονται αξιοποιώντας μία σειρά από πέντε πρωτότυπα ΠΣΣΥ, που αφορούν στην Αποφρακτική Υπνική Άπνοια (ΑΥΑ), τη διατροφική εκπαίδευση, τη διαχείριση του άγχους, τον Σακχαρώδη Διαβήτη Τύπου Ι (ΣΔΤ1) και την παχυσαρκία. Ο πρώτος άξονας του προτεινόμενου πλαισίου αφορά τη γενίκευση του περιεχομένου των ΠΣΣΥ μέσω της αποσύνδεσής του από τους μηχανισμούς παιχνιδιού. Η διαδικασία αυτή περιλαμβάνει αρχικά την αναλυτική καταγραφή των στοιχείων του ΠΣΣΥ, συμπεριλαμβανομένων του πεδίου εφαρμογής, της στοχοθεσίας, των μηχανισμών και των γραφικών στοιχείων. Στη συνέχεια, πραγματοποιείται η αναδιαμόρφωση αυτών των στοιχείων, με αφαίρεση των αναφορών στο συγκεκριμένο πεδίο και η αντικατάστασή τους με ένα σύστημα χρωματικής κωδικοποίησης. Οι μηχανισμοί του παιχνιδιού γενικεύονται και προσαρμόζονται ώστε να λειτουργούν ανεξάρτητα από το περιεχόμενο, ενώ τα γραφικά στοιχεία που σχετίζονται με το πεδίο αντικαθίστανται από αφηρημένες αναπαραστάσεις που διατηρούν τα βασικά χαρακτηριστικά τους. Το τελικό βήμα περιλαμβάνει την υλοποίηση ενός «Διαχειριστή Περιεχομένου», που παρέχει προγραμματιστικές διεπαφές για την εναλλαγή του περιεχομένου. Αυτή η προσέγγιση επιτρέπει την επαναχρησιμοποίηση του ίδιου ΠΣΣΥ σε διαφορετικά πεδία υγείας, με την αντικατάσταση μόνο του περιεχομένου και όχι των μηχανισμών παιχνιδιού, επιτυγχάνοντας σημαντική εξοικονόμηση χρόνου και πόρων κατά την ανάπτυξη νέων παρεμβάσεων. Η αποτελεσματικότητα αυτής της προσέγγισης αξιολογείται από τη μετάβαση ΠΣΣΥ από το πεδίο της ΑΥΑ στο πεδίο της κατάθλιψης, διατηρώντας τους ίδιους μηχανισμούς παιχνιδιού αλλά με πλήρως διαφορετικό περιεχόμενο που αντικατοπτρίζει τις ιδιαιτερότητες του νέου πεδίου. Ο δεύτερος άξονας του προτεινόμενου πλαισίου επικεντρώνεται στην ανάπτυξη και γενίκευση τεχνικών ΑΠΠ για ΠΣΣΥ. Κεντρικό στοιχείο αποτελεί η ανάπτυξη μιας τεχνικής ΑΠΠ βασισμένης σε γενετικό αλγόριθμο, η οποία αρχικά εφαρμόζεται στο ΠΣΣΥ για την ΑΥΑ για τη δημιουργία προφίλ χαρακτήρων παιχνιδιού και στη συνέχεια επεκτείνεται στο ΠΣΣΥ για διαχείριση του ΣΔΤ1 και της παιδικής παχυσαρκίας για την παροχή εξατομικευμένων συστάσεων και αποστολών παιχνιδιού. Η διαδικασία γενίκευσης της τεχνικής ΑΠΠ περιλαμβάνει τον καθορισμό του επηρεαζόμενου περιεχομένου, την ταξινόμησή του σε κατηγορίες και χαρακτηριστικά, και την αντικατάστασή τους με χρωματικό κώδικα για καλύτερη εποπτεία. Ο γενετικός αλγόριθμος αναπαριστά τα χαρακτηριστικά των οντοτήτων του παιχνιδιού ως γονίδια σε χρωμοσώματα και, μέσω δύο συναρτήσεων καταλληλότητας, αξιολογεί τις επιδόσεις και επιλογές του παίκτη για να παράγει εξατομικευμένο περιεχόμενο που ανταποκρίνεται στις συγκεκριμένες ανάγκες του. Στην περίπτωση του ΠΣΣΥ για διαχείριση του ΣΔΤ1 και της παιδικής παχυσαρκίας, ο αλγόριθμος τροποποιήθηκε για να αξιοποιεί δεδομένα από αισθητήρες φυσικής δραστηριότητας και να προσαρμόζει τις συστάσεις και τις αποστολές παιχνιδιού ανάλογα με τις καθημερινές συνήθειες του παιδιού. Η προσέγγιση αυτή επιτρέπει τη δυναμική προσαρμογή της δυσκολίας και του εκπαιδευτικού περιεχομένου, βελτιστοποιώντας τη συμμετοχή του χρήστη και την αποτελεσματικότητα της παρέμβασης, όπως αποδεικνύεται από τα αποτελέσματα των πειραματικών αξιολογήσεων. Ο τρίτος άξονας του προτεινόμενου πλαισίου εστιάζει στη δημιουργία ενός μεθοδολογικού πλαισίου για τον έλεγχο του δυναμικού περιεχομένου των ΠΣΣΥ με μοντελοποίηση του παίκτη, και των τεχνικών ΑΠΠ αξιοποιώντας ευφυείς πράκτορες βαθιάς ενισχυτικής μάθησης. Στο κομμάτι του ελέγχου περιεχομένου με μοντελοποίηση παίκτη, εξετάζεται η συλλογή και αξιοποίηση δεδομένων από αισθητήρες βιοανάδρασης και υποκειμενικών αναφορών των παικτών. Καθώς η πειραματική διαδικασία απαιτεί πολλές φορές τη δοκιμή των ΠΣΣΥ από ανθρώπους, σχεδιάζεται ένα μοντέλο μηχανικής μάθησης με σκοπό την ενίσχυση της αξίας των δια ζώσης πειραμάτων με πραγματικούς παίκτες. Το μοντέλο εκπαιδεύεται σε δεδομένα καταγραφών οθόνης των συνεδριών μαζί με επισημειώσεις των παικτών για δείκτες ενδιαφέροντος για την πρόβλεψη των δεικτών σε μελλοντικές συνεδρίες. Με τα παραγόμενα δεδομένα και τα δεδομένα των αισθητήρων γίνεται δυνατή η αποδοτικότερη εκτίμηση και συσχέτιση των δεικτών με τους δείκτες-στόχους του ΠΣΣΥ. Η εφαρμογή του ελέγχου αυτού στο ΠΣΣΥ για τις διατροφικές συμπεριφορές με σκοπό τη μοντελοποίηση της προσήλωσης του παίκτη ανέδειξε την ανάγκη για περαιτέρω μελέτη της αρχιτεκτονικής και της διαδικασίας εκπαίδευσης του μοντέλου μηχανικής μάθησης. Στο ΠΣΣΥ για διαχείριση άγχους η μοντελοποίηση του δείκτη του άγχους κατέστη δυνατή, όπως αποδείχτηκε και από την ανάλυση των μετρήσεων που καταγράφηκαν από αισθητήρες φωτοπληθυσμογραφίας, με υψηλό βαθμό συσχέτισης μεταξύ της μετρούμενης και εκτιμώμενης τιμής. Στο κομμάτι του τρίτου άξονα που αξιοποιεί ευφυείς πράκτορες, επιχειρείται η αυτοματοποίηση του ελέγχου τεχνικών ΑΠΠ. ΟΙ συμβατικές μέθοδοι απαιτούν εκτεταμένες δοκιμές με ανθρώπους, μια διαδικασία που είναι χρονοβόρα, δαπανηρή και συχνά επιρρεπής σε υποκειμενικά σφάλματα. Το προτεινόμενο πλαίσιο αυτοματοποιεί αυτή τη διαδικασία με τη χρήση τριών βασικών χώρων: τον χώρο του ΠΣΣΥ που ενθυλακώνει τη λογική του παιχνιδιού, τον χώρο του Διερμηνέα Αλληλεπίδρασης που μεταφράζει τους μηχανισμούς του παιχνιδιού σε μορφή κατάλληλη για τους πράκτορες, και τον χώρο Βαθιάς Ενισχυτικής Μάθησης, όπου πραγματοποιείται η εκπαίδευση των πρακτόρων και η αξιολόγηση. Για την τυποποίηση της αλληλεπίδρασης του ΠΣΣΥ με τους πράκτορες, χρησιμοποιείται η Γλώσσα Περιγραφής Παιχνιδιών (Game Description Language) και το περιβάλλον Gymnasium, ενώ για την υλοποίηση των αλγορίθμων βαθιάς ενισχυτικής μάθησης αξιοποιείται η βιβλιοθήκη Stable Baselines 3. Η μεθοδολογία ελέγχου περιλαμβάνει δύο διαδικασίες επικύρωσης: την εξαντλητική επικύρωση, όπου οι εκπαιδευμένοι πράκτορες αντιμετωπίζουν ένα ευρύ φάσμα του διαδικαστικά παραγόμενου περιεχομένου, και την επικύρωση βάσει σεναρίου, όπου αντιμετωπίζουν ρεαλιστικές εκδόσεις του περιεχομένου που ελέγχονται αποκλειστικά από την ΑΠΠ. Τα αποτελέσματα της εφαρμογής του πλαισίου στο ΠΣΣΥ για την ΑΥΑ επιβεβαιώνουν τη βελτιωμένη απόδοση των εκδόσεων με γενετικό αλγόριθμο κατά 5% συγκριτικά με την τυχαία παραγωγή περιεχομένου, με τους πράκτορες να επιτυγχάνουν νωρίτερα το όριο επιτυχίας του 50% κατά την εκπαίδευση. Επιπλέον, παρατηρήθηκε άμεση συσχέτιση μεταξύ των μεταβολών στα επικρατέστερα γονίδια του γενετικού αλγορίθμου και των μεταβολών στο ποσοστό επιτυχίας των πρακτόρων, επιβεβαιώνοντας την αποτελεσματικότητα του μηχανισμού προσαρμογής. Συμπληρωματικά με τον αυτοματοποιημένο έλεγχο, διεξάγονται πειραματικές διαδικασίες με πραγματικούς χρήστες, οι οποίες καταδεικνύουν τη θετική επίδραση της τεχνικής στην εμπειρία χρήστη, με σημαντική αύξηση του αισθήματος επάρκειας (2,45±0,71 έναντι 2,13±0,84, p=0,033) και μείωση της αρνητικής εμπειρίας (0,02±0,08 έναντι 0,11±0,17, p=0,020) στο ΠΣΣΥ για την ΑΥΑ, καθώς και στα κλινικά αποτελέσματα, με στατιστικά σημαντική μείωση του BMI z-score (μέση μείωση -0,21±0,26, p<0,001) στο ΠΣΣΥ για διαχείριση του ΣΔΤ1 και της παιδικής παχυσαρκίας. Τα ευρήματα της διατριβής υποδεικνύουν ότι η εφαρμογή του πλαισίου στην ανάπτυξη ΠΣΣΥ μπορεί να οδηγήσει σε πιο αποτελεσματικές παρεμβάσεις, τόσο από πλευράς εμπειρίας χρήστη όσο και κλινικών εκβάσεων, συμβάλλοντας στην προώθηση της αυτοδιαχείρισης χρόνιων νοσημάτων και την ευρύτερη υιοθέτηση των ΠΣΣΥ ως συμπληρωματικών εργαλείων στο οπλοστάσιο των σύγχρονων παρεμβάσεων υγείας. Συνοψίζοντας, το πλαίσιο που παρουσιάζεται στην παρούσα διατριβή προσφέρει μια μεθοδολογική προσέγγιση για τη διαχείριση, γενίκευση και αξιολόγηση του περιεχομένου σε ΠΣΣΥ, αντιμετωπίζοντας κύριες προκλήσεις της ανάπτυξης ψηφιακών παρεμβάσεων υγείας. Μέσω των τριών αξόνων του πλαισίου επιδιώκεται η μείωση του χρόνου και κόστους ανάπτυξης ΠΣΣΥ, ενώ παράλληλα υποστηρίζεται η εξατομίκευση του περιεχομένου και η ενίσχυση της παρέμβασης. Η εφαρμογή του πλαισίου σε διαφορετικά πεδία υγείας υποδεικνύει τις δυνατότητες γενίκευσής του, ενώ τα αποτελέσματα των πειραμάτων παρέχουν ενθαρρυντικές ενδείξεις για τη συμβολή του στη βελτίωση της εμπειρίας χρήστη και των κλινικών εκβάσεων, υποστηρίζοντας την περαιτέρω διερεύνηση και ανάπτυξη παρόμοιων προσεγγίσεων στο πεδίο των ψηφιακών παρεμβάσεων υγείας.