Advancing affect modelling via representation learning

Abstract

Affect modelling, the process of constructing computational models capable of recognising and interpreting human emotions, has seen significant advancements with the rise of machine learning. However, key challenges still need to be addressed, particularly in learning generalisable affective representations across different modalities and scenarios, especially in contexts where data is scarce or incomplete. This thesis explores these challenges through the lens of representation learning, with a specific focus on contrastive learning principles. The research is structured across three main parts. First, we investigate the use of supervised contrastive learning to model affective states. Through the development of novel methods, we demonstrate improvements in learning multimodal representations of affect, as evidenced by experiments on datasets such as RECOLA and AGAIN. The second part addresses the challenge of missing modalities in affective data. By leveraging privileged information during training, we introduce techniques that bridge the gap between controlled and in-the-wild affect modelling. Additional experiments demonstrate the robustness of these techniques across multiple modalities and datasets. Finally, the thesis tackles the problem of learning affective representations from a small number of samples, proposing a novel approach using contrastive learning to generate robust representations even in data-constrained environments. This work demonstrates the applicability of these methods across various contexts, including cross-game engagement prediction. The thesis concludes with a discussion of the limitations of the proposed methods and potential directions for future research, including the exploration of more diverse datasets and techniques to further enhance model generalisation and robustness in affective computing.

Η μοντελοποίηση του συναισθήματος, δηλαδή η διαδικασία ανάπτυξης υπολογιστικών μοντέλων ικανών να αναγνωρίζουν και να ερμηνεύουν τα ανθρώπινα συναισθήματα, έχει γνωρίσει σημαντικές εξελίξεις με την άνοδο της μηχανικής μάθησης. Ωστόσο, εξακολουθούν να παραμένουν βασικές προκλήσεις, ιδιαίτερα όσον αφορά τη μάθηση γενικεύσιμων συναισθηματικών αναπαραστάσεων σε διαφορετικές τροπικότητες και σενάρια, ειδικά σε περιβάλλοντα όπου τα δεδομένα είναι περιορισμένα ή ελλιπή. Η παρούσα διδακτορική διατριβή εξετάζει αυτές τις προκλήσεις υπό το πρίσμα της μάθησης αναπαραστάσεων, με ιδιαίτερη έμφαση στις αρχές της συγκριτικής μάθησης. Η έρευνα οργανώνεται σε τρία κύρια μέρη. Πρώτον, διερευνάται η χρήση εποπτευόμενης συγκριτικής μάθησης για τη μοντελοποίηση συναισθηματικών καταστάσεων. Μέσω της ανάπτυξης νέων μεθόδων, καταδεικνύονται βελτιώσεις στη μάθηση πολυτροπικών αναπαραστάσεων του συναισθήματος, όπως φαίνεται από πειράματα σε σύνολα δεδομένων όπως τα RECOLA και AGAIN. Το δεύτερο μέρος αντιμετωπίζει την πρόκληση των ελλειπουσών τροπικοτήτων στα συναισθηματικά δεδομένα. Με την αξιοποίηση προνομιακής πληροφορίας κατά την εκπαίδευση, προτείνονται τεχνικές που γεφυρώνουν το χάσμα μεταξύ ελεγχόμενης και «εντός του φυσικού περιβάλλοντος» μοντελοποίησης του συναισθήματος. Επιπλέον πειράματα καταδεικνύουν την ανθεκτικότητα αυτών των τεχνικών σε πολλαπλές τροπικότητες και σύνολα δεδομένων. Τέλος, η διατριβή αντιμετωπίζει το πρόβλημα της μάθησης συναισθηματικών αναπαραστάσεων από μικρό αριθμό δειγμάτων, προτείνοντας μια νέα προσέγγιση βασισμένη στη συγκριτική μάθηση για τη δημιουργία ανθεκτικών αναπαραστάσεων ακόμη και σε περιβάλλοντα περιορισμένων δεδομένων. Η εργασία αυτή αναδεικνύει την εφαρμοσιμότητα των μεθόδων αυτών σε ποικίλα πλαίσια, συμπεριλαμβανομένης της πρόβλεψης εμπλοκής μεταξύ διαφορετικών παιχνιδιών. Η διατριβή ολοκληρώνεται με συζήτηση των περιορισμών των προτεινόμενων μεθόδων και πιθανών κατευθύνσεων για μελλοντική έρευνα, συμπεριλαμβανομένης της διερεύνησης πιο ποικίλων συνόλων δεδομένων και τεχνικών για την περαιτέρω ενίσχυση της γενίκευσης και της ανθεκτικότητας των μοντέλων στη συναισθηματική υπολογιστική.