Multimodal representation learning for fine art analysis

Abstract

This thesis develops multimodal representation learning methods for fine art analysis. Fine art exists within historically situated systems of creation, interpretation, and institutional evaluation in which artworks, artists, movements, and institutions are simultaneously represented as visual artifacts, documented in textual records, and interconnected through relational structures. The thesis addresses four fundamental challenges: enriching visual representations with structured knowledge graph relationships for artwork categorization; measuring abstract cultural constructs such as originality and canonization; modeling temporal dynamics of creative careers; and handling modality asymmetry in fine art knowledge graphs where different entity types are characterized by different modality combinations. First, the thesis introduces ArtSAGENet, a multimodal architecture that integrates visual representations of artworks with graph neural networks for style classification, artist attribution, creation period estimation, and tag prediction, improving performance by modeling semantic relationships between artists and artworks. Next, the thesis develops a computational measure of visual originality and examines its relationship to long-term canonization across expert, peer, and market evaluative regimes, defining visual originality as novelty expressed in the visual features of artworks relative to visually similar predecessors within their historical context. The thesis then introduces Set2Seq Transformer, an architecture for sequential multiple-instance learning that learns temporal and position-aware representations of sets across time. Finally, the thesis proposes VL-KGE, a multimodal knowledge graph embedding framework that integrates pretrained vision-language models with structured relational modeling to learn unified representations for heterogeneous fine art knowledge graphs.

Η παρούσα διδακτορική διατριβή αναπτύσσει μεθόδους πολυτροπικής μάθησης αναπαραστάσεων για την υπολογιστική ανάλυση έργων καλών τεχνών. Τα έργα τέχνης εντάσσονται σε ιστορικά διαμορφωμένα συστήματα δημιουργίας, ερμηνείας και θεσμικής αξιολόγησης, στα οποία έργα, καλλιτέχνες, καλλιτεχνικά κινήματα και θεσμοί αποτυπώνονται ταυτόχρονα μέσω οπτικής πληροφορίας, κειμενικών τεκμηρίων και σύνθετων δικτύων σχέσεων. Στο πλαίσιο αυτό, η διατριβή επικεντρώνεται σε τέσσερις βασικές ερευνητικές προκλήσεις: στον εμπλουτισμό των οπτικών αναπαραστάσεων με δομημένη γνώση από γράφους γνώσης για την κατηγοριοποίηση έργων τέχνης· στην υπολογιστική αποτίμηση αφηρημένων πολιτισμικών εννοιών, όπως η πρωτοτυπία και η καθιέρωση στον καλλιτεχνικό κανόνα· στη μοντελοποίηση της χρονικής εξέλιξης της δημιουργικής πορείας των καλλιτεχνών· και στη διαχείριση της ασυμμετρίας των διαθέσιμων τροπικοτήτων σε ετερογενείς γράφους γνώσης, όπου διαφορετικοί τύποι οντοτήτων περιγράφονται από διαφορετικούς συνδυασμούς οπτικής, κειμενικής και σχεσιακής πληροφορίας. Αρχικά, παρουσιάζεται το ArtSAGENet, μια πολυτροπική αρχιτεκτονική που συνδυάζει οπτικές αναπαραστάσεις έργων τέχνης με νευρωνικά δίκτυα γράφων. Η αρχιτεκτονική αξιοποιείται σε επιμέρους εργασίες, όπως η ταξινόμηση καλλιτεχνικού ύφους, η απόδοση έργων σε καλλιτέχνες, η εκτίμηση της περιόδου δημιουργίας και η πρόβλεψη σημασιολογικών ετικετών. Μέσω της μοντελοποίησης των σημασιολογικών σχέσεων μεταξύ έργων και καλλιτεχνών, το ArtSAGENet επιτυγχάνει βελτιωμένη απόδοση σε σύγκριση με προσεγγίσεις που βασίζονται αποκλειστικά στην οπτική πληροφορία. Στη συνέχεια, αναπτύσσεται ένα υπολογιστικό μέτρο οπτικής πρωτοτυπίας και διερευνάται η σχέση του με τη μακροπρόθεσμη καλλιτεχνική καθιέρωση υπό διαφορετικά καθεστώτα αξιολόγησης, τα οποία αντανακλούν την κρίση ειδικών, ομοτίμων και της αγοράς. Η οπτική πρωτοτυπία ορίζεται ως ο βαθμός οπτικής καινοτομίας ενός έργου σε σχέση με οπτικά συναφή προγενέστερα έργα μέσα στο εκάστοτε ιστορικό πλαίσιο. Η προσέγγιση αυτή επιτρέπει τη συστηματική διερεύνηση της σχέσης μεταξύ καινοτομίας και μεταγενέστερης αναγνώρισης. Ακολούθως, εισάγεται το Set2Seq Transformer, μια αρχιτεκτονική για διαδοχική μάθηση πολλαπλών στιγμιοτύπων, η οποία μαθαίνει αναπαραστάσεις συνόλων λαμβάνοντας ταυτόχρονα υπόψη τη χρονική τους διάταξη και τη θέση τους μέσα σε μια ακολουθία. Με τον τρόπο αυτό καθίσταται δυνατή η μοντελοποίηση της εξέλιξης σύνθετων δημιουργικών δραστηριοτήτων σε βάθος χρόνου. Τέλος, προτείνεται το VL-KGE, ένα πλαίσιο πολυτροπικής ενσωμάτωσης γράφων γνώσης, το οποίο συνδυάζει προεκπαιδευμένα μοντέλα όρασης και γλώσσας με δομημένη σχεσιακή μοντελοποίηση. Το πλαίσιο αποσκοπεί στην εκμάθηση ενοποιημένων αναπαραστάσεων για ετερογενείς γράφους γνώσης καλών τεχνών, ακόμη και όταν διαφορετικοί τύποι οντοτήτων διαθέτουν διαφορετικά σύνολα τροπικοτήτων. Συνολικά, η διατριβή συμβάλλει στην ανάπτυξη υπολογιστικών μεθόδων που συνδυάζουν οπτική, κειμενική και σχεσιακή πληροφορία για την ανάλυση σύνθετων φαινομένων στον χώρο των καλών τεχνών, γεφυρώνοντας προσεγγίσεις από την πολυτροπική μάθηση αναπαραστάσεων, τα νευρωνικά δίκτυα γράφων και την υπολογιστική μελέτη του πολιτισμού.