Δημιουργία αντιπαραδειγμάτων και εμπλουτισμός πολυτροπικών συστημάτων μέσω εξωτερικής γνώσης

Abstract

In recent years, natural language models and by extension multimodal systems havedemonstrated remarkable success in a wide range of tasks, exploiting common representations of visual and textualinputs. Despite often impressive results, these models are opaque, making the interpretation ofdecision making quite fuzzy, while their potential in specific tasks is limited,leading to limited generalizability. These two limitations can be resolved by exploiting externalknowledge sources, which traditionally include knowledge graphs, and more recently are based on largelanguage models. This thesis examines the contribution of external knowledge in addressing theaforementioned constraints by exploiting counterexamples: replacing concepts in textual descriptions withwell-defined ones can reveal the decision making of models without the need topenetrate inside them. Specifically, we propose the application of graph-drivenknowledge counterexamples to a variety of models involving both image retrieval from text, image generation from textand the generation of textual descriptions from images. In addition, the use of large linguistic models asknowledge bases provides enrichment of their existing knowledge, allowing them to perform new tasks with betterresults. In this thesis, knowledge enrichment is performed on multimodal models for retrievingimages from text, demonstrating the functionality of the method. Finally, an analysis of the limitations of usinglarge language models as knowledge bases in terms of reasoning abilities and incorrect generation ofanswers is provided.

Τα τελευταία χρόνια, τα μοντέλα φυσικής γλώσσας και κατ’ επέκταση τα πολυτροπικά συστήματα έχουν επιδείξειαξιοσημείωτη επιτυχία σε ένα ευρύ φάσμα εργασιών, αξιοποιώντας κοινές αναπαραστάσεις οπτικών και κειμενικώνεισόδων. Παρά τα συχνά εντυπωσιακά αποτελέσματα, τα μοντέλα αυτά είναι αδιαφανή, καθιστώντας την ερμηνεία τηςλήψης αποφάσεων αρκετά ασαφή, ενώ παράλληλα οι δυνατότητές τους σε συγκεκριμένες εργασίες είναι περιορισμένες,οδηγώντας σε περιορισμένη γενίκευση. Οι δύο αυτοί περιορισμοί μπορούν να επιλυθούν με την αξιοποίηση εξωτερικώνπηγών γνώσης, οι οποίες παραδοσιακά συμπεριλαμβάνουν γράφους γνώσης, ενώ πιο πρόσφατα βασίζονται σε μεγάλαγλωσσικά μοντέλα. Η παρούσα διατριβή εξετάζει τη συνεισφορά της εξωτερικής γνώσης στην αντιμετώπιση τωνπροαναφερθέντων περιορισμών αξιοποιώντας αντιπαραδείγματα: η αντικατάσταση εννοιών σε κειμενικές περιγραφές μεκαλά ορισμένο τρόπο δύναται να αποκαλύψει τον τρόπο λήψης αποφάσεων των μοντέλων χωρίς να είναι απαραίτητη ηεισχώρηση στο εσωτερικό τους. Συγκεκριμένα, προτείνουμε την εφαρμογή αντιπαραδειγμάτων οδηγούμενων από γράφουςγνώσης σε πληθώρα μοντέλων που αφορούν τόσο την ανάκτηση εικόνων από κείμενο, την παραγωγή εικόνων από κείμενοκαι την παραγωγή κειμενικών περιγραφών από εικόνες. Επιπλέον, η χρήση των μεγάλων γλωσσικών μοντέλων ως βάσειςγνώσης παρέχει εμπλουτισμό της υπάρχουσας γνώσης τους, επιτρέποντάς τους να αποδίδουν σε νέες εργασίες με καλύτερααποτελέσματα. Στην παρούσα διατριβή επιτελείται ο εμπλουτισμός γνώσης σε πολυτροπικά μοντέλα ανάκτησης εικόνωναπό κείμενο, αποδεικνύοντας τη λειτουργικότητα της μεθόδου. Τέλος, γίνεται μια ανάλυση των περιορισμών χρήσης τωνμεγάλων γλωσσικών μοντέλων ως βάσεις γνώσης όσον αφορά τις ικανότητες συλλογιστικής και την εσφαλμένη παραγωγήαπαντήσεων.