Περίληψη
Η παρούσα διδακτορική διατριβή διερευνά την αυτοματοποιημένη επαλήθευση ζευγών εικόνας-κειμένου με στόχο τον εντοπισμό πολυτροπικής παραπληροφόρησης, συμβάλλοντας στην ανάπτυξη νέων μεθόδων βαθιάς μάθησης, στη δημιουργία κατάλληλων συνόλων δεδομένων και στην αξιολόγηση σε ρεαλιστικές συνθήκες. Παρά την πρόοδο στο πεδίο, σημαντικές προκλήσεις παραμένουν, όπως οι μονοτροπικές μεροληψίες, η εκμετάλλευση επιφανειακών μοτίβων, η ανάκτηση αξιόπιστων και συναφών εξωτερικών τεκμηρίων και η διαρροή πληροφορίας από δημοσιευμένα άρθρα εξακρίβωσης γεγονότων. Η Ενότητα I εστιάζει στην εσωτερική επαλήθευση εικόνας-κειμένου, χωρίς εξωτερικά τεκμήρια. Αρχικά, συγκρίνονται στρατηγικές παραγωγής συνθετικών δεδομένων και αξιολογείται η γενίκευση των μοντέλων σε πραγματικά παραδείγματα παραπληροφόρησης. Η ανάλυση αναδεικνύει μονοτροπικές μεροληψίες σε ευρέως χρησιμοποιούμενα σύνολα αξιολόγησης, οδηγώντας στη δημιουργία του VERITE, ενός συνόλου δεδομένων που απαιτεί την από κοινού εξέταση εικόνας και κειμέ ...
Η παρούσα διδακτορική διατριβή διερευνά την αυτοματοποιημένη επαλήθευση ζευγών εικόνας-κειμένου με στόχο τον εντοπισμό πολυτροπικής παραπληροφόρησης, συμβάλλοντας στην ανάπτυξη νέων μεθόδων βαθιάς μάθησης, στη δημιουργία κατάλληλων συνόλων δεδομένων και στην αξιολόγηση σε ρεαλιστικές συνθήκες. Παρά την πρόοδο στο πεδίο, σημαντικές προκλήσεις παραμένουν, όπως οι μονοτροπικές μεροληψίες, η εκμετάλλευση επιφανειακών μοτίβων, η ανάκτηση αξιόπιστων και συναφών εξωτερικών τεκμηρίων και η διαρροή πληροφορίας από δημοσιευμένα άρθρα εξακρίβωσης γεγονότων. Η Ενότητα I εστιάζει στην εσωτερική επαλήθευση εικόνας-κειμένου, χωρίς εξωτερικά τεκμήρια. Αρχικά, συγκρίνονται στρατηγικές παραγωγής συνθετικών δεδομένων και αξιολογείται η γενίκευση των μοντέλων σε πραγματικά παραδείγματα παραπληροφόρησης. Η ανάλυση αναδεικνύει μονοτροπικές μεροληψίες σε ευρέως χρησιμοποιούμενα σύνολα αξιολόγησης, οδηγώντας στη δημιουργία του VERITE, ενός συνόλου δεδομένων που απαιτεί την από κοινού εξέταση εικόνας και κειμένου και περιορίζει την εξάρτηση από επιφανειακά μοτίβα. Επιπλέον, προτείνεται η μέθοδος Miscaption This!, η οποία αξιοποιεί μεγάλα οπτικο-γλωσσικά μοντέλα για την παραγωγή ρεαλιστικότερων συνθετικών παραδειγμάτων παραπληροφόρησης, και αναπτύσσεται η αρχιτεκτονική LAMAR, η οποία χρησιμοποιεί την πολυτροπική ανακατασκευή αναπαραστάσεων ως πρόσθετο σήμα επαλήθευσης. Η Ενότητα II εξετάζει την επαλήθευση με χρήση εξωτερικών τεκμηρίων. Για τη συνδυασμένη εκτίμηση της αληθοφάνειας ισχυρισμών και της συνάφειας των ανακτημένων τεκμηρίων, προτείνεται η RED-DOT, μια αρχιτεκτονική βασισμένη σε Transformer. Παράλληλα, διερευνάται η εκμάθηση επιφανειακών μοτίβων μέσω εξωτερικών τεκμηρίων, αναδεικνύοντας περιπτώσεις στις οποίες η ομοιότητα με γνωστά ειδησεογραφικά άρθρα επιτρέπει την επίτευξη υψηλών επιδόσεων χωρίς ουσιαστική επαλήθευση. Στο πλαίσιο αυτό, η μέθοδος MUSE, βασισμένη στην πολυτροπική ομοιότητα, αποδεικνύεται ανταγωνιστική προς πιο σύνθετες προσεγγίσεις, αναδεικνύοντας αδυναμίες των υφιστάμενων συνόλων δεδομένων. Επιπλέον, εξετάζονται η αξιοπιστία των πηγών και η διαρροή πληροφορίας από άρθρα εξακρίβωσης γεγονότων, οι οποίες μπορούν να δημιουργήσουν μη ρεαλιστικές συνθήκες αξιολόγησης. Η Ενότητα III επεκτείνει την έρευνα σε πραγματικές συνθήκες, με τη δημιουργία του X-POSE, ενός συνόλου δεδομένων πραγματικών αναρτήσεων από το X, με ετικέτες βασισμένες στη συναίνεση της κοινότητας μέσω του Community Notes. Στη συνέχεια, προτείνεται η TRENT (Evidence Triangulation), μια αρχιτεκτονική που μοντελοποιεί ρητά τις σχέσεις μεταξύ εικόνας, κειμένου και εξωτερικών τεκμηρίων μέσω εξειδικευμένων ροών διασταυρούμενης προσοχής. Τέλος, η διατριβή επεκτείνει τη μελέτη σε ζεύγη εικόνας-κειμένου που περιλαμβάνουν εικόνες παραγόμενες από τεχνητή νοημοσύνη, μέσω της ταξινόμησης βάσει πρόθεσης και του συνόλου δεδομένων S-HArM, διακρίνοντας την παραπληροφόρηση από το χιούμορ, τη σάτιρα και την καλλιτεχνική έκφραση. Τα σύνολα δεδομένων που αναπτύχθηκαν στο πλαίσιο της διατριβής και ο αντίστοιχος κώδικας υλοποίησης διατίθενται δημόσια, με στόχο την περαιτέρω αξιολόγηση και αξιοποίησή τους από την επιστημονική κοινότητα.
περισσότερα
Περίληψη σε άλλη γλώσσα
This doctoral dissertation investigates automated image-text verification for detecting multimodal misinformation, contributing to the development of novel deep learning methods, the creation of dedicated datasets, and evaluation under realistic conditions. Despite progress in the field, significant challenges remain, such as unimodal biases, reliance on superficial shortcut patterns, the retrieval of credible and relevant external evidence, and evidence leakage from published fact-checking articles. Part I focuses on internal image-text verification without external evidence. First, synthetic data generation strategies are compared and model generalization is evaluated on real-world misinformation. The analysis highlights unimodal biases in widely used benchmarks, leading to the creation of VERITE, a dataset that requires joint examination of image and text while mitigating reliance on shortcut signals. Furthermore, the Miscaption This! framework is proposed, leveraging Vision-Languag ...
This doctoral dissertation investigates automated image-text verification for detecting multimodal misinformation, contributing to the development of novel deep learning methods, the creation of dedicated datasets, and evaluation under realistic conditions. Despite progress in the field, significant challenges remain, such as unimodal biases, reliance on superficial shortcut patterns, the retrieval of credible and relevant external evidence, and evidence leakage from published fact-checking articles. Part I focuses on internal image-text verification without external evidence. First, synthetic data generation strategies are compared and model generalization is evaluated on real-world misinformation. The analysis highlights unimodal biases in widely used benchmarks, leading to the creation of VERITE, a dataset that requires joint examination of image and text while mitigating reliance on shortcut signals. Furthermore, the Miscaption This! framework is proposed, leveraging Vision-Language Models to generate more realistic synthetic misinformation examples, and the LAMAR architecture is developed, utilizing multimodal latent reconstruction as an auxiliary verification signal. Part II explores evidence-based verification. To jointly estimate claim veracity and evidence relevance, RED-DOT is introduced—a Transformer-based architecture trained end-to-end for both tasks. Simultaneously, evidence-enabled shortcut learning is investigated, revealing cases where similarity to news articles enables high performance without genuine verification. In this context, MUSE, a multimodal similarity-based baseline, proves competitive with more complex verification approaches, uncovering limitations in existing benchmarks. Additionally, source credibility and leaked evidence from fact-checking articles are examined, both of which introduce unrealistic evaluation conditions. Part III expands research to real-world settings through the creation of X-POSE, a dataset of real posts from X (formerly Twitter) labeled via community consensus using Community Notes. Subsequently, TRENT (Evidence Triangulation) is proposed—an architecture that explicitly models relationships between image, text, and external evidence through dedicated cross-attention streams. Finally, the dissertation extends the study to image-text pairs involving AI-generated images through intent-aware classification and the S-HArM dataset, distinguishing misinformation from humor, satire, and artistic expression. The datasets developed in this dissertation and the corresponding implementation code are publicly available to facilitate further research and evaluation by the scientific community.
περισσότερα