Μέθοδοι πολυτροπικής βαθιάς μάθησης για την επαλήθευση εικόνας-κειμένου στην ανίχνευση παραπληροφόρησης

Περίληψη

Η παρούσα διδακτορική διατριβή διερευνά την αυτοματοποιημένη επαλήθευση ζευγών εικόνας-κειμένου με στόχο τον εντοπισμό πολυτροπικής παραπληροφόρησης, συμβάλλοντας στην ανάπτυξη νέων μεθόδων βαθιάς μάθησης, στη δημιουργία κατάλληλων συνόλων δεδομένων και στην αξιολόγηση σε ρεαλιστικές συνθήκες. Παρά την πρόοδο στο πεδίο, σημαντικές προκλήσεις παραμένουν, όπως οι μονοτροπικές μεροληψίες, η εκμετάλλευση επιφανειακών μοτίβων, η ανάκτηση αξιόπιστων και συναφών εξωτερικών τεκμηρίων και η διαρροή πληροφορίας από δημοσιευμένα άρθρα εξακρίβωσης γεγονότων. Η Ενότητα I εστιάζει στην εσωτερική επαλήθευση εικόνας-κειμένου, χωρίς εξωτερικά τεκμήρια. Αρχικά, συγκρίνονται στρατηγικές παραγωγής συνθετικών δεδομένων και αξιολογείται η γενίκευση των μοντέλων σε πραγματικά παραδείγματα παραπληροφόρησης. Η ανάλυση αναδεικνύει μονοτροπικές μεροληψίες σε ευρέως χρησιμοποιούμενα σύνολα αξιολόγησης, οδηγώντας στη δημιουργία του VERITE, ενός συνόλου δεδομένων που απαιτεί την από κοινού εξέταση εικόνας και κειμέ ...
περισσότερα

Περίληψη σε άλλη γλώσσα

This doctoral dissertation investigates automated image-text verification for detecting multimodal misinformation, contributing to the development of novel deep learning methods, the creation of dedicated datasets, and evaluation under realistic conditions. Despite progress in the field, significant challenges remain, such as unimodal biases, reliance on superficial shortcut patterns, the retrieval of credible and relevant external evidence, and evidence leakage from published fact-checking articles. Part I focuses on internal image-text verification without external evidence. First, synthetic data generation strategies are compared and model generalization is evaluated on real-world misinformation. The analysis highlights unimodal biases in widely used benchmarks, leading to the creation of VERITE, a dataset that requires joint examination of image and text while mitigating reliance on shortcut signals. Furthermore, the Miscaption This! framework is proposed, leveraging Vision-Languag ...
περισσότερα

Όλα τα τεκμήρια στο ΕΑΔΔ προστατεύονται από πνευματικά δικαιώματα.

DOI
10.12681/eadd/62874
Διεύθυνση Handle
http://hdl.handle.net/10442/hedi/62874
ND
62874
Εναλλακτικός τίτλος
Multimodal deep learning methods for image-text verification in misinformation detection
Συγγραφέας
Παπαδόπουλος, Στέφανος-Ιορδάνης (Πατρώνυμο: Ιωάννης)
Ημερομηνία
07/2026
Ίδρυμα
Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης (ΑΠΘ). Σχολή Πολυτεχνική. Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Εξεταστική επιτροπή
Πετραντωνάκης Παναγιώτης
Ντελόπουλος Αναστάσιος
Παπαδόπουλος Συμεών
Δημούλας Χαράλαμπος
Συμεωνίδης Ανδρέας
Δίου Χρήστος
Κομπατσιάρης Ιωάννης
Επιστημονικό πεδίο
Φυσικές Επιστήμες ➨ Επιστήμη Ηλεκτρονικών Υπολογιστών και Πληροφορική ➨ Τεχνητή νοημοσύνη
Φυσικές Επιστήμες ➨ Επιστήμη Ηλεκτρονικών Υπολογιστών και Πληροφορική ➨ Διεπιστημονικές εφαρμογές επιστήμης ηλεκτρονικών υπολογιστών
Λέξεις-κλειδιά
Βαθιά μάθηση; Πολυτροπική μάθηση; Ανίχνευση παραπληροφόρησης; Επαλήθευση εικόνας-κειμένου
Χώρα
Ελλάδα
Γλώσσα
Αγγλικά
Άλλα στοιχεία
εικ., πιν., σχημ., γραφ.
Στατιστικά χρήσης
ΠΡΟΒΟΛΕΣ
Αφορά στις μοναδικές επισκέψεις της διδακτορικής διατριβής για την χρονική περίοδο 07/2018 - 07/2023.
Πηγή: Google Analytics.
ΞΕΦΥΛΛΙΣΜΑΤΑ
Αφορά στο άνοιγμα του online αναγνώστη για την χρονική περίοδο 07/2018 - 07/2023.
Πηγή: Google Analytics.
ΜΕΤΑΦΟΡΤΩΣΕΙΣ
Αφορά στο σύνολο των μεταφορτώσων του αρχείου της διδακτορικής διατριβής.
Πηγή: Εθνικό Αρχείο Διδακτορικών Διατριβών.
ΧΡΗΣΤΕΣ
Αφορά στους συνδεδεμένους στο σύστημα χρήστες οι οποίοι έχουν αλληλεπιδράσει με τη διδακτορική διατριβή. Ως επί το πλείστον, αφορά τις μεταφορτώσεις.
Πηγή: Εθνικό Αρχείο Διδακτορικών Διατριβών.