Combining structured knowledge and data-driven representations for object states classification

Abstract

This dissertation investigates the task of Object State Classification (OSC) addressing the challenges of recognizing object states in images. We integrate symbolic knowledge from Knowledge Graphs (KGs) with data-driven Graph Neural Networks (GNNs) to enhance OSC performance and generalization capabilities, particularly in zero-shot learning scenarios. Our core contribution is a novel approach to Object-agnostic Zero-Shot State Classification that leverages KGs to encode commonsense knowledge and employs GNNs to learn expressive embeddings capturing rich semantic information. Crucially, our method operates without relying on explicit object recognition, increasing robustness to appearance variations and applicability in scenarios where object recognition may be unreliable. Through extensive experiments on four benchmark datasets, we demonstrate our method's effectiveness in recognizing unseen state classes, achieving significant improvements over baseline approaches and state-of-the-art zero-shot learning techniques. We further investigate the use of Large Language Models (LLMs) to enhance KG construction and utilization for OSC, exploring their capacity to generate semantically rich corpora for training visual models and to construct more informative knowledge representations. Additionally, we explore metapath learning to capture complex semantic relationships in KGs, enhancing both performance and interpretability of the proposed method. In conclusion, this dissertation advances OSC through the development of novel methodologies that synergistically combine KGs, GNNs, and LLMs, the creation of new datasets, and the introduction of innovative research objectives. Our findings underscore the potential of neurosymbolic AI integration for achieving more robust, interpretable, and accurate OSC methods, laying the groundwork for future research in this domain.

Η παρούσα διατριβή εξετάζει το πρόβλημα της Ταξινόμησης Καταστάσεων Αντικειμένων (ΤΚΑ), εστιάζοντας στις προκλήσεις της αναγνώρισης καταστάσεων αντικειμένων σε εικόνες. Εξετάζουμε την ενσωμάτωση συμβολικής γνώσης από Γράφους Γνώσης (ΓΓ) με μάθηση βασισμένη σε δεδομένα από Γράφους Νευρωνικών Δικτύων (ΓΝΔ) για την ενίσχυση της απόδοσης και των δυνατοτήτων γενίκευσης των μοντέλων ΤΚΑ, ιδιαίτερα σε περιπτώσεις μάθησης χωρίς δείγματα. Η βασική μας συνεισφορά έγκειται στην ανάπτυξη μια καινοτόμου προσέγγισης για Ταξινόμηση Καταστάσεων Μηδενικού Δείγματος Ανεξάρτητης από την Αναγνώριση Αντικειμένων που αξιοποιεί τους ΓΓ για την κωδικοποίηση γνώσης κοινής λογικής και χρησιμοποιεί ΓΝΔ για την εκμάθηση εκφραστικών ενσωματώσεων που αποτυπώνουν πλούσιες σημασιολογικές πληροφορίες. Καθοριστικό χαρακτηριστικό της μεθόδου είναι ότι λειτουργεί χωρίς να βασίζεται σε ρητή αναγνώριση αντικειμένων, γνώρισμα που την καθιστά την ανθεκτική σε διακυμάνσεις εμφάνισης και εφαρμόσιμη σε σενάρια όπου η αναγνώριση αντικειμένων είναι αναξιόπιστη. Μέσω εκτεταμένων πειραμάτων σε τέσσερα σύνολα δεδομένων αναφοράς, αποδεικνύουμε την αποτελεσματικότητα της μεθόδου μας στην αναγνώριση οπτικώς άγνωστων κατηγοριών καταστάσεων, επιτυγχάνοντας σημαντικές βελτιώσεις σε σύγκριση με βασικές προσεγγίσεις και σύγχρονες τεχνικές μάθησης χωρίς δείγματα. Επιπλέον, διερευνούμε την χρήση Μεγάλων Γλωσσικών Μοντέλων (ΜΓΜ) για την ενίσχυση της κατασκευής και αξιοποίησης ΓΓ για την ΤΚΑ. Συγκεκριμένα, εξερευνούμε την ικανότητά των ΜΓΜ να παράγουν σημασιολογικώς πλούσια σώματα δεδομένων τα οποία μπορούν να χρησιμοποιηθούν για την εκπαίδευση μοντέλων υπολογιστικής όρασης και για την κατασκευή πιο ενημερωμένων αναπαραστάσεων γνώσης. Επιπρόσθετα, εξερευνούμε την εκμάθηση μεταμονοπατιών για την αποτύπωση σύνθετων σημασιολογικών σχέσεων σε ΓΓ, βελτιώνοντας τόσο την απόδοση όσο και την ερμηνευσιμότητα της προτεινόμενης μεθόδου. Συμπερασματικά, η παρούσα διατριβή συνεισφέρει στην μελέτη του προβλήματος της ΤΚΑ μέσω της ανάπτυξης καινοτόμων μεθοδολογιών που συνδυάζουν ΓΓ, ΓΝΔ και ΜΓΜ, της δημιουργίας νέων συνόλων δεδομένων και της ανάδειξης νέων ερευνητικών αντικειμένων. Τα ευρήματά μας αναδεικνύουν τις δυνατότητες της ενσωμάτωσης συμβολικής και δεδομενοκεντρικής τεχνητής νοημοσύνης για την επίτευξη της ανάπτυξης πιο εύρωστων, ερμηνεύσιμων και ακριβών μεθόδων ΤΚΑ, θέτοντας τα θεμέλια για μελλοντική έρευνα σε αυτόν τον τομέα.