Effective and efficient entity resolution: from syntactic similarity to large language models

Abstract

Entity Resolution (ER) is the task of identifying and linking records that refer to the same real-world entity across different data sources. In many applications, entities include textual attributes or are entirely serialized into a single text field and utilize various Natural Language Processing (NLP) techniques—such as similarity functions or Language Models—to detect possible matches. The recent progress in NLP, and particularly the introduction of Large Language Models (LLMs), has significantly advanced the capabilities of ER systems, shifting the focus from surface-level syntactic similarity to deeper semantic reasoning and generalization across domains. This thesis addresses key challenges in Entity Resolution (ER) by leveraging modern NLP techniques, presenting four main contributions. First, TokenJoin introduces a novel method for set similarity joins using maximum weighted bipartite matching, suggesting lightweight and effective token-based filtering. Second, we conduct an in-depth experimental analysis of Small Pre-trained Language Models (SLMs) across multiple ER tasks, such as Blocking and Matching, comparing their effectiveness and efficiency, and examining aspects like generalization and model complementarity. Third, AvengER leverages Large Language Models (LLMs) on multi-candidate prompts in unsupervised settings via ensemble voting and in supervised settings via fine-tuning. Finally, DistillER presents a method for knowledge distillation with LLMs, transferring knowledge from large teacher models to smaller and efficient student models for scalable and cost-effective ER. All methods are evaluated on real-world datasets and established ER benchmarks to ensure comparability with state-of-the-art approaches and strong baselines. To promote transparency and reproducibility, all code, datasets, and experimental results are made publicly available.

Η Αντιστοίχιση Οντοτήτων (ER) ορίζεται ως το πρόβλημα της ανίχνευσης εγγραφών από διαφορετικές πηγές που αναφέρονται στην ίδια οντότητα στον πραγματικό κόσμο. Σε πολλές εφαρμογές, οι οντότητες αποτελούνται από πεδία που περιέχουν κείμενο ή χαρακτηρίζονται από μία ενιαία περιγραφή που περιέχει όλα τα επιμέρους πεδία. Έπειτα, αξιοποιούν τεχνικές Επεξεργασίας Φυσικής Γλώσσας (NLP), όπως συναρτήσεις ομοιότητας ή Γλωσσικά Μοντέλα, για να εντοπίσουν πιθανές αντιστοιχίες. Η εξέλιξη του κλάδου στο NLP και, συγκεκριμένα, η εμφάνιση των Μεγάλων Γλωσσικών Μοντέλων (LLMs) έχουν συνεισφέρει σημαντικά στην ανάπτυξη του ER, μετατοπίζοντας το ενδιαφέρον από τις συντακτικές ομοιότητες σε βαθύτερες σημασιολογικές συσχετίσεις και στη γενίκευση των μεθόδων σε δεδομένα διαφορετικού αντικειμένου. Στη διατριβή αυτή μελετάμε σύγχρονες προκλήσεις του ER αξιοποιώντας μοντέρνες μεθόδους του NLP μέσα από τέσσερις συνεισφορές. Αρχικά, στο TokenJoin εισάγουμε μία νέα μέθοδο για αντιστοίχιση συνόλων βάσει ομοιότητας (set similarity join) με τη χρήση διμερών γράφων, προτείνοντας ελαφριά και αποτελεσματικά φίλτρα που βασίζονται σε tokens. Έπειτα, πραγματοποιούμε μια εκτενή πειραματική μελέτη Μικρών Προεκπαιδευμένων Γλωσσικών Μοντέλων (SLMs) σε διάφορα στάδια του ER, όπως το Blocking και το Matching, συγκρίνοντάς τα ως προς την αποτελεσματικότητα και την αποδοτικότητα, αλλά και εξετάζοντας διαστάσεις όπως η γενίκευση και η συμπληρωματικότητα των μοντέλων. Τρίτον, στο AvengER αξιοποιούμε Μεγάλα Γλωσσικά Μοντέλα (LLMs) για ερωτήματα με πολλαπλούς υποψηφίους, τόσο σε μη επιβλεπόμενα σενάρια μέσω συνδυαστικού συμψηφισμού (ensemble voting) όσο και σε επιβλεπόμενα μέσω μετεκπαίδευσης (fine-tuning). Τέλος, μέσω του DistillER παρουσιάζουμε μια μέθοδο Μεταφοράς Γνώσης με LLMs, όπου μεγάλα μοντέλα λειτουργούν ως Δάσκαλοι για την εκπαίδευση μικρότερων και πιο αποδοτικών μοντέλων. Όλες οι μέθοδοί μας αξιολογήθηκαν σε πραγματικά δεδομένα και καθιερωμένα σύνολα αξιολόγησης (benchmarks), ώστε να διασφαλίζεται η συγκρισιμότητα με τις σύγχρονες μεθόδους. Για τη διαφάνεια και τη δυνατότητα αναπαραγωγής, ολόκληρος ο κώδικας, τα σύνολα δεδομένων και τα πειραματικά αποτελέσματα είναι δημόσια διαθέσιμα.