Learning ontologies from text collections and evaluating them against gold standards

Abstract

The work herein reports on research conducted in the domain of Ontology Learning from text collections, without background or prior knowledge. The research focuses on the automated construction of a subsumption hierarchy from text corpora, using machine learning methods. Within this work, we define methods to identify concepts in large document collections and arrange them in a subsumption hierarchy. We focus on Bayesian methods and we focus on the non-parametric nature of these methods, in the sense of automatically determining the size and structure of the learned hierarchy. An evaluation method is also proposed that supports the automated evaluation of ontology learning by means of comparing learned ontologies with gold standard ones. We evaluate the task of ontology learning, using the proposed gold standard evaluation method that goes beyond lexical similarity between ontology elements. Finally, we define a set of evaluation measures that penalize the learned ontology according to its lexical and structural differences from the gold standard ontology. For each learning method, as well as for the evaluation method, we present experimental results on real datasets that indicate the potential of the proposed methods.

Στα πλαίσια της παρούσης αναφοράς περιγράφεται η έρευνα που διεξήχθει στον τομέα της Μηχανικής Μάθησης Οντολογιών από συλλογές κειμένων χωρίς τη βοήθεια προγενέστερης γνώσης ή άλλων εξωτερικών πηγών γνώσης. Η έρευνα εστιάζει στην αυτόματη κατασκευή ιεραρχιών υπαγωγής μεταξύ εννοιών από κείμενα με χρήση μεθόδων μηχανικής μάθησης. Σε αυτή τη διατριβή προτείνονται μέθοδοι για την αναγνώριση εννοιών σε μεγάλες συλλογές κειμένων και την αυτόματη τοποθέτησή τους σε ιεραρχικές δομές. Σχετικά με τις προτεινόμενες μεθόδους, εστιάζουμε στην αυτόματη σύγκλιση γύρω από το κατάλληλο μέγεθος της ιεραρχίας, χωρίς τη βοήθεια του χρήστη μέσω παραμέτρων. Αξιολογούμε τις μεθόδους μάθησης οντολογιών μέσω της μεθόδου που προτείνεται, η οποία αξιολογεί τις παραγόμενες οντολογίες χωρίς να περιορίζεται στις ομοιότητές τους με την πρότυπη οντολογία στο λεξικολογικό επίπεδο. Τέλος, προτείνεται ένα σύνολο από μέτρα αξιολόγισης, που μέσω της προτεινόμενης μεθόδου αξιολόγισης, αποτιμούν την οντολογία συνολικά, εξετάζοντας το λεξικολογικό και το σχεσιακό επίπεδο της οντολογίας. Για κάθε προτεινόμενη μέθοδο, είτε είναι μέθοδος μάθησης, είτε αξιολόγισης, παραθέτουμε εκτενή πειραματικά αποτελέσματα και συμπεράσματα για τις δυνατότητές της.