Τεχνικές μηχανικής μάθησης για διαχείριση γνώσης σε συστήματα ανάκτησης εικόνων

Abstract

The rapid increase in the number of available digital images during recent years has established the problem of image retrieval as one of the most interesting and popular problems in the field of computer applications. The current thesis addresses the problem of image retrieval by employing machine learning techniques. In particular, we mainly consider content-based image retrieval, the most prominent characteristic of which is the existence of the semantic gap between the digital content of the images and the semantic criteria of the users. In this framework, we focus on the technique of relevance feedback. Our goal is the design and implementation of new methodologies, aiming at the incorporation of the information which comes from the evaluation provided by the user on the current results, in order to sequentially improve them. In what concerns image representation, we were based mainly on Gaussian Mixtures, for the description of the distribution of the locally extracted feature vectors. The most important issue regarding Gaussian Mixtures in this context is the use of a distance measure that can be computed efficiently. For this reason, we proceeded to a thorough examination on popular and recently proposed distance measures between Gaussian Mixtures. Afterwards, two new relevance feedback methods were implemented, which use Gaussian Mixtures for the representation of the images and distance measures that can be computed in a fast way. The first method is based on a probabilistic technique to update the model of the user’s query according to the user’s examples. On the contrary, the second method is based on classifiers to distinguish between the images that are relevant to the user’s query and those that are irrelevant. Finally, in what concerns the case of representing each image using a multi-dimensional vector, the possibility of employing feature selection methods was investigated. The aim of this approach is the increase of the classifier ability to distinguish between the relevant and irrelevant images. At every stage of the research and for each proposed method, the results of appropriately designed and performed experiments and comparisons are provided. From these experiments, the large possibilities of improvement of the image retrieval results by using relevance feedback are demonstrated. Furthermore, the success of the proposed methods and the advantages of using Gaussian Mixtures for image modeling are proved.

Η κατακόρυφη αύξηση του όγκου των διαθέσιμων ψηφιακών εικόνων τα τελευταία χρόνια έχει καθιερώσει το πρόβλημα της ανάκτησης εικόνων ως ένα από τα πιο ενδιαφέροντα και δημοφιλή στο χώρο των υπολογιστικών εφαρμογών. Η παρούσα διατριβή πραγματεύεται το πρόβλημα αυτό από τη σκοπιά της χρήσης τεχνικών μηχανικής μάθησης. Συγκεκριμένα, μας απασχολεί κυρίως η ανάκτηση εικόνων με βάση το περιεχόμενο, που χαρακτηρίζεται από την ύπαρξη του σημασιολογικού κενού μεταξύ των ψηφιακών δεδομένων των εικόνων και των σημασιολογικών κριτηρίων των χρηστών. Σε αυτό το πλαίσιο, εστιάζουμε στην τεχνική της συσχετιστικής ανατροφοδότησης. O στόχος μας είναι ο σχεδιασμός και η υλοποίηση πρωτότυπων μεθοδολογιών για την ενσωμάτωση της πληροφορίας που προέρχεται από την αξιολόγηση του χρήστη πάνω στα τρέχοντα αποτελέσματα, με σκοπό τη διαδοχική βελτίωση των τελευταίων. Όσο αφορά την αναπαράσταση των εικόνων βασιστήκαμε σε μεγάλο βαθμό στα Γκαουσιανά Μείγματα, για την περιγραφή της κατανομής των τοπικά υπολογιζόμενων διανυσμάτων χαρακτηριστικών. Το κύριο θέμα που σχετίζεται με τα Γκαουσιανά Μείγματα σε αυτό το πλαίσιο αφορά τη χρήση ενός αποδοτικά υπολογιζόμενου μέτρου απόστασης. Για το λόγο αυτό προχωρήσαμε σε μια εκτενή μελέτη γύρω από δημοφιλή και νέα μέτρα απόστασης μεταξύ Γκαουσιανών Μειγμάτων. Μετέπειτα, δύο νέες μέθοδοι συσχετιστικής ανατροφοδότησης αναπτύχθηκαν, οι οποίες χρησιμοποιούν Γκαουσιανά Μείγματα για την αναπαράσταση των εικόνων και ανάλογα μέτρα απόστασης που μπορούν να υπολογιστούν γρήγορα. Η πρώτη μέθοδος στηρίζεται σε μια πιθανοτική τεχνική ανανέωσης του μοντέλου της ερώτησης με βάση τα παραδείγματα του χρήστη. Αντίθετα, η δεύτερη μέθοδος που αναπτύχθηκε βασίζεται στη χρήση ταξινομητών, για το διαχωρισμό των σχετικών με την ερώτηση του χρήστη εικόνων από τις μη σχετικές. Τέλος, όσο αφορά την περίπτωση της αναπαράστασης των εικόνων μέσω πολυδιάστατων διανυσμάτων χαρακτηριστικών, μελετήθηκε η δυνατότητα χρήσης μεθόδων επιλογής χαρακτηριστικών, με σκοπό τη βελτίωση της ικανότητας του ταξινομητή να διακρίνει μεταξύ των σχετικών και των μη σχετικών εικόνων. Σε κάθε κύριο στάδιο της έρευνας, και για κάθε προτεινόμενη μέθοδο παρατίθενται κατάλληλα σχεδιασμένα πειράματα και συγκρίσεις. Από τα πειράματα αυτά αναδεικνύονται οι μεγάλες δυνατότητες βελτίωσης των αποτελεσμάτων της ανάκτησης εικόνων μέσω της χρήσης συσχετιστικής ανατροφοδότησης, και αποδεικνύεται η επιτυχία των προτεινόμενων μεθόδων και τα πλεονεκτήματα των Γκαουσιανών Μειγμάτων ως μοντέλα για τις εικόνες.