Μηχανές διανυσμάτων υποστήριξης για θορυβώδεις και ασαφείς ετικέτες

Abstract

This dissertation studies the problem of pattern recognition with noisy labels or fuzzy training instances. Label noise refers to wrong label assignments whereas fuzziness refers to instances with different membership values for their class. Such problems can be solved effectively by modelling the noise or the fuzziness of each training instance and using instance-weighted learning algorithms. We identify two major challenges: (a) how to model instance label noise or fuzziness; and (b) how to produce optimal instance weights using these models. To overcome these challenges, this work proposes strategies based on variants of the Support Vector Machine (SVM) algorithm that feature instance weights. The main theoretical contribution of this work is a set of new hyper-parameter selection methods for noisy and fuzzy training data. First, we extend the span error bound theory of Vapnik and Chapelle to the fuzzy SVM algorithm and we prove an unbiased estimator and an upper bound of the test error. Also, we define estimators of the test error in problems where the probability of correct label assignments can be estimated and we prove their unbiasedness. The work proposes and evaluates strategies for training image classifiers using label-noisy clickthrough data. The strategies include automatic training set construction, label noise modelling and instance weights generation for weighted SVM variants. Also, the new hyper-parameter selection methods are used to perform instance weights selection for fuzzy SVM classifiers. Furthermore, the work proposes and evaluates strategies for robust online classifier training using streaming clickthrough data. The online classifiers are designed to be theoretical equivalent to the batch-trained ones that use explicit instance weights. Finally, the work proposes a strategy for training data-driven models for human behaviour interpretation in domains with little or none medical guidelines. Based on this, the work describes methods for identifying individuals at risk from measurements of eating behaviour during meals. Domain experts assign membership values and the optimal weights are selected using the new methods. The experimental evaluation in the above applications demonstrates that modelling noise and fuzziness in combination with instance weights produced using the new hyper-parameter selection methods leads to better generalisation performance and robustness than non-weighted solutions.

Η διατριβή ασχολείται με το πρόβλημα της αναγνώρισης προτύπων για δεδομένα εκπαίδευσης με θόρυβο ετικετών ή ασάφεια παραδειγμάτων. Ο θόρυβος ετικετών αναφέρεται σε λανθασμένες αναθέσεις στις τιμές των ετικετών ενώ η ασάφεια αναφέρεται στο διαφορετικό βαθμό συμμετοχής των παραδειγμάτων στην κλάση τους. Η επίλυση αυτών των προβλημάτων μπορεί να γίνει με μοντελοποίηση του θορύβου ή της ασάφειας κάθε παραδείγματος και τη χρήση κατάλληλων βαρών παραδειγμάτων σε σταθμισμένους αλγορίθμους μάθησης. Η εργασία εντοπίζει δύο βασικές προκλήσεις: (α) πώς μπορεί να μοντελοποιηθεί ο θόρυβος και η ασάφεια των παραδειγμάτων· και (β) πώς μπορούν να αξιοποιηθούν οι μοντελοποιήσεις για την παραγωγή βέλτιστων βαρών παραδειγμάτων. Για την αντιμετώπιση των παραπάνω προκλήσεων, η διατριβή προτείνει στρατηγικές βασισμένες σε σταθμισμένες εκδοχές του αλγορίθμου Μηχανών Διανυσμάτων Υποστήριξης (Support Vector Machines, SVM). Σε θεωρητικό επίπεδο, η κύρια συνεισφορά της εργασίας εντοπίζεται σε μεθόδους επιλογής υπερ-παραμέτρων για θορυβώδη και ασαφή δεδομένα. Αρχικά, επεκτείνεται η θεωρία εκτίμησης της πιθανότητας σφάλματος με βάση το span των Vapnik και Chapelle στον αλγόριθμο fuzzy SVM και αποδεικνύονται η αμεροληψία της εκτιμήτριας της πιθανότητας σφάλματος και το άνω φράγμα της πιθανότητας σφάλματος με βάση το span. Επίσης, ορίζονται εκτιμήτριες της πιθανότητας σφάλματος για προβλήματα όπου υπάρχουν μοντελοποιήσεις της πιθανότητας σωστής ανάθεσης των ετικετών και αποδεικνύεται η αμεροληψία τους. Σε εφαρμοσμένο επίπεδο, η εργασία προτείνει και αξιολογεί στρατηγικές εκπαίδευσης ταξινομητών εικόνων από θορυβώδη δεδομένα clickthrough που περιλαμβάνουν την αυτόματη δημιουργία συνόλων εκπαίδευσης, τη μοντελοποίηση του θορύβου και την παραγωγή βαρών για σταθμισμένους αλγορίθμους SVM. Επίσης, αξιοποιούνται οι νέες μέθοδοι επιλογής υπερ-παραμέτρων για τη βέλτιστη επιλογή των βαρών σε ταξινομητές fuzzy SVM. Επιπλέον, η εργασία προτείνει και αξιολογεί στρατηγικές συνεχούς εκπαίδευσης αποδοτικών ταξινομητών εικόνων SVM από ροές δεδομένων clickthrough. Οι στρατηγικές αυτές κατασκευάζονται ώστε να είναι θεωρητικά ισοδύναμες με αυτές των σταθμισμένων ταξινομητών συνόλου. Τέλος, η εργασία προτείνει μία στρατηγική εκπαίδευσης μοντέλων ερμηνείας της ανθρώπινης συμπεριφοράς από μετρήσεις. Αυτή εξειδικεύεται σε μεθόδους πρόβλεψης διατροφικών κινδύνων από μετρήσεις της συμπεριφοράς κατά το γεύμα. Τα παραδείγματα λαμβάνουν βαθμούς συμμετοχής στις κλάσεις από ειδικούς εμπειρογνώμονες και η επιλογή των βαρών γίνεται με χρήση των νέων μεθόδων. Η πειραματική ανάλυση στις παραπάνω εφαρμογές δείχνει ότι η μοντελοποίηση του θορύβου και της ασάφειας σε συνδυασμό με την παραγωγή βαρών παραδειγμάτων με τις νέες μεθόδους επιλογής υπερ-παραμέτρων μπορεί να βελτιώσει σημαντικά την απόδοση και την ευρωστία σε σχέση με τις μη-σταθμισμένες λύσεις.