Μπεϋζιανές μέθοδοι για προβλήματα μηχανικής μάθησης και επεξεργασίας εικόνας

Abstract

In this thesis, we study the sparse Bayesian linear model for regression and classification tasks and for solving image processing problems. We start with an overview of the Bayesian inference methodology and its application to linear regression. We then develop a computationally efficient training algorithm for sparse Bayesian regression of images. The proposed training algorithm uses operations in the Fourier domain and the conjugate gradients method, in order to allow regression of large images at reasonable computational cost. We then apply this algorithm to detect objects in images, using a variant of the relevance vector machine (RVM), which uses many types of kernels simultaneously and we call the multikernel RVM. Next, we use the sparse Bayesian linear model to estimate the point spread function (PSF) in the blind image deconvolution (BID) problem. We propose a Bayesian model that estimates the support of the blurring PSF, allows reconstruction of image edges and achieves noise robustness. Bayesian inference on this model is performed using the variational approximation. Furthermore, we focus on the problem of selecting appropriate basis functions for the sparse Bayesian linear model, which is crucial in order to achieve good generalization performance. Typically, this problem is tackled using cross-validation technique, but this technique is computationally expensive and it can be used to select the best out of a small number of candidate basis function sets. Instead, we propose an adaptive kernel learning algorithm, which is similar to the RVM but also learns the parameters of the kernels during model training. More specifically, the proposed method estimates different parameter values for each kernel, resulting in a very flexible model. In order to avoid overfitting, a sparsity enforcing prior is imposed that controls the effective number of parameters of the model. The proposed methodology is evaluated on benchmark regression and classification datasets and applied for analysis of functional magnetic resonance images (fMRI). We also propose a modification of this method that performs local feature selection by estimating the parameters of appropriate kernel functions. In order to incorporate local feature selection, anisotropic Gaussian kernels are considered, which use a separate scaling factor (width) for each feature. Feature selection is local, in the sense that different features are assumed to be significant at different regions of the input space. This is achieved because we learn different values for the scaling factors of each kernel. In order to eliminate irrelevant features, we assume a sparsity enforcing prior on the scaling factors of the kernels. The proposed adaptive kernel learning algorithms (with or without local feature selection) are employed to the problem of classifying DNA microarray datasets.

Η διατριβή εστιάζεται στο αραιό Μπεϋζιανό γραμμικό μοντέλο (sparse Bayesian linear model) για προβλήματα παλινδρόμησης (regression) και ταξινόμησης (classification) και σε εφαρμογές του σε προβλήματα επεξεργασίας εικόνας. Αρχικά, παρουσιάζεται συνοπτικά η μεθοδολογία για Μπεϋζιανή συμπερασματολογία. Στη συνέχεια, προτείνεται ένας υπολογιστικά αποδοτικός αλγόριθμος για το πρόβλημα της αραιής Μπεϋζιανής παλινδρόμησης εικόνων. Ο προτεινόμενος αλγόριθμος χρησιμοποιεί λειτουργίες στο πεδίο του διακριτού μετασχηματισμού Fourier και τη μέθοδο βελτιστοποίησης συζυγών κατευθύνσεων (conjugate gradient) για να επιτύχει παλινδρόμηση εικόνων με εφικτό υπολογιστικό κόστος. Έπειτα, ο αλγόριθμος αυτός χρησιμοποιείται για την επίλυση του προβλήματος ανίχνευσης αντικειμένων σε εικόνες, προτείνοντας μια παραλλαγή του μοντέλου Relevance Vector Machine (RVM) που το ονομάζουμε multikernel RVM. Το αραιό Μπεϋζιανό γραμμικό μοντέλο χρησιμοποιείται στη συνέχεια για να εκτιμήσουμε την συνάρτηση διασποράς σημείου της θόλωσης (blurring PSF) στο πρόβλημα της τυφλής αποσυνέλιξης εικόνων (blind image deconvolution). Προτείνεται ένα στατιστικό μοντέλο, βασικά πλεονεκτήματα του οποίου είναι η εκτίμηση του μεγέθους της συνάρτησης διασποράς σημείου που περιγράφει την θόλωση, η ανακατασκευή των ακμών της εικόνας και η ανθεκτικότητα στο θόρυβο. Η Μπεϋζιανή συμπερασματολογία υλοποιείται με την χρήση της variational προσέγγισης. Κατόπιν, η διατριβή εστιάζεται στο πρόβλημα επιλογής κατάλληλων συναρτήσεων βάσης για το αραιό Μπεϋζιανό γραμμικό μοντέλο, το οποίο είναι σημαντικό ζήτημα προκειμένου να κατασκευάσουμε συστήματα με καλή γενικευτική ικανότητα. Τυπικά, η επιλογή κατάλληλων συναρτήσεων βάσης πραγματοποιείται με την χρήση της τεχνικής cross-validation, όμως η τεχνική αυτή έχει υψηλές υπολογιστικές απαιτήσεις και έτσι μπορεί να εφαρμοστεί για την επιλογή του καλύτερου συνόλου συναρτήσεων βάσης, μόνο εάν ο αριθμός των υποψήφιων συνόλων είναι μικρός. Προτείνεται ένας προσαρμοστικός αλγόριθμος μάθησης των συναρτήσεων βάσης, ο οποίος είναι ανάλογος με το μοντέλο RVM, αλλά εκτιμά τις παραμέτρους των συναρτήσεων βάσης ταυτόχρονα με την εκπαίδευση του μοντέλου. Πιο συγκεκριμένα, η προτεινόμενη μέθοδος εκτιμά διαφορετικές τιμές για τις παραμέτρους κάθε συνάρτησης βάσης και έτσι προκύπτει ένα πολύ ευέλικτο μοντέλο. Για να αποφευχθεί η υπερεκπαίδευση, επιβάλλεται μια εκ των προτέρων κατανομή που οδηγεί σε αραιές λύσεις, ρυθμίζοντας αυτόματα τον ουσιαστικό αριθμό παραμέτρων του μοντέλου. Η προτεινόμενη μεθοδολογία εφαρμόζεται σε διάφορα προβλήματα παλινδρόμησης και ταξινόμησης και χρησιμοποιείται για την ανάλυση εικόνων λειτουργικού μαγνητικού συντονισμού (fMRI). Επίσης, προτείνεται μια τροποποίηση της προηγούμενης μεθόδου, που χρησιμοποιεί ανισοτροπικές Γκαουσσιανές συναρτήσεις βάσης, με ξεχωριστή παράμετρο κλίμακας (πλάτος) για κάθε χαρακτηριστικό, ώστε να επιτύχει τοπική επιλογή χαρακτηριστικών. Η επιλογή χαρακτηριστικών είναι τοπική, με την έννοια ότι υποθέτουμε ότι διαφορετικά χαρακτηριστικά είναι σημαντικά σε διαφορετικές περιοχές του χώρου παραδειγμάτων. Για να απαλείψουμε τα χαρακτηριστικά που δεν είναι χρήσιμα, υποθέτουμε μια κατάλληλη εκ των προτέρων κατανομή για τις παραμέτρους κλίμακας. Οι παραπάνω μεθοδολογίες μάθησης των παραμέτρων των συναρτήσεων βάσης (με ή χωρίς ταυτόχρονη τοπική επιλογή χαρακτηριστικών) χρησιμοποιούνται για την ταξινόμηση δεδομένων από μικροσυστοιχίες (microarrays) DNA.