Sparse representations and coupled dictionary learning for the enhancement of computational imaging systems

Abstract

The rapid evolution of display technologies and imaging sensors has raised an enormous interest in the imaging and multimedia communities, and thus the demand for providing high-quality images has grown tremendously. Computational photography and image processing aim to improve the interpretability and perception of imaging content in order to facilitate subsequent tasks, such as automated analysis, detection, segmentation and recognition, among others. Despite the significant increase in the spatial resolution and the introduction of 3D content, spectral resolution, dynamic range enhancement, image denoising and deconvolution remain attractive research problems, as there is still room for improvement. The key contribution of this thesis is the design of novel post-acquisition, machine learning formulations that tackle the main limitations of imaging sensors, with special emphasis on satellite imaging technologies and multi-and hyperspectral imaging systems. In this dissertation, we propose novel and robust mathematical Coupled Dictionary Learning formulations, based on the intelligent scheme of the Alternating Direction Method of Multipliers (ADMM). We aim to learn dictionaries for sparse modeling in joint feature spaces while enforcing the desired relationships among the different signal representations. The proposed algorithmic formulations are able to overcome the main limitations of traditional Coupled Dictionary Learning schemes. Thus we are addressing a twofold problem. First, we extend the existing methodology of Sparse Representations and Coupled Dictionary Learning which is very important from an engineering point of view. On the other hand, we are assisting the research community which has started to appreciate the necessity of coupled feature spaces in several signal and image processing tasks, from image super-resolution, deconvolution and dynamic range synthesis of modern sensors, to hyperspectral and satellite image enhancement to further investigate this research area with novel algorithmic formulations. The structure of this dissertation goes as follows. Primarily, we address the problem of dynamic range enhancement of standard 8bit imagery. High Dynamic Range (HDR) imaging technology is acknowledged as the next success story in consumer imaging, with a vastly increasing image and video acquisition, content reproduction, and graphics applications supporting HDR features. We produce HDR content from a single image using an innovative Machine Learning (ML) approach that first generates a sequence of bracketed exposures via a Joint Dictionary Learning formulation, encoding the transformations between differently exposed images, and then combines them ideally into a well-illuminated low dynamic range (LDR) image or merges them directly into a HDR image. Additionally, we learn appropriate features by employing a stacked sparse autoencoder (SSAE) based framework. Second, we confront one of the major limitations of multi- and hyperspectral imagery: the spectral resolution enhancement. The majority of literature approaches mostly focuses on the enhancement of spatial resolution, and thus only a handful of techniques tackle the problems of spectral and spatio-spectral resolution enhancement of satellite sensors. In this dissertation, we develop a coupled dictionary learning model which considers joint feature spaces, composed of low and high spectral resolution hyper-cubes, in order to achieve spectral super-resolution performance. We formulate our spectral coupled dictionary learning optimization problem within the context of the Alternating Direction Method of Multipliers, and we manage to update the involved quantities via closed-form expressions.Moreover, we investigate the core problem of spectroscopic data denoising on simulated Euclid-like noisy templates, and we exploit the proposed ADMM Coupled Dictionary Learning methodology in order to learn coupled feature spaces, composed of high- and low-quality spectral profiles. The reconstructed spectral profiles are able to improve the accuracy, reliability and robustness of automated redshift estimation methods. Additionally, another significant contribution of this dissertation includes the deconvolution of astronomical imagery. Specifically, we design a novel and robust post-acquisition formulation that recovers the high-quality versions of blurry astronomical observations, along with information details regarding the blur kernel, i.e. point spread function (PSF). In order to accomplish this goal, we exploit the mathematical frameworks of Sparse Representations, and the Alternating Direction Method of Multipliers. Likewise, we apply our proposed ADMM Coupled Dictionary Learning scheme on a highly challenging problem of the remote sensing community. Specifically, we consider the retrieval of the active measurements of the Soil Moisture Active Passive (SMAP) satellite. The upper goal of this study is the direct soil moisture estimation from SMAP's satellite measurements. In the third part of this dissertation, we consider a novel hyperspectral image understanding technique. Specifically, we propose a novel machine learning technique that addresses the hyperspectral image classification problem by employing the state-of-the-art scheme of Convolutional Neural Networks (CNNs). The formal approach introduced in this work exploits the fact that the spatio-spectral information of an input scene can be encoded via CNNs and combined with multi-class classifiers. The proposed deep feature learning scheme is focused on the classification of snapshot mosaic hyperspectral imagery, while a new hyperspectral classification dataset of indoor scenes is constructed.Last but not least, we have conducted a complete investigation of the experimental setups with multiple real-world's and synthetic datasets and compare it with the best state-of-the- art algorithms.

Η ραγδαία εξέλιξη των οπτικών τεχνολογιών και των αισθητήρων οράσεως δημιούργησε τεράστιο ενδιαφέρον στις κοινότητες της επεξεργασίας εικόνας και των πολυμέσων. Κατά συνέπεια, η αναγκαιότητα για την παραγωγή εικόνων υψηλής ποιότητας μεγάλωσε δραματικά. Ωστόσο, παρά την μεγάλη αύξηση της χωρικής ανάλυσης και της εισαγωγής τρισδιάστατου εικονικού περιεχομένου, η φασματική συνιστώσα, το δυναμικό εύρος, η απαλοιφή του θορύβου και του θολώματος, αποτελούν μέχρι και σήμερα ερευνητικά προβλήματα μείζουσας σημασίας. Η κύρια συνεισφορά της παρούσας διδακτορικής διατριβής είναι ο σχεδιασμός καινοτόμων μεθόδων μηχανικής μάθησης, οι οποίες λύνουν βασικούς περιορισμούς των σύγχρονων εικονικών συστημάτων, με ιδιαίτερη έμφαση σε δορυφορικές και πολυφασματικές τεχνολογίες. Στη συγκεκριμένη διδακτορική διατριβή προτείνουμε καινοτόμες μαθηματικές μεθόδους βασιζόμενες στα ευρέως διαδεδομένα πλαίσια των Αραιών Αναπαραστάσεων και της από-κοινού Εκμάθησης Λεξικών. Συγκεκριμένα, αναπτύσσουμε μία πρωτότυπη μαθηματική μέθοδο για από-κοινού εκμάθηση λεξικών η οποία βασίζεται στην τεχνική της εναλλακτικής κατεύθυνσης των πολλαπλασιαστών Λαγκράνζ. Η προτεινόμενη αλγοριθμική μέθοδος λύνει τους περιορισμούς που προκύπτουν από τις κλασσικές τεχνικές από-κοινού εκμάθησης λεξικών. Επομένως, αφενός επεκτείνουμε την ήδη υπάρχουσα μεθοδολογία των Αραιών Αναπαραστάσεων και της από-κοινού εκμάθησης λεξικών, το οποίο έχει μεγάλη θεωρητική σπουδαιότητα, αφετέρου συνεισφέρουμε σε σημαντικά προβλήματα της επεξεργασίας σήματος και εικόνας όπως η υπέρ-ανάλυση, η από-συνέλιξη και η ενίσχυση του δυναμικού εύρους εικόνων, καταλήγοντας στην βελτίωση δορυφορικών και πολυφασματικών εικόνων. Η δομή της παρούσας διατριβής είναι η ακόλουθη. Αρχικά, αντιμετωπίζουμε τo πρόβλημα της ενίσχυσης του δυναμικού εύρους εικόνων που έχουν ληφθεί από εμπορικές φωτογραφικές μηχανές. Το εικονικό περιεχόμενο υψηλού δυναμικού εύρους, έχει χαρακτηριστεί ως το πλέον καινοτόμο επίτευγμα της εμπορικής φωτογραφίας, με όλο και περισσότερες εφαρμογές επεξεργασίας εικόνας και καταγραφής βίντεο να υποστηρίζουν τα συγκεκριμένα χαρακτηριστικά. Στη συγκεκριμένη μελέτη παράγουμε εικόνες υψηλού δυναμικού εύρους από ένα μοναδικό στιγμιότυπο, χρησιμοποιώντας μια καινοτόμο μέθοδο μηχανικής μάθησης, η οποία αρχικά συνθέτει την ακολουθία εικόνων υπό διαφορετικές συνθήκες φωτεινότητας και έπειτα συνδυάζει τη παραγόμενη ακολουθία σε μια εικόνα χαμηλού δυναμικού εύρους και ιδανικής φωτεινότητας, ή αντίστοιχα απευθείας σε μια εικόνα υψηλού δυναμικού εύρους. Επιπλέον, μαθαίνουμε κατάλληλα εικονικά χαρακτηριστικά, χρησιμοποιώντας μια αρχιτεκτονική νευρωνικών δικτύων, η οποία βασίζεται στους συσσωρευμένους αραιούς αυτόματους κωδικοποιητές.Επιπρόσθετα, στη παρούσα διδακτορική διατριβή αντιμετωπίζουμε έναν κύριο περιορισμό των πολυφασματικών συστημάτων εικόνας: την ενίσχυση της φασματικής συνιστώσας. Η πλειονότητα των μελετών που έχει αναφερθεί στη σχετική βιβλιογραφία κυρίως επικεντρώνεται στο πρόβλημα ενίσχυσης της χωρικής πληροφορίας. Ωστόσο, ελάχιστες μελέτες αναφέρονται στο πρόβλημα της ενίσχυσης της φασματικής συνιστώσας δορυφορικών δεδομένων. Στη παρούσα μελέτη, αναπτύσσουμε μια μέθοδο από-κοινού εκμάθησης λεξικών η οποία βασίζεται στους πολλαπλασιαστές Λαγκράνζ εναλλακτικής κατεύθυνσης και αναφέρεται σε δύο χώρους: ο πρώτος αντικατοπτρίζει τους τρισδιάστατους κύβους χαμηλής φασματικής ανάλυσης ενώ ο δεύτερος αναπαριστά τους αντίστοιχους κύβους υψηλής φασματικής ανάλυσης. Συμβάλουμε επίσης στην αφαίρεση του θορύβου από φασματοσκοπικά δεδομένα τα οποία θα ληφθούν από το δορυφόρο Ευκλείδη (Euclid), αποστολή της Εθνικής Υπηρεσίας Αεροναυπηγικής και Διαστήματος (NASA) των ΗΠΑ για την παρατήρηση του διαστήματος. Στη συγκεκριμένη εφαρμογή, χρησιμοποιούμε την προτεινόμενη τεχνική από κοινού-εκμάθησης λεξικών με σκοπό να εκπαιδεύσουμε δύο χώρους οι οποίοι αποτελούνται από θορυβώδη και τα αντίστοιχα φασματικά προφίλ υψηλής ποιότητας. Επιπλέον, ακόμη μια σημαντική συνεισφορά της διατριβής αφορά στην αποσυνέλιξη αστρονομικών εικόνων. Συγκεκριμένα, σχεδιάσαμε μια καινοτόμο μέθοδο ανάκτησης εικόνων υψηλής ανάλυσης από εικόνες χαμηλής ποιότητας και θολές εκδοχές τους και εκτίμησης της σχετικής πληροφορίας για τον πυρήνα που έχει προκαλέσει το φαινόμενο του θολώματος. Ακόμη ένα πρόβλημα της δορυφορικής επεξεργασίας εικόνων το οποίο αντιμετωπίζουμε αφορά την ανάκτηση των ενεργών μετρήσεων του δορυφόρου SMAP ο οποίος έχει ως στόχο τη παραγωγή μετρήσεων σχετικά με τα επίπεδα υγρασίας του εδάφους. Απώτερος σκοπός της συγκεκριμένης μελέτης είναι η απευθείας εκτίμηση της υγρασίας του εδάφους χρησιμοποιώντας μετρήσεις που έχουν ληφθεί από το δορυφόρο SMAP. Στο τελευταίο μέρος της παρούσας διατριβής ασχολούμαστε με το πρόβλημα της ταξινόμησης υπερφασματικών δεδομένων. Συγκεκριμένα, προτείνουμε μια καινοτόμο μέθοδο μηχανικής μάθησης η οποία βασίζεται στα συνελικτικά νευρωνικά δίκτυα. Αντίστοιχα, στα πλαίσια της συγκεκριμένης μελέτης, δημιουργήσαμε ένα πρωτότυπο σετ δεδομένων για υπερφασματική ταξινόμηση. Συνοψίζοντας, χρησιμοποιώντας ολοκληρωμένες πειραματικές διαδικασίες σε πολλαπλά σύνολα πραγματικών και συνθετικών δεδομένων, είμαστε σε θέση να υποστηρίξουμε την ανώτερη ποιότητα των προτεινόμενων τεχνικών σε σχέση με την ήδη υπάρχουσα βιβλιογραφία.