Optimization techniques for image fusion and image analysis

Abstract

Image fusion and image analysis aim at the development of fused images that overcome limitations of camera lenses and sensors. Fused images should be more informative than all input images without introducing artifacts during fusion. However, the analysis of the input images and the development of fusion rules are an open research issue. Optimization techniques aim to analyze the input images and merge them in order to create a fused image. Optimization techniques for image fusion and image analysis have become important in the last decades.In order to perform image fusion, reliable machine learning techniques that lead to optimal image fusion solution must be developed. Recent research efforts on image fusion have revealed several weaknesses of current fusion methods. Most image fusion methods are prone to artifacts, when the input images are likely to have mis-registration or depict a dynamic scene. Moreover, since input images are likely to have noise due to various sources, such as camera sensors and image quantization, the development of robust-to-noise methods is of high importance. However, the issue of the noisy input images is not widely studied and most of fusion methods are likely to be sensitive to image noise.The present thesis is an effort to resolve the aforementioned problems and develop optimization techniques that assist in analyzing the input images and lead to fused images of high quality. In the first stage of this effort, a robust-to-Gaussian noise image fusion framework is proposed. In the second stage, an image fusion framework with robustness against Gaussian, Salt & Pepper and Poisson noise is developed. Finally, a fusion framework that is robust to Gaussian noise and provides image fusion and denoising during fusion is proposed.Image fusion is employed, in order to cope with the hardware limitations of camera sensors and camera lenses. In this work, three different methodologies to cope with the multi-focus image fusion problem with novel optimization techniques are introduced. Each of the proposed methods investigates the image fusion problem with clean input images and input images that contain different types of noise. The novelty of the proposed methods lies in the development of novel optimization techniques in order to analyze the input images and make the fusion frameworks robust against potential noise and mis-registrations found in the input images. In the first method, a Conditional Random Field model with hand-crafted unary and smoothness potentials is introduced. The method is robust against Gaussian noise and has applications to medical image fusion and visible-infrared image fusion. In the second method, Deep Learning Networks are trained to compute unary and smoothness potential functions of higher complexity and afterwards a Conditional Random Field model is developed to describe the fusion problem. The method is robust to Gaussian noise, Salt & Pepper noise and Poisson noise. In the last method, a Conditional Random Field model is used to guide the transform domain image fusion method. The proposed method, is robust against Gaussian noise and supports denoising during fusion. Experimental results demonstrate that all methods outperform state-of-the-art image fusion methods in perfectly registered clean input images, in input images with potential mis-registration and are more robust against noise.The contribution of the presented techniques is the development of optimization techniques to both analyze input images and perform image fusion of high visual quality. The proposed models analyze the input images to find well-focused pixels and discriminate them from the out-of-focus or blurred ones and use conditional random field models to find a global or close to global optimum fused image result. They provide fused images of high visual quality without introducing artifacts during fusion and can be useful tools for image fusion of multi-focus images, medical image fusion and visible-infrared image fusion.

Στόχος της σύνθεσης και ανάλυσης εικόνων είναι η ανάπτυξη εικόνων σύνθεσης οι οποίες ξεπερνούν τους περιορισμούς του φακού και του αισθητήρα της κάμερας. Οι εικόνες σύνθεσης θα πρέπει να έχουν περισσότερη πληροφορία από τις αρχικές εικόνες χωρίς να εισάγουν τεχνουργήματα κατά τη σύνθεση. Ωστόσο η ανάλυση των αρχικών εικόνων εισόδου και η ανάπτυξη κανόνων σύνθεσης αποτελούν ένα ανοιχτό ζήτημα έρευνας. Οι τεχνικές βελτιστοποίησης στοχεύουν στην ανάλυση των αρχικών εικόνων και στη σύνθεσή τους σε μια εικόνα σύνθεσης. Οι τεχνικές βελτιστοποίησης έχουν γίνει πολύ σημαντικές τις τελευταίες δεκαετίες.Προκειμένου να γίνει σύνθεση εικόνων, θα πρέπει να αναπτυχθούν αξιόπιστες τεχνικές βελτιστοποίησης της μηχανής που οδηγούν σε βέλτιστη λύση για τη σύνθεση εικόνων. Ένας μεγάλος αριθμός ερευνών σχετικά με τη σύνθεση εικόνων έχει αναδείξει τις αδυναμίες των τρεχουσών μεθόδων σύνθεσης. Οι περισσότερες μέθοδοι σύνθεσης εικόνων συνήθως οδηγούν σε τεχνουργήματα, όταν οι αρχικές εικόνες δεν έχουν τέλεια ευθυγράμμιση ή εάν η σκηνή είναι δυναμική. Πρόσθετα, καθώς οι αρχικές εικόνες είναι πιθανόν να έχουν θόρυβο εξαιτίας διαφορετικών πηγών, όπως αισθητήρες της κάμερας και κβαντοποίηση της εικόνας, η ανάπτυξη μεθόδων με αντοχή στον θόρυβο είναι πολύ σημαντική. Ωστόσο το πρόβλημα όπου οι αρχικές εικόνες έχουν θόρυβο δεν έχει μελετηθεί εκτενώς και οι περισσότερες μέθοδοι σύνθεσης είναι ευαίσθητες στον θόρυβο στις αρχικές εικόνες.Η παρούσα Διδακτορική Διατριβή αποτελεί προσπάθεια στην επίλυση των παραπάνω προβλημάτων και στην ανάπτυξη τεχνικών βελτιστοποίησης που βοηθούν στην ανάλυση των αρχικών εικόνων και οδηγούν σε εικόνες σύνθεσης υψηλής ποιότητας. Στο πρώτο στάδιο αυτής της προσπάθειας, προτείνεται μια μεθοδολογία σύνθεσης εικόνας εύρωστη στον Gaussian θόρυβο. Στο δεύτερο στάδιο προτείνεται μία μεθοδολογία εύρωστη σε Gaussian, Salt & Pepper και Poisson θόρυβο. Τέλος αναπτύχθηκε μια μεθοδολογία σύνθεσης η οποία έχει ευρωστία στον Gaussian θόρυβο και παράγει εικόνες σύνθεσης με ταυτόχρονη αποθορυβοποίηση κατά τη σύνθεση.Η σύνθεση εικόνων χρησιμοποιείται προκειμένου να αντιμετωπιστούν οι περιορισμοί των αισθητήρων της κάμερας καθώς και των φακών της κάμερας. Σε αυτήν την εργασία προτείνονται 3 διαφορετικές μεθοδολογίες προκειμένου να αντιμετωπιστεί το πρόβλημα σύνθεσης εικόνων με διαφορετική εστίαση με χρήση τεχνικών βελτιστοποίησης. Σε καθεμιά από τις προτεινόμενες μεθόδους μελετάται το πρόβλημα σύνθεσης εικόνων χωρίς θόρυβο καθώς και το πρόβλημα σύνθεσης αρχικών εικόνων που περιέχουν θόρυβο. Η καινοτομία των προτεινόμενων μεθόδων έγκειται στην ανάπτυξη καινοτόμων τεχνικών βελτιστοποίησης οι οποίες αναλύουν τις αρχικές εικόνες και κάνουν τις μεθοδολογίες σύνθεσης εύρωστες σε πιθανό θόρυβο και σε πιθανή μη ευθυγράμμιση των αρχικών εικόνων. Στην πρώτη μέθοδο προτείνεται ένα μοντέλο Conditional Random Field με χειροποίητους όρους unary και smoothness. Η μέθοδος είναι εύρωστη στον θόρυβο και έχει εφαρμογές σε σύνθεση ιατρικών εικόνων και σε σύνθεση εικόνων ορατής-υπέρυθρης. Στη δεύτερη μέθοδο έγινε εκπαίδευση δικτύων Deep Learning για τον υπολογισμό των όρων Unary και Smoothness υψηλής πολυπλοκότητας. Οι όροι χρησιμοποιήθηκαν σε ένα προτεινόμενο μοντέλο Conditional Random Field model το οποίο περιγράφει το πρόβλημα σύνθεσης. Η μέθοδος είναι εύρωστη σε Gaussian θόρυβο, Salt & Pepper θόρυβο και Poisson θόρυβο. Στην τελευταία μέθοδο, ένα μοντέλο Conditional Random Field χρησιμοποιείται για να οδηγήσει την σύνθεση εικόνων στον χώρο του μετασχηματισμού. Η προτεινόμενη μέθοδος είναι εύρωστη σε Gaussian θόρυβο και υποστηρίζει αποθορυβοποίηση κατά τη σύνθεση. Πειραματικά αποτελέσματα αναδεικνύουν πως όλες οι προτεινόμενες μέθοδοι ξεπερνούν τρέχουσες μεθόδους σύνθεσης τόσο σε καθαρές εικόνες με τέλεια ευθυγράμμιση, σε εικόνες με πιθανή μη ευθυγράμμιση και είναι πιο εύρωστες στον θόρυβο. Η συνεισφορά των προτεινόμενων μεθόδων έγκειται στην ανάπτυξη τεχνικών βελτιστοποίησης οι οποίες ταυτόχρονα αναλύουν τις αρχικές εικόνες και οδηγούν σε σύνθεση εικόνων υψηλής οπτικής ποιότητας. Οι προτεινόμενες μέθοδοι αναλύουν τις αρχικές εικόνες και βρίσκουν τα καλά εστιασμένα pixels και τα διαχωρίζουν από τα αντίστοιχα θολά ή μη-εστιασμένα και χρησιμοποιούν μοντέλα Conditional Random Field για να βρουν λύσεις ολικού ακρότατου ή κοντά στο ολικό ακρότατο. Οι προτεινόμενες τεχνικές παράγουν εικόνες σύνθεσης υψηλής οπτικής ποιότητας χωρίς να εισάγουν τεχνουργήματα κατά τη σύνθεση. Επιπλέον μπορούν να αποτελέσουν χρήσιμα εργαλεία σύνθεσης για τη σύνθεση εικόνων διαφορετικής εστίασης, για τη σύνθεση ιατρικών εικόνων καθώς και τη σύνθεση εικόνων ορατής-υπέρυθρης λήψης.