Σχεδιασμός και υλοποίηση ηλεκτρονικών κυκλωμάτων πραγματικού χρόνου για όραση μηχανής

Abstract

Image scaling schemes are becoming more popular due to the wide use of digital imaging devices and demanding due to the increasing sensor capturing capabilities in spatial resolution. Various applications require image zooming, such as digital cameras, electronic publishing, 3G mobile phones, medical imaging and image processing. An image scaling technique performs spatial interpolation since it enlarges the spatial resolution of the input image and completes the missing data from the spatially adjacent data using some type of interpolation operation. Furthermore, it tries to preserve the spectral contents of the input image. In this PhD Thesis, we propose the design and implementation of an interpolation scheme for performing image scaling by utilizing a dynamic mask combined with a sophisticated neighborhood averaging fuzzy algorithm. The functions that contribute to the final interpolated image are the areas of the input pixels, overlapped by a dynamic mask and the difference in intensity between the input pixels. Fuzzy if-then rules for these two functions are presented in order to carry out the interpolation task. Simulation results have shown a fine high-frequency response and low interpolation error in comparison to other widely used algorithms. The interpolation can be applied to both gray-scale and color images, for any scaling factor. The proposed hardware structure is implemented in a field programmable gate array (FPGA) chip and is based on a sequence of pipeline stages and parallel processing, in order to minimize computational times. The fuzzy image interpolation implementation, combines a fuzzy inference system and an image interpolation technique in one hardware system. Its main features are the ability of accurate approximation of the Gaussian membership functions, used by the fuzzy inference system, with very few memory requirements and its high frequency performance of 65 MHz, making it appropriate for real-time imaging applications. The system can magnify gray-scale images of up to 10-bit pixel depth. The maximum input image size is 1024 x 1024 pixels for a maximum of 800% Furthermore, a bio-inspired interpolation algorithm suitable for image scaling is also proposed. A log-polar neighbor model is adopted, utilizing the feature of applying larger weights to pixels at the center of the interpolation region and logarithmically decreasing weights to pixels away from the center. The interpolation is performed in the Cartesian plane without requiring the full transformation of the image to the log-polar plane. Experiments show that in both visual comparisons and quantitative analysis, the results extracted by the proposed log-polar neighbor model are better than those extracted from pixel repetition, bilinear and bicubic interpolation. Due to the unique characteristics and wide applications of image scaling, a separate study of their evaluation methods was performed in this PhD Thesis. We studied different existing methods for image scaling algorithm evaluation. In addition, one new evaluation method is proposed which is directly related to ground truth optically scaled images. Digital image scaling is classified into the general interpolation scheme. Two main classes of criteria are used as the basis for the assessments: The fidelity criteria and the computational complexity criteria. All methods are briefly described and comparative discussions are provided. This survey is helpful for an appropriate use of existing evaluation methods and for improving their performance as well as for systematically designing new evaluation methods. Digital image stabilization schemes are becoming very popular and demanding due to the wide use of digital imaging devices. The image stabilization process removes or compensates the unwanted motion occurred when capturing the image sequence. Many image processing applications require stabilized sequences for input while other present substantially better performance when processing stabilized sequences. Here, we propose a novel digital image stabilization scheme based on Independent Component Analysis (ICA). The method utilizes ICA and information obtained from the image sequence in order to deconvolve the ego-motion from the unwanted motion of the sequence. We notice that the motion observed in image sequences captured from consumer electronics, such as handheld cameras and 3G mobile phones, is mainly caused by two independent motions; the camera motion (ego-motion) and the undesired hand jitter (high-frequency motion). The independence property of these two primary motions facilitates the application of the ICA method for deconvolution. Sets of estimated local motion vectors of the sequence are introduced to the ICA system for separation. Then, we process the unmixed motion vectors in order to classify the signals into ego-motion and high-frequency motion. Subsequently, when the permutation ambiguity is resolved, the appropriate sign and energy are assigned to the ego-motion vector, resulting to the stabilized image sequence. Experimental results have shown that apart from the successful deconvolution of the two different motions, the proposed scheme exhibit superior performance compared to other digital image stabilization algorithms. The two above features, zooming ability and the video stabilization, are considered as a de-facto in recent consumer imaging devices. Both characteristics can be found in a single embedded system of a digital still camera, video recorder or even in a 3G mobile phone. These two features can be enabled at the same time in a single imaging device, producing a zoomed and stabilized sequence. However, in these operation conditions, the user can notice in the output video a latency and an undesired shaking, which aggregates while the user increases the magnification factor. This PhD Thesis presents a novel architecture for integrating digital stabilizer with the camera zooming process. The proposed architecture scheme allows integration for both optical or digital zooming operation scenarios. The stabilizer adjusts its operational parameters from the current optical zooming status for a refined local motion estimation. Subsequently, the global motion compensation vectors, produced by the digital stabilizer, are sent to the digital zooming system, where the image compensation is merged within the interpolation process. Experimental results indicate that the proposed architecture can improve not only the quantitative performance of digital stabilization but also the computational efficiency when zooming is employed. Summarizing, in the present Thesis, techniques for digital image scaling and digital image stabilization are presented in order to improve their performance in terms of accuracy and speed. Furthermore, a novel architecture for integrating digital image stabilization with digital image scaling is also proposed, improving both the quantitative performance and computational efficiency of the whole process.

Η ψηφιακή κλιμάκωση εικόνας είναι πλέον πολύ διαδεδομένη σε πολλά ηλεκτρονικά συστήματα με ιδιαίτερη έμφαση σε καταναλωτικά προϊόντα όπως βιντεοκάμερες, κινητά τηλέφωνα και ψηφιακές φωτογραφικές μηχανές. Πέρα από τις ηλεκτρονικές συσκευές όμως, συναντιέται και σε εφαρμογές λογισμικού όπως προγράμματα ψηφιακής επεξεργασίας εικόνας, εφαρμογές ιατρικής απεικόνισης και εφαρμογές τηλεπισκόπησης. Η ψηφιακή κλιμάκωση εικόνας εντάσσεται στο γενικότερο ερευνητικό πεδίο της παρεμβολής κατά την οποία έχουμε μία ανακατάταξη των αρχικών εικονοστοιχείων στο πεδίο του χώρου. Πέρα από τη σωστή ανακατανομή των εικονοστοιχείων στο χώρο, σκοπός της κάθε παρεμβολής είναι να υπολογίσει κατά το βέλτιστο δυνατό τρόπο τη νέα τιμή φωτεινότητας των εικονοστοιχείων αυτών. Βασικός στόχος του πρώτου από τα τρία μέρη αυτής της Διδακτορικής Διατριβής ήταν η μελέτη και δημιουργία αλγορίθμων ψηφιακής κλιμάκωσης εικόνας με στόχο την διατήρηση της ποιότητας της τελικής εικόνας σε σχέση με την αρχική, διατηρώντας όμως τις ακμές ανέπαφες και συνεχείς. Η πρώτη μέθοδος που περιγράφεται είναι ένας ασαφής αλγόριθμος ψηφιακής κλιμάκωσης εικόνας βασιζόμενος στη χωρική πληροφορία. Η μέθοδος χρησιμοποιεί το πολύ τέσσερα γειτονικά εικονοστοιχεία, συμβάλλοντας έτσι σε μικρότερο υπολογιστικό κόστος. Η ασαφής μέθοδος παρεμβολής εφαρμόζει ένα συνεχές σάρωμα στην αρχική εικόνα με μια μάσκα, λαμβάνοντας υπόψιν το ποσοστό επικάλυψης των εικονοστοιχείων από τη μάσκα καθώς επίσης και τις διαφορές σε φωτεινότητα των επικαλυπτόμενων αυτών εικονοστοιχείων. Το χαρακτηριστικό αυτό, της χρήσης των διαφορών σε φωτεινότητα των επικαλυπτόμενων εικονοστοιχείων συμβάλει στη διατήρηση των ακμών σε επιθυμητή ποιότητα, με αποτέλεσμα η προτεινόμενη τεχνική να παρουσιάζει τα καλύτερα ποιοτικά αποτελέσματα, έναντι πολύ διαδεδομένων τεχνικών, με βάση το κριτήριο της ποιότητας της παρεμβολής, χωρίς να χρειάζεται επιπλέον προ-επεξεργασία της εικόνας για την ανίχνευση αυτών. Στη συνέχεια η μέθοδος αυτή υλοποιήθηκε σε υλικό με στόχο τη λειτουργία της σε πραγματικό χρόνο. Η υλοποίηση σε υλικό του προτεινόμενου αλγορίθμου κλιμάκωσης εικόνας σχεδιάστηκε με τέτοιο τρόπο ώστε να πραγματοποιεί μεγέθυνση εικόνας βασιζόμενο σε μία ακολουθία διαδοχικής διοχέτευσης δεδομένων (pipeline). Επίσης, όπου ήταν δυνατό χρησιμοποιήθηκε παράλληλη επεξεργασία για να βελτιωθεί ακόμα περισσότερο η χρονική απόκριση του συστήματος. Η δομή βασίζεται και επικεντρώνεται στη μονάδα ασαφούς συνεπαγωγής και στην απαιτούμενη προ-επεξεργασία και μετά-επεξεργασία των εισόδων και εξόδων, αντίστοιχα. Οι απαιτήσεις σε σκιώδη (cached) μνήμη λόγω συνέλιξης είναι μικρές από τη στιγμή που χρειάζονται δύο το πολύ γραμμές ή στήλες της εικόνας για οριζόντια ή κάθετη σάρωση της εικόνας, αντίστοιχα. Το σύστημα λειτουργεί σε συχνότητα 65MHz με δυνατότητα μεγέθυνσης εικονοσειρών σε πραγματικό χρόνο. Μπορεί να μεγεθύνει εικόνες μέχρι 800% και η μέγιστη ανάλυση της αρχικής εικόνας μπορεί να είναι 1024 x 1024 εικονοστοιχεία. Η δεύτερη μέθοδος ψηφιακής κλιμάκωσης εικόνας που παρουσιάζεται στη διατριβή αυτή είναι ένας αλγόριθμος λογαριθμο-πολικής ψηφιακής κλιμάκωσης εικόνας βασιζόμενος επίσης στη χωρική πληροφορία. Ο προτεινόμενος αλγόριθμος παρεμβολής βασίζεται σε δύο ιδιότητες της λογαριθμο-πολικής διατύπωσης του βιολογικού μοντέλου του ματιού. Πιο συγκεκριμένα, στηρίζεται στο γεγονός ότι η κατανομή των φωτουποδοχέων στον αμφιβληστροειδή χιτώνα δεν είναι ομοιόμορφη και στο ότι η πυκνότητα των φωτουποδοχέων είναι μεγαλύτερη στη κεντρική περιοχή του αμφιβληστροειδούς και μειώνεται εκθετικά όσο πλησιάζουμε την περίμετρο του αμφιβληστροειδούς. Τα δύο παραπάνω βιολογικά μοντέλα υιοθετήθηκαν στην προτεινόμενη μέθοδο ψηφιακής κλιμάκωσης εικόνας. Πιο συγκεκριμένα, εφαρμόζει μεγαλύτερα βάρη σε εικονοστοιχεία της κεντρικής περιοχής παρεμβολής και μειώνει λογαριθμικά τα βάρη των εικονοστοιχείων καθώς απομακρυνόμαστε προς την περιφέρεια. Σκοπός του αλγορίθμου αυτού ήταν η διατήρηση της γεωμετρικής δομής γύρω από τις ακμές με ταυτόχρονη καλή ποιότητα παρεμβολής στην υπόλοιπη εικόνα, χωρίς επιπλέον χρήση προεπεξεργασίας. Ο προτεινόμενος αυτός αλγόριθμος κλιμάκωσης παρουσιάζει τα δεύτερα καλύτερα ποιοτικά αποτελέσματα με βάση το κριτήριο της ποιότητας της παρεμβολής, μετά από τον αλγόριθμο ασαφής κλιμάκωσης, με το επιπλέον χαρακτηριστικό της δυνατότητας κλιμάκωσης σε πραγματικό χρόνο. Επίσης, ο προτεινόμενος αλγόριθμος μπορεί να εφαρμοστεί σε έγχρωμες εικόνες και σε εικόνες απόχρωσης του γκρι για οποιονδήποτε παράγοντα κλιμάκωσης. Στη διατριβή αυτή και λόγω των ξεχωριστών χαρακτηριστικών και των ποικίλων εφαρμογών της ψηφιακής κλιμάκωσης εικόνας, διενεργήθηκε και μία μελέτη και κατηγοριοποίηση των μεθόδων αξιολόγησης των αλγορίθμων ψηφιακής κλιμάκωσης εικόνας. Η κατηγοριοποίηση περιλαμβάνει δύο ομάδες με βάση τα χαρακτηριστικά που θέλουμε να αξιολογήσουμε. Έτσι, η πρώτη κατηγορία μελετά την απόδοση των αλγορίθμων με βάση την ακρίβεια και την ποιότητα της τελικής κλιμακωμένης εικόνας. Σε αυτή την κατηγορία μελετάται και συγκρίνεται ο ίδιος ο αλγόριθμος αλλά και η τελική εικόνα την οποία εξάγει. Επίσης, προτείνεται μία μέθοδος σύγκρισης αλγορίθμων κλιμάκωσης εικόνων με βάση οπτικά μεγεθυμένες εικόνες. Με τον τρόπο αυτό, οι τελικές συγκρίσεις μπορούν να γίνουν με βάση τις οπτικά μεγεθυμένες εικόνες, οι οποίες δεν έχουν υποστεί ψηφιακή επεξεργασία και τις οποίες κατά κάποιο τρόπο μπορούμε να τις χαρακτηρίσουμε ως ιδανικές. Η δεύτερη κατηγορία μελετά τους ίδιους τους αλγόριθμους με βάση την πολυπλοκότητά τους και τις απαιτήσεις τους σε ενσωματωμένη μνήμη. Τα χαρακτηριστικά αυτά είναι πολύ χρήσιμα σε περιπτώσεις που θέλουμε να υλοποιήσουμε τέτοιους αλγορίθμους σε συγκεκριμένες συσκευές περιορισμένων διαθέσιμων πόρων όπως κινητά τηλέφωνα και φορητές ψηφιακές κάμερες. Αυτή η εξέλιξη όμως, της φορητότητας των καμερών, έχει δημιουργήσει το πρόβλημα της μη δυνατής σταθερής λήψης εικόνας και εικονοσειρών. Οι εικόνες και οι εικονοσειρές οι οποίες έχουν ληφθεί από τέτοιες κάμερες συνήθως δεν είναι σταθεροποιημένες λόγω των κραδασμών, των δονήσεων και των ανεξέλεγκτων μετακινήσεων του ανθρώπινου χεριού. Οι μετακινήσεις αυτές επηρεάζουν την ποιότητα της τελικής εικόνας καθώς επίσης υποβαθμίζουν και την απόδοση πολλών εφαρμογών όρασης μηχανής. Το πρόβλημα αυτό καλείται να λύσει η σταθεροποίηση εικόνας. Στο δεύτερο μέρος της διατριβής, προτείνεται μία μέθοδος ψηφιακής σταθεροποίησης εικόνας. Η νέα αυτή μέθοδος ψηφιακής σταθεροποίησης εικόνας βασίζεται στην ανάλυση των ανεξάρτητων συνιστωσών. Η συνολική κίνηση που παρατηρείται σε εικονοσειρές οι οποίες έχουν ληφθεί από μικρές και φορητές κάμερες οφείλεται κυρίως σε δύο ανεξάρτητες κινήσεις: στην ηθελημένη κίνηση της κάμερας και στην ανεπιθύμητη κίνηση της κάμερας η οποία οφείλεται στις δονήσεις από ανεξέλεγκτες μετακινήσεις του ανθρώπινου χεριού. Η ανεξάρτητη φύση των δύο αυτών βασικών κινήσεων επιτρέπει τη χρήση της ανάλυσης ανεξάρτητων συνιστωσών με σκοπό τον διαχωρισμό των δύο αυτών κινήσεων. Ζεύγη τοπικών διανυσμάτων κίνησης αναλύονται με βάση τις ανεξάρτητες συνιστώσες τους με σκοπό το διαχωρισμό αυτών. Στη συνέχεια επεξεργαζόμαστε τις συνιστώσες αυτές και με βάση τα χαρακτηριστικά τους τις κατηγοριοποιούμε. Αφότου οι δύο συνιστώσες ταυτοποιηθούν, προσδίδουμε σε κάθε κίνηση το σωστό πρόσημο και τη σωστή ενέργειά της. Η μία από τις δύο ανεξάρτητες, ταυτοποιημένες και επεξεργασμένες κινήσεις είναι η ηθελημένη κίνηση η οποία θα μας δώσει και την τελική σταθεροποιημένη εικονοσειρά. Τα πειραματικά και συγκριτικά αποτελέσματα αποδεικνύουν ότι όχι μόνον είναι δυνατός ο διαχωρισμός των δύο αυτών κινήσεων με βάση την ανάλυση ανεξάρτητων συνιστωσών, αλλά και η τελική σταθεροποιημένη εικονοσειρά υπερτερεί από αυτές άλλων μεθόδων ψηφιακής σταθεροποίησης εικόνας. Στα δύο πρώτα μέρη της διατριβής μελετήθηκαν αλγόριθμοι ψηφιακής κλιμάκωσης και σταθεροποίησης εικόνας. Οι δύο αυτές λειτουργίες, στις σύγχρονες ψηφιακές κάμερες, μπορούν να ενεργοποιηθούν και να εκτελεστούν ταυτόχρονα, εξάγοντας μία κλιμακωμένη αλλά και σταθεροποιημένη εικονοσειρά. Ο χρήστης όμως κατά τη διάρκεια αυτής της ταυτόχρονης λειτουργίας μπορεί να παρατηρήσει μία μικρή αλλά ανεπιθύμητη καθυστέρηση καθώς επίσης και κάποιες ανεπιθύμητες κινήσεις οι οποίες δεν έχουν αποσβεστεί από την μονάδα σταθεροποίησης, και οι οποίες γίνονται πιο έντονες όσο αυξάνει ο παράγοντας κλιμάκωσης. Στο τρίτο και τελευταίο μέρος της διατριβής περιγράφεται μία νέα αρχιτεκτονική για την ενσωμάτωση των λειτουργιών της σταθεροποίησης με αυτές της κλιμάκωσης εικόνας με σκοπό την εξάλειψη των προαναφερθέντων ανεπιθύμητων φαινομένων. Η προτεινόμενη αρχιτεκτονική ενσωματώνει στην σταθεροποίηση εικόνας και τα δύο είδη κλιμάκωσης εικόνας, αυτά δηλαδή της οπτικής και ψηφιακής κλιμάκωσης εικόνας. Στο πρώτο στάδιο της αρχιτεκτονικής, ο σταθεροποιητής ρυθμίζει δυναμικά τις λειτουργικές του παραμέτρους βάση των ρυθμίσεων της οπτικής κλιμάκωσης με σκοπό την καλύτερη εξαγωγή τοπικών διανυσμάτων κίνησης. Έπειτα, τα ολικά διανύσματα κίνησης του σταθεροποιητή, εισάγονται στο σύστημα ψηφιακής κλιμάκωσης εικόνας όπου η αντιστάθμιση εικόνας ενσωματώνεται στη λειτουργία της παρεμβολής. Τα πειραματικά αποτελέσματα και οι συγκρίσεις έδειξαν ότι η προτεινόμενη αρχιτεκτονική υπερέχει αυτής της συμβατικής και ευρέως χρησιμοποιούμενης αρχιτεκτονικής σε ότι αφορά την ποιότητα σταθεροποίησης σε λειτουργία ενεργοποιημένης της οπτικής κλιμάκωσης. Επιπλέον, η προτεινόμενη αρχιτεκτονική μειώνει την πολυπλοκότητα του συστήματος, όταν είναι ενεργοποιημένη η ψηφιακή κλιμάκωση, βελτιώνοντας έτσι την ανεπιθύμητη καθυστέρηση που παρατηρείται κατά τη διάρκεια της συμβατικής σταθεροποίησης. Επιγραμματικά, στην παρούσα Διδακτορική Διατριβή παρουσιάστηκαν νέες τεχνικές για την ψηφιακή κλιμάκωση και ψηφιακή σταθεροποίηση εικόνας, με στόχο την ποιοτική και χρονική βελτίωσή τους. Επιπλέον, παρουσιάστηκε μία ενσωματωμένη αρχιτεκτονική για ταυτόχρονη ψηφιακή κλιμάκωση και σταθεροποίηση εικόνας με στόχο τη βελτίωση των ανεπιθύμητων χαρακτηριστικών που παρουσιάζονται λόγω της αλληλεπίδρασης των δύο αυτών λειτουργιών.