Retina-inspired image and video coding

Abstract

The goal of this thesis is to propose a novel video coding architecture which is inspired by the visual system and the retina. If one sees the retina as a machine which processes the visual stimulus, it seems an intelligent and very efficient model to mimic. There are several reasons to claim that, first of all because it consumes low power, it also deals with high resolution inputs and the dynamic way it transforms and encodes the visual stimulus is beyond the current standards. We were motivated to study and release a retina-inspired video codec. The proposed algorithm was applied to a video stream in a very simple way according to the coding standards like MJPEG or MJPEG2000. However, this way allows the reader to study and explore all the advantages of the retina dynamic processing way in terms of compression and image processing. The current performance of the retina- inspired codec is very promising according to some final results which outperform MJPEG for bitrates lower than 100 kbps and MPEG-2 for bitrates higher than 70 kpbs. In addition, for lower bitrates the retina-inspired codec outlines better the content of the input scene. There are many perspectives which concern the improvement of the retina-inspired video codec which seem to lead to a groundbreaking compression architecture. Hopefully, this manuscript will be a useful tool for all the researchers who would like to study further than the perceptual capability of the visual system and understand how the structure and the functions of this efficient machine can in practice improve the coding algorithms.

Ο στόχος αυτής της διπλωματικής εργασίας είναι να προτείνει μια νέα αρχιτεκτονική κωδικοποίησης βίντεο που είναι εμπνευσμένη από το οπτικό σύστημα και τον αμφιβληστροειδή. Αν κάποιος δει τον αμφιβληστροειδή ως μια μηχανή που επεξεργάζεται το οπτικό ερέθισμα, φαίνεται ένα έξυπνο και πολύ αποτελεσματικό μοντέλο για μίμηση. Υπάρχουν διάφοροι λόγοι για να ισχυριστεί κανείς κάτι τέτοιο, πρώτα απ 'όλα, επειδή καταναλώνει χαμηλή ενέργεια, αντιμετωπίζει επίσης εισόδους υψηλής ανάλυσης και ο δυναμικός τρόπος που μετασχηματίζει και κωδικοποιεί το οπτικό ερέθισμα είναι πέρα από τα τρέχοντα πρότυπα συμπίεσης. Είχαμε το κίνητρο να μελετήσουμε και να κυκλοφορήσουμε έναν σύστημα συμπίεσης εικόνας και βίντεο εμπνευσμένο από τον αμφιβληστροειδή. Ο προτεινόμενος αλγόριθμος εφαρμόστηκε σε μια ροή βίντεο με πολύ απλό τρόπο σύμφωνα με τα πρότυπα κωδικοποίησης όπως MJPEG ή MJPEG2000. Ωστόσο, αυτός ο τρόπος επιτρέπει στον αναγνώστη να μελετήσει και να εξερευνήσει όλα τα πλεονεκτήματα του τρόπου δυναμικής επεξεργασίας του αμφιβληστροειδούς όσον αφορά τη συμπίεση και την επεξεργασία εικόνας. Η τρέχουσα απόδοση του εμπνευσμένου από τον αμφιβληστροειδή κωδικοποιητή είναι πολύ ελπιδοφόρα σύμφωνα με ορισμένα τελικά αποτελέσματα που ξεπερνούν το MJPEG για ρυθμούς bit κάτω από 100 kbps και το MPEG-2 για ρυθμούς bit μεγαλύτερο από 70 kpbs. Επιπλέον, για χαμηλότερους ρυθμούς bits, ο προτεινόμενος αλγόριθμοςπεριγράφει καλύτερα το περιεχόμενο της σκηνής εισόδου. Υπάρχουν πολλές προοπτικές που αφορούν τη βελτίωση του εμπνευσμένου από τον αμφιβληστροειδή συστήματος συμπίεσης βίντεο που φαίνεται να οδηγεί σε μια πρωτοποριακή αρχιτεκτονική συμπίεσης. Ας ελπίσουμε ότι η διατριβή θα είναι ένα χρήσιμο εργαλείο για όλους τους ερευνητές που θα ήθελαν να μελετήσουν περισσότερο από την αντιληπτική ικανότητα του οπτικού συστήματος και να κατανοήσουν πώς η δομή και οι λειτουργίες αυτής της αποτελεσματικής μηχανής μπορούν στην πράξη να βελτιώσουν τους αλγόριθμους κωδικοποίησης.