Retinal image registration through 3D eye modelling and pose estimation

Abstract

The in vivo assessment of small vessels can promote accurate diagnosis and progression monitoring of diseases related to vasculopathy, such as hypertension and diabetes. Given that the human eye retina contains small vessels that can be directly imaged via fundoscopy, the analysis of retinal structures becomes very important for non-invasive approaches. This is also important for the diagnosis of illnesses that affect eyesight, such as macular edema, age-related macular degeneration or glaucoma. This analysis can be greatly facilitated by accurate retinal image registration.Image registration is applied upon a pair of images, the reference and the test image. The goal is to warp the test image so that it images retinal points at the same 2D locations as the reference image. This is a challenging task, mainly for two reasons. The first is related to the perspective distortions due to the curved shape of the retina and change of the camera pose relative to the eye between image acquisitions. The second relates to potential changes in the retina that occur due to retinopathy between temporally distant image acquisitions. In addition, the nature of the application demands for high registration accuracy. Registration methods may benefit from knowledge of the type of images to be registered. In this work, we proposed a registration framework that simultaneously estimates the relative pose of the cameras that acquired the retinal images as well as the shape and the pose of the eye. The proposed framework is evaluated quantitatively and is shown to outperform state-of-the-art methods. In the context of this work, we also developed a set of tools for generating realistic 3D eye models. These tools were used to render synthetic retinal image pairs, utilized for testing and evaluating the proposed registration approach. Additionally, FIRE, a dataset comprised of pairs of real retinal images has been compiled and made publicly available. FIRE consists of three types of images, each one covering different challenges in retinal image registration. To enable the experimental, quantitative evaluation of the accuracy of a registration method, FIRE is annotated with ground truth point correspondences. In this work, we also explored the suitability of the proposed registration framework for applications such as longitudinal studies, image mosaicing and super resolution. Additionally, the fitness of the framework for performing eye shape estimation is studied. Pertinent experiments show encouraging results as well as ample room for further improvement.

Η μελέτη των λεπτών αιμοφόρων αγγείων μπορεί να βοηθήσει την ακριβή διάγνωση και την παρακολούθηση νόσων που σχετίζονται με αγγειοπάθεια, όπως η υπέρταση και ο διαβήτης. Η ευκολία απεικόνισης τέτοιων αγγείων στον αμφιβληστροειδή χιτώνα μέσω βυθοσκόπισης καθιστά την ανάλυση των δομικών χαρακτηριστικών του ιδιαίτερα σημαντική. Η ανάλυση αυτή είναι επίσης σημαντική για τη διάγνωση ασθενειών που επηρεάζουν την όραση, όπως το οίδημα της ωχράς κηλίδας, η ηλικιακή εκφύλιση της ωχράς κηλίδας και το γλαύκωμα. Η ανάλυση των δομικών χαρακτηριστικών του αμφιβληστροειδή μπορεί να διευκολυνθεί σημαντικά από την ακριβή αντιστοίχιση (registration) των εικόνων του. Η αντιστοίχιση εφαρμόζεται σε ένα ζεύγος εικόνων του αμφιβληστροειδή, την εικόνα αναφοράς και την εικόνα ελέγχου. Στόχος είναι ο γεωμετρικός μετασχηματισμός της εικόνας ελέγχου έτσι ώστε τα σημεία της να απεικονίζονται στις ίδιες 2Δ συντεταγμένες με την εικόνα αναφοράς. Η επίτευξη αυτού του στόχου συναντά δυσκολίες για δύο κυρίως λόγους. Ο πρώτος σχετίζεται με τις προοπτικές παραμορφώσεις που προκύπτουν από το καμπύλο σχήμα του αμφιβληστροειδή χιτώνα σε συνδυασμό με την αλλαγή της θέσης και του προσανατολισμού της κάμερας ως προς τον οφθαλμό (σχετική πόζα) κατά την πρόσληψη των εικόνων αναφοράς και δοκιμής. Ο δεύτερος σχετίζεται με πιθανές μεταβολές στη δομή του αμφιβληστροειδή μεταξύ χρονικά απομακρυσμένων προσλήψεων των εικόνων αναφοράς και ελέγχου, εξαιτίας κάποιας αμφιβληστροειδοπάθειας. Επιπρόσθετα, η φύση της εφαρμογής απαιτεί η αντιστοίχιση να γίνεται με μεγάλη ακρίβεια. Οι μέθοδοι αντιστοίχισης μπορούν να επωφεληθούν από τη γνώση του είδους των εικόνων προς αντιστοίχιση. Σε αυτή την εργασία, προτείνεται ένα μεθοδολογικό πλαίσιο αντιστοίχισης εικόνων που ταυτόχρονα εκτιμά τη σχετική πόζα μεταξύ των δύο όψεων του αμφιβληστροειδούς καθώς και την πόζα και το σχήμα του οφθαλμού. Η ποσοτική αποτίμηση του προτεινόμενης μεθοδολογίας αποδεικνύει πειραματικά πως αυτή υπερτερεί σε ακρίβεια αντιστοίχισης έναντι των σύγχρονων μεθόδων.Στο πλαίσιο αυτής της εργασίας αναπτύχθηκαν επίσης υπολογιστικά εργαλεία για τη σύνθεση ρεαλιστικών 3Δ μοντέλων του οφθαλμού που χρησιμοποιήθηκαν για τη σύνθεση εικόνων του αμφιβληστροειδούς χιτώνα από διαφορετικές όψεις, με τελικό στόχο τον έλεγχο και την αξιολόγηση της προτεινόμενης προσέγγισης. Επιπρόσθετα, συντάχθηκε και έγινε δημόσια διαθέσιμο το FIRE, ένα σύνολο δεδομένων που αποτελείται από ζεύγη πραγματικών εικόνων του αμφιβληστροειδούς. Το FIRE αποτελείται από τρείς τύπους ζευγών εικόνων, καθένας από τους οποίους παρουσιάζει διαφορετικού είδους δυσκολίες και προκλήσεις ως προς την αντιστοίχισή τους. Προκειμένου να γίνει εφικτή η πειραματική, ποσοτική αποτίμηση της ακρίβειας μιας μεθόδου αντιστοίχισης, κάθε ζεύγος εικόνων του FIRE επίσης μειώθηκε με πραγματικές αντιστοιχίες σημείων. Στην εργασία αυτή διερευνήθηκε επίσης η καταλληλότητα του προτεινόμενου πλαισίου αντιστοίχισης για να υποστηρίξει εφαρμογές όπως οι διαχρονικές συγκριτικές μελέτες εικόνων αμφιβληστροειδούς, η δημιουργία μωσαϊκών από εικόνες και η δημιουργία εικόνων υψηλής χωρικής ανάλυσης μέσω υπερδειγματοληψίας. Επιπρόσθετα, μελετήθηκε η καταλληλότητα του πλαισίου αυτού για την εκτίμηση των παραμέτρων του σχήματος του οφθαλμού. Τα σχετικά πειράματα δείχνουν ενθαρρυντικά αποτελέσματα καθώς και την ύπαρξη σημαντικών περιθωρίων για περαιτέρω βελτίωση.