Image-based bathymetry mapping for shallow waters

Abstract

Accurate bathymetric mapping is a key element for offshore activities, such as coastal engineering applications, hydrographic surveying as well as archaeological and biological mapping. Through SfM and MVS techniques, images can provide a low-cost alternative comparing to expensive LiDAR and acoustic surveys, offering as well, important visual information. Despite their relatively low cost, their major drawback is that optical properties and illumination conditions of water severely affect overwater and underwater imagery and data acquisition process. When it comes to shallow waters, refraction seems to be the main factor affecting the geometry and the radiometry of the primary data and consequently of the results of the SfM-MVS methods. The research carried out is concerned with the study and development of new methods for improving the performance and the accuracy of image-based mapping and 3D reconstructing the bottom in shallow waters for small- and large-scale surveys. The first method developed, addresses the systematic refraction errors on point clouds derived from SfM-MVS procedures in a generalized and accurate way. The developed method, based on SVMs, can accurately predict shallow bathymetric information from low-altitude aerial image datasets over a calm water surface, supporting several coastal engineering applications in non-turbid waters and textured bottoms. The second method developed, is an image correction method which is built upon the state-of-the-art and firstly exploits the first method and then corrects the refraction effect on the original imaging dataset. This way the operational SfM-MVS processing pipelines are ultimately executed on a refraction-free set of aerial imagery datasets resulting into highly accurate bathymetric maps and image-based products, reducing also the noise of the sparse point clouds. In the third method developed, a SegNet-based FCN classifier is exploited in order to detect areas with caustics on the underwater imagery with very high accuracy, reliability and repeatability over different conditions. The classifier is being trained using the first real world benchmark dataset on underwater caustics which is also a deliverable of the thesis. In the final step of the method, the pixels classified as "caustics" are replaced by the corresponding pixels on the matched images that are classified as "non-caustics" using the disparity maps and then the corrected stereo-rectified images are projected back onto the initial image model. Results suggest an increment of 25% of the matched key-points between the images and more consistent 3D reconstruction, without any missing information. For all the developed methods, experimental results and validation over synthetic and real-world data are demonstrating their high potential, both in terms of bathymetric accuracy as well as texture and orthophoto quality. Also, frameworks were designed in a way to achieve high generalization over different platforms, cameras, flight heights, flight patterns and overlapping.

Η ακριβής βαθυμετρία και χαρτογράφηση του πυθμένα είναι σημαντική για πλήθος δραστηριοτήτων. Μέσω τεχνικών φωτογραμμετρίας, όρασης υπολογιστών και τηλεπισκόπησης, οι εικόνες μπορούν να παρέχουν μία χαμηλού κόστους εναλλακτική σε σχέση με τα συστήματα SONAR και LiDAR, παρέχοντας παράλληλα και την άκρως σημαντική εικονιστική πληροφορία. Ωστόσο, παρά το χαμηλό τους κόστος, επηρεάζονται άμεσα από τις οπτικές ιδιότητες του νερού και τις συνθήκες φωτισμού. Στα ρηχά νερά, η διάθλαση είναι ο κύριος παράγοντας που επηρεάζει αρνητικά τη γεωμετρία και τη ραδιομετρία των εικόνων, είτε αυτές λαμβάνονται εκτός του νερού, είτε εντός αυτού, και συνεπώς των 3Δ ανακατασκευών που παράγονται από αυτές. Στόχος της διατριβής είναι η ανάπτυξη νέων μεθόδων για τη βελτίωση της ακρίβειας και της δυνατότητας γενίκευσης των τεχνικών φωτογραμμετρίας, όρασης υπολογιστών και τηλεπισκόπησης που έχουν στόχο την 3Δ ανακατασκευή του πυθμένα ρηχών περιοχών, τόσο σε μικρής όσο και σε μεγάλης κλίμακας αποτυπώσεις. Για τη διόρθωση των γεωμετρικών επιδράσεων της διάθλασης, αναπτύχθηκε μία πρωτότυπη μέθοδος που εκμεταλλεύεται τεχνικές μηχανικής μάθησης ώστε να προβλέπει το σωστό βάθος των 3Δ νεφών σημείων που έχουν προκύψει από τεχνικές SfM-MVS, γνωρίζοντας μόνο το φαινόμενο βάθος. Η μέθοδος αυτή αποδεικνύεται εξαιρετικά ακριβής και ικανή να γενικεύει σε διαφορετικές περιοχές και συνθήκες λήψης δεδομένων. Επιπλέον, μία δεύτερη μέθοδος παρουσιάζεται, επεκτείνοντας μία state-of-the-art μέθοδο με στόχο τη διόρθωση των γεωμετρικών επιδράσεων της διάθλασης στις αρχικές εικόνες. Η επέκταση αυτή πενταπλασιάζει τη βυθομετρική ακρίβεια της state-of-the-art μεθόδου και τη μετατρέπει από επαναληπτική σε άμεση, επεκτείνοντας τα επιχειρησιακά της βάθη από τα 7.5 στα 15 μέτρα τουλάχιστον. Μέσω αυτής, παραδίδονται σωστότερες ορθοεικόνες και πιο λεπτομερείς υφές. Αποτελέσματα από πειράματα σε πραγματικά και συνθετικά δεδομένα αποδεικνύουν ότι η ακρίβεια των μεθόδων αυτών είναι εντός των αυστηρών πλαισίων του Διεθνούς Οργανισμού Υδρογραφίας και πως υπερτερούν άλλων state-of-the-art μεθόδων με τις οποίες συγκρίνονται εκτενώς. Για την αντιμετώπιση των ραδιομετρικών επιδράσεων της διάθλασης και συγκεκριμένα του φαινομένου των caustics, μία νέα μέθοδος προτείνεται, η οποία σε αντίθεση με τις μεθόδους που παρουσιάζονται στη βιβλιογραφία, δεν περιορίζεται από τη μορφή του ανάγλυφου του πυθμένα. Η μέθοδος εκμεταλλεύεται τεχνικές βαθιάς μηχανικής μάθησης και τη γεωμετρία της 3Δ σκηνής μέσω των χαρτών βάθους και διορθώνει το φαινόμενο στην εικόνα, αντικαθιστώντας μόνο τα «προβληματικά» εικονοστοιχεία με τιμές από τα αντίστοιχα της συνταυτισμένης εικόνας. Έτσι, διορθώνεται η εικόνα μόνο με πραγματική πληροφορία. Ύστερα από πειράματα σε πραγματικά δεδομένα, αποδεικνύεται ότι οδηγεί σε αύξηση των συνταυτίσεων μεταξύ των εικόνων και σε ένα πιο πλήρες 3Δ νέφος. Επιπλέον, παρουσιάζεται το πρώτο σύνολο εικόνων με caustics το οποίο είναι διαθέσιμο στην επιστημονική κοινότητα μαζί με αληθή δεδομένα εικόνων και ταξινόμησης. Όλες οι μέθοδοι που αναπτύχθηκαν στη διατριβή, δεν περιορίζονται από τα συστήματα και τους αισθητήρες λήψης καθώς τα πειράματα που διεξήχθησαν απέδειξαν ότι λειτουργούν κάτω από πλήθος συνθηκών και δεδομένων.