Methods to refine the self - localization of planetary rovers using orbital imaging

Abstract

One of the most common solutions for the exploration of remote and harsh environments such as volcanic or deep see areas is the employment of a robotic system. In the case of space exploration and specifically to areas which are further away from the orbit of Earth, the robotic exploration is the norm, considering that the human species has not yet been proven to be able to survive out of Earth's atmosphere -or a man made construction, such as the ISS- for extended time periods. Thus, the exploration of Mars has been performed -so far- exclusively by robots. Notwithstanding the good performance of contemporary space rovers, on autonomous or semi-autonomous operations, several issues must be assessed to allow more complex missions. The accurate localization and route estimation of space exploration rovers, without relying on a ``human in the loop", constitutes one of the most severe hindrances towards the success of large scale space exploration missions such as the construction of a habitat for humans. The contemporary rovers of the National Space Administration of USA (NASA) which currently explore Mars (namely the MER-A and MER-B of the mission Mars Exploration Rovers-MER and the Curiosity of the mission Mars Science Laboratory-MSL) navigate relatively to an arbitrary frame of reference (e.g. their landing point), ignoring the planet-specific coordinate frame.The motivation behind this PhD dissertation has been the prospect to utilize the new and high quality sensors orbiting Mars such as the High Resolution Imaging Science Experiment (HiRISE), in order to extract landmarks and eventually employ them to localize a rover autonomously on an absolute frame of reference. But, autonomy requires the researchers to follow an interdisciplinary approach. In the context of this research several algorithms have been developed -each on a different field- which where all connected in the end to produce a system capable of delivering the absolute position on Mars.This dissertation is articulated into six chapters, each of which tackles a separate subject. Let us begin with chapter one which includes all the basic understanding and motivation required to follow this work as well as a literature survey that presents all the previous works on the subject. Concerning the literature survey, a clear taxonomy of the approaches has been performed based on the type of sensory each of the methods follows as well as based on the approach employed. Following the conclusions of chapter one, chapter two elaborates on the crucial subject of the employment of proper and realistic datasets. The first dataset utilized, is the one that was produced by ESA in the context of an activity where a robot was employed to navigate in the Desert of Attacama. Indifferently to the alikeness of the Atacama desert to a typical Martian area, we decided to replicate -in terms of boulder distribution- an actual area on Mars, namely the Gale Crater. With a view to provide proper data we constructed a robot (Heavy Duty Planetary Rover) the vision system of which is a replica of the one on the ExoMars rover. The dataset produced, is not only valuable for us, but will also benefit other researchers as we provide it freely through ESA's web servers.The third chapter includes all the methods required to provide accurate relative localization. Even though relative localization -through visual odometry- produces an error which is unbounded, the error's growth rate is mostly important. We developed two approaches, one that is on par with the current rover practices and a second one, which is more advanced, yet still comparable to the first one in terms of computation effort demands. The first algorithm utilizes the 3D reconstruction of a stereo pair -onboard the rover- and along with the 2D matching procedure, provides 3D matches which are refined through a RANSAC procedure. Then a PnP problem is solved through the EPnP method, the output of which is loosely coupled with an IMU through an EKF. The second approach we developed employs a window based Bunlde Adjustment, with the window been variably adjusted according to the indications of an accurate IMU. The results produced by both of these two algorithms are adequate and on par with the state of the art. There are several parts of these two algorithms that to the best of our knowledge have never been implemented before, such as the IMU control of the size of the Bundle Adjustment's window.The fourth chapter describes both the design and the evaluation of a custom pipeline that we employ to autonomously detect and classify Regions of Interest (ROIs) on images stemming from rovers traversing a planet and from orbiters that perform observation. The detection of possible ROIs is performed on simple, yet effective, computer vision metrics. The Machine Learning (ML) approach, is the one of the binary classification for each type of landmark. The training of the system is performed offline while the classification is autonomously executed on-line. We decided to tune and benchmark a plethora of classifiers -namely ``K Nearest Neighbors" (k-NN), ``Naive Bayes" (NB), ``Logistic Regression" (LR), ``Classification Tree" (CTree), ``Support Vector Machine" (SVM) and ``Gaussian Process" (GP). Finally, in the fifth chapter the methodologies that allow us to build and match sparse networks from rovers and orbiters are presented. Two networks dominate our global localization approach, namely the Local Network (LN) and the Global Network (GN). The LN is created using the landmarks which the rover has detected and classified, while the GN is built upon a georeferenced -or areoreferenced- image. The system offers two modalities for the global localization. The first is the semiautonomous DARCES approach, which is able to provide sorted solutions for the rovers localization. The second approach is a completely autonomous one that employs graph optimization. The graph is populated as a normal pose graph, except from the fact that the local and global part of the graph are connected only through ``loop closures" and not relative localization. We employ an approach able to handle false positive, so we can overcome the problem of DARCES providing more than one solution.This doctoral dissertation is finalized with its last chapter. It first sets the basis for discussion concerning the extraterrestrial global localization of mobile robots during the last 30 years. Then it presents the approach followed in this work and our successful research achievements. Finally our idea, of the short and long term additions can be implemented in our system and how this work can be useful to other institutes and subjects, is presented.The contribution of this dissertation to the state of the art is clear and proven by our publication list. Prior to our research efforts the literature clearly lacked any method to provide accurate global localization employing the semantic characteristics of landmarks seen in both rover and orbital imagery. In particular, the system proposed within the framework of the thesis at hand includes: ``vision based motion estimation (relative localization), ``computer vision detection of landmarks", ``machine learning for landmark classification", ``graph optimization for pose and route refinement". All these components per se, as well as the compounded system, lay at the edge of the state of the art, since they match and/or exceed any previous work on the respective subjects. Concerning the relative localization we have implemented a EPnP -non iterative- solution with a variable window bundle adjustment, with the window being adjusted on-line based on an accurate IMU. This is the first time such a pipeline scheme has ever been presented in the literature. Concerning the classification of Regions of Interest -for the scenario of a planetary exploration mission- and after a thorough evaluation of the related work we were unable to find any research that reported the methodology followed in order to select the most efficient approach for the recognition of different types of ROIs, on rover and orbital images. Therefore, we conducted for the first time such an evaluation with remarkable results.The usage of orbital and rover ROIs in a graph to solve the problem of absolute localization of a robot in a ``lost-in-space" scenario has never been reported in the past. The technology developed in the context of this research will advance both future and currently planed missions. Concerning researchers currently localizing rovers on Mars manually, instead of searching an immense area they will, from now on, only need to search a handful of positions. Also, the autonomous capabilities of our system will push the envelope for future space robotic missions, such as Mars Sample Return and human planet colonization.

Για αρκετές δεκαετίες οι ερευνητές που ασχολούνται με την εξερεύνηση δυσπρόσιτων περιοχών επιλέγουν τη χρήση ρομποτικών συστήματων, καθώς τα ρομπότ προσφέρουν τόσο ασφάλεια όσο και αδιάκοπη εργασία. Στην περίπτωση της εξερεύνησης του διαστήματος και ειδικά για περιοχές πέρα από την τροχιά της Γης η επιλογή αυτή αποτελεί μονόδρομο καθώς ο άνθρωπος δεν είναι σε θέση να επιβιώσει για μεγάλα χρονικά διαστήματα χωρίς την προστασία της γήινης ατμόσφαιρας. Για το λόγο αυτό η εξερεύνηση του Άρη έχει -έως τώρα- διεξαχθεί αποκλειστικά από ρομπότ. Παρόλη την εντυπωσιακά καλή λειτουργία των διαστημικών ρομποτικών συστημάτων σε αυτόνομες ή ημιαυτόνομες διεργασίες, υπάρχουν ζητήματα τα οποία χρίζουν άμεσης επίλυσης ούτως ώστε να γίνουν δυνατές πολυπλοκότερες αποστολές. Η ακριβής γνώση της θέσης και τροχιάς ενός ρομπότ απο το ίδιο το σύστημα, χωρίς την ανθρώπινη παρέμβαση, αποτελεί ίσως το ποιο κρίσιμο εμπόδιο προς την επιτυχία αποστολών μεγάλης κλίμακας, όπως η δημιουργία ασφαλούς περιβάλλοντος για την μετοίκηση των ανθρώπων σε έναν άλλο πλανήτη. Τα αυτοκινούμενα ρομποτικά συστήματα των αποστολών της Αμερικάνικης Διαστημικής Υπηρεσίας (NASA) στον Άρη (για παράδειγμα τα MER-A και MER-B της αποστολής Mars~Exploration~Rovers-MER και το Curiosity της αποστολής Mars~Science~Laboratory-MSL) πλοηγούνται σχετικά με την θέση προσγείωσης (ή προσαρείωσης) τους, αγνοώντας την ακριβή θέση τους αναφορικά με το σύστημα συντεταγμένων του πλανήτη τον οποίο εξερευνούν.Το κίνητρο για αυτή την Διδακτορική διατριβή ήταν η πιθανότητα να χρησιμοποιήσουμε τους καινοτόμους και υψηλής τεχνολογίας αισθητήρες οι οποίοι βρίσκονται σε τροχιά γύρω από τον Άρη, όπως το πείραμα High~Resolution~Imaging~ Science~Experiment~(HiRISE), ούτως ώστε να εντοπίσουμε χαρακτηριστικά στη επιφάνεια του κόκκινου πλανήτη που στην συνέχεια μπορούν να βοηθήσουν στον εντοπισμό ρομποτικών οχημάτων σε ένα απόλυτο σύστημα αναφοράς. Παρόλα αυτά οι αυτόνομες διεργασίες ρομποτικών συστημάτων απαιτούν από τους επιστήμονες να ακολουθήσουν μια διαθεματική προσέγγιση. Στα πλαίσια αυτής της διατριβής αναπτύχθηκαν αρκετοί αλγόριθμοι -καθένας σε διαφορετικό τομέα- οι οποίοι συνδέονται μεταξύ τους για να σχηματίσουν ένα σύστημα το οποίο θα είναι σε θέση να πραγματοποιήσει «απόλυτο εντοπισμό θέσης». Η παρούσα Διδακτορική Διατριβή έχει συγκροτηθεί σε έξι κεφάλαια, κάθε ένα από τα οποία καταπιάνεται με ένα συγκεκριμένο θέμα. Ξεκινώντας από το πρώτο κεφάλαιο το οποίο παρέχει όλη την βασική κατανόηση και το σχετικό κίνητρο που χρειάζεται κανείς για να παρακολουθήσει το σύνολο τη παρούσας δουλειάς καθώς και παρουσιάζει τη βιβλιογραφική ανασκόπηση των εργασιών που σχετίζονται με τη παρούσα διατριβή. Σχετικά με τη βιβλιογραφική ανασκόπηση, έχουμε υλοποίησει μία ξεκάθαρη ταξινόμηση των εργασιών σύμφωνα με τον τύπο των αισθητηρίων και των μεθόδων που χρησιμοποιούνται σε κάθε δουλειά.Σύμφωνα με τα συμπεράσματα του πρώτο κεφαλαίου, το δεύτερο κεφάλαιο αναπτύσσει το κρίσιμο ζήτημα της αξιολόγησης του συστήματος με κατάλληλα και ρεαλιστικά δεδομένα. Το πρώτο σετ δεδομένων που χρησιμοποιήθηκε, δημιουργήθηκε από την Ευρωπαϊκή Υπηρεσία Διαστήματος (ESA) κατά την διάρκεια μιας αποστολής που ως στόχο είχε την ρομποτική εξερεύνηση της ερήμου Atacama στην Χιλή. Όσο και να προσομοιάζει η Atacama στις συνθήκες του Άρη, αποφασίσαμε να αναπαραστήσουμε μία πραγματική περιοχή του κοκκινου πλανήτη -όσον αφορά την κατανομή σε πέτρες - και συγκεκριμένα τον κρατήρα Gale . Με στόχο να παρέχουμε ρεαλιστικά δεδομένα, κατασκευάσαμε ένα αυτοκινούμενο ρομπότ (Heavy Duty Planetary Rover) το οποίο είναι αντίγραφο -όσον αφορά το σύστημα όρασης - του πλανητικού οχήματος της ESA, ExoMars. Το σετ δεδομένων που παραγάγαμε δεν ωφελεί μόνο εμάς αλλά και ολόκληρη την ερευνητική κοινότητα καθώς το παρέχουμε δωρεάν μέσω των ηλεκτρονικών διακομιστών της ESA.Το τρίτο κεφάλαιο περιλαμβάνει όλες τις μεθόδους που απαιτούνται ούτως ώστε να επιτευχθεί ακριβής σχετική εύρεση θέσης. Παρόλο που η σχετική εύρεση θέσης (μέσω οπτικής οδομετρίας) παράγει μη οριοθετημένα σφάλματα ο ρυθμός με τον οποίο αυτό το σφάλμα μεγαλώνει είναι αρκετά σημαντικός. Αναπτύξαμε δύο μεθόδους, μια η οποία είναι ισοδύναμη με τις αντίστοιχες οι οποίες εφαρμόζονται ήδη σε διαστημικά ρομποτικά οχήματα και μία η οποία είναι πιο εξελιγμένη, αλλά την οποία καταφέραμε να την μετατρέψουμε σε λιγότερo υπολογιστικά απαιτητική. Ο πρώτος αλγόριθμος χρησιμοποιεί μια τρισδιάστατη ανακατασκευή ενός στερεοσκοπικού ζεύγους εικόνων (επάνω στο ρομπότ) και μαζί με την δισδιάστατη αντιστοίχιση παρέχει τρισδιάστατα ζεύγη χαρακτηριστικών σημείων και στη συνέχεια επιλέγει τις σωστές αντιστοιχίσεις μέσω μιας μεθόδου τύπου RANSAC. Στη συνέχεια ένα πρόβλημα τύπου PnP επιλύεται μέσω της μεθόδου EPnP, το αποτέλεσμα της οποίας φιλτράρεται μέσω ενός IMU με τη χρήση ενός φίλτρου EKF. Η δεύτερη προσέγγιση η οποία αναπτύχθηκε από εμάς εμπεριέχει μια μέθοδο περιορισμένου εύρους Bundle Adjustment, με το εύρος να ελέγχεται αυτόματα βάση των μετρήσεων ενός IMU ακριβείας. Τα αποτελέσματα που παράγονται από αυτές τις δύο μεθόδους ισοδυναμούν με τις μεθόδους τελευταίας τεχνολογίας. Υπάρχουν αρκετά τμήματα αυτών των δύο αλγορίθμων τα οποία δεν γνωρίζουμε να έχουν υλοποιηθεί πρότερα, όπως για παράδειγμα ο έλεγχος του εύρους του Bundle Adjustment με χρήση IMU.Το τέταρτο κεφάλαιο περιγράφει τόσο τον σχεδιασμό όσο και την αξιολόγηση μιας διαδικασίας την οποία χρησιμοποιούμε για να εντοπισόυμε και να κατηγοροποιήσουε αυτόνομα περιοχές ενδιαφέροντος (ΠΕ) από εικόνες η οποίες προέρχονται από ρομπότ τα οποία εξερευνούν ένα πλανήτη και από δορυφόρους οι οποίοι καταγράφουν την επιφάνεια αυτού του πλανήτη. Ο εντοπισμός πιθανών ΠΕ πραγματοποιείται μέσω μιας απλής (αλλά και αποτελεσματικής) μετρικής όρασης υπολογιστών. Η μέθοδος υπολογιστικής εκμάθησης (ΥΕ) που χρησιμοποιούμε είναι αυτή της δυαδικής κατηγοριοποίησης για κάθε τύπο ΠΕ. Η εκπαίδευση του συστήματος γίνεται εκ των προτέρων ενώ η κατηγοριοποίηση εκτελείται αυτόνομα σε πραγματικό χρόνο. Μετά από μία εις βάθος εξέταση της σχετικής βιβλιογραφίας δεν καταφέραμε να βρούμε καμία έρευνα η οποία να παρουσιάζει την μεθοδολογία που ακολουθείται για να επιλεχθεί η πιο κατάλληλη μέθοδος για την αναγνώριση διαφόρων ΠΕ, σε εικόνες ρομπότ και δορυφόρων, σχετικά μια διαστημικές πλανητικές αποστολές. Για αυτό το λόγο αποφασίσαμε να ρυθμίσουμε και να αξιολογήσουμε μια πληθώρα κατηγοροποιητών -αναφορικά τους ``K Nearest Neighbors" (k-NN), ``Naive Bayes" (NB), ``Logistic Regression" (LR), ``Classification Tree" (CTree), ``Support Vector Machine" (SVM) και ``Gaussian Process" (GP).Τέλος, στην πέμπτο κεφάλαιο παρουσιάζονται οι μεθοδολογίες που μας επιτρέπουν να κατασκευάσουμε και να αντιστοιχίσουμε αραιά δίκτυα από ρομπότ και δορυφόρους. Τα δύο δίκτυα τα οποία κυριαρχούν στην μέθοδο απόλυτου εντοπισμού ονομάζονται Τοπικό Δίκτυο ΤΔ κα Απόλυτο Δίκτυο ΑΔ. Το ΤΔ δημιουργείται χρησιμοποιώντας τις ΠΕ τις οποίες το ρομπότ έχει εντοπίσει και κατηγοριοποιήσει, ενώ το ΑΔ κατασκευάζεται βάση μιας δορυφορικής εικόνας σε χαρτογραφικές συντεταγμένες. Το σύστημα παρέχει δύο τρόπους απόλυτου εντοπισμού. Ο πρώτος τρόπος αποτελείται από την ημιαυτόνομη μέθοδο DARCES η οποία μπορεί να παρέχει κατανεμημένες λίστες με σειρά πιθανότητας. Ο δεύτερος τρόπος είναι εντελώς αυτόνομος και χρησιμοποιεί βελτιστοποίηση γράφων. Ο γράφος σχηματίζεται ως ένας τυπικός pose graph, εκτός από το γεγονός ότι εμπεριέχει ένα τοπικό και ένα ολικό μέρος τα οποία συνδέονται μόνο μέσω loop closures και όχι μέσω μετασχηματισμού. Επιλέγουμε μία μέθοδο η οποία είναι σε θέση να διαχειριστεί «ψεύτικες αντιστοιχίσεις» και με αυτόν τον τρόπο αποφεύγουμε το εμπόδιο κατά το οποίο ο DARCES παράγει πάνω από μία λύσεις.Η διδακτορική διατριβή ολοκληρώνεται με το τελευταίο κεφάλαιο. Αρχικά θέτει τις βάσεις για συζήτηση σχετικά με τον απόλυτο εντοπισμό θέσεως διαστημικών ρομποτικών οχημάτων τα τελευταία τριάντα χρόνια. Στη συνέχεια παρουσιάζει την μέθοδο η οποία αναπτύχθηκε κατά την διάρκεια αυτής της εργασίας και τα επιτυχημένα ερευνητικά κατορθώματα. Τέλος, παρουσιάζονται οι ιδέες μας για εμπλουτισμό του παρόντος συστήματος καθώς και την εκμετάλλευσή του από άλλα ινστιτούτα ή και για διαφορετικούς σκοπούς.Η συμβολή της παρούσας διδακτορικής διατριβής στην επιστήμη είναι ξεκάθαρη και υποστηρίζεται από την λίστα δημοσιεύσεων μας. Είμαστε αρκετά πεπεισμένοι ότι καμία μέθοδος στο παρελθόν δεν παρουσίασε απόλυτο εντοπισμό χρησιμοποιώντας σημασιολογικά χαρακτηριστικά, τα οποία είναι ορατά τόσο σε δορυφορικές εικόνες όσο και σε εικόνες ρομπότ. Αναφορικά το σύστημα το οποίο αναπτύχθηκε στα πλαίσια τη παρούσας διδακτορικής διατριβής περιέχει τα εξής υποσυστήματα: «υπολογισμό κίνησης (σχετική εύρεση θέσης)», «όραση υπολογιστών για τον εντοπισμό πιθανών χαρακτηριστικών σημείων ενδιαφέροντος», «εκμάθηση μηχανής για τον αυτόνομο χαρακτηρισμό σημείων ενδιαφέροντος», «βελτιστοποίηση γράφων για την βελτίωση θέσης και προσανατολισμού». Όλα αυτά τα στοιχεία του συστήματος μας βρίσκονται στην αιχμή της γνώσης καθώς είτε υπερτερούν ή ισοδυναμούν με όλες τις προηγούμενες μελέτες σε κάθε υπό-τομέα. Όσον αφορά την σχετική εύρεση θέσης έχουμε υλοποιήσει μια μη επαναληπτική μέθοδο (EPnP) η οποία βελτιστοποιείται με χρήση Bundle Adjustment μεταβλητούς εύρους, με το εύρος αυτό να μεταβάλλεται σε πραγματικό χρόνο με χρήση ενός IMU υψηλής ακριβείας. Αυτή είναι η πρώτη φορά που η συγκεκριμένη δομή αλγορίθμου σχετικής εύρεσης θέσης παρουσιάζεται στην βιβλιογραφία. Μετά από μία εις βάθος εξέταση της σχετικής βιβλιογραφίας δεν καταφέραμε να βρούμε καμία έρευνα - σχετικά με διαστημικές πλανητικές αποστολές- η οποία να παρουσιάζει την μεθοδολογία που ακολουθείται για να επιλεχθεί η πιο κατάλληλη μέθοδος για την αναγνώριση διαφόρων ΠΕ, σε εικόνες ρομπότ και δορυφόρων. Για το λόγο αυτό πραγματοποιήσαμε για πρώτη φορά μία τέτοια αξιολόγηση με αξιοσημείωτα αποτελέσματα. Η χρήση των ΤΔ και ΑΔ σε έναν γράφο για την επίλυση του προβλήματος της απόλυτης εύρεσης θέσης, στο σενάριο του «ρομπότ χαμένου στο διάστημα» δεν έχει αναφερθεί στο παρελθόν. Η τεχνολογία που έχει αναπτυχθεί στα πλαίσια αυτής της έρευνας θα βοηθήσει στην εξέλιξη τόσο των παρόντων όσο και των μελλοντικών αποστολών. Όσον αφορά τους ερευνητές, οι οποίοι εντοπίζουν ρομπότ στον Άρη μη αυτοματοποιημένα, αντί να ερευνούν μια αχανή περιοχή, εις το εξής θα ψάχνουν σε ένα μικρό εύρος θέσεων. Επίσης, οι αυτόνομες δυνατότητες του συστήματος μας θα δώσουν ώθηση για μελλοντικές ρομποτικές εξωπλανητικές αποστολές όπως οι αποστολή Mars Sample Return και η μετοίκηση των ανθρώπων σε άλλους πλανήτες.