Multi-camera systems for navigation of robotic systems and surveillance

Abstract

During the last decade, vision systems established themselves as the standard in their own right and as one of the most efficient sensorial systems in industrial and everyday applications. Furthermore, it is apparent that one of the most challenging problems is the human-robot interaction inside the working area of a robot. Robots working in an indoor environment must be able to navigate seamlessly in the confined space and to avoid obstacles and humans in both static and dynamic environments. To achieve that, the vision system should enable a robust and effective 3D mapping of the working environment. Both of these fields, multi camera systems and environmental mapping, are the two pillars of this PhD dissertation. The motivation of this PhD dissertation has been the observation that the plethora of algorithms already developed by the scientific community in the field of computer vision for monocular and stereo systems are not able to provide sufficient feedback and adequate performance in case of a multi view application. Therefore, the objective of this doctoral research has been the introduction and implementation of such algorithms in multi camera networks for applications such as the environmental monitoring of the working space of a robot and its navigation using three-dimensional visual information. Innovative computer vision algorithms have been developed and evaluated for networks with minimum number of four and up to forty cameras. These algorithms were tested successfully on multi-camera systems targeting the maximum space coverage of static and dynamic environments and the three-dimensional reconstruction of everyday objects inside common workspaces. The thesis in hand is divided in three main chapters. The first one refers to the basic principles of multi-camera systems in terms of geometry and image correspondence. In the first section of the second chapter, the main focus is on the static, off-line camera topology problem, where the main goal is to manage the optimal positioning of a number of visual sensors for a region to be observed, given a set of task-specific constraints. A novel modified bio-inspired technique is proposed, which uses a bee colony algorithm that is able to determine the minimum number of cameras needed to cover the given space completely. The algorithm employs several camera placement constraints referring to geometrical, optical as well as reconstructive limitations. In the next section, an enhancement of the bio-inspired algorithm is presented to cover areas with arbitrary floor plans and significant dynamic crowd densities. The main contribution of this method is the development of a new optimisation technique for the maximisation of the coverage of a given space using cameras with ability to alternate their position resulting to a dynamic camera topology. In the third chapter, the first method encapsulates the classic problem of inferring a dense 3D volumetric reconstruction of an object from a collection of calibrated views along a common global coordinate system. The most noticeable novelty of this algorithm lies in the computational simulation of the behavior rules of ant colonies as an optimisation technique for further refinement of the final 3D models. Finally, the last section describes a novel contribution referring to the 3D reconstruction of prismatic objects based on the information provided by the vanishing points of the scene. This is the first time that such a 3D reconstruction approach is proposed. The efficiency of the proposed method relies on its low reprojection error and its ability to produce compact representations of the reconstructed objects.

Κατά τη διάρκεια της τελευταίας δεκαετίας, τα συστήματα όρασης έχουν εδραιωθεί ως πρότυπα συστήματα και ένα από τα πιο αποτελεσματικά συστήματα αισθητήρων τόσο σε βιομηχανικές όσο και καθημερινές εφαρμογές, πολλαπλών καμερών. Επιπλέον, είναι ξεκάθαρο ότι ένα από τα πιο σημαντικά προβλήματα είναι η διεπαφή ανθρώπου-ρομπότ μέσα στο χώρο εργασίας του ίδιου του ρομποτικού συστήματος. Τα ρομπότ που εργάζονται σε ένα περιβάλλον εσωτερικού χώρου πρέπει να είναι σε θέση να πλοηγούνται ομαλά σε περιορισμένο χώρο και να είναι ικανά να αποφεύγουν εμπόδια και ανθρώπους σε στατικά και δυναμικά περιβάλλοντα. Για την επίτευξη αυτού του στόχου, το σύστημα όρασης θα πρέπει να παρέχει την έγκυρη και αποτελεσματική τρισδιάστατη χαρτογράφηση του εργασιακού περιβάλλοντος. Τα δύο αυτά γενικευμένα πεδία, δηλαδή τα συστήματα πολλαπλών καμερών και η χαρτογράφηση του εργασιακού περιβάλλοντος, αποτελούν την ραχοκοκαλιά αυτής της διδακτορικής διατριβής. Κίνητρο για αυτή τη διδακτορική διατριβή στάθηκε η παρατήρηση ότι το πλήθος των αλγορίθμων που έχουν ήδη αναπτυχθεί από την επιστημονική κοινότητα στον τομέα της υπολογιστικής όρασης, βρίσκει εμπόδια κατά την εφαρμογή τους σε συστήματα με περισσότερες από δύο κάμερες. Σκοπός της διδακτορικής διατριβής αποτέλεσε η εισαγωγή και εφαρμογή αυτών των αλγορίθμων υπολογιστικής όρασης σε δίκτυα πολλαπλών καμερών για χρήση τους σε εφαρμογές όπως η επιτήρηση του περιβάλλοντος εργασίας ρομποτικών συστημάτων καθώς και πλοήγηση αυτών των συστημάτων με την βοήθεια τρισδιάστατης οπτικής πληροφορίας. Σχεδιάστηκαν, εκτιμήθηκαν και υλοποιήθηκαν επιτυχώς καινοτόμοι αλγόριθμοι υπολογιστικής όρασης για συστήματα πολλαπλών καμερών με ελάχιστο αριθμό τεσσάρων καμερών έως και σαράντα. Οι αλγόριθμοι αυτοί δοκιμάστηκαν επιτυχώς σε συστήματα πολλαπλών καμερών με στόχο την μέγιστη κάλυψη χώρου τόσο σε στατικά όσο και δυναμικά περιβάλλοντα και την τρισδιάστατη ανακατασκευή καθημερινών αντικειμένων που βρίσκονται σε συνηθισμένα περιβάλλοντα εργασίας. Η παρούσα διδακτορική διατριβή χωρίζεται σε τρία κύρια κεφάλαια. Το πρώτο αναφέρεται στις βασικές αρχές γεωμετρίας που διέπουν τα συστήματα πολλαπλών καμερών. Στην πρώτη ενότητα του πρώτου κεφαλαίου, το κύριο ενδιαφέρον είναι στο πρόβλημα της στατικής τοπολογίας καμερών, όπου ο κεντρικός στόχος είναι η βέλτιστη τοποθέτηση του αριθμού των οπτικών αισθητήρων για την παρακολούθηση μίας περιοχής, λαμβάνοντας υπόψη μια σειρά περιορισμών. Μία νέα τροποποιημένη τεχνική εμπνευσμένη από τη φύση, η οποία αξιοποιεί τον αλγόριθμο του σχηματισμού αποικίας μελισσών, ο οποίος είναι σε θέση να καθορίσει τον ελάχιστο αριθμό απαιτούμενων καμερών που απαιτούνται για την ολοκληρωτική κάλυψη του χώρου καθορίζοντας ταυτόχρονα και το ελάχιστο κόστος που απαιτείται για αυτή τη κάλυψη. Ο αλγόριθμος χρησιμοποιεί πολλαπλούς περιορισμούς σχετικά με τη θέση της εκάστοτε κάμερας οι οποίοι ενδέχεται να είναι γεωμετρικοί, οπτικοί και κατασκευαστικοί. Στην επόμενη κύρια ενότητα, παρουσιάζεται ο εμπλουτισμός της προηγούμενης μεθόδου ως προς την κάλυψη νέων χώρων, οι οποίοι εμπεριέχουν δυναμικής φύσεως δεδομένα. Η κύρια συνεισφορά αυτής της μεθόδου είναι η ανάπτυξη μίας νέας τεχνικής βελτιστοποίησης για την μεγιστοποίηση της κάλυψης του δεδομένου χώρου χρησιμοποιώντας κάμερες με δυνατότητες αλλαγής της θέσης τους ώστε να είναι δυνατή η παρακολούθηση δυναμικού πλήθους. Στο τρίτο κεφάλαιο της διατριβής, η πρώτη μέθοδος αναφέρεται στο κλασικό πρόβλημα της πυκνής τρισδιάστατης ανακατασκευής του όγκουαντικειμένων, από μία βάση βαθμονομημένων εικόνων. Η καινοτομία του αλγορίθμου έγκειται στην υπολογιστική προσομοίωση των κανόνων συμπεριφοράς που εμφανίζουν οι αποικίες μυρμηγκιών, ως τεχνική βελτίωσης για την περαιτέρω εκλέπτυνση των τελικών τρισδιάστατων μοντέλων. Τέλος, η τελευταία ενότητα περιγράφει την καινοτομία η οποία έγκειται στην τρισδιάστατη ανακατασκευή πρισματικών αντικειμένων με βάση τις πληροφορίες που παρέχουν τα σημεία φυγής της σκηνής. Αυτή είναι και η πρώτη φορά που προτείνεται μία τέτοια προσέγγιση για τρισδιάστατη ανακατασκευή αντικειμένου. Η αποτελεσματικότητα της προτεινόμενης μεθόδου βασίζεται στο χαμηλό σφάλμα επαναπροβολής, στην δυνατότητά της να παρέχει συμπαγείς αναπαραστάσεις τωνανακατασκευασμένων αντικειμένων και στην χαμηλή υπολογιστική της επιβάρυνση.