Η επιπολική γεωμετρία στον προβολικό και τον ευκλείδειο χώρο

Abstract

Subject of this PhD Thesis is the geometry of the uncalibrated stereopair. In particular, the question is addressed as to which information may be extracted from two overlapping images regarding their position in space, the cameras from which they originate and the recorded objects. Starting point was the treatment of this issue in projective space both (today) by researchers in the field of computer vision as well as (more than a century ago) by pioneering photogrammetrists; but, a basic aim here was to simultaneously handle the question also in the Euclidian space. In the Introduction, the subject of the thesis is posed, its wider research framework is defined through a review of related literature in the fields of photogrammetry and particularly computer vision, and the original aspects of this work are outlined. Next, certain introductory concepts of projective geometry, indispensable for the description and further study of image geometry are given. Following this, the epipolar geometry of the stereopair is presented in the projective framework of computer vision. For calibrated images the linear expression of the coplanarity condition and relative orientation represented by the essential matrix is described and its properties are given. Also, the concept of 2D epipolar geometry for uncalibrated camera pairs is introduced. This is expressed by the fundamental matrix which describes, directly on the two image planes, the one-way correspondence between image points and epipolar lines. Different geometric interpretations of the fundamental matrix are presented along with algorithms for its computation from point correspondences as well as for projective reconstruction of the imaged space but also for its upgrading to affine or Euclidean through geometric constraints referring to object space or the camera parameters. Further, constraints are given between the fundamental matrix and interior orientation, which allow camera autocalibation from ≥3 images or partial camera calibration in the case of the stereopair. The following chapters present the novel contributions of this thesis. Given the two epipoles and the projective correspondence between homologue epipolar lines - information inscribed in the fundamental matrix - the 2D epipolar geometry is studied in the Euclidean 3D space. Specifically, a mathematical expression is formulated to encompass the infinite, compatible with the fundamental matrix, combinations of relative and interior orientation of the two images and, consequently, the corresponding projective reconstruction of imaged space. This description relies on the definition of 4 geometric parameters of the stereopair (direction of the intersection line of the image planes; angle formed by these planes; location of projective centres on the base-line) which are independent of the fundamental matrix. Furthermore, geometric loci are established which describe changes of these parameters but also different constraints on camera geometry parameters. In this context, an alternative geometric parameterization of the 7 degrees of freedom of the fundamental matrix is formulated, based on the proof that, with suitable 2D translation and rotation, two planar projective bundles of rays - which generally intersect on a conic section - may be brought to a given perspective position, i.e. to intersect on a straight line. On the other hand, with a different but still Euclidean approach equations are formulated to express in a new form the constraints posed by the fundamental matrix upon the parameters of interior orientation. These equations rely on the equality between angles formed by the faces of tetrahedra which are defined, independently for the two images, by specific epipolar planes and the planes formed by the optical axes and the base of the stereopair. Based on these equations, four new closed-form algorithms for partial camera calibration are formulated. In the last part, the algorithms developed in this thesis are evaluated with both simulated as well as real image data (including images from datasets available on the Internet). The computation of the fundamental matrix from automatically extracted image point correspondences is examined; examples of image configurations in 3D Euclidean space compatible with specific 2D epipolar geometries are given; the algorithms for partial camera calibration are compared with those from computer vision literature. The thesis is completed with conclusions from this study, justification of the originality of the performed research work and certain thoughts regarding further possible research issues in the context of the present investigation.

Αντικείμενο της διδακτορικής διατριβής είναι η γεωμετρία του ζεύγους εικόνων άγνωστου εσωτερικού προσανατολισμού. Συγκεκριμένα, διερευνάται η γεωμετρική πληροφορία που είναι δυνατόν να εξαχθεί από δύο επικαλυπτόμενες εικόνες σχετικά με την θέση τους στο χώρο, τις μηχανές λήψης από τις οποίες προέρχονται και τα απεικονιζόμενα αντικείμενα. Αφετηρία αποτέλεσε η αντιμετώπιση του ζητήματος στον προβολικό χώρο τόσο, σήμερα, από ερευνητές της όρασης υπολογιστών όσο και, πριν από έναν και πλέον αιώνα, από πρωτοπόρους επιστήμονες της φωτογραμμετρίας, ωστόσο βασικός στόχος εδώ ήταν η ταυτόχρονη προσέγγιση του προβλήματος και στον ευκλείδειο χώρο. Η διατριβή ξεκινά με μία εισαγωγή όπου τίθεται το θέμα της, ορίζεται - με επισκόπηση της συναφούς βιβλιογραφίας από τα επιστημονικά πεδία της Φωτογραμμετρίας και κυρίως της Όρασης Υπολογιστών - το ευρύτερο πλαίσιο στο οποίο εντάσσεται η έρευνα που πραγματοποιήθηκε και περιγράφονται τα στοιχεία πρωτοτυπίας της. Στην συνέχεια δίδονται ορισμένα εισαγωγικά στοιχεία προβολικής γεωμετρίας, αναγκαία για την περιγραφή και την περαιτέρω διερεύνηση της γεωμετρίας των εικόνων. Κατόπιν παρουσιάζεται η επιπολική γεωμετρία του στερεοζεύγους στο προβολικό πλαίσιο της Όρασης Υπολογιστών. Για εικόνες γνωστού εσωτερικού προσανατολισμού περιγράφεται η γραμμική έκφραση της συνθήκης συνεπιπεδότητας και του σχετικού προσανατολισμού μέσω του δεσμευμένου επιπολικού πίνακα (essential matrix) και δίνονται οι ιδιότητες του. Εισάγεται, επίσης, η έννοια της 2D επιπολικής γεωμετρίας για εικόνες από μη βαθμονομημένες μηχανές. Αυτή εκφράζεται μαθηματικά μέσω του επιπολικού πίνακα (fundamental matrix) που περιγράφει, απευθείας στα επίπεδα των εικόνων, την μονοσήμαντη αντιστοιχία εικονοσημείων και επιπολικών ευθειών. Παρουσιάζονται διαφορετικές γεωμετρικές ερμηνείες του επιπολικού πίνακα, αλγόριθμοι υπολογισμού του από ομολογίες εικονοσημείων καθώς και η δυνατότητα για προβολική ανακατασκευή του απεικονιζόμενου χώρου αλλά και την αναβάθμιση της ανακατασκευής σε αφινική ή ευκλείδεια μέσω γεωμετρικών δεσμεύσεων που αφορούν τα αντικείμενα ή την μηχανή λήψης. Δίδονται, ακόμα, οι δεσμεύσεις μεταξύ των στοιχείων του επιπολικού πίνακα και των παραμέτρων εσωτερικού προσανατολισμού οι οποίες επιτρέπουν την αυτοβαθμονόμηση της μηχανής λήψης από ≥3 εικόνες ή την μερική βαθμονόμησή της στην περίπτωση του ζεύγους. Οι επόμενες ενότητες παρουσιάζουν τα αποτελέσματα της πρωτότυπης έρευνας της διατριβής. Με δεδομένους του πόλους των δύο εικόνων και την προβολική αντιστοιχία μεταξύ των ομόλογων επιπολικών ευθειών - πληροφορία που εμπεριέχεται στον επιπολικό πίνακα - διερευνάται η 2D επιπολική γεωμετρία στον ευκλείδειο 3D χώρο. Δίνεται δηλαδή μία μαθηματική περιγραφή του συνόλου των άπειρων, συμβατών προς τον επιπολικό πίνακα, συνδυασμών σχετικού και εσωτερικού προσανατολισμού των εικόνων και, κατά συνέπεια, των αντίστοιχων προβολικών ανακατασκευών των απεικονιζόμενων αντικειμένων. Αυτή η περιγραφή στηρίζεται στον εντοπισμό 4 γεωμετρικών παραμέτρων του στερεοζεύγους (διεύθυνση ευθείας τομής των επιπέδων των εικόνων, δίεδρη γωνία τους, θέση προβολικών κέντρων επί της βάσης) που είναι ανεξάρτητες του επιπολικού πίνακα. Ακόμα, διατυπώνονται γεωμετρικοί τόποι που αντιστοιχούν σε μεταβολές των παραμέτρων αυτών αλλά και σε διαφορετικές δεσμεύσεις του εσωτερικού προσανατολισμού των μηχανών λήψης. Παράλληλα προτείνεται εναλλακτική γεωμετρική παραμετροποίηση για τους 7 βαθμούς ελευθερίας του επιπολικού πίνακα, η οποία βασίζεται στην απόδειξη ότι, με κατάλληλη 2D μετάθεση και στροφή, δύο επίπεδες προβολικές δέσμες ευθειών - που στην γενική περίπτωση τέμνονται επί κωνικής τομής - μπορούν να έρθουν σε δεδομένη προοπτική θέση, να τέμνονται δηλαδή επί δεδομένης ευθείας. Επίσης, μέσω διαφορετικής ευκλείδειας προσέγγισης διατυπώνονται μαθηματικές σχέσεις που εκφράζουν εκ νέου τις δεσμεύσεις του επιπολικού πίνακα στις παραμέτρους εσωτερικού προσανατολισμού των εικόνων. Οι σχέσεις αυτές στηρίζονται στην ισότητα δίεδρων γωνιών μεταξύ των πλευρών τετραέδρων που ορίζονται, ανεξάρτητα στις δύο εικόνες, από συγκεκριμένα επιπολικά επίπεδα και τα επίπεδα που σχηματίζουν οι οπτικοί άξονες των εικόνων με την βάση του ζεύγους. Μέσω αυτών αναπτύσσονται τέσσερις νέοι αλγόριθμοι, κλειστής μορφής (closed form), για την μερική βαθμονόμηση των μηχανών λήψης. Στο τελευταίο κεφάλαιο ελέγχονται και αξιολογούνται οι αλγόριθμοι της διατριβής με πραγματικές εικόνες αλλά και προσομοιωμένα δεδομένα λήψεων. Εξετάζεται ο υπολογισμός του επιπολικού πίνακα από ομολογίες εικονοσημείων που μετρήθηκαν αυτόματα, δίνονται παραδείγματα για την διερεύνηση της 2D επιπολικής γεωμετρίας στον 3D Ευκλείδειο χώρο και συγκρίνονται οι αλγόριθμοι μερικής βαθμονόμησης της διατριβής με αντίστοιχους από την βιβλιογραφία της Όρασης Υπολογιστών. Η διατριβή ολοκληρώνεται με την σύνοψη των συμπερασμάτων που προέκυψαν, την τεκμηρίωση της πρωτοτυπίας της και ορισμένες σκέψεις για περαιτέρω έρευνα στο πεδίο του αντικειμένου της.