Ανάπτυξη μεθοδολογιών αναγνώρισης και παρακολούθησης προτύπων σε ψηφιακή εικόνα

Abstract

In the present PhD thesis the problem of vehicle detection, location, classification and tracking in traffic video captures is examined and solved. We propose an operational system that empoyes two versions of appropriate software developed for this purpose. The first version concerns an algorithm constracted to detect vehicle line features on the gradient of traffic image sequence. The second version of this software employes a background subtraction algorithm appropriately modified to extract foreground information without apriori knowledge of the background (which apriori knowledge is often an empty road scene representing the initial background). Both algorithms have been developed and evaluated exploiting a list of road traffic captures, which have been collected from the two main Athenean avenues: Attiki odos and National Road E75. A dataset of the aforementioned various road traffic captures has been created. The dataset’s road scenes captured by a plain commercial PAL camera under various lighting, angle view and traffic conditions. Appropriate software has been developed to manage those captures and they have been converted to frame sequences to increase flexibility of the system. The system requirements and experimental data for evaluation purposes for our two algorithms have been drawing from this dataset. In our first approach, we have developed an algorithm capable of detecting and grouping line segments perpendicular to the traffic flow in binary images. According to our observations on the dataset, line segments perpendicular to the traffic flow is the distinctive feature that can safely separates vehicle figures from the background on image gradient (binary image). To achieve this goal we have employed a generalized Hough Transformation methodology to detect those line features. The detected line segments are grouped to form vehicle domains, whose domains trajectories have been processed using Kalman filter equations. The system was tested and found working satisfactory under normal traffic conditions. In our second approach, we propose an innovating algorithm namely the Background Reconstruction. The Background Reconstruction algorithm is a heuristic that provides a periodically updated background and enhances the efficiency of the well-known background subtraction methodology in case of outdoor captures. This methodology guarantees a fresh instance of the actual background periodically, which is achieved by collecting scatter color information through a series of sequential images and assembling them to reconstruct the actual background. This process is applied to each pixel separately and the result is a color map of the actual image background. The innovation of this study lies on the ability of the proposed algorithm to reconstruct the actual background color map without the need of any human intervention even in harsh traffic conditions, such as stop-and-go traffic flow. The background reconstruction algorithm demonstrated a rather robust performance in various operating conditions including unstable lighting, different view-angles and congestion. We have designed two basic tests in order to evaluate the performance of the background reconstruction algorithm. In the first test we have chosen some specific pixels in a set of captures and we have separated the foreground from the background manually. In the second test we have chosen two popular algorithms, MOG and Codebook, to compare with. This comparison took place in a frame where we have first separated manually the foreground from the background and then we measured the separation performance of each algorithm. The Reconstruction algorithm found outstanding in all tests. The capability of the algorithm to reconstruct the actual image background was confirmed according to the first test and it performed better than the other two algorithms in the second test. Further tests were processed by testing system performance in detecting vehicles and the background reconstruction capability in several captures of the dataset. The system managed to detect and track vehicles as well as to reconstruct the actual background. The processed traffic scenes as proof of algorithm’s reliability and robustness have been published on author web site at: http://users.ntua.gr/nmand/BGReconstruction.htm.

Στα πλαίσια της παρούσας διδακτορικής διατριβής εξετάζεται και επιλύεται το πρόβλημα της αναγνώρισης, εντοπισμού και παρακολούθησης οχημάτων σε κινούμενη εικόνα (video). Το πρόβλημα αυτό είναι τμήμα ενός ευρύτερου επιστημονικού τομέα της μηχανικής όρασης (machine/computer vision), ο οποίος εντάσσεται στην γενικότερη επιστήμης της τεχνητής νοημοσύνης. Τα προβλήματα μηχανικής όρασης προκύπτουν σε πλήθος πρακτικών εφαρμογών της καθημερινής μας ζωής που είναι δύσκολο να απαριθμηθούν διότι καλύπτουν σχεδόν όλο το εύρος της ανθρώπινης δραστηριότητας: βιομηχανικές εφαρμογές (συστήματα αξιολόγησης, τεχνικού ελέγχου παρακολούθησης παραγωγής), επιστημονικές εφαρμογές (αυτόματος έλεγχος στην τέλεση πειραμάτων), εφαρμογές ασφάλειας και οπτικής παρακολούθησης, εφαρμογές υπολογιστών και καθημερινών συσκευών/ μικροσυσκευών όπως κινητά τηλέφωνα μέχρι και συστήματα αυτόματου παρκαρίσματος που συμπεριλαμβάνεται στα σύγχρονα αυτοκίνητα. Ως εκ τούτου ο κλάδος αυτός παρουσιάζει εξαιρετικό ενδιαφέρον, τόσο σε επιστημονικό, όσο και σε εμπορικό επίπεδο. Η δική μας επιστημονική αναζήτηση αφορά την οπτική παρακολούθηση εικόνων οδικής κυκλοφορίας και ο στόχος της μελέτης είναι διπλός: αφενός μεν να δημιουργηθεί ένα αξιόπιστο σύστημα που θα είναι σε θέση να εντοπίζει οχήματα και να εξάγει κυκλοφοριακές παραμέτρους όπως η ταχύτητα και το πλήθος των οχημάτων και αφετέρου να προτείνει ένα αξιόπιστο επιχειρησιακό σύστημα που να είναι σε θέση να αξιοποιήσει τον ήδη υπάρχοντα εξοπλισμό, όπως το σύστημα οπτικής επιτήρησης που είναι τοποθετημένο σε αρκετά σημεία του οδικού δικτύου της Αττικής Οδού και της Εθνικής οδού. Η παρούσα διδακτορική διατριβή προτείνει δυο πρωτότυπες μεθοδολογίες για την αποδοτική επίλυση του προβλήματος οπτικής παρακολούθησης της κυκλοφορίας: Η πρώτη μεθοδολογία αφορά τον εντοπισμό οχημάτων αναζητώντας και ομαδοποιώντας ευθύγραμμα τμήματα επί της βαθμίδας της εικόνας. Η δεύτερη μεθοδολογία αφορά τον εντοπισμό οχημάτων με την εφαρμογή ενός καινοτόμου αλγόριθμου της κατηγορίας απαλοιφής του υπόβαθρου τον οποίο ονομάσαμε αλγόριθμο Ανακατασκευής του Υπόβαθρου (Background Reconstruction). Ταυτόχρονα με τις μεθοδολογίες αυτές παρουσιάζεται ένα ολοκληρωμένο σύστημα οπτικής παρακολούθησης που παρουσιάζονται οι προδιαγραφές και τα όρια λειτουργίας του. Για να προσδιορίσουμε τις προδιαγραφές του συστήματος και των μεθοδολογιών στις οποίες στηρίζεται καθώς και για να αξιολογήσουμε τα αποτελέσματα της λειτουργίας του έχουμε συλλέξει πρότυπες λήψεις που έχουν γίνει στις δυο μεγάλες λεωφόρους της πόλης των Αθηνών, της Αττικής και της Εθνικής οδού. Η πρώτη μεθοδολογία στηρίζεται στην παρατήρηση ότι τα οχήματα σε εικόνες κυκλοφορίας χαρακτηρίζονται από μεγάλα κάθετα ευθύγραμμα τμήματα στη ροή της κυκλοφορίας. Αυτό το χαρακτηριστικό μπορεί να βοηθήσει στον εντοπισμό και το διαχωρισμό οχημάτων επί της βαθμίδας της εικόνας. Ο εντοπισμός γίνεται εφαρμόζοντας την κατάλληλα τροποποιημένη μεθοδολογία του γενικευμένου μετασχηματισμού Hough. Τα εντοπισμένα ευθύγραμμα τμήματα ομαδοποιούνται έτσι ώστε να αντιπροσωπεύουν οχήματα και τα κέντρα τους παρακολουθούνται με τη χρήση του φίλτρου Kalman. Η απόδοση του συστήματος που χρησιμοποίησε τη μεθοδολογία αυτή είναι ικανοποιητική για ήπιες κυκλοφοριακές συνθήκες. Η δεύτερη μεθοδολογία στηρίζεται στην ανακατασκευή του τρέχοντος υπόβαθρου. Είναι μια μεθοδολογία στατιστική και υπολογίζει σε επίπεδο εικονοστοιχείου την τιμή του υπόβαθρου. Ο υπολογισμός αυτός γίνεται θεωρώντας ότι ο χρωματικός συνδυασμός του υπόβαθρου είναι αυτός που κυριαρχεί στις χρωματικές αλλαγές που λαμβάνουν χώρα σε ένα εικονοστοιχείο στο πέρας του χρόνου. Αυτό συμβαίνει διότι το υπόβαθρο έχει την τάση να παραμένει σταθερό στο χρόνο σε αντίθεση με το προσκήνιο το οποίο έχει την τάση να είναι ευμετάβλητο. Με την ακριβή περιγραφή του υπόβαθρου έχουμε τη δυνατότητα να διαχωρίσουμε το προσκήνιο με ακρίβεια και στη συνέχεια να εντοπίσουμε οχήματα και να τα παρακολουθήσουμε με τη βοήθεια του φίλτρου Kalman. Για να αξιολογήσουμε το σύστημα και τον αλγόριθμο μας έχουμε κατασκευάσει δυο πρότυπα πειράματα. Στο πρώτο έχουμε επιλέξει πέντε σημεία σε τέσσερεις πρότυπες λήψεις και έχουμε υπολογίσει ‘χειροκίνητα’ τις χρωματικές τιμές του υπόβαθρου με σκοπό να τις συγκρίνουμε με τις πειραματικές. Στο δεύτερο πείραμα έχουμε επιλέξει μια εικόνα να διαχωρίσουμε το υπόβαθρο από το προσκήνιο. Έχουμε εκτελέσει το διαχωρισμό ‘χειροκίνητα’ για να τον ελέγξουμε σε αντιπαραβολή με τους υπολογισμούς που θα εκτελέσει το μοντέλο μας και δυο άλλα γνωστά μοντέλα: το MOG και το Codebook. Τα αποτελέσματα έδειξαν ότι η απόδοση του μοντέλου μας ήταν εξαιρετική. Καταφέρνει να ανακατασκευάσει το υπόβαθρο πάρα πολύ καλά, και στη σύγκριση με τα άλλα δυο μοντέλα τα καταφέρνει αρκετά καλύτερα. Επίσης έγιναν δοκιμές του συστήματος και βρέθηκε ότι το σύστημα μπορεί να αντεπεξέλθει ικανοποιητικά στο διαχωρισμό και την παρακολούθηση οχημάτων. Τα αποτελέσματα αυτά έχουν δημοσιευτεί στην ιστοσελίδα του συγγραφέα ως απόδειξη της ικανότητας του συστήματος: http://users.ntua.gr/nmand/BGReconstruction.htm