Αναγνώριση προσώπων και εκφράσεων από τρισδιάστατες εικόνες

Abstract

This doctoral thesis has focused on face and facial expression recognition using two-dimensional and three-dimensional face images. After a short presentation of the relative bibliography, we present a new face recognition algorithm based on the level-curves (or iso-curves) of the facial depth function. The advantage of this approach is that surface matching is reduced to planar curve matching. The latter is better studied and leads to improved recognition performance in comparison with other techniques that treat face as a rigid surface. However, the previous technique cannot handle face deformation due to expressions that leads to lower recognition rate. Therefore, a new technique for expression-invariant recognition is presented. This technique is based on the assumption that face is deformed isometrically and uses a geodesic polar parameterization of the face to construct expression invariant attribute images. Our technique was compared to other techniques that use geodesic distances between facial points and found to improve performance and handle theoretical and practical problems at the same time. In the following, we describe a new expression recognition technique. First we detect several anatomical points such as the eyes, nose, lips, et.c. by fitting a deformable model to the target face and then we classify the expression of the face based on spacial relations between anatomical point by means of rule-based classifiers. The rules of the latter are found using swarm optimization techniques, namely ant colony optimization and particle swarm optimization. These methods rely on the collective behavior of a number of agents to optimize an objective function, which in our case defines classification rules. Despite their simplicity, they were shown to result in high recognition rates. Finally, we present a new method for joint face and facial expression recognition. Instead of trying to devise suitable feature vectors invariant to unwanted sources of variation, we propose encoding the contribution of each face appearance component (identity and expression) into independent parameters allowing separate control and thus joint face and expression recognition. Identity and expression are decoupled using two bilinear models, a symmetric and an asymmetric one. Experimental results on public face databases showed that the symmetric model favors face recognition while the asymmetric model favors expression recognition.

Στα πλαίσια της διδακτορικής διατριβής μελετήθηκαν μια σειρά από τεχνικές αναγνώρισης ανθρώπινων προσώπων και εκφράσεων του προσώπου με χρήση δισδιάστατων και τρισδιάστατων εικόνων. Μετά από μια περιγραφή της σχετικής βιβλιογραφίας, παρουσιάζεται μια μέθοδος αναγνώρισης προσώπων που βασίζεται στη χρήση των ισοσταθμικών καμπυλών της συνάρτησης βάθους. Το κύριο πλεονέκτημα είναι ότι το πρόβλημα σύγκρισης επιφανειών ελαττώνεται σε πρόβλημα σύγκρισης επίπεδων καμπυλών, για το οποίο έχει προταθεί μια πληθώρα τεχνικών, κι έτσι πετυχαίνεται καλύτερη επίδοση σε σχέση με αντίστοιχες μεθόδους που διαχειρίζονται το πρόσωπο ως μια στέρεη επιφάνεια. Επειδή μέθοδοι σαν την προηγούμενη δεν μπορούν να αντιμετωπίσουν την παραμόρφωση του προσώπου εξαιτίας των εκφράσεων, η οποία οδηγεί σε μείωση της απόδοσης, παρουσιάζεται στη συνέχεια μια μέθοδος που βασίζεται στην ισομετρική απεικόνιση και στις γεωδαισιακές πολικές συντεταγμένες για αναγνώριση προσώπων ανεξάρτητη από τις εκφράσεις. Η μέθοδος συγκρίθηκε με άλλες μεθόδους που χρησιμοποιούν γεωδαισιακές αποστάσεις και βρέθηκε ότι βελτιώνει σημαντικά το ποσοστό αναγνώρισης, ενώ ταυτόχρονα αντιμετωπίζει θεωρητικά σφάλματα και πρακτικά προβλήματα. Στη συνέχεια παρουσιάζεται μια τεχνική αναγνώρισης εκφράσεων. Αρχικά εντοπίζονται ανατομικά σημεία όπως τα μάτια, τα χείλη, η μύτη κ.τ.λ. με την προσαρμογή ενός παραμορφώσιμου μοντέλου πάνω στο πρόσωπο κι έπειτα χρησιμοποιούνται ταξινομητές βασισμένοι σε κανόνες για την κατάταξη των εκφράσεων ανάλογα με τις χωρικές σχέσεις των ανατομικών σημείων μεταξύ τους. Οι ταξινομητές που προτείνονται εισάγουν για πρώτη φορά μεθόδους νοημοσύνης σμήνους (βελτιστοποίηση αποικίας μυρμηγκιών και σμήνους σωματιδίων) στο συγκεκριμένο πεδίο. Οι μέθοδοι αυτές στηρίζονται στην επικοινωνία πρακτόρων για την εύρεση των κανόνων ταξινόμησης και, παρά την απλότητα τους, οδηγούν σε υψηλούς ρυθμούς αναγνώρισης όπως φαίνεται από τα πειραματικά αποτελέσματα. Στο τέλος παρουσιάζεται μια μέθοδος για τη συνδυασμένη αναγνώριση προσώπων και εκφράσεων. Αντί της επινόησης κατάλληλων χαρακτηριστικών διανυσμάτων που καθορίζονται μόνο από την προς αναγνώριση ιδιότητα (ταυτότητα ή έκφραση), προτείνεται εναλλακτικά η κωδικοποίηση της επίδραση των συνιστωσών της εμφάνισης σε ανεξάρτητες παραμέτρους ώστε να είναι δυνατός ο ανεξάρτητος έλεγχος τους. Για την αποσύμπλεξη της ταυτότητας και της έκφρασης χρησιμοποιούνται διγραμμικά μοντέλα του προσώπου. Εξετάζονται δύο διγραμμικά μοντέλα, το συμμετρικό, το οποίο βρέθηκε ότι είναι καλύτερο για αναγνώριση προσώπων, και το ασύμμετρο που ευνοεί την αναγνώριση εκφράσεων. Και τα δύο μοντέλα αξιολογήθηκαν σε δημόσιες βάσεις δεδομένων και έδειξαν τις δυνατότητες τους σε σύγκριση με άλλες σύγχρονες μεθόδους αναγνώρισης προσώπων και εκφράσεων.