Landmark detection for unconstrained face recognition

Abstract

In this dissertation a novel method for 3D landmark detection and pose estimation, suitable for both frontal and side 3D facial scans, is presented. The proposed method exploits 3D and 2D information by using local shape descriptors to extract candidate interest points that are subsequently identified and labeled as anatomical landmarks. Additionally, a novel generalized framework for combining facial feature descriptors that can be used for landmark detection is introduced. However, feature detection methods which use general purpose shape descriptors cannot identify and label the detected candidate landmarks. To this end, a 3D Facial Landmark Model (FLM) of facial anatomical landmarks is introduced. Candidate landmarks, irrespectively of the way they are generated, can be identified and labeled by matching them with the FLM. Finally, a novel method for unconstrained face recognition is introduced. It employs the 3D landmark detector to provide an initial pose estimation and to indicate occluded areas with missing data for each facial scan. Subsequently, a 3D Annotated Face Model (AFM) is registered and fitted to the scan using facial symmetry to complete the occluded areas. Thus, the proposed method can perform comparisons among interpose facial scans, unlike existing methods that require frontal only scans.

Σε αυτήν τη διατριβή παρουσιάζεται μία νέα μέθοδος ανίχνευσης 3Δ οροσήμων και υπολογισμού πόζας, κατάλληλη για 3Δ μετωπικές και πλάγιες σαρώσεις προσώπου. Η προτεινόμενη μέθοδος εκμεταλλεύεται την 3Δ και 2Δ πληροϕορία, ώστε με τη χρήση τοπικών περιγραϕέων να εξαχθούν υποψήϕια σημεία ενδιαϕέροντος, που στη συνέχεια θα αναγνωρισθούν και θα ονοματισθούν ως ανατομικά ορόσημα. Επιπλέον, εισάγεται ένα νέο γενικό πλαίσιο συνδυασμού περιγραϕέων χαρακτηριστικών, για την ανίχνευση οροσήμων. Ωστόσο, οι γενικές μέθοδοι ανίχνευσης χαρακτηριστικών, δεν μπορούν να αναγνωρίσουν και να ονοματίσουν τα ανιχνευμένα ορόσημα. Για το σκοπό αυτό, εισάγεται ένα 3Δ Μοντέλο Οροσήμων Προσώπου (Facial Landmark Model - FLM) αποτελούμενο από ανατομικά ορόσημα. Τα υποψήϕια ορόσημα, ανεξάρτητα του τρόπου με τον οποίο έχουν παραχθεί, μπορούν να αναγνωρισθούν και να ονοματισθούν από το ταίριασμά τους με το μοντέλο FLM. Τέλος, εισάγεται μία νέα μέθοδος για την απρόσκοπτη αναγνώριση προσώπου η οποία χρησιμοποιεί τον 3Δ ανιχνευτή οροσήμων για να αποδόσει σε κάθε σάρωση προσώπου μία αρχική εκτίμηση της πόζας και στη συνέχεια, ένα 3Δ Προσημειωμένο Μοντέλο Προσώπου (Annotated Face Model - AFM) ευθυγραμμίζεται και προσαρμόζεται στα δεδομένα, χρησιμοποιώντας τη συμμετρία του προσώπου για τη συμπλήρωση των αποκρυπτόμενων περιοχών. Έτσι, η προτεινόμενη μέθοδος μπορεί να επιτελέσει συγκρίσεις μεταξύ σαρώσεων διαϕορετικής πόζας, σε αντίθεση με τις υπάρχουσες μεθόδους που απαιτούν αποκλειστικά μετωπικές σαρώσεις.