Digital signal processing with applications to biometrics and forensics

Abstract

This PhD thesis introduces new algorithms and research approaches to the fields of biometrics and forensics. The research focuses on the prediction of biometric features such as gender, age interval and changes in facial appearance as a result of aging. Initially, an approach was developed that utilizes the tensor decomposition method Parallel Factor Analysis 2 in the field of biometrics. More specifically, the proposed method integrates two sources of information, namely, speech utterances and facial images, to predict the age interval and the gender of an individual. The motivation behind the proposed bimodal system stems from the desire to enhance age estimation and gender classification accuracy, when both speech recordings and facial images of the individual are accessible. The experimental results showcased the benefits of utilizing a combination of auditory and visual features for accomplishing both prediction tasks. Subsequently, the research focused on predicting and simulating the effects of aging on human facial features leveraging the dynamics of the Generative Adversarial Networks. More specifically, an approach was developed that addresses face aging as an unsupervised image-to-image translation problem. The proposed framework achieves age progression (i.e., future looks) and regression (i.e., previous looks) of face images that belong to a specific age class by translating them to other (subsequent or precedent) age classes. Two variants are presented. The first one learns a global transformation among age classes, while the second one incorporates a pyramid encoding and decoding scheme to more effectively diffuse age class information. The proposed variants were thoroughly evaluated with respects to both qualitative and quantitative criteria, yielding appealing face age progression and regression results when compared to ground truth images and to the corresponding results of state-of-the-art approaches for face aging. Furthermore, the doctoral research focused on addressing the problem of Cross-lingual Transfer Learning, and more specifically, on Cross-lingual Document Classification and Cross-lingual Authorship Attribution. The proposed approach utilizes the Parallel Factor Analysis 2 method to extract latent features of reduced dimensions from documents that are written in different languages. More specifically, the proposed method involves training two Parallel Factor Analysis 2 models for each pair of target and source languages: an unsupervised and a supervised model. The supervised model uses in its training the pseudo-labels for the training documents written in the target language which are derived from the unsupervised model to achieve a better fit. In addition, an explainable face aging framework was developed based on a well-known face aging approach, namely the Conditional Adversarial Autoencoder. The proposed method incorporates explainable Artificial Intelligence methods, such as Saliency maps and Shapley additive explanations, into the training process of the network. The goal of training that is guided by explanatory techniques is to supplement the feedback given from the discriminator to the generator with explanations that provide a “reason” for the discriminator’s decision. Thorough qualitative and quantitative evaluation demonstrates that the incorporation of the explanatory methods contributed significantly to the generation of more realistic age-progressed and regressed images.

Η διδακτορική διατριβή εισάγει νέους αλγόριθμους και ερευνητικά πλαίσια επίλυσης προβλημάτων στους τομείς της βιομετρίας και της εγκληματολογίας. Ειδικότερα, η έρευνα επικεντρώνεται στην πρόβλεψη βιομετρικών χαρακτηριστικών, όπως το φύλο, το διάστημα ηλικίας και οι αλλαγές στην εμφάνιση του προσώπου ως αποτέλεσμα της γήρανσης. Αρχικά, αναπτύχθηκε μια προσέγγιση, που αξιοποιεί τη μέθοδο αποσύνθεσης πολυδιάστατων πινάκων Ανάλυση Παράλληλων Παραγόντων 2 στο πεδίο της βιομετρίας. Ειδικότερα, η προτεινόμενη μέθοδος ενσωματώνει δύο πηγές πληροφορίας, δηλαδή, αρχεία ομιλίας και εικόνες προσώπου, για την πρόβλεψη των διαστημάτων ηλικίας και του φύλου του ατόμου. Το κίνητρο πίσω από τη προτεινόμενη μέθοδο πηγάζει από την επιθυμία να βελτιωθεί η ακρίβεια της εκτίμησης ηλικίας και του φύλου, όταν είναι διαθέσιμα τόσο αρχεία ομιλίας όσο και εικόνες προσώπου του ατόμου. Τα πειραματικά αποτελέσματα καταδεικνύουν τα οφέλη από τη χρήση του συνδυασμού ακουστικών και οπτικών χαρακτηριστικών για την επίτευξη και των δύο στόχων πρόβλεψης. Ακολούθως, η διδακτορική έρευνα επικεντρώθηκε στην πρόβλεψη και προσομοίωση των επιπτώσεων της γήρανσης στα χαρακτηριστικά του προσώπου αξιοποιώντας τη δυναμική των Γενετικών Ανταγωνιστικών Δικτύων. Ειδικότερα, αναπτύχθηκε μια προσέγγιση που αντιμετωπίζει τη γήρανση του προσώπου ως πρόβλημα μη επιβλεπόμενης μετάφρασης εικόνας-σε-εικόνα. Η προτεινόμενη μέθοδος επιτυγχάνει προσομοίωση μελλοντικής και προηγούμενης εμφάνισης των εικόνων προσώπων που ανήκουν σε μια συγκεκριμένη ηλικιακή κλάση μεταφράζοντάς τες σε άλλες (επακόλουθες ή προηγούμενες) ηλικιακές κλάσεις. Παρουσιάζονται δύο παραλλαγές της προτεινόμενης μεθόδου. Η πρώτη παραλλαγή μαθαίνει έναν καθολικό μετασχηματισμό μεταξύ των ηλικιακών κλάσεων, ενώ η δεύτερη ενσωματώνει ένα πυραμοειδές σχήμα κωδικοποίησης και αποκωδικοποίησης για να διαχέει πιο αποτελεσματικά και σταδιακά την ηλικιακή πληροφορία μεταξύ των ηλικιακών κλάσεων. Οι προτεινόμενες παραλλαγές αξιολογήθηκαν διεξοδικά όσον αφορά τόσο ποιοτικά όσο και ποσοτικά κριτήρια, αποδίδοντας ελκυστικά αποτελέσματα προσομοίωσης μεταγενέστερης και προγενέστερης ηλικίας του προσώπου σε σύγκριση με τις πραγματικές εικόνες και με τα αντίστοιχα αποτελέσματα προσεγγίσεων τελευταίας τεχνολογίας για τη γήρανση του προσώπου. Στη συνέχεια, η διδακτορική έρευνα επικεντρώθηκε στην αντιμετώπιση του προβλήματος της Ετερογλωσσικής Μεταφοράς Μάθησης και ειδικότερα, στην Ετερογλωσσική Ταξινόμηση Εγγράφων και την Ετερογλωσσική Απόδοση Συγγραφέα. Η μέθοδος που αναπτύχθηκε αξιοποιεί τη μέθοδο Ανάλυση Παράλληλων Παραγόντων 2 για την εξαγωγή λανθανουσών χαρακτηριστικών μειωμένων διαστάσεων από αρχεία κειμένου που ανήκουν σε διαφορετικές γλώσσες. Ειδικότερα, η προτεινόμενη μέθοδος περιλαμβάνει την εκπαίδευση δύο μοντέλων Ανάλυσης Παράλληλων Παραγόντων 2 για κάθε ζευγάρι γλωσσών στόχου και προέλευσης: ένα μη επιβλεπόμενο και ένα επιβλεπόμενο μοντέλο. Το επιβλεπόμενο μοντέλο χρησιμοποιεί στην εκπαίδευσή του τις ψευδο-ετικέτες για τα κείμενα εκπαίδευσης στη γλώσσα στόχο που έχουν προκύψει από το μη επιβλεπόμενο μοντέλο για να επιτύχει καλύτερη προσαρμογή. Επιπρόσθετα, αναπτύχθηκε ένα επεξηγηματικό πλαίσιο γήρανσης προσώπου που βασίζεται στην προσέγγιση επίτευξης ηλικιακής γήρανσης με χρήση Υπό Συνθήκη Ανταγωνιστικών Αυτό-κωδικοποιητικών Δικτύων. Η προτεινόμενη μέθοδος ενσωματώνει στη διαδικασία εκπαίδευσης του δικτύου επεξηγηματικές μεθόδους Τεχνητής Νοημοσύνης, όπως χάρτες αιχμής (Saliency maps) και προσθετικές εξηγήσεις κατά Shapley. Ο στόχος της εκπαίδευσης με καθοδήγηση επεξηγηματικών τεχνικών είναι να συμπληρώσει την ανατροφοδότηση του διευκρινιστή (discriminator) στην γεννήτρια (generator) με εξηγήσεις που παρέχουν «λόγο» για την απόφαση του διευκρινιστή. Διεξοδική αξιολόγηση της προτεινόμενης μεθόδου καταδεικνύει ότι οι επεξηγήσεις των επεξηγηματικών μεθόδων συνέβαλαν σημαντικά στη δημιουργία μιας πιο ρεαλιστικής απεικόνισης των εικόνων προσώπου σε μεταγενέστερη ή προγενέστερη ηλικιακή κλάση.