Μη-γραμμικά δυναμικά συστήματα και εύρωστη επεξεργασία και αναγνώριση φωνής

Abstract

The core research issue of this thesis lays in the area of characterization and analysis of speech signals. Inspiration for the initial steps of this research effort is bifold: from one hand there are indications on the existence of aerodynamic phenomena during speech production, like turbulence; at the same time there are recent advances in the theory of fractals on the quantification of the complexity of a set. Moreover the above two are inter-related. Additional motivation stems from, by considering the performance deterioration of speech recognition systems, especially when this is compared to the human ability. Given these directions, we propose speech processing methods inspired by the fractal geometry and dynamical systems theory. Analysis in this framework aims on the characterization of speech signals and on the subsequent application in speech recognition systems. The approach taken consists of the application of feature extraction methods that are related with the theory of fractal and generalized fractal dimensions. The basis of the approach is formed by reconstructing a phase space that is considered closer to the speech production system compared to the scalar speech signal. Further, by taking advantage of the reconstructed multidimensional geometry, the methods are extended for the case of noisy speech signals. The proposed methods are applied on classification experiments and on speech recognition experiments both in clean and noisy environmental conditions. The evaluation is conducted on well-known phonetic databases, and illustrates the prospects of the proposed methods for speech characterization. The results are promising especially for the cases of broad phoneme classification and noisy speech recognition. Moreover, in the framework of multiple feature fusion taking into account each feature’s uncertainty is shown to be fruitful for the problem of speech recognition.

Το ευρύτερο θέμα το οποίο πραγματεύεται η διατριβή αυτή είναι η ανάπτυξη μεθόδων με σκοπό την ανάλυση και τον χαρακτηρισμό φωνητικών σημάτων. Αεροδυναμικά φαινόμενα κατά την παραγωγή φωνής, όπως η τυρβώδης ροή και σύγχρονες εξελίξεις στην θεωρία των φράκταλς για ποσοτικοποίηση της πολυπλοκότητας κατά την μέτρηση μιας ποσότητας, σχηματοποιούν τους αρχικούς διασυνδεδεόμενους κινητήριους άξονες, για την εξέλιξη της ερευνητικής διαδικασίας. Επιπλέον κίνητρα παρέχονται από την υστέρηση των συστημάτων αναγνώρισης φωνής, όσον αφορά στην απόδοσή τους, ειδικά όταν αυτά συγκρίνονται με τις αντίστοιχες ανθρώπινες ικανότητες. Προς αυτές τις κατευθύνσεις προτείνονται μέθοδοι επεξεργασίας σημάτων φωνής εμπνευσμένες από τις θεωρίες δυναμικών συστημάτων και φράκταλ γεωμετρίας. Η ανάλυση σημάτων φωνής σε αυτά τα πλαίσια, στοχεύει στον χαρακτηρισμό των σημάτων φωνής, στην εξαγωγή συμπερασμάτων σχετικά με την ακουστική μοντελοποίηση τους και στην εφαρμογή των μεθόδων σε συστήματα αναγνώρισης και κατηγοριοποίησης. Αυτό προσεγγίζεται αναπτύσσοντας μεθόδους εξαγωγής χαρακτηριστικών οι οποίες σχετίζονται με την θεωρία φράκταλ και γενικευμένων φράκταλ διαστάσεων και στηρίζονται στην επεξεργασία ενός ανακατασκευασμένου πολυδιάστατου χώρου κατάστασης. Ο χώρος αυτός θεωρείται εγγύτερος προς το σύστημα παραγωγής σε σχέση με το μετρούμενο βαθμωτό φωνητικό σήμα. Στον χώρο αυτό αναπτύσσεται επιπλέον εύρωστη μέθοδος επεξεργασίας για την περίπτωση θορυβωδών σημάτων, αξιοποιώντας χαρακτηριστικά της γεωμετρίας του. Οι προτεινόμενες μέθοδοι εφαρμόζονται σε προβλήματα κατηγοριοποίησης φωνημάτων και σε προβλήματα αναγνώρισης σε καθαρά και σε θορυβώδη δεδομένα. Η αξιολόγηση των πειραμάτων πραγματοποιείται σε διεθνώς αποδεκτές προτυποποιημένες βάσεις φωνητικών δεδομένων, καταδεικνύοντας την δυναμική και τη σημασία των προτεινόμενων μεθόδων στο θέματα του χαρακτηρισμού φωνητικών σημάτων μέσω της πραγματοποιούμενης ανάλυσης. Τα αποτελέσματα είναι ιδιαίτερα ενθαρρυντικά, κατά την περίπτωση κατηγοριοποίησης ευρέων φωνητικών κλάσεων και κατά την αναγνώριση σε θορυβώδη δεδομένα. Επιπλέον εξετάζεται το πρόβλημα του συνδυασμού διαφορετικού τύπου χαρακτηριστικών υποδεικνύοντας την σημασία του συνυπολογισμού της αβεβαιότητας κάθε μέτρησης.