Αλγόριθμοι εφαρμογής των N-grams στην αναγνώριση συναισθηματικού λόγου και στην διόρθωση κειμένων

Abstract

Statistical language model aims to estimate the probability distribution of various linguistic units such as words and sentences. Language models employ statistical estimation techniques using text. The most popular language models are N-grams models. These models are fundamental to a variety of language technologies, such as speech and optical recognition, statistical machine translation, and spelling correction. In the framework of this work, two new algorithms are introduced, for applying N-grams models in emotional speech recognition and sentence correction.This work can be divided into two sections. The first one presents the algorithm for applying N- grams in emotional speech recognition. In spite of the remarkable recent progress in Large Vocabulary Recognition (LVR), it is still far behind the ultimate goal of recognising emotional speech. Read speech and non-read speech in a ‘careful’ style can be recognised with high accuracy using the state-of-the-art speech recognition technology. On the other hand, the classic Automatic Speech Recognition (ASR) faces problem on recovering the verbal content of the emotional speech. This work identifies a strategy, which hinges on the intuition that emotion affects language as well as speech variables. The issue is to identify corpora that reflect emotion-influenced language so that emotion-oriented language models can be trained from them. This work explains how an emotion-oriented language model (LM) can be generated from a standard corpus using an emotional dictionary. The emotional corpus is created by combining the standard corpus with the emotional corpus. This result corpus is subsequently used to design emotionally enriched language models that allow improved recognition performance with emotional utterances. Using a language model based on that technique improves recognition rate by about 20%. The second section concerns the use of N-grams in text correction, in order to identify word order errors and repair them. The proposed algorithm handles the word order errors using all the possible words permutations of the sentence. Note that, given a sentence with length N, the number of permutations is N!. This is a very large number and seems to be restrictive for further processing. For that reason, a new method is introduced, for repairing word order errors in sentences using the probabilities of most typical bigrams and trigrams, extracted from a large text corpus. This work presents an approach for repairing word order errors in text by reordering words in a sentence and choosing the version that maximizes the number of trigram hits according to a language model. The novelty of this method concerns the use of a fast algorithm for reordering the words. The fast algorithm’s robustness relies on the use of the valid bigrams and not on every single pair of words. The correctness of each permuted sentence depends on the number of valid trigrams. Finally, this method detects and repairs sentences with wrong word order providing a list of N-best sentences.

Το στατιστικό γλωσσικό μοντέλο, χρησιμοποιεί τεχνικές στατιστικής εκτίμησης γλωσσικών δεδομένων εκπαίδευσης, που εφαρμόζονται σε εκτεταμένα κείμενα, με σκοπό την μοντελοποίηση της γλώσσας. Ανάμεσα στις πιο δημοφιλείς τεχνικές στατιστικής εκτίμησης είναι και τα μοντέλα N-grams. Ο ρόλος τους είναι πολύ σημαντικός για μια σειρά από εφαρμογές της γλωσσικής τεχνολογίας, όπως η αναγνώριση φωνής, η οπτική αναγνώριση χαρακτήρων, η μηχανική μετάφραση και ακόμη η ορθογραφική διόρθωση. Με την παρούσα εργασία προτείνονται δυο νέοι αλγόριθμοι εφαρμογής των Ν- grams μοντέλων στην αναγνώριση φωνής συναισθηματικού λόγου και στην διόρθωση κειμένων. Με αυτόν τον τρόπο η εργασία χωρίζεται σε δυο ενότητες. Στην πρώτη παρουσιάζεται ο αλγόριθμος εφαρμογής των N-grams μοντέλων στην αναγνώριση συναισθηματικού λόγου. Η αναγνώριση της γλωσσικής πληροφορίας του συναισθηματικού λόγου εκτός του ενδιαφέροντος που προκαλεί, παρουσιάζει και σημαντικά προβλήματα. Τα ποσοστά επιτυχίας των υπαρχόντων συστημάτων αναγνώρισης φωνής είναι αρκετά χαμηλά για εκφράσεις που έχουν έντονο συναισθηματικό χρώμα. Για αυτόν τον λόγο αναπτύχθηκε ένας αλγόριθμος που δημιουργεί ένα σώμα κειμένου με έντονο συναισθηματικό χαρακτήρα με την χρήση ενός συναισθηματικού λεξικού. Το επαυξημένο γλωσσικό μοντέλο υπολογίζεται από τον συνδυασμό ενός απλού σώματος κειμένου και του σώματος κειμένου με έντονο συναισθηματικό χαρακτήρα. Η ενσωμάτωση του επαυξημένου γλωσσικού μοντέλου σε ένα κλασσικό σύστημα αναγνώρισης φωνής έχει σαν αποτέλεσμα την βελτίωση της απόδοσης του κατά 20%. Η δεύτερη ενότητα της εργασίας αυτής αφορά την χρήση των μοντέλων N-grams στην διόρθωση κείμενων που εμφανίζουν λάθη στην σειρά των λέξεων. Ο αλγόριθμος που αναπτύχθηκε έχει σαν στόχο την διόρθωση μιας πρότασης με λέξεις που βρίσκονται σε μη κατάλληλη θέση. Για αυτόν το λόγο λαμβάνονται υπόψη όλοι οι πιθανοί συνδυασμοί αντιμεταθέσεων των λέξεων της πρότασης εισόδου. Όμως για προτάσεις με Ν λέξεις έχουμε Ν! συνδυασμούς αντιμεταθέσεων και γίνεται κατανοητό ότι ο χώρος αναζήτησης είναι πολύ μεγάλος. Έτσι προτείνεται μια νέα μέθοδος γρήγορης αναζήτησης για τον περιορισμό των αντιμεταθέσεων που στηρίζεται στα έγκυρα διγράμματα. Οι παραγόμενες προτάσεις- αντιμεταθέσεις εξετάζονται και αξιολογούνται βάσει του αριθμού των έγκυρων τριγραμμάτων. Αποτέλεσμα αυτής της μεθόδου είναι η ανίχνευση και η διόρθωση προτάσεων με λάθη στην σειρά των λέξεων.