Study and application of acoustic information for the detection of harmful content and fusion with visual information

Abstract

This thesis aims at investigating and developing techniques for content based segmentation and classification of multimedia files based on audio information. An introductory investigation of several audio features is fist presented into the context of their respective classification performance. Then a novel method for speech music discrimination of radio broadcasts is proposed. In the sequel an algorithm for locating the parts of an audio stream that contain music (i.e. music tracking) is presented. Another major part of this thesis is related to the development of a computationally efficient audio segmentation algorithm. In the sequel a multi class classification scheme for audio segments from films is proposed in this thesis. The audio classes were selected to describe both violent and non violent content. In the final part the focus on this thesis shifts on the task of recognizing the emotional state of the speaker given a movie speech segment. Finally, an emphasis in this thesis was to develop annotated databases which were used both for training and evaluating the several segmentation and classification methods. To this end, two different types of databases have been used. One from radio recordings which was used in the speech music discrimination task and another one from a number of movies.

Σκοπός της παρούσας διδακτορικής διατριβής είναι η ανάπτυξη μεθόδων για την κατάτμηση και την ταξινόμηση ηχητικών σημάτων με βάση το περιεχόμενο. Αρχικά γίνεται μια περιγραφή των ηχητικών χαρακτηριστικών και το πως αυτά διαφοροποιούνται για συγκεκριμένες ηχητικές κλάσεις. Έπειτα προτείνεται μια πρωτότυπη μέθοδος διαχωρισμού μουσικής-ομιλίας σε σήματα από ραδιοφωνικές εκπομπές. Στην συνέχεια παρουσιάζεται μια μέθοδος εντοπισμού μουσικής σε ταινίες. Έπειτα προτείνονται μέθοδοι για την κατάτμηση και ταξινόμηση πολλαπλών κλάσεων σε ηχητικά σήματα από ταινίες με έμφαση στο βίαιο περιεχόμενο. Τέλος, προτείνεται μια μέθοδος για την αναγνώριση συναισθήματος με βάση την ομιλία σε κινηματογραφικές ταινίες.