Psychophysical scaling of timbre-related audio descriptors

Abstract

Timbre has most often been studied through correlational analyses that associate perceptualdimensions (or in other words, the orthogonal axes of a timbre space), with a wideset of audio descriptors. These timbre-related descriptors have been widely used for taskssuch as acoustical interpretation of perceptual dimensions, explaining listeners’ dissimilarityratings between pairs of sounds, content delivery in music information retrieval systems,investigating timbre semantics, quantifying affective responses to sound, predictingthe amount of blend between instrumental sounds, investigating cognitive factors relatedto memory for timbre, and developing perceptually based audio processing strategies andsound effects. However, audio descriptors identified through correlational analyses do notnecessarily causally relate to listeners’ perceptions and when entered into statistical regressionmodels may lead to false positive interpretations about their perceptual significance, especially when features also strongly covary. The present thesis undertakes an investigation of timbre by establishing psychophysicalcorrespondences between perception and several timbre-related audio descriptors. Threestudies investigate whether listeners perceive spectral audio descriptors on perceptual ordinal,interval, and ratio scales, and temporal descriptors on an ordinal scale. The stimuliused in each of the presented experiments were constructed through specifically designedsynthesis algorithms that enabled control of each audio descriptor independently of the restand that therefore isolated as much as was feasible the effect of each descriptor on listeners’perceptions. The first study perceptually validates spectral audio descriptors through an ordinalscaling experiment. The results indicate that listeners were overall able to rank orderthe stimuli of a particular feature set when presented with an appropriate spacing of descriptorvalues. The second study underpins the effect of amplitude envelope features andspectral envelope features on the perceptual relevance of temporal audio descriptors andinharmonicity, through another ordinal scaling experiment. In addition, the results of thatexperiment suggested a combination of acoustically independent descriptors that could potentiallyexplain variation along a spectrotemporal perceptual dimension, which in previoustimbre studies had been considered to be strictly temporal. The above hypothesis was confirmedby conducting a meta-analysis on the timbre spaces derived from previous studies. The third study comprises two experiments that provided interval scale and ratio scalemeasurements on spectral audio descriptors. The results of the first experiment indicated that listeners were overall able to estimate intervals of spectral descriptors. We thereforeproceeded to a ratio scaling experiment the results of which indicated that listeners canalso produce ratios of descriptor values and enabled the construction of psychophysicalratio scales of each descriptor tested. The findings advance the current knowledge on timbre perception both by establishingcause-and-effect relations between audio descriptors and perceptual dimensions and by expanding previous research in which the acoustical interpretations of perceptual dimensions were made solely under the prism of correlational analysis. The psychophysical correspondencesbetween perception and audio descriptors reported in this thesis will hopefully serveas a basis for future research, which may attempt to study timbre as a phenomenon thatemerges from a combination of audio features and explore its psychophysical attributesthrough perceptual dominance hierarchies of those features.

Το ηχόχρωμα (timbre) έχει μελετηθεί ως επί το πλείστον μέσω αναλύσεων συσχέτισης (correlational analyses), οι οποίες συνδέουν τις αντιληπτικές διαστάσεις (δηλαδή τους ορθογώνιους άξονες ενός χώρου ηχοχρώματος) με ένα ευρύ σύνολο ηχητικών περιγραφέων (audio descriptors). Αυτοί οι περιγραφείς που σχετίζονται με το ηχόχρωμα έχουν χρησιμοποιηθεί ευρέως σε εργασίες όπως η ακουστική ερμηνεία αντιληπτικών διαστάσεων, ερμηνεία των εκτιμήσεων ανομοιότητας (dissimilarity ratings) των ακροατών μεταξύ ζευγών ήχων, διανομή περιεχομένου (content delivery) σε συστήματα Ανάκτησης Μουσικής Πληροφορίας (Music Information Retrieval - MIR), διερεύνηση της σημασιολογίας του ηχοχρώματος (timbre semantics), ποσοτικοποίηση των συναισθηματικών αντιδράσεων) στον ήχο, πρόβλεψη του βαθμού μείξης (blend) μεταξύ ήχων μουσικών οργάνων, διερεύνηση γνωστικών παραγόντων που σχετίζονται με τη μνήμη του ηχοχρώματος, και την ανάπτυξη στρατηγικών επεξεργασίας ήχου και ηχητικών εφέ που βασίζονται στην ανθρώπινη αντίληψη. Ωστόσο, οι ηχητικοί περιγραφείς που προσδιορίζονται μέσω αναλύσεων συσχέτισης δεν συνδέονται απαραίτητα αιτιωδώς με την αντίληψη των ακροατών. Όταν εισάγονται σε μοντέλα στατιστικής παλινδρόμησης, ενδέχεται να οδηγήσουν σε ψευδώς θετικές ερμηνείες ως προς την αντιληπτική τους σημαντικότητα, ιδιαίτερα όταν τα χαρακτηριστικά (features) παρουσιάζουν επίσης ισχυρή συνδιακύμανση. Η παρούσα διατριβή πραγματοποιεί μια διερεύνηση του ηχοχρώματος, προσδιορίζοντας ψυχοφυσικές αντιστοιχίσεις μεταξύ της ανθρώπινης αντίληψης και αρκετών ηχητικών περιγραφέων που σχετίζονται με αυτό. Τρεις μελέτες εξετάζουν εάν οι ακροατές αντιλαμβάνονται τους φασματικούς ηχητικούς περιγραφείς σε κλίμακες τακτικές (ordinal), ισοδιαστημικές (interval) και αναλογικές (ratio), καθώς και τους χρονικούς περιγραφείς σε τακτικές κλίμακες. Τα ακουστικά ερεθίσματα (stimuli) που χρησιμοποιήθηκαν σε καθένα από τα παρουσιαζόμενα πειράματα κατασκευάστηκαν μέσω ειδικά σχεδιασμένων αλγορίθμων σύνθεσης, οι οποίοι επέτρεπαν τον έλεγχο κάθε ηχητικού περιγραφέα ανεξάρτητα από τους υπολοίπους, απομονώνοντας έτσι —στο μέτρο του εφικτού— την επίδραση του κάθε περιγραφέα στην αντίληψη των ακροατών. Η πρώτη μελέτη επικυρώνει αντιληπτικά τους φασματικούς ηχητικούς περιγραφείς μέσω ενός πειράματος που διεξήχθη σε τακτικές κλίμακες. Τα αποτελέσματα δείχνουν ότι οι ακροατές ήταν συνολικά σε θέση να διατάξουν αξιολογικά τα ερεθίσματα ενός συνόλου ακουστικών χαρακτηριστικών (features), όταν αυτά παρουσιάζονταν με κατάλληλη απόσταση τιμών των αντίσοτοιχων περιγραφέων. Η δεύτερη μελέτη υποστηρίζει την επίδραση των χαρακτηριστικών της περιβάλλουσας έντασης (amplitude envelope) και της φασματικής περιβάλλουσας (spectral envelope) στην αντιληπτική σημαντικότητα των χρονικών ηχητικών περιγραφέων και της μη-αρμονικότητας (inharmonicity), μέσω ενός ακόμη πειράματος σε τακτικές κλίμακες. Επιπλέον, τα αποτελέσματα αυτού του πειράματος υπέδειξαν έναν συνδυασμό ακουστικά ανεξάρτητων περιγραφέων που θα μπορούσε ενδεχομένως να ερμηνεύσει τη διακύμανση κατά μήκος μιας φασματοχρονικής αντιληπτικής διάστασης, η οποία σε προγενέστερες μελέτες για το ηχόχρωμα θεωρούνταν αμιγώς χρονική. Η παραπάνω υπόθεση επιβεβαιώθηκε με τη διεξαγωγή μιας μετα-ανάλυσης στους χώρους ηχοχρώματος (timbre spaces) που είχαν προκύψει από προηγούμενες μελέτες. Η τρίτη μελέτη περιλαμβάνει δύο πειράματα που παρείχαν μετρήσεις ισοδιαστημικής και αναλογικής κλίμακας για τους φασματικούς ηχητικούς περιγραφείς. Τα αποτελέσματα του πρώτου πειράματος έδειξαν ότι οι ακροατές ήταν συνολικά σε θέση να εκτιμήσουν διαστήματα φασματικών περιγραφέων. Ως εκ τούτου, προχωρήσαμε σε ένα πείραμα για να εξετάσουμε την αναλογική κλίμακα, τα αποτελέσματα του οποίου έδειξαν ότι οι ακροατές μπορούν επίσης να παράγουν αναλογίες τιμών περιγραφέων, επιτρέποντας έτσι τον σχηματισμό ψυχοφυσικών αναλογικών κλιμάκων για κάθε περιγραφέα που δοκιμάστηκε. Τα ευρήματα εξελίσσουν την υπάρχουσα γνώση για την αντίληψη του ηχοχρώματος, τόσο προσδιορίζοντας σχέσεις αιτίου-αιτιατού μεταξύ ηχητικών περιγραφέων και αντιληπτικών διαστάσεων, όσο και διευρύνοντας προγενέστερες έρευνες στις οποίες οι ακουστικές ερμηνείες των αντιληπτικών διαστάσεων γίνονταν αποκλειστικά υπό το πρίσμα της ανάλυσης συσχέτισης. Οι ψυχοφυσικές αντιστοιχίσεις μεταξύ της αντίληψης και των ηχητικών περιγραφέων που παρουσιάζονται σε αυτή τη διατριβή ελπίζουμε να αποτελέσουν τη βάση για μελλοντικές μελέτες, οι οποίες ενδέχεται να εξετάσουν το ηχόχρωμα ως ένα φαινόμενο που αναδύεται από τον συνδυασμό ηχητικών χαρακτηριστικών (features) και να διερευνήσουν τις ψυχοφυσικές του ιδιότητες μέσα από ιεραρχίες αντιληπτικής κυριαρχίας των χαρακτηριστικών αυτών.