Ακουστική αντίληψη στοιχείων της τυπογραφίας σχολικών βιβλίων από τυφλούς και βλέποντες μαθητές

Abstract

In this thesis, a framework is provided for the auditory representation of visual signals, such as different size, weight and style of characters, used in textbooks and generally in any structured text. The writing signals (optical nature labels), which define the structure, the organization and the important points of a structured document, when it is presented visually, transfer information (metadata) in addition to the meaning of the text and affect the process of understanding and memorizing. Previous studies in the field of auditory representation of structured texts have not been carried out in a systematic method based on the principles of psychology, by considering the perceptual capabilities, limitations, and the cognitive factors that impact on people during the auditory representation of a structured text. The choice of acoustic characteristics by the software developers for the performance of these signals made in an ad hoc manner, have thus far led to inefficient efforts. In order to create perceptually acceptable acoustic versions, we had to answer two questions: First, which is better to be rendered in audio form, the optical characteristics or the meanings they carry and secondly, what are the appropriate sounds or prosodic features for the auditory display of the signals, which will be easily memorized, will not distract the listener’s attention and will not create cognitive overload? A series of studies in Greek and American textbooks, and the largest Greek publishing houses, showed that besides the size of the font, there are significant differences in the meanings carried by different weights and style characters. We investigated the way in which these characteristics are used by publishing houses, as well as the type of metadata that readers perceive as they read a structured text. The results of these investigations showed that there were no clear rules and consistency in the use of different weights and styles of characters in the texts of schoolbooks. In order to attribute the visual writing signals into acoustic form, we explored, through a series of psychoacoustic experiments, the existence of relational similarity between these signals and the features of speech, such as the intensity, the pitch and the rhythm. Our method was evaluated on a sample of blind and sighted students on a schoolbook text and the results showed that the visual writing signals significantly improved the participants’ understanding and memorizing of information which were in the text as opposed to the acoustic version of the text of the control group, where there was no auditory representation of visual writing signals.

Σε αυτή τη διατριβή μελετήθηκε και προτείνεται ένα πλαίσιο για την ακουστική απόδοση των οπτικών σημάτων που χρησιμοποιούνται στα σχολικά εγχειρίδια, και γενικά σε κάθε δομημένο κείμενο, όπως το διαφορετικό μέγεθος, το βάρος και το στυλ των χαρακτήρων. Τα σήματα γραφής (οι οπτικής φύσης επισημάνσεις), τα οποία προσδιορίζουν τη δομή, την οργάνωση και τα σημαντικά σημεία ενός δομημένου εγγράφου μεταφέρουν πληροφορίες (μεταπληροφορίες) πέραν της σημασίας του κειμένου και επηρεάζουν τη διαδικασία της κατανόησης και της απομνημόνευσης, όταν αυτό παρουσιάζεται οπτικά. Οι προηγούμενες μελέτες στον τομέα της ακουστικής απόδοσης δομημένων κειμένων δεν έχουν γίνει με κάποια συστηματική μέθοδο, η οποία να στηρίζεται στις αρχές της ψυχολογίας, λαμβάνοντας υπόψη τις αντιληπτικές δυνατότητες, τους περιορισμούς, καθώς και τους γνωσιακούς παράγοντες που επιδρούν κατά την ακουστική απόδοση ενός δομημένου κειμένου. Η επιλογή των ακουστικών χαρακτηριστικών για την απόδοση αυτών των σημάτων με έναν ad hoc τρόπο από τους κατασκευαστές λογισμικών, έχει οδηγήσει μέχρι σήμερα σε μη αποτελεσματικές προσπάθειες. Προκειμένου να δημιουργήσουμε αντιληπτικά αποδεκτές ακουστικές αποδόσεις χρειάστηκε να απαντήσουμε σε δυο ερωτήματα: Πρώτον, αν έπρεπε να αποδώσουμε σε ακουστική μορφή τα οπτικά χαρακτηριστικά ή τις σημασίες που αυτά μεταφέρουν και δεύτερον ποιοι είναι οι κατάλληλοι ήχοι ή τα προσωδιακά χαρακτηριστικά για την ακουστική απόδοση των σημάτων, τα οποία θα είναι εύκολα απομνημονεύσιμα, δεν θα αποσπούν την προσοχή του ακροατή και δεν θα δημιουργούν γνωσιακή υπερφόρτωση. Μια σειρά μελετών σε ελληνικά και αμερικανικά σχολικά εγχειρίδια, καθώς και στους μεγαλύτερους ελληνικούς εκδοτικούς οίκους, οι οποίες θα παρουσιαστούν παρακάτω, έδειξε ότι εκτός από το μέγεθος της γραμματοσειράς, υπάρχουν σημαντικές αποκλίσεις ως προς τη σημασίες που μεταφέρουν οι διαφορετικού βάρους και στυλ χαρακτήρες. Διερευνήσαμε τον τρόπο με τον οποίο χρησιμοποιούνται αυτά τα χαρακτηριστικά από τους εκδοτικούς οίκους, καθώς επίσης και το είδος των μεταπληροφοριών που προσλαμβάνουν οι αναγνώστες καθώς διαβάζουν ένα δομημένο κείμενο. Από τα αποτελέσματα των ερευνών διαπιστώθηκε ότι δεν υπήρχαν σαφείς κανόνες και συνέπεια ως προς τη χρήση του διαφορετικού βάρους και στυλ των χαρακτήρων στα κείμενα των σχολικών εγχειριδίων. Δεδομένου, επίσης, ότι σήμερα η τυπογραφία έχει ξεφύγει από τα χέρια των επαγγελματιών, και όποιος διαθέτει ένα προσωπικό υπολογιστή μπορεί να δημοσιεύει κείμενα ή να τα τυπώνει, χρησιμοποιώντας τα παραπάνω χαρακτηριστικά με όποιον τρόπο επιθυμεί, αποφασίσαμε να αποδώσουμε σε ακουστική μορφή τα οπτικά χαρακτηριστικά και όχι τη σημασία που κάθε φορά μεταφέρουν. Για την ακουστική απόδοση των οπτικών σημάτων γραφής, διερευνήθηκε μέσα από μια σειρά ψυχοακουστικών πειραμάτων και διαπιστώθηκε ότι υπάρχει σχεσιακή ομοιότητα αυτών με χαρακτηριστικά της ομιλίας, όπως η ένταση το τονικό ύψος και ο ρυθμός. Η μέθοδός μας αξιολογήθηκε στη συνέχεια, από δείγμα τυφλών και βλεπόντων μαθητών σε κείμενο σχολικού εγχειριδίου και τα αποτελέσματα έδειξαν ότι η ακουστική απόδοση των οπτικών σημάτων γραφής βελτίωσε σημαντικά την κατανόηση και την απομνημόνευση των πληροφοριών που υπήρχαν στο κείμενο, σε αντίθεση με την ακουστική απόδοση του κειμένου της ομάδας ελέγχου, όπου δεν υπήρχε ακουστική απόδοση των σημάτων γραφής.