Immersive sound specification in virtual reality environments

Abstract

Accurate sound reproduction in virtual reality (VR) is essential for creating realistic environments, enhancing presence and spatial immersion. A strong understanding of acoustic principles and computational methods is crucial for simulating sound propagation in VR worlds. Advanced methods like ray tracing and wave-based simulations handle complex interactions between audio sources, surfaces, and spatial features, enabling accurate analysis of reverberation and diffraction. Interactive sound design and spatial audio rendering tools enhance immersion by dynamically adjusting based on user interactions. Moving to a higher level of analysis, the need to seamlessly integrate sound simulations into web-based applications becomes apparent, where efficiency and user-friendliness are paramount. In the context of web environments, there is a pressing need for more straightforward models of sound propagation that are not only precise and easy to implement, but also boast a simplified syntax with a hierarchical structure. These simplified hierarchical models enhance interactivity by mapping user actions to audio parameters, enabling developers to create immersive spatial audio experiences with optimal performance and ease of implementation. This research, articulated in this thesis, aims to integrate synthesizing and processing high-quality audio in web environments. Particularly, the main purpose is to introduce mixing, processing, and filtering tasks, along with acoustic properties associated with scene geometry and three dimensional (3D) spatial sound. This is achieved within a programming standard that leverages the structure and functionality of an audio specification. As a result, developers can create interactive audio experiences directly in the browser. The use of an audio graph model simplifies the development of these audio applications. This thesis presents a literature study of recent findings and enhancements in spatial sound propagation. A systematic methodology to run a set of scenarios and evaluation techniques was developed, and a new framework was designed and evaluated to overcome the challenges of dedicated systems. Significant outcomes have been achieved in enhancing high-fidelity audio integration in online settings. Applications using the proposed framework demonstrated resilience, flexibility, and practical potential through extensive testing. A demonstration application highlighted its strengths and user-focused design. Validation, including participant input, assessed key metrics like visual appeal, interaction clarity, and satisfaction, providing insights for improvement. However, the framework primarily focuses on individual user experiences, lacking support for collaborative interactions. Future work could explore mechanisms to facilitate the simultaneous participation of multiple users in shared examples, fostering collaborative engagement. There is potential to explore more complex scenarios and include additional 3D objects with detailed materials and textures to further enhance realism. Security in 3D web environments is a concern, requiring protection against unauthorized access. Lastly, the framework could be extended for use across different platforms and tools, allowing for broader compatibility and integration within diverse development web environments.

Η ακριβής αναπαραγωγή ήχου στην εικονική πραγματικότητα (VR) είναι ζωτικής σημασίας για τη δημιουργία ρεαλιστικών περιβαλλόντων, ενισχύοντας το αίσθημα παρουσίας και τη χωρική εμβύθιση. Η εις βάθος κατανόηση των ακουστικών αρχών και των υπολογιστικών μεθόδων είναι κρίσιμη για τη ρεαλιστική προσομοίωση της διάδοσης του ήχου σε εικονικούς κόσμους. Προηγμένες τεχνικές, όπως η ιχνηλάτηση ακτίνων (ray tracing) και οι προσομοιώσεις βασισμένες σε κυματικά μοντέλα, επιτρέπουν την επεξεργασία πολύπλοκων αλληλεπιδράσεων μεταξύ ηχητικών πηγών, επιφανειών και χωρικών χαρακτηριστικών, διευκολύνοντας την ακριβή ανάλυση φαινομένων όπως η αντήχηση και η περίθλαση. Τα διαδραστικά εργαλεία σχεδιασμού ήχου και απόδοσης χωρικού ήχου ενισχύουν περαιτέρω την εμβύθιση, προσαρμόζοντας δυναμικά την ηχητική εμπειρία βάσει των αλληλεπιδράσεων του χρήστη. Σε ένα ανώτερο επίπεδο ανάλυσης, αναδεικνύεται η ανάγκη για απρόσκοπτη ενσωμάτωση προσομοιώσεων ήχου σε διαδικτυακές εφαρμογές, όπου η αποδοτικότητα και η ευχρηστία καθίστανται καθοριστικοί παράγοντες. Στο πλαίσιο του παγκόσμιου ιστού, διαφαίνεται η απαίτηση για απλουστευμένα μοντέλα διάδοσης ήχου, τα οποία να συνδυάζουν ακρίβεια, ευκολία υλοποίησης και ιεραρχική δομή με απλή σύνταξη. Αυτά τα ιεραρχικά μοντέλα ενισχύουν τη διαδραστικότητα, επιτρέποντας την αντιστοίχιση ενεργειών του χρήστη με παραμέτρους ήχου, διευκολύνοντας την ανάπτυξη καθηλωτικών εμπειριών χωρικού ήχου με βέλτιστη απόδοση και απλότητα στην υλοποίηση. Η παρούσα διατριβή εστιάζει στην ενσωμάτωση σύνθεσης και επεξεργασίας ήχου υψηλής ποιότητας σε διαδικτυακά περιβάλλοντα. Κεντρικός σκοπός της έρευνας είναι η εισαγωγή διαδικασιών μίξης, επεξεργασίας και φιλτραρίσματος, καθώς και ακουστικών ιδιοτήτων που σχετίζονται με τη γεωμετρία της σκηνής και τον τρισδιάστατο (3D) χωρικό ήχο. Η προσέγγιση αυτή υλοποιείται στο πλαίσιο ενός προγραμματιστικού προτύπου που αξιοποιεί τη δομή και τη λειτουργικότητα μιας τυποποιημένης προδιαγραφής ήχου. Ως αποτέλεσμα, δίνεται η δυνατότητα στους προγραμματιστές να δημιουργούν διαδραστικές εμπειρίες ήχου απευθείας στον browser. Η χρήση ενός γραφήματος ήχου (audio graph model) απλοποιεί σημαντικά την ανάπτυξη τέτοιων εφαρμογών. Η διατριβή παρουσιάζει μια μελέτη της σύγχρονης βιβλιογραφίας και των πρόσφατων εξελίξεων στη χωρική διάδοση του ήχου. Επιπλέον, αναπτύχθηκε μια συστηματική μεθοδολογία για την υλοποίηση και αξιολόγηση σεναρίων, ενώ σχεδιάστηκε και αξιολογήθηκε ένα νέο σύστημα για την αντιμετώπιση των προκλήσεων που εντοπίζονται σε εξειδικευμένα συστήματα. Σημαντικά αποτελέσματα επετεύχθησαν ως προς την ενίσχυση της ενσωμάτωσης ήχου υψηλής πιστότητας σε διαδικτυακά περιβάλλοντα. Οι εφαρμογές που αναπτύχθηκαν με το προτεινόμενο σύστημα ανέδειξαν ανθεκτικότητα, ευελιξία και πρακτική αξιοποιησιμότητα, μέσω εκτεταμένων δοκιμών. Εφαρμογή επίδειξης ανέδειξε τα πλεονεκτήματα και τον ανθρωποκεντρικό σχεδιασμό του συστήματος. Η αξιολόγηση, με τη συμμετοχή χρηστών μέτρησε κρίσιμες παραμέτρους όπως η οπτική απήχηση, η ευκρίνεια στην αλληλεπίδραση και το επίπεδο ικανοποίησης, παρέχοντας χρήσιμα συμπεράσματα για περαιτέρω βελτίωση. Ωστόσο, το προτεινόμενο σύστημα εστιάζει κυρίως σε ατομικές εμπειρίες χρήσης, χωρίς υποστήριξη συνεργατικών αλληλεπιδράσεων. Μελλοντικές επεκτάσεις θα μπορούσαν να διερευνήσουν μηχανισμούς που επιτρέπουν τη συμμετοχή πολλαπλών χρηστών σε κοινά παραδείγματα, ενισχύοντας τη συνεργατική εμπλοκή. Επιπρόσθετα, η ενσωμάτωση πιο πολύπλοκων σεναρίων και πρόσθετων 3D αντικειμένων με λεπτομερή υλικά και υφές θα μπορούσε να ενισχύσει περαιτέρω τον ρεαλισμό. Η ασφάλεια σε τρισδιάστατα διαδικτυακά περιβάλλοντα παραμένει κρίσιμο ζήτημα, καθώς απαιτείται προστασία από μη εξουσιοδοτημένη πρόσβαση. Τέλος, το προτεινόμενο σύστημα θα μπορούσε να επεκταθεί για χρήση σε διαφορετικές πλατφόρμες και εργαλεία, εξασφαλίζοντας ευρύτερη συμβατότητα και ενσωμάτωση σε ποικίλα περιβάλλοντα ανάπτυξης διαδικτυακών εφαρμογών.