Audiovisual works in response to creative writing

Abstract

This commentary to my portfolio of works documents my practice based research into transmediation of creative writing to audiovisual narrative, through a combination of disciplines such as sonic art, concrete music, computer graphics, filming, animation, performing elements and interactivity using existing as well as new methods and techniques through algorithmic composition. My research imperatives run along the threads of transmediation, intersemiotic translation - as defined by Jakobson (1959), post - disciplinarity as discussed by Graeme Sullivan (2005) and the general concerns of Human Computer Interaction (HCI). In terms of intersemiotic translation I show how I have applied literary concepts to creative audiovisual stories using symbolism and metaphor. In terms of post disciplinarity I have employed a variety of creative technologies in both fields of digital sound and visuals, through algorithmic compositions to improvisation using software and hardware interfaces and devices. In terms of HCI I have performed and recorded compositional material by using hardware such as the iPad and the Kinect, in which I have designed and coded my own GUI in order to enable interaction. For the final item of this portfolio I have integrated all my research avenues into one by combining sound generation, algorithmic methods, audiovisual post-disciplinary approaches and HCI.

Το χαρτοφυλάκιο των έργων μου τεκμηριώνει την έρευνά μου που βασίζεται στην πρακτική μου για τη μετάδοση της δημιουργικής γραφής σε οπτικοακουστική αφήγηση, μέσω ενός συνδυασμού πεδίων όπως ηχητική τέχνη, συγκεκριμένη μουσική, γραφικά υπολογιστή, κινηματογράφηση, κινούμενα σχέδια, παραστατικά στοιχεία και διαδραστικότητα χρησιμοποιώντας νέες μεθόδους και τεχνικές μέσω αλγοριθμικής σύνθεσης. Οι επιταγές της έρευνας μου περιλαμβάνουν τη διαμεσικότητα, τη διασημειωτική μετάφραση - όπως ορίζεται από τον Jakobson (1959), τη μετα- θεματικότητα όπως συζητήθηκε από τον Graeme Sullivan (2005) και την Αλληλεπίδρασης Ανθρώπου Υπολογιστή (HCI). Όσον αφορά τη διασημειωτική μετάφραση, δείχνω πώς έχω εφαρμόσει λογοτεχνικές έννοιες σε δημιουργικές οπτικοακουστικές ιστορίες χρησιμοποιώντας συμβολισμούς και μεταφορά. Όσον αφορά τη μετα-θεματικότητα, έχω χρησιμοποιήσει μια ποικιλία δημιουργικών τεχνολογιών και στους δύο τομείς του ψηφιακού ήχου και των εικαστικών τεχνών, μέσω αλγοριθμικών συνθέσεων και αυτοσχεδιασμού χρησιμοποιώντας διεπαφές, λογισμικό και ψηφιακές συσκευές. Όσον αφορά την αλληλεπίδραση ανθρώπου υπολογιστή, έχω εκτελέσει και συνθέσει ήχο και γραφικά χρησιμοποιώντας συσκευές όπως το iPad και το Kinect, στο οποίο έχω σχεδιάσει και κωδικοποιήσει το δικό μου γραφικό περιβάλλον διεπαφής χρήστη για να επιτρέψω την αλληλεπίδραση. Για το τελευταίο στοιχείο αυτού του χαρτοφυλακίου έχω ενσωματώσει όλες τις ερευνητικές μου οδούς σε μία, συνδυάζοντας παραγωγή ήχου, αλγοριθμικές μεθόδους, οπτικοακουστικές μετα-θεματικές προσεγγίσεις και αλληλεπίδραση ανθρώπου υπολογιστή.