The effect of speech and gesture timing on memory recall on native and second language speakers

Abstract

This dissertation investigates the temporal integration of speech and gesture. It focuses on how these modalities are processed as unified communicative events in both native (L1) and second-language (L2) speakers. Grounded in theories of co-speech gesture and crossmodal perception, the research explores how the temporal relationship between auditory input (speech) and visual input (gesture) influences integration and memory recall. This dissertation presents two main experimental studies. The first study investigated the temporal binding of gesture and speech in native speakers, focusing on how semantic congruency modulates audiovisual integration. Two experiments employed the method of constant stimuli, presenting gesture–speech combinations at varied stimulus onset asynchronies (SOAs) to measure perceptual sensitivity to temporal alignment. The second study extended this investigation to L2 speakers by examining how temporal synchrony between gesture and speech affects memory recall. Two further experiments presented gesture–speech stimuli across a range of SOAs, followed by recall tasks that assessed whether audiovisual integration influences memory performance in L2. The results of these studies suggest a robust temporal association between gesture and speech in both native and L2 speakers. These results highlight the complexity of crossmodal integration and suggest that gesture–speech unity may operate similarly across speaker populations under certain task conditions. The research underscores the need to further explore how temporal integration supports communication and learning in diverse language contexts.

Η παρούσα διδακτορική διατριβή διερευνά τη χρονική ενσωμάτωση του λόγου και της χειρονομίας, εστιάζοντας στον τρόπο επεξεργασίας αυτών των μορφών ως ενοποιημένων επικοινωνιακών γεγονότων τόσο σε ομιλητές μητρικής όσο και σε ομιλητές δεύτερης γλώσσας (L2). Βασισμένη σε θεωρίες της χειρονομίας που συνοδεύει τον λόγο και της διατροπικής αντίληψης, η έρευνα εξετάζει πώς η χρονική σχέση μεταξύ ακουστικού ερεθίσματος (ομιλίας) και οπτικού ερεθίσματος (χειρονομίας) επηρεάζει την ενσωμάτωση και την ανάκληση μνήμης. Η διατριβή παρουσιάζει δύο πειραματικές μελέτες. Στην πρώτη μελέτη, διερευνήθηκε η χρονική σύνδεση της χειρονομίας και του λόγου σε ομιλητές μητρικής γλώσσας, με έμφαση στον τρόπο με τον οποίο η σημασιολογική συμφωνία διαμορφώνει την οπτικοακουστική ενσωμάτωση. Δύο πειράματα χρησιμοποίησαν τη μέθοδο των σταθερών ερεθισμάτων, παρουσιάζοντας συνδυασμούς χειρονομίας-ομιλίας σε διαφορετικές χρονικές ασυγχρονίες ερεθισμάτων (SOAs), προκειμένου να μετρηθεί η αντιληπτική ευαισθησία στη χρονική ευθυγράμμιση. Η δεύτερη μελέτη επέκτεινε τη διερεύνηση αυτή στους ομιλητές δεύτερης γλώσσας. Εξέτασε πώς ο χρονικός συγχρονισμός μεταξύ χειρονομίας και ομιλίας επηρεάζει την ανάκληση στη μνήμη. Δύο ακόμη πειράματα παρουσίασαν ερεθίσματα χειρονομιών–ομιλίας σε ένα εύρος χρονικών ασυγχρονιών (SOAs), ακολουθούμενα από δοκιμασίες ανάκλησης που αξιολόγησαν εάν η οπτικοακουστική ολοκλήρωση επηρεάζει τη μνημονική απόδοση στη δεύτερη γλώσσα. Τα αποτελέσματα υποδηλώνουν μια ισχυρή χρονική συσχέτιση μεταξύ χειρονομίας και ομιλίας τόσο σε φυσικούς όσο και σε ομιλητές L2. Τα ευρήματα αυτά αναδεικνύουν την πολυπλοκότητα της αισθητηριακής ολοκλήρωσης και υποδηλώνουν ότι η ενότητα χειρονομίας–ομιλίας μπορεί να λειτουργεί με παρόμοιο τρόπο μεταξύ διαφορετικών γλωσσικών ομάδων, υπό συγκεκριμένες πειραματικές συνθήκες. Η έρευνα υπογραμμίζει την ανάγκη για περαιτέρω διερεύνηση του τρόπου με τον οποίο η χρονική ολοκλήρωση υποστηρίζει την επικοινωνία και τη μάθηση σε ποικίλα γλωσσικά συμφραζόμενα.