Temporal perceptual learning in unisensory and multisensory stimuli

Abstract

Time perception is fundamental to our experience and central to virtually all of our everyday activities. Several studies have revealed an improvement in temporal discrimination when temporal perceptual learning was applied, implying that our temporal percept is plastic, depending on both experience and other cognitive/neuronal factors (Bueti et al., 2012). However, in most of the previous studies where a unisensory stimulation was applied, the learning effects could not be transferred to untrained intervals (e.g., Karmarkar & Buonomano, 2003) or modalities (e.g., Lapid et al., 2009), while the few studies that have attempted to approach learning through multisensory events, observed discrepancies in the transfer of learning from an asymmetric generalization (e.g., Alais and Cass 2010) up to none (e.g., Virsu et al., 2008). Among the core methodological issues of the existing literature as described in Chapter 2, was the single temporal task applied both as the learning and as the evaluation task. Through this manipulation, the participants were repeatedly exposed to the same task for an exhaustive number of trials, suggesting that any induced learning effect most likely reflected a familiarization effect rather than a “pure” time processing improvement. Moreover, the non-engaging abstract stimulation (i.e., lacking any semantical content and a challenging purpose) might not give a clear image of the time perception changes or even induce a temporal learning of generalization effect to its full potential. In this thesis, therefore, the aim was to develop an alternative methodological tool to investigate, for the first time, how temporal perceptual learning through unisensory and multisensory events that carry a semantical meaning (i.e., Morse code language learning) could improve temporal perception skills. The adoption of the Morse code as the main methodological approach was based on the plethora of benefits that it could offer, as described in full in Chapter 3. Its amodal and redundant character ensured an equal learning task in terms of information for each modality and its multisensory adaptation, allowing a direct comparison between the unisensory and multisensory conditions. Most importantly the nature of the Morse code to reduce language to a purely temporal code, as it is only defined by the duration and the order of the intervals, allowed to apply a challenging task which at the same moment ensured that any learning effect would be a “pure” product of the temporal training per se. The potential effects of this learning procedure would be assessed through multiple temporal tasks measuring temporal order discrimination (i.e., a temporal order judgment task) and duration estimation (i.e., a temporal bisection task) allowing to examine for a global change in temporal perception. The experiments conducted in Chapter 4 involved unisensory (i.e., visual and auditory) and multisensory (i.e., audiovisual) Morse code learning versions as a part of an eight-day training procedure. The analysis for the three sets of experiments reported in Chapter 4 demonstrated, for the first time, that when people were trained with an engaging and challenging methodological approach as the Morse code learning task, training-induced changes could be observed, translated into improved temporal perception skills. Specifically, the improved ability to detect temporal asynchronies (i.e., significant narrowing of the temporal window along with a reduction in the just noticeable difference) observed for the multisensory group for both auditory and visual order judgments indicated a higher learning and generalization effect among untrained modalities as compared to the unisensory training. In the same wavelength, the multisensory benefits of learning were also apparent for the temporal bisection task, where a sharpened temporal estimation (i.e., the point of subjective equality approached the real bisection point) and an increased temporal sensitivity (i.e., a significant reduction in the just noticeable difference) after training, reflected a “solid” indication for a real-time perception change and temporal plasticity. The robust temporal perceptual learning effect that was attributed to the multisensory Morse code learning task (Chapter 4) was further investigated on whether it could potentially last through a long-term period without any daily temporal training (Chapter 5). The results indicated that the observed multisensory training-induced changes were stable and could be maintained at least over a period of one month from the final day of training, with the narrowing of the temporal windows for the order judgments and the reduced just noticeable differences for the duration estimations remaining in similar -to the post-learning phase- levels for the follow-up assessment. The one-month gap away from the learning task, except that it was in favor of displaying the maintenance of learning, also helped to exclude the possibility that the observed learning effects could be due to the repeated training exposure. A further evaluation of the Morse code methodological approach was attempted in Chapter 6, where the aim was to optimize the efficiency of temporal perceptual training by adopting alternative learning strategies (i.e., active learning and a temporally enriched environment). This was achieved by asking the participants not to just recognize the alphabet letters, but to reproduce the Morse code patterns through a temporal reproduction task. The comparison between the learning tasks of Chapters 4 and 6 showed non-significant differences in the temporal sensitivity to their order judgments and the duration estimations, supporting that the temporal benefits gained from the two different learning tasks were similar. Thus, the hypothesis that the temporal perceptual learning effects would be higher for the more explicit temporal environment and the active response design followed in Chapter 6, was not obtained, with the lack of informative feedback during the multisensory training, being considered as the main responsible for this inability. Overall, the findings of the present thesis provided the first empirical evidence that a more engaging and temporally related multisensory methodology was able to improve both temporal discrimination and estimation skills across modalities. Specific disorders (namely schizophrenia, autism spectrum disorder, and dementia) have been found to be linked with impaired temporal order or duration deficits (e.g., Vatakis & Allman, 2015), or else, the aspects of temporal perception that found to be improved in healthy populations through the novel learning approach followed in the current thesis. Thus, our learning scheme could also potentially contribute as an effective diagnostic and interventional strategy for cases of non-invasive, behavioral, temporal training, in an attempt to prevent, delay, or ameliorate potential timing distortions in clinical populations.

Η χρονική αντίληψη αποτελεί θεμέλιο λίθο της εμπειρίας του ανθρώπου και κεντρικό στοιχείο οποιασδήποτε καθημερινής δραστηριότητας. Η έρευνα πάνω στην χρονική αντιληπτική μάθηση έχει εντοπίσει μια βελτιωμένη ικανότητα χρονικής διάκρισης διαστημάτων όταν οι άνθρωποι έχουν εξασκηθεί πάνω στα διαστήματα αυτά, υποδηλώνοντας ότι η χρονική μας αντίληψη χαρακτηρίζεται από πλαστικότητα και εξαρτάται τόσο από την εμπειρία όσο και από άλλους γνωσιακούς/νευρωνικούς παράγοντες (Bueti κ.ά., 2012). Εντούτοις, η πλειοψηφία των προηγούμενων μελετών είχε εστιαστεί στη μονοαισθητηριακή διέγερση και τα αποτελέσματα που προέκυψαν, χαρακτηρίζονταν από αδυναμία γενίκευσης σε ανεκπαίδευτα χρονικά διαστήματα (π.χ. Karmarkar & Buonomano, 2003) ή τροπικότητες (π.χ. Lapid κ.ά., 2009). Επιπλέον, οι λίγες μελέτες που επιχείρησαν να προσεγγίσουν τη μάθηση μέσα από αφηρημένα πολυαισθητηριακά ερεθίσματα διακρίνονταν από μια μεταβλητότητα στα αποτελέσματα, με τη μεταφορά της μάθησης να ακολουθεί από ένα ασύμμετρο μοτίβο (π.χ Alais & Cass, 2010) μέχρι μια ολική αδυναμία γενίκευσης (π.χ. Virsu κ.ά., 2008). Ένα από τα κύρια μεθοδολογικά ζητήματα που εντοπίστηκαν στην υπάρχουσα βιβλιογραφία (Κεφάλαιο 2) ήταν το γεγονός ότι υπήρχε μονάχα ένα χρονικό έργο το οποίο λειτουργούσε τόσο σαν το έργο εκπαίδευσης όσο και σαν το μοναδικό έργο αξιολόγησης. Με βάση αυτόν το χειρισμό, οι συμμετέχοντες/ουσες πραγματοποιούσαν αποκλειστικά το ίδιο έργο για έναν εξαντλητικό αριθμό δοκιμών, μην επιτρέποντας να αποσαφηνιστεί αν οποιαδήποτε παρατηρούμενη επίδραση μάθησης οφειλόταν σε μια per se βελτίωση των χρονικών δεξιοτήτων ή αν απλά αντανακλούσε μια μεροληψία εξοικείωσης εξαιτίας της επαναλαμβανόμενης και μονότονης φύσης της πειραματικής διαδικασίας. Επιπλέον, η χρήση μη ελκυστικών και αφηρημένων συνθηκών (δηλ., ερεθίσματα που στερούνται οποιουδήποτε σημασιολογικού περιεχομένου, και έργα χωρίς κάποιον απαιτητικό στόχο που δεν αποτελούν πρόκληση για τους/τις συμμετέχοντες/ουσες) δε δύναται να δώσει μια ξεκάθαρη εικόνα για τις αλλαγές στην χρονική αντίληψη ή ακόμα και να επάγει τη επίδραση της μάθησης και τη γενίκευση της στο μέγιστο δυνατό βαθμό. Στην παρούσα διδακτορική διατριβή επιχειρήθηκε για πρώτη φορά η ανάπτυξη ενός πρωτότυπου μεθοδολογικού εργαλείου με στόχο να διερευνήσει το πως η χρονική αντιληπτική μάθηση μπορεί να βελτιώσει τις δεξιότητες της χρονικής αντίληψης μέσα από τη χρήση μονοαισθητηριακών και πολυαισθητηριακών ερεθισμάτων, τα οποία διαθέτουν επιπλέον και κάποιο σημασιολογικό περιεχόμενο (η εκμάθηση της γλώσσας του κώδικα Morse). Η επιλογή του κώδικα Morse ως κύρια μεθοδολογική προσέγγιση της παρούσας διατριβής στηρίχθηκε σε μια πληθώρα πλεονεκτημάτων που αυτός μπορεί να προσφέρει, όπως περιεγράφηκε λεπτομερώς στο Κεφάλαιο 3. Ο ατροπικός και ταυτολογικός χαρακτήρας του εξασφάλισε ένα ισοδύναμο έργο μάθησης σε όρους πληροφοριακής εισροής για την κάθε τροπικότητα και επέτρεψε την άμεση σύγκριση μεταξύ των μονοαισθητηριακών και πολυαισθητηριακών συνθηκών. Σημαντικότερο πλεονέκτημα όμως, ήταν η ίδια η φύση του κώδικα Morse να αποδομεί τη γλώσσα σε ένα καθαρά χρονικό κώδικα, δηλαδή σε τυποποιημένες χρονικές ακολουθίες οι οποίες ορίζονται αποκλειστικά από τη διάρκεια και τη σειρά μικρών και μεγάλων χρονικών διαστημάτων. Μέσα από τη χρήση τέτοιων χρονικών ερεθισμάτων είναι δυνατή η δημιουργία ενός απαιτητικού έργου, το οποίο εξασφαλίζει ότι οποιαδήποτε επίδραση της μάθησης θα είναι «καθαρό» προϊόν της χρονικής εκπαίδευσης per se. Οι δυνητικές επιδράσεις από τη διαδικασία μάθησης αξιολογήθηκαν μέσα από διαφορετικά χρονικά έργα τα οποία μετρούσαν την ικανότητα διάκρισης της χρονικής σειράς μεταξύ συνεχόμενων ερεθισμάτων (δηλ., έργο κρίσης χρονικής σειράς) και την εκτίμηση χρονικών διαρκειών (δηλ., έργο χρονικής διχοτόμησης), επιτρέποντας έτσι μια πιο σφαιρική διερεύνηση για το αν η χρονική μάθηση προκαλεί μια καθολική αλλαγή στην χρονική μας αντίληψη. Τα πειράματα που διεξήχθησαν στο Κεφάλαιο 4 περιλάμβαναν μονοαισθητηριακές (δηλ., οπτικές και ακουστικές) και πολυαισθητηριακές (δηλ., οπτικοακουστικές) παραλλαγές της διαδικασίας μάθησης του κώδικα Morse μέσα από ένα οκταήμερο έργο εκπαίδευσης. Τα αποτελέσματα μέσα από τα τρια σετ πειραμάτων του Κεφαλαίου 4 έδειξαν για πρώτη φορά ότι όταν οι άνθρωποι εκπαιδεύονταν πάνω σε μια απαιτητική και ελκυστική μεθοδολογική προσέγγιση σαν αυτή του κώδικα Morse, παρατηρούνταν επαγόμενες από την εξάσκηση αλλαγές, μεταφρασμένες σε βελτιωμένες δεξιότητες χρονικής αντίληψης. Συγκεκριμένα, η βελτιωμένη ικανότητα ανίχνευσης χρονικών ασυγχρονιών (δηλ., στατιστικώς σημαντικό «στένεμα» του Χρονικού Παραθύρου μαζί με μια μείωση της Μόλις Διακριτής Διαφοράς) που παρατηρήθηκε στην πολυαισθητηριακή πειραματική συνθήκη τόσο για τις ακουστικές όσο και για τις οπτικές κρίσεις χρονικής σειράς, έδειξε έναν υψηλότερο βαθμό επίδρασης της μάθησης και γενίκευσης της μεταξύ των ανεκπαίδευτων τροπικοτήτων σε σύγκριση με τις αντίστοιχες μονοαισθητηριακές πειραματικές συνθήκες. Στο ίδιο μήκος κύματος, τα πολυαισθητηριακά οφέλη της μάθησης ήταν επίσης εμφανή και για το έργο χρονικής διχοτόμησης, όπου παρατηρήθηκε μια οξυμένη ικανότητα εκτίμησης απαιτητικών χρονικών διαστημάτων (δηλ., το Σημείο Υποκειμενικής Ισότητας προσέγγισε το πραγματικό σημείο διχοτόμησης) και μια αυξημένη χρονική ευαισθησία (δηλ., στατιστικώς σημαντική μείωση της Μόλις Διακριτής Διαφοράς) μετά την εκπαίδευση, αντανακλώντας έτσι μια ισχυρή ένδειξη χρονικής πλαστικότητας και αλλαγής της χρονικής αντίληψης σε πραγματικό χρόνο. Τα ισχυρά ευρήματα για την επίδραση της χρονικής αντιληπτικής μάθησης που αποδόθηκαν στην εκπαίδευση με την πολυαισθητηριακή εκδοχή του κώδικα Morse (Κεφάλαιο 4), διερευνήθηκαν περαιτέρω σχετικά με την πιθανή μακροπρόθεσμη ισχύ τους, αν δηλαδή η επίδραση μάθησης μπορούσε να είναι ανθεκτική στην απουσία οποιασδήποτε καθημερινής χρονικής εκπαίδευσης (Κεφάλαιο 5). Τα αποτελέσματα υποστήριξαν ότι οι παρατηρούμενες αλλαγές που οφείλονταν στην πολυαισθητηριακή εκπαίδευση ήταν σταθερές και μπορούσαν να διατηρηθούν για τουλάχιστον την περίοδο ενός μήνα από την τελευταία μέρα εξάσκησης, με το στένεμα του Χρονικού Παραθύρου και τη μείωση της Μόλις Διακριτής Διαφοράς για τις κρίσεις χρονικής σειράς και τις εκτιμήσεις χρονικής διάρκειας να παραμένουν σε παρόμοια -με την μετεκπαιδευτική φάση- επίπεδα κατά την αξιολόγηση επανεξέτασης. Το κενό του ενός μήνα από την εξάσκηση με το εκπαιδευτικό έργο, εκτός του ότι ευνόησε να εξαχθεί το συμπέρασμα της διατήρησης της μάθησης, βοήθησε επίσης στο να αποκλειστεί η πιθανότητα να οφείλονται οι παρατηρούμενες επιδράσεις μάθησης στην επαναλαμβανόμενη έκθεση στο έργο εκπαίδευσης. Μια επιπλέον αξιολόγηση της παρούσας μεθοδολογικής προσέγγισης επιχειρήθηκε στο Κεφάλαιο 6, όπου ο στόχος ήταν να βελτιστοποιηθεί η αποδοτικότητα της χρονικής αντιληπτικής εκπαίδευσης υιοθετώντας εναλλακτικές στρατηγικές μάθησης (δηλ., ενεργητική μάθηση και χρήση ενός χρονικά ενισχυμένου περιβάλλοντος). Αυτό ήταν δυνατό να επιτευχθεί ζητώντας από τους/τις συμμετέχοντες/ουσες όχι μόνο να αναγνωρίσουν τα γράμματα του αλφαβήτου αλλά και να αναπαράγουν χρονικά τα χρονικά μοτίβα του κώδικα Morse μέσα από ένα έργο χρονικής αναπαραγωγής. Η σύγκριση μεταξύ των Κεφαλαίων 4 και 6 έδειξε μη στατιστικώς σημαντικές διαφορές στην χρονική ευαισθησία τόσο στην κρίση χρονικής σειράς όσο και στην εκτίμηση της διάρκειας των ερεθισμάτων, υποστηρίζοντας ότι τα χρονικά οφέλη που προέκυψαν από τα δύο διαφορετικά έργα μάθησης του κώδικα Morse ήταν παρόμοια. Επομένως, δεν επαληθεύθηκε η υπόθεση ότι το μέγεθος επίδρασης της χρονικής αντιληπτικής μάθησης θα ήταν υψηλότερο λόγω της χρήσης ενός χρονικά ενισχυμένου περιβάλλοντος (Κεφάλαιο 6), με τον κύριο υπεύθυνο γι’ αυτήν την αδυναμία να θεωρείται η έλλειψη μιας ενημερωτικής ανατροφοδότησης κατά τη διάρκεια της πολυαισθητηριακής εκπαίδευσης. Συνολικά, τα ευρήματα της παρούσας διδακτορικής διατριβής παρείχαν μια πρώτη εμπειρική ένδειξη για το γεγονός ότι μια πιο ελκυστική και χρονικά σχετιζόμενη πολυαισθητηριακή μεθοδολογία ήταν δυνατό να βελτιώσει τις δεξιότητες χρονικής διάκρισης και εκτίμησης διαστημάτων, καθώς και να γενικεύσει τη μάθηση σε διαφορετικές τροπικότητες. Συγκεκριμένες διαταραχές (π.χ. σχιζοφρένεια, φάσμα του αυτισμού, και άνοια) έχουν βρεθεί ότι συνδέονται στενά με ελλείμματα στη διάκριση χρονικής σειράς και στην εκτίμηση χρονικών διαρκειών (π.χ. Vatakis & Allman, 2015), ή αλλιώς, με εκείνες ακριβώς τις πτυχές της χρονικής αντίληψης που βρέθηκαν να βελτιώνονται στους υγιείς πληθυσμούς μέσα από την πρωτότυπη προσέγγιση μάθησης που ακολουθήθηκε στην παρούσα διδακτορική διατριβή. Επομένως, με βάση τα συγκεκριμένα ευρήματα, προτείνεται ότι το παρόν εκπαιδευτικό σχήμα μπορεί να συνεισφέρει δυνητικά ως ένα αποτελεσματικό διαγνωστικό εργαλείο και μια στρατηγική παρέμβασης για περιπτώσεις μη επεμβατικής, συμπεριφορικής, χρονικής εκπαίδευσης σε μια ευρύτερη προσπάθεια να προληφθούν, να καθυστερήσουν, ή να μειωθούν οι πιθανές χρονικές διαταραχές στους αντίστοιχους κλινικούς πληθυσμούς.