Computational modeling of observational learning inspired by the cortical underpinnings of human and monkey primates

Abstract

In the current thesis we have studied the cognitive process of observational learning from a computational modeling perspective. In this context we have employed data from neuroscientific experiments, including higher-level imaging and single-cell recordings, in order to develop two computational models of observational learning, inspired by the neurophysiology of human and Macaque primates. To accomplish this we have devised a framework for designing computational models based on neuroscientific findings, and used it in order to develop two novel implementations of the cortical process in simulated agents. To facilitate learning during observation, both models are based on the intuition that, during action execution and observation, the activated cortical networks in the two primates overlap extensively. As a result, both agents treat perception as an active, cross-modal, simulation of others’ actions and learn new motor skills without the active involvement of their body. The first model maintains adequate consistency with the relevant brain areas and connectivity in Macaques, and effectively provides insights about the cortical underpinnings of observational learning, which can be summarized in three categories: (i) neuronal, i.e. how learning can be implemented at the cellular level during observation, (ii) regional, by identifying the potential role of a certain region in associating the motor representation with the visual image of the observer, (iii) system, how the emergent pattern of activations observed during action observation and action execution is formed, and what are the reasons for the lower activations during observation. In addition, due to the use of the aforementioned modeling methodology, the agent is able to exhibit three important behavioral functions: (i) observational learning in a similar manner as its biological counterparts, (ii) knowledge generalization to different domains and knowledge integration on top of existing representations and (iii) embodiment correspondence based on the overlapping pathway of activations. The second model employs a phenomenological approach to design a motor control system that is loosely based on the function of the regions that become active in humans during execution and observation. For this reason we have developed novel implementations for each of the subsidiary motor control processes, and integrated them in order to produce an agent able to learn only by observation. The main contributions include: (i) a model that replicates the reward prediction properties of the dopaminergic neurons in the Basal Ganglia, used to implement a variant of reinforcement learning, (ii) a way to segregate the multidimensional control of the embodiment of the agent to basis functions using a novel primitive model, (iii) a method to implement embodiment correspondence using associative Page iv networks, which enables an agent to develop and match symbolic representations of its own body and the demonstrator’s, (iv) how higher-order motor control can be designed as an epiphenomenon of the motor control system, i.e. as a subsidiary process built on top of basis motor functions and (v) how learning can be implemented during observation using simple motor rules that can be derived only by observation

Στην παρούσα διατριβή μελετήσαμε την γνωσιακή διεργασία της μάθησης μέσω παρατήρησης σε ένα υπολογιστικό πλαίσιο. Για αυτό το λόγο, χρησιμοποιήσαμε δεδομένα από νευροεπιστημονικά πειράματα, όπως για παράδειγμα πειράματα καταγραφών και απόκρισης νευρώνων, ώστε να αναπτύξουμε δύο υπολογιστικά μοντέλα μάθησης μέσω παρατήρησης, εμπνευσμένα από την νευροφυσιολογία των ανθρώπων και πιθήκων Macaque αντίστοιχα. Για να επιτύχουμε τον σκοπό αυτό προτείναμε ένα πλαίσιο για τον σχεδιασμό υπολογιστικών μοντέλων, βασισμένο σε ευρήματα από τις νευροεπιστήμες, το οποίο χρησιμοποιήσαμε ώστε να αναπτύξουμε δύο καινοτόμες υλοποιήσεις της προαναφερθείσας βιολογικής διεργασίας σε προσομοιωμένους πράκτορες. Για να επιτύχουν μάθηση μέσω μόνο παρατήρησης, και τα δύο μοντέλα βασίστηκαν στο ότι κατά την διάρκεια εκτέλεσης και παρατήρησης μιας συμπεριφοράς, τα νευρωνικά δίχτυα που ενεργοποιούνται στον εγκέφαλο των δύο πρωτευόντων ειδών επικαλύπτονται εκτενώς. Ως αποτέλεσμα αυτού του γεγονότος, και οι δύο πράκτορες μεταχειρίζονται την διεργασία αντίληψης σαν μια ενεργή εξομοίωση των συμπεριφορών, και μαθαίνουν νέες συμπεριφορές κίνησης χωρίς να χρησιμοποιούν το σώμα τους. Το πρώτο μοντέλο διατηρεί ικανοποιητική συνέπεια με τις σχετικές περιοχές και συνδεσιμότητα του εγκεφάλου στους πιθήκους Macaque, και παρέχει πολύ σημαντικές ενδείξεις σχετικά με τα ερείσματα που λαμβάνουν χώρα στον φλοιό των πιθήκων Macaque κατά την διάρκεια της μάθησης μέσω παρατήρησης, που μπορούν να συνοψισθούν σε τρείς κατηγορίες. Σε επίπεδο: (ι) νευρώνα, εξηγώντας πώς η μάθηση μπορεί να υλοποιηθεί σε κυτταρικό επίπεδο κατά την διάρκεια παρατήρησης, (ιι) εγκεφαλικής περιοχής, με το να αναγνωρίσει τον δυνητικό ρόλο μιας συγκεκριμένης περιοχής στο να συσχετίζει τις κινητικές αναπαραστάσεις με την οπτική εικόνα του παρατηρητή και (ιιι) συστήματος, δηλαδή πως σχηματίζεται το αναδυόμενο σχέδιο ενεργοποιήσεων που έχει παρατηρηθεί κατά την διάρκεια εκτέλεσης και παρατήρησης μιας συμπεριφοράς, και τους λόγους της χαμηλότερης ενεργοποίησης κάποιων περιοχών κατά την διάρκεια παρατήρησης. Επίσης, λόγω της χρήσης της προαναφερθείσας μεθοδολογίας, ο πράκτορας μπορεί να επιδείξει τρεις σημαντικές συμπεριφορές: (ι) μάθηση μέσω παρατήρησης, με τρόπο παρόμοιο με αυτόν που χρησιμοποιούν οι αντίστοιχοι βιολογικοί ομόλογοι του, (ιι) γενίκευση γνώσης σε διαφορετικούς τομείς και ολοκλήρωση γνώσης χρησιμοποιώντας προϋπάρχουσες αναπαραστάσεις και (ιιι) αντιστοιχία του σώματος του με άλλα σώματα χρησιμοποιώντας ως βάση το μονοπάτι των επικαλυπτόμενων ενεργοποιήσεων. Page vi Το δεύτερο μοντέλο χρησιμοποιεί μια φαινομενολογική προσέγγιση για να σχεδιάσει ένα κινητικό σύστημα που βασίζεται χαλαρά στην λειτουργία των περιοχών που ενεργοποιούνται στους ανθρώπους, κατά την διάρκεια εκτέλεσης και παρατήρησης μιας συμπεριφοράς. Για αυτό το λόγο, αναπτύξαμε μια καινοτόμα υλοποίηση για κάθε μια από τις δευτερεύουσες κινητικές διεργασίες, και τις ενσωματώσαμε ώστε να παραχθεί ένας πράκτορας που μπορεί να μάθει μέσω μόνο παρατήρησης. Ανάμεσα στις βασικές συνεισφορές της δουλειάς περιλαμβάνονται: (ι) ένα μοντέλο που αναπαράγει τις ιδιότητες πρόβλεψης της ανταμοιβής που έχουν οι ντοπαμινεργικοί νευρώνες στα βασικά γάγγλια, (ιι) ένα τρόπο για να διαχωρίσουμε το πολυδιάστατο έλεγχο του σώματος του πράκτορα, (ιιι) μια μέθοδο για να αντιμετωπίσουμε το πρόβλημα αντιστοιχίας του σώματος χρησιμοποιώντας νευρωνικά δίχτυα συσχετισμού, (iv) πώς ο υψηλότερης τάξης κινητικός έλεγχος μπορεί να σχεδιαστεί επιφαινομενικά, βάσει του κινητικού συστήματος, ως επικουρική διεργασία χτισμένη από πάνω από άλλες βασικές κινητικές λειτουργίες και (v) πως η μάθηση μπορεί να υλοποιηθεί κατά την διάρκεια παρατήρησης χρησιμοποιώντας απλούς κινητικούς κανόνες που μπορούν να εκμαιευτούν μόνο από παρατήρηση