Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών

Abstract

The PhD thesis is part of ongoing research in the field of Computer-Supported Collaborative Learning (CSCL). The main contribution of this thesis is to design and propose a method for the automatic analysis, classification and evaluation of the quality of collaboration of learning activities. On one hand, the method is based and reflects the findings of qualitative research and on the other hand, it uses machine learning algorithms and statistical methods that allow the quantitative analysis of data. We used modeling techniques widely used in other scientific fields (time series) and studied how they can be used in CSCL to contribute new knowledge. The objective of the study is to implement a method for the representation, classification and evaluation of collaborative activities. It was shown that the quality of collaboration and its fundamental aspects is portrayed in the way the activity itself is distributed in time. It was shown through visualizations and statistical analysis that time series allow the effective representation of collaboration and its qualitative characteristics. The classification and evaluation method that was proposed is supported by a machine-learning model. The model was further evaluated as an automated rater of collaboration quality and compared to other similar models. The advantage of the proposed method over others is the simple structure and low-cost, as well as the potential to be used in real-time. The proposed approach attempts to describe and portray the interaction of users through their concurrent activity on different but common workspaces. For that reason we make use of common, basic activity metrics and time series. The time series of activity can describe successfully low level construct such as Communication and Information Processing. For more advanced and complicated constructs however, such as Coordination and Interpersonal Relationship, time series could not capture adequately the qualitative characteristics and underlying mechanisms. This finding comes in agreement with similar studies that point out the need of combined analysis methods that will use in combination content analysis techniques and natural language processing. It was also shown that in the particular context, the meaningful interactions that point to constructive collaboration, successful knowledge building and reciprocal activity can be mapped in small time frames, of about 30 seconds. More complicated structures that signify e.g. strategy planning and effective coordination, take more time to unfold and therefore cannot be traced in such small time frames.This study does not attempt in any way to substitute or overcome the human judgment and human factor, either in the analysis or teaching activity. On the contrary, we believe that the teacher cannot be replaced by automated tools and methods but should be supported and empowered.

Η διδακτορική διατριβή εντάσσεται στο πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης, ΥΥΣΜ (Computer Supported Collaborative Learning, CSCL). ‘Eχει ως στόχο την ανάπτυξη και πρόταση μίας μεθόδου για την αυτοματοποιημένη ανάλυση, ταξινόμηση και αξιολόγηση της ποιότητας συνεργατικών εκπαιδευτικών δραστηριοτήτων. Αφενός βασίζεται σε ευρήματα ποιοτικής έρευνας και αφ’ ετέρου συνδυάζει την χρήση τεχνικών μηχανικής μάθησης και ανώτερων μαθηματικών που χρησιμοποιούνται ευρέως σε πλήθος άλλων ερευνητικών πεδίων, μελετώντας τους τρόπους που μπορούν να υιοθετηθούν και να συνεισφέρουν στο πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής μάθησης (χρονοσειρές). Βασικό μέλημα είναι η προτεινόμενη μέθοδος να επιτρέπει την εξαγωγή χρήσιμων συμπερασμάτων για την ποιότητα των συνεργατικών δραστηριοτήτων με τρόπο ποσοτικό και αυτόματο ώστε να είναι δυνατή η χρήση της σε μεγάλα σύνολα δεδομένων. Η παρούσα μελέτη έδειξε πως η ποιότητα της συνεργασίας αποτυπώνεται στον τρόπο που κατανέμεται η συνεργατική δραστηριότητα στον χρόνο και η χρήση χρονοσειρών αποτυπώνει τα ιδιαίτερα χαρακτηριστικά της συνεργασίας με ικανοποιητικό τρόπο. Η μέθοδος αξιολογήθηκε ξεχωριστά αλλά και σε αντιπαράθεση με αντίστοιχα μοντέλα και μεθόδους. Η προτεινόμενη μέθοδος πλεονεκτεί ως προς την απλότητα κατασκευής και λειτουργίας ενώ διαπιστώθηκε με στατιστικά σημαντικό τρόπο η εγκυρότητα των αποτελεσμάτων της. H μέθοδος δεν απαιτεί την ολοκλήρωση της δραστηριότητας αλλά ενδείκνυται και για την αξιολόγησή της σε πραγματικό χρόνο. Οι χρονοσειρές δραστηριότητας περιγράφουν ικανοποιητικά βασικές συνεργατικές διαστάσεις που ορίζονται ως «χαμηλού επιπέδου» όπως η Επικοινωνία και η Κοινή Επεξεργασία Πληροφορίας και οι οποίες θεωρείται ότι αντικατοπτρίζονται ιδιαίτερα στην διαλογική δραστηριότητα που εκτυλίσσεται μεταξύ των συνεργατών. Από την άλλη, για διαστάσεις ανωτέρου επιπέδου που αντιπροσωπεύονται από πιο περίπλοκες δομές αλληλεπίδρασης, όπως για παράδειγμα ο Συντονισμός και η Διαπροσωπική Σχέση μεταξύ συνεργαζόμενων μερών, οι χρονοσειρές δραστηριότητας δεν καταφέρνουν να τις αποτυπώσουν ικανοποιητικά. Αποδείχθηκε στατιστικά πως για την συγκεκριμένη περίπτωση συνεργατικών μαθησιακών δραστηριοτήτων οι ουσιαστικές αλληλεπιδράσεις μεταξύ των χρηστών που υποδηλώνουν μεταφορά και οικοδόμηση κοινής γνώσης και κοινού τόπου επικοινωνίας αλλά και σχέσεις αιτιότητας, είναι δυνατόν να ανιχνευθούν μέσα σε χρονικά παράθυρα μικρού μεγέθους, της τάξης των τριάντα δευτερολέπτων. Σύνθετες δομές που αποτυπώνουν την δημιουργία στρατηγικής προσέγγισης ή διαμοιρασμού χώρου και χρόνου και απαιτούν μεγαλύτερους χρόνους εξέλιξης, δεν είναι δυνατόν να αποτυπωθούν επαρκώς με αυτή την προσέγγιση. Η έρευνα αυτή δεν αποσκοπεί κατά κανένα τρόπο στην αντικατάσταση της ανθρώπινης κρίσης ή γενικότερα του ανθρώπινου παράγοντα αλλά αντίθετα επιδιώκει να υποστηρίξει το έργο του.