A holistic approach to learning analytics and educational data mining in distance learning through data and machine learning pipelines

Abstract

The transition of our civilization to the online technologies and the metaverse, generated huge data sources and elaborated methods of processing. By mimicking the human brain, organizations of every field are trying to establish processes of high complexity to extract knowledge from the available data. At the same time, the changes in the lifespan of the validity of information creates the necessity of continuous education. This results in a series of changes and challenges in teaching and learning, mainly in the landscape of higher education. Thus, educational organizations need to take action to leverage data for evidence-based decision making.Learning Analytics (LA) and Educational Data Mining (EDM) tools are specifically developed to manage educational data by predicting patterns and behaviors. They integrate data related to students, instructors, classes and courses, grades, forums etc. for processing, monitoring and visualizing. The ultimate goal of this kind of applications is the improvement of the learning environment for the benefit of the stakeholders. However, LA and EDM tasks are often challenging, involve the use of various tools and demand serious amounts of time and effort to repeat them. In order to acquire the necessary information for revolutionizing learning, small scale LA projects are not enough. It is required to adopt a holistic approach where end-to-end solutions would begin from data gathering and would result in reporting actionable knowledge. In the last years there is a rising trend in the use of data pipelines. Pipelines are collections of processes that can transfer and transform data from various sources, aiming to create new knowledge. They come with several benefits that can also be applied in a LA cycle.This thesis consists of two main parts. The first part proposes a LA framework and the respective experiments that aim to provide a better understanding on students’ learning in a Distance Education environment. The experiments shift focus from simple log data to a combination of primitive and derived variables taking into account the social aspect of learning. Using a variety of methods, including simple visualizations and elaborated analytical processes, students’ latent traits can be revealed, offering knowledge that can guide decisions for teaching and learning improvement The second part introduces the use of data pipelines for performing LA processes. In several projects, data and machine learning pipelines were designed, created and executed. It was shown that the pipelines can undertake the whole LA cycle and also produce interactive LA dashboards. By approaching LA and EDM as a holistic, repeatable and reliable process in a multidisciplinary synergy, important benefits can emerge for the teaching and learning process.

Τα τελευταία χρόνια συντελείται μια κατακλυσμιαία μεταφορά συναλλαγών και αλληλεπιδράσεων στο διαδίκτυο. Στην εποχή της τεχνητής νοημοσύνης και του μετασύμπαντος αυξάνεται συνεχώς ο ρυθμός παραγωγής δεδομένων με ταυτόχρονη βελτίωση των μεθόδων συλλογής και ανάλυσής τους. Μιμούμενοι τον ανθρώπινο εγκέφαλο, οργανισμοί και εταιρίες από κάθε πεδίο προσπαθούν να καθιερώσουν πολύπλοκες διαδικασίες επεξεργασίας των διαθέσιμων πληροφοριών ώστε να παραχθεί αξιοποιήσιμη γνώση. Ταυτόχρονα, όσον αφορά τη μάθηση, ο χρόνος ημιζωής της εγκυρότητας της πληροφορίας συνεχώς μειώνεται θέτοντας στο προσκήνιο την ανάγκη για συνεχή και δια βίου μάθηση. Σε συνδυασμό με κοινωνικό-οικονομικές εξελίξεις αλλά και με απρόβλεπτες συγκυρίες όπως η πανδημία Covid-19, οι αλλαγές αυτές έχουν αποτελέσει μεγάλη πρόκληση στο πεδίο της ανώτατης εκπαίδευσης. Τα εκπαιδευτικά ιδρύματα προκειμένου να ανταπεξέλθουν στις προκλήσεις αυτές καλούνται να πάρουν αποφάσεις αξιοποιώντας όλα τα διαθέσιμα δεδομένα τα οποία επιτρέπουν την εξαγωγή έγκυρων συμπερασμάτων. Η αναλυτική της μάθησης και η εξόρυξη εκπαιδευτικών δεδομένων με την χρήση κατάλληλων εργαλείων επεξεργάζονται δεδομένα προκειμένου να ανακαλύψουν πρότυπα και να δημιουργήσουν προβλέψεις για την μαθησιακή διαδικασία. Τα δεδομένα αυτά μπορεί να αφορούν στοιχεία φοιτητών, καθηγητών, βαθμούς, τμήματα, μαθησιακό υλικό, προγράμματα σπουδών και ό,τι σχετίζεται με τη διδασκαλία και τη μάθηση με στόχο την επεξεργασία τους για την καλύτερη κατανόηση και την βελτίωση της. Ο απώτερος σκοπός των σχετικών εφαρμογών που αναπτύσσονται είναι να προκύψουν οφέλη για όλους τους εμπλεκόμενους στην εκπαιδευτική διαδικασία (καθηγητές, φοιτητές, ακαδημαϊκό προσωπικό κ.ο.κ.). Ωστόσο, οι εφαρμογές της αναλυτικής της μάθησης και της εξόρυξης εκπαιδευτικών δεδομένων είναι συχνά χρονοβόρες και εργώδεις. Ενώ η μάθηση είναι μια ζωντανή και συνεχώς εξελισσόμενη διαδικασία, οι απαραίτητες αναλύσεις συχνά δεν μπορούν να επαναληφθούν με ευκολία ώστε να επικαιροποιούνται με νέα δεδομένα και να προσαρμόζονται σε διαφοροποιημένες ανάγκες που ενδεχομένως να έχουν προκύψει. Ταυτόχρονα, οι περισσότερες εφαρμογές που αναπτύσσονται είναι μικρής κλίμακας και αφορούν συγκεκριμένες απαιτήσεις με αποτέλεσμα να είναι δύσκολο να γενικευτούν. Είναι λοιπόν απαραίτητο να προταθούν ευρείας κλίμακας προσεγγίσεις οι οποίες να αντιμετωπίζουν το ζήτημα της διαχείρισης των δεδομένων ολιστικά και όχι αποσπασματικά. Τα τελευταία χρόνια υπάρχει μια αυξανόμενη τάση στην υιοθέτηση αγωγών δεδομένων και μηχανικής μάθησης για την αντιμετώπιση ανάλογων προκλήσεων. Οι αγωγοί δεδομένων παρουσιάζουν μια σειρά πλεονεκτημάτων τα οποία θα μπορούσαν να αναβαθμίσουν τις διαδικασίες αναλυτικής της μάθησης. Με γνώμονα τα παραπάνω, η παρούσα διατριβή αποτελείται από δύο βασικά μέρη. Στο πρώτο μέρος προτείνεται μια μεθοδολογική προσέγγιση της αναλυτικής της μάθησης και περιγράφονται αντίστοιχα πειράματα που στοχεύουν στην βελτίωση της κατανόησης της μαθησιακής συμπεριφοράς των φοιτητών σε εκπαιδευτικά περιβάλλοντα εξ αποστάσεως εκπαίδευσης. Η ανάλυση στοχεύει πέρα από την απλή επεξεργασία δεδομένων καταγραφής, συνδυάζοντας πρωτογενείς και δευτερογενείς μεταβλητές ώστε να αποτυπώνεται παράλληλα ο κοινωνικός χαρακτήρας της μάθησης. Χρησιμοποιώντας ένα συνδυασμό μεθόδων, από απλές οπτικοποιήσεις μέχρι πιο πολύπλοκες διαδικασίες ανάλυσης, διερευνώνται λανθάνοντα χαρακτηριστικά της συμπεριφοράς των φοιτητών τα οποία προσφέρουν βαθύτερη γνώση και επιτρέπουν την βελτίωση της μαθησιακής εμπειρίας.Το δεύτερο μέρος της διατριβής εισάγει την χρήση αγωγών δεδομένων και μηχανικής μάθησης στις μεθοδολογίες της αναλυτικής της μάθησης. Παρουσιάζεται μια σειρά εφαρμογών στις οποίες έχουν σχεδιαστεί, υλοποιηθεί και εκτελεστεί αγωγοί δεδομένων και μηχανικής μάθησης. Οι αγωγοί αυτοί μπορούν να αναλάβουν εξολοκλήρου έναν κύκλο αναλυτικής της μάθησης από το στάδιο της εισαγωγής των δεδομένων μέχρι την τελική αναφορά των αποτελεσμάτων παράγωντας αλληλεπιδραστικά ταμπλό αναφορών. Εν τέλει, προσεγγίζοντας την αναλυτική της μάθησης και την εξόρυξη εκπαιδευτικών δεδομένων ως μια ολιστική, επαναλήψιμη και αξιόπιστη διαδικασία διεπιστημονικής συνέργειας μπορούν να προκύψουν σημαντικά οφέλη για την εκπαιδευτική κοινότητα.