Ηλεκτρονική μάθηση και αξιολόγηση στην εκπαίδευση μηχανικών: καινοτόμες προσεγγίσεις μέσω τεχνητής νοημοσύνης και εξόρυξης εκπαιδευτικών δεδομένων

Abstract

This PhD thesis examines the affordances and opportunities that digital educational technologies offer for higher quality and more effective education, with emphasis on the introduction and utilization of Artificial Intelligence (AI) and Machine Learning (ML) methods and algorithms. The thesis focuses on higher education, with a specific, though not exclusive, interest in engineering education. First, the use of AI/ML methods in the field of educational technologies is explored through a literature review. On the basis of results of this review, the thesis focuses on specific educational problems. To address these problems, experimental educational activities are designed, developed and evaluated using real data. Finally, the thesis concludes by suggesting directions for future research. From the point of view of the AI/ML algorithms selected and used in the thesis, the following can be distinguished (a) data mining algorithms, which analyse educational data in their more classical form (numerical, quantitative, time stamps, student-platform interaction event counts, user activity counts, etc.) and (b) text mining algorithms, which analyse educational texts (of sufficient length; not short texts such as social network posts) based on Natural Language Processing (NLP) methods. The thesis consists of seven chapters. The first chapter presents the evolution of e-learning and e-assessment, the basic learning theories (behaviourism, constructivism, socio-cultural theories) and the platforms that support e-learning and e-assessment, such as Moodle and Massive Open Online Courses (MOOCs). It also examines the advantages, disadvantages and challenges of e-learning and e-assessment. The second chapter reviews the international literature on the use of Educational Data Mining (EDM) and Learning Analytics (LA) methods in e-learning and e-assessment. The algorithms of the broader family of Soft Computing, used for educational data analysis, are reviewed, along with research trends and future challenges in the field. Chapter three sets out the key research questions of the PhD thesis, focusing on the improvement of e-learning through artificial intelligence. The research methodology is presented, including the collection and analysis of data from the Moodle platform and the development of experimental procedures to evaluate the proposed solutions. The fourth chapter describes the development of a specific software application within the Moodle platform for the extraction and analysis of educational activity data. The data collected (student-platform interaction time, student performance, etc.) and the process of visualization are analyzed. A pilot test of the application under real-life conditions is carried out to evaluate its correct operation and usabilty. In the fifth chapter, the possibility of both early and accurate prediction of student performance (success / failure, final grade in course) is studied through machine learning algorithms, such as artificial neural networks and decision trees. The aim is to give the lecturer enough time to take supportive measures for weak students within the same academic term. At the same time, student clustering based on their interaction with the Moodle platform and digital learning content is being considered, with the aim of restructuring the content and improving the educational process. In chapter six, text mining and topic modeling techniques are applied to student responses to open-ended questions. The answers are in the form of extended text and are compared algorithmically with corresponding model texts composed by the instructor as feedback to the students. The Latent Dirichlet Allocation (LDA) algorithm is used to analyze and cluster the texts in order to improve the structure of both the assessment modules and the corresponding sections of the course syllabus. The results indicate that text mining can substantially and actively support the instructor in improving the structure and internal coherence of the learning material. The seventh and final chapter, that of the conclusions, summarizes the main findings of the thesis, confirming that AI and machine learning methods, and in particular (educational) data and text mining algorithms, can significantly improve the educational process and support instructors in the design and restructuring of their learning material. Future research directions proposed are • the systematic educational evaluation of the proposed methods based on a rigorous experimental protocol and randomized sample, as well as the longitudinal evaluation of the research questions, • the integration of all the individual methods and tools proposed here to support the teacher in educational decision making, within an easy-to-use interface-digital application, and finally • especially in text mining, the comparative evaluation of alternatives to LDA algorithms of lower computational complexity, such as BERTopic.

H παρούσα διδακτορική διατριβή εξετάζει τις δυνατότητες και τις ευκαιρίες που προσφέρουν οι ψηφιακές εκπαιδευτικές τεχνολογίες για ποιοτικότερη και αποτελεσματικότερη εκπαίδευση, με έμφαση στην εισαγωγή και αξιοποίηση μεθόδων και αλγορίθμων Τεχνητής Νοημοσύνης (ΤΝ) και Μηχανικής Μάθησης (ΜΜ). Η διατριβή εστιάζει στην τριτοβάθμια εκπαίδευση, με ένα ειδικότερο, αν και όχι αποκλειστικό, ενδιαφέρον για την εκπαίδευση των μηχανικών. Αρχικά διερευνάται μέσω ανασκόπησης η χρήση μεθόδων ΤΝ/ΜΜ στον τομέα των εκπαιδευτικών τεχνολογιών. Ακολουθεί η εστίαση σε συγκεκριμένα εκπαιδευτικά προβλήματα. Για την αντιμετώπιση των προβλημάτων αυτών, γίνεται σχεδίαση και ανάπτυξη πειραματικών εκπαιδευτικών δράσεων καθώς και αξιολόγησή τους με πραγματικά δεδομένα. Τέλος, η διατριβή κλείνει με τη διατύπωση προτάσεων για μελλοντική έρευνα. Από την πλευρά των αλγορίθμων ΤΝ / ΜΜ που επιλέγονται και χρησιμοποιούνται στη διατριβή, μπορούν να διακριθούν (α) οι αλγόρθμοι data mining, που αναλύουν εκπαιδευτικά δεδομένα στην πιο κλασική τους μορφή (αριθμητικά, ποσοτικά, χρονοσφραγίδες, καταμέτρηση γεγονότων και ενεργειών χρηστών, κ.α.) και (β) οι αλγόριθμοι text mining, που αναλύουν εκπαιδευτικά κείμενα (επαρκούς έκτασης και όχι σύντομα κείμενα, όπως οι αναρτήσεις σε κοινωνικά δίκτυα) στηριζόμενοι σε μεθόδους επεξεργασίας φυσικής γλώσσας (Natural Language Processing, NLP). Η διατριβή αποτελείται από επτά κεφάλαια. Στο πρώτο κεφάλαιο παρουσιάζεται η εξέλιξη της ηλεκτρονικής μάθησης (e-learning) και της ηλεκτρονικής αξιολόγησης (e-assessment), οι βασικές θεωρίες μάθησης (συμπεριφορισμός, εποικοδομητισμός, κοινωνικο-πολιτισμικές θεωρίες) και οι πλατφόρμες που υποστηρίζουν την εκπαιδευτική διαδικασία, όπως το Moodle και τα Massive Open Online Courses (MOOCs). Εξετάζονται επίσης τα πλεονεκτήματα, τα μειονεκτήματακαι οι προκλήσεις της ηλεκτρονικής μάθησης και της ηλεκτρονικής αξιολόγησης. Στο δεύτερο κεφάλαιο γίνεται ανασκόπηση της διεθνούς βιβλιογραφίας σχετικά με την αξιοποίηση μεθόδων εξόρυξης εκπαιδευτικών δεδομένων (Educational Data Mining - EDM) και Μαθησιακής Αναλυτικής (Learning Analytics - LA) στη διαδικασία της ηλεκτρονικής μάθησης και αξιολόγησης. Εξετάζονται οι αλγόριθμοι της ευρύτερης οικογένειας του Soft Computing που χρησιμοποιούνται για την ανάλυση εκπαιδευτικών δεδομένων, οι ερευνητικές τάσεις και οι μελλοντικές προκλήσεις στον τομέα. Στο τρίτο κεφάλαιο καθορίζονται τα βασικά ερευνητικά ερωτήματα της διατριβής, τα οποία εστιάζουν στη βελτίωση της ηλεκτρονικής μάθησης μέσω τεχνητής νοημοσύνης. Παρουσιάζεται η μεθοδολογία της έρευνας, που περιλαμβάνει τη συλλογή και ανάλυση δεδομένων από την πλατφόρμα Moodle και την ανάπτυξη πειραματικών διαδικασιών για την αξιολόγηση των προτεινόμενων λύσεων. Στο τέταρτο κεφάλαιο περιγράφεται η ανάπτυξη μιας ειδικής εφαρμογής λογισμικού εντός της πλατφόρμας Moodle για την εξόρυξη και ανάλυση δεδομένων εκπαιδευτικής δραστηριότητας. Αναλύονται τα δεδομένα που συλλέγονται (χρόνος αλληλεπίδρασης φοιτητών με την πλατφόρμα και το ψηφιακό μαθησιακό υλικό, επιδόσεις φοιτητών κ.λπ.) και η διαδικασία οπτικοποίησής τους. Διεξάγεται πιλοτική δοκιμή της εφαρμογής σε πραγματικές συνθήκες για να αξιολογηθεί η ορθή λειτουργία και η λειτουργικότητά της. Στο πέμπτο κεφάλαιο μελετάται η δυνατότητα έγκαιρης αλλά και ακριβούς πρόβλεψης της επιτυχίας ή αποτυχίας αλλά και της τελικής επίδοσης των φοιτητών μέσω αλγορίθμων μηχανικής μάθησης, όπως τεχνητά νευρωνικά δίκτυα και δέντρα αποφάσεων. Στόχος είναι να έχει ο διδάσκων περιθώριο λήψης υποστηρικτικών μέτρων για αδύναμους φοιτητές εντός της ίδιας ακαδημαϊκής περιόδου διδασκαλίας. Παράλληλα, εξετάζεται η ομαδοποίηση φοιτητών βάσει της αλληλεπίδρασής τους με την πλατφόρμα Moodle και το ψηφιακό μαθησιακό υλικό, με στόχο την αναδιάρθρωση του περιεχομένου και τη βελτίωση της εκπαιδευτικής διαδικασίας. Στο έκτο κεφάλαιο εφαρμόζονται τεχνικές εξόρυξης κειμένου (text mining) και μοντελοποίησης θέματος (topic modeling) στις απαντήσεις φοιτητών σε ερωτήσεις ανοιχτού τύπου. Οι απαντήσεις έχουν τη μορφή εκτεταμένου κειμένου και συγκρίνονται αλγοριθμικά με αντίστοιχα πρότυπα κείμενα που έχει συνθέσει ο διδάσκων ως ανατροφοδότηση προς τους φοιτητές. Ο αλγόριθμος Latent Dirichlet Allocation (LDA) χρησιμοποιείται για την ανάλυση και ομαδοποίηση των κειμένων, με σκοπό τη βελτίωση της δομής τόσο των ενοτήτων αξιολόγησης όσο και των αντίστοιχων ενοτήτων της ύλης των μαθημάτων. Τα αποτελέσματα υποδεικνύουν ότι η εξόρυξη κειμένου μπορεί να συμβάλει ουσιαστικά και να υποστηρίξει έμπρακτα το διδάσκοντα στη βελτίωση της δομής και εσωτερικής συνοχής του μαθησιακού υλικού. Στο έβδομο και τελευταίο κεφάλαιο, αυτό των συμπερασμάτων, συνοψίζονται τα βασικά ευρήματα της διατριβής, επιβεβαιώνοντας ότι οι μέθοδοι τεχνητής νοημοσύνης και μηχανικής μάθησης, και ειδικότερα οι αλγόριθμοι εξόρυξης (εκπαιδευτικών) δεδομένων και κειμένων, μπορούν να βελτιώσουν σημαντικά την εκπαιδευτική διαδικασία αλλά και να υποστηρίξουν τους διδάσκοντες στη σχεδίαση και αναδιάρθρωση του μαθησιακού υλικού τους. Μελλοντικές ερευνητικές κατευθύνσεις που προτείνονται είναι • η συστηματική εκπαιδευτική αξιολόγηση των προτεινόμενων μεθόδων με βάση ένα αυστηρό πειραματικό πρωτόκολλο και τυχαιοποιημένο δείγμα, καθώς και η διαχρονική (longitudinal) αξιολόγηση των ερευνητικών ερωτημάτων, • η ενσωμάτωση όλων των επιμέρους μεθόδων και εργαλείων που προτάθηκαν εδώ για την υποστήριξη του διδάσκοντος στη λήψη εκπαιδευτικών αποφάσεων, μέσα σε ένα εύχρηστο ενιαίο περιβάλλον-ψηφιακή εφαρμογή, και τέλος • ειδικά στην εξόρυξη κειμένου, η συγκριτική αξιολόγηση εναλλακτικών του LDA αλγορίθμων χαμηλότερης υπολογιστικής πολυπλοκότητας, όπως ο BERTopic.