Σχεδιασμός και υλοποίηση μεθοδολογικού πλαισίου για την αποτίμηση της συνεισφοράς μελών ομάδων εργασίας σε ψηφιακά συνεργατικά περιβάλλοντα διοίκησης: εφαρμογή στην εκπαίδευση

Abstract

This doctoral dissertation addresses the issue of the objective assessment of individual contribution within group projects for members of work teams operating in digital collaborative environments. The objective is to propose and investigate an innovative methodological framework designed as a decision-support tool for supervisors to determine the specific nature of support required by both the teams and their individual members. While this dissertation focuses on the educational sector, the necessity and potential for extending the proposed framework to corporate and organizational environments are evident; however, such generalization is not automatic, and further research is required to validate its efficacy in professional settings. Within the scope of contemporary management science and educational technology, the need for equitable assessment in group tasks is imperative to mitigate phenomena such as social loafing and cognitive/social bias. This research proposes a hybrid evaluation model that integrates peer perceptions of individual contribution with objective activity logs derived from the digital collaborative environment. Within the proposed framework, peer assessment is quantified through the development of the Peer Contribution Score (PCS) and/or the Improved Peer Contribution Score (IPCS). Both indices incorporate peer feedback regarding an individual’s total contribution per task or deliverable. However, they differ in their measurement techniques: PCS (Peer Contribution Score): Utilizes a forced ranking method. IPCS (Improved Peer Contribution Score): Utilizes a point allocation method. Both indices share common characteristics: peers evaluate total contribution across all dimensions (task performance, group dynamics, etc.), and the scores are appropriately weighted based on group size and the number of assignments to ensure inter-group comparability. Recognizing that peer evaluation may inherently contain a degree of bias, it is deemed insufficient as a standalone metric for determining individual contribution. To address the limitations of peer assessment, the framework triangulates subjective data with objective indicators of individual engagement. Ideally, these are derived from the weighted analysis of an individual's participation in interactive activities (e.g., discussion forums or peer reactions to their posts). This approach requires seamless data extraction from the collaboration platform. In this study, data were extracted from a collaborative environment built on the Moodle Learning Management System (LMS). In instances where the environment (e.g., LAMS) did not facilitate such extraction, time-on-task was utilized as a proxy indicator of individual involvement. The results of this doctoral research include: Positive Correlation: A significant positive correlation was found between the PCS and the individuals' Digital Presence, as measured by their engagement in interactive activities (e.g., discussions, file uploads, result postings). Validity: A positive correlation between the PCS and external researcher observations strengthens the construct validity of the index. Cluster Analysis: While no statistically significant relationship was found between the IPCS and time spent on group activities, cluster analysis revealed distinct member profiles. These clusters correspond to different contribution profiles and indicate varying levels of instructional support required. Team Dynamics: Team composition (primarily) and group size (secondarily) were positively associated with the IPCS, suggesting that optimized team functioning is accompanied by enhanced individual contribution. Proposed Framework for Practitioners In response to the third research question—aiming to provide educators/supervisors with a streamlined methodology for categorizing contribution and identifying students/employees in need of intervention—this study proposes an iterative process. This cycle is summarized as: Data Collection -> Data Analysis/Processing -> Individual Profile Identification -> Determination of Support Requirements. This framework can be applied either summatively at the conclusion of a project or formatively during intermediate assignments. In the latter case, the implementation of automated tools is essential to minimize the time required for data processing and the visualization of analytical results.

Η παρούσα διδακτορική διατριβή πραγματεύεται το ζήτημα της αντικειμενικής αποτίμησης της ατομικής συνεισφοράς στο ομαδικό έργο ατόμων που συμμετέχουν σε συνεργατικές ομάδες και χρησιμοποιούν κάποιο ψηφιακό περιβάλλον συνεργασίας. Στόχος είναι να προταθεί και να μελετηθεί ένα καινοτόμο μεθοδολογικό πλαίσιο, το οποίο θα μπορούσε να αποτελέσει εργαλείο για τον επιβλέποντα την ομάδα, ώστε να προσδιορίσει τη μορφή της υποστήριξης που πρέπει να παράσχει στις ομάδες αλλά και στα άτομα που τις απαρτίζουν. Ενώ η διδακτορική αυτή εργασία εστιάζει στην εκπαίδευση, είναι προφανής η ανάγκη και η πιθανότητα επέκτασης του προτεινόμενου μεθοδολογικού πλαισίου και σε εταιρικό/εργασιακό περιβάλλον ωστόσο η γενίκευση δεν μπορεί να είναι αυτόματη και απαιτείται περαιτέρω έρευνα για να τεκμηριωθεί η αξία της και σε αυτό το περιβάλλον. Στο πλαίσιο της σύγχρονης διοικητικής επιστήμης και της εκπαιδευτικής τεχνολογίας, η ανάγκη για δίκαιη αξιολόγηση εντός ομαδικών εργασιών καθίσταται επιτακτική, προκειμένου να αντιμετωπιστούν φαινόμενα όπως η κοινωνική οκνηρία και η μεροληψία. Στην παρούσα εργασία προτείνεται ένα υβριδικό μοντέλο αξιολόγησης, το οποίο συνδυάζει την αντίληψη των μελών της ομάδας για τη συνεισφορά εκάστου ατόμου στο συνολικό αποτέλεσμα μέσω της ομότιμης αξιολόγησης με την αντικειμενική καταγραφή της δραστηριότητάς τους, όπως προκύπτει από τις καταγραφές σε κάποιο ψηφιακό περιβάλλον συνεργασίας. Στο προτεινόμενο πλαίσιο, η ομότιμη αξιολόγηση των υπολοίπων μελών της κάθε ομάδας ποσοτικοποιείται με τη δημιουργία του Δείκτη Συνεισφοράς Ομοτίμων (Peer Contribution Score, PCS) ή/και του Βελτιωμένου Δείκτη Συνεισφοράς Ομοτίμων (IPCS, Improved Peer Contribution Score). Και οι δυο δείκτες λαμβάνουν υπόψη τη γνώμη των συναδέλφων του ατόμου για την ολική του συνεισφορά ανά εργασία/παραδοτέο, όμως ενώ στον PCS χρησιμοποιείται η μέθοδος της εξαναγκασμένης κατάταξης (forced ranking), στον IPCS χρησιμοποιείται η μέθοδος της κατανομής πόντων (point allocation). Κατά τα λοιπά οι δυο δείκτες μοιράζονται το κοινό χαρακτηριστικό ότι οι ομότιμοι αξιολογούν τη συνολική συνεισφορά του κάθε ατόμου σε όλα τα επίπεδα (εργασία, δυναμική ομάδας κ.λπ.) και είναι σταθμισμένοι κατάλληλα με το μέγεθος της ομάδας και τον αριθμό των εργασιών ώστε τα σκορ που προκύπτουν να είναι άμεσα συγκρίσιμα μεταξύ ατόμων διαφορετικών ομάδων. Προφανώς, η ομότιμη αξιολόγηση είναι πιθανόν να εμπεριέχει κάποιο ποσοστό προκατάληψης (bias), γι’ αυτό και από μόνη της δεν είναι αρκετή για να προσδιοριστεί η συνεισφορά κάθε ατόμου στο ομαδικό αποτέλεσμα. Στο προτεινόμενο πλαίσιο, για την άμβλυνση της ανωτέρω αδυναμίας, προτείνεται η διασταύρωση της ομότιμης αξιολόγησης με κάποιον αντικειμενικό δείκτη της εμπλοκής. Αυτό είναι καλύτερα να προκύπτει από τη σταθμισμένη χρήση στοιχείων συμμετοχής του εργαζόμενου σε αλληλεπιδραστικές δραστηριότητες (π.χ. ένα forum ή τις αντιδράσεις των συνεργατών του σε σχόλια δικά του), ωστόσο κάτι τέτοιο απαιτεί τη δυνατότητα εύκολης εξαγωγής αυτών των δεδομένων από το ψηφιακό περιβάλλον συνεργασίας. Σε αυτή την εργασία έγινε προσπάθεια τέτοιας εξαγωγής στοιχείων από ένα περιβάλλον συνεργασίας που αναπτύχθηκε με πυρήνα το LMS Moodle, ωστόσο στο δεύτερο μέρος όπου το περιβάλλον συνεργασίας LAMS δεν επέτρεπε την εξαγωγή τέτοιων στοιχείων, χρησιμοποιήθηκε ο χρόνος ενασχόλησης με τις δραστηριότητες ως έμμεσος δείκτης της ατομικής εμπλοκής. Τα αποτελέσματα αυτής της διδακτορικής έρευνας περιλαμβάνουν α) Θετική συσχέτιση του Δείκτη Συνεισφοράς Ομοτίμων (PCS) με την Ψηφιακή Παρουσία των ατόμων, όπως αυτή αποτιμήθηκε από τις καταγραφές τους σε αλληλεπιδραστικές δραστηριότητες (π.χ, συζητήσεις, αναρτήσεις αρχείων, αναρτήσεις αποτελεσμάτων) β) Θετική συσχέτιση του Δείκτη Συνεισφοράς Ομοτίμων (PCS) με τις εξωτερικές παρατηρήσεις των ερευνητών, γεγονός που ενισχύει την αξιοπιστία (validity) του συγκεκριμένου δείκτη γ) Μη στατιστικά σημαντική σχέση μεταξύ του Βελτιωμένου Δείκτη Συνεισφοράς Ομοτίμων για το κάθε άτομο και του χρόνου που αυτό δαπανά σε ομαδικές δραστηριότητες, ωστόσο η ανάλυση συστάδων αποκάλυψε την ύπαρξη διακριτών συστάδων (clusters), οι οποίες αντιστοιχούν σε διαφορετικά ατομικά προφίλ συνεισφοράς και ταυτόχρονα μπορεί να υποδεικνύουν διαφορετικές ανάγκες υποστήριξης που απαιτείται από τον εκπαιδευτή δ) Πρωτίστως η σύνθεση της ομάδας και δευτερευόντως το μέγεθός της αποδείχθηκαν να σχετίζονται θετικά με τον Βελτιωμένο Δείκτη Συνεισφοράς Ομοτίμων, γεγονός που συνεπάγεται ότι η καλύτερη λειτουργία της ομάδας συνοδεύεται από βελτιωμένη ατομική συνεισφορά. Σε σχέση με το τρίτο ερευνητικό ερώτημα αυτής της διδακτορικής εργασίας (δηλ. να προτείνει απλή/απλές αντικειμενική/ές μεθοδολογία/ες που θα βοηθά/ούν τον δάσκαλο/εκπαιδευτή να κατηγοριοποιήσει τη συνεισφορά των μελών των ομάδων στο αντικείμενο του έργου και να εντοπίσει όσες περιπτώσεις εκπαιδευόμενων απαιτούν βαθύτερη διερεύνηση) και λαμβάνοντας υπόψη την ερευνητική διαδικασία και τα αποτελέσματα προτείνουμε μια κυκλική διαδικασία για τον αντικειμενικό προσδιορισμό της ατομικής συνεισφοράς και την ανάγκη εξατομικευμένης υποστήριξης των μελών των ομάδων εργασίας που συνοψίζεται σε ένα κυκλικό σχήμα Συλλογή δεδομένων - Ανάλυση/επεξεργασία - Προσδιορισμός ατομικού προφίλ - Προσδιορισμός απαιτούμενης υποστήριξης. Αυτό μπορεί να εφαρμόζεται είτε σε επίπεδο έργου στο πλαίσιο της τελικής αξιολόγησης, είτε σε επίπεδο ενδιάμεσων εργασιών/αναθέσεων, με διαμορφωτικό χαρακτήρα. Στην τελευταία περίπτωση είναι απαραίτητη η ύπαρξη κατάλληλων εργαλείων ώστε να μειωθεί ο χρόνος επεξεργασίας και παρουσίασης του αποτελέσματος της ανάλυσης των δεδομένων.