Abstract
Serious games being at the forefront of digital education provide new opportunities for active learning and can effectively support the development of complex competencies that are considered to be critical for the people of the 21st century. Nonetheless, assessing such competencies with standard tests (e.g. multiple choice questionnaires) is a hard, if not impossible, task. Therefore, developing new assessment tools that hold educational value and rely on principled methodologies is of great importance. In this thesis, we utilize a data-driven assessment methodology called Stealth Assessment (SA) and develop an assessment software tool based on it for serious games. SA is an assessment methodology that uses (a) Evidence Centered Design to allow the configuration of assessments on different competence structures and (b) Machine Learning technology to produce inferences regarding the learners’ mastery levels on respective competencies. Despite SA being a proven methodology, its applicat ...
Serious games being at the forefront of digital education provide new opportunities for active learning and can effectively support the development of complex competencies that are considered to be critical for the people of the 21st century. Nonetheless, assessing such competencies with standard tests (e.g. multiple choice questionnaires) is a hard, if not impossible, task. Therefore, developing new assessment tools that hold educational value and rely on principled methodologies is of great importance. In this thesis, we utilize a data-driven assessment methodology called Stealth Assessment (SA) and develop an assessment software tool based on it for serious games. SA is an assessment methodology that uses (a) Evidence Centered Design to allow the configuration of assessments on different competence structures and (b) Machine Learning technology to produce inferences regarding the learners’ mastery levels on respective competencies. Despite SA being a proven methodology, its application is still complex, laborious and time-consuming. To address this issue, this thesis presents a framework for the development and implementation of a software tool, called Smart CAT (Smart Configurable Assessment Tool), which lowers the barriers of using SA and accommodates its wider application. Smart CAT allows for the flexible arrangement of data-driven assessment through its software wizard (which is enhanced by a respective GUI) and automatically executes ML-related functions in its back-end subsystem. Smart CAT was examined for its robustness using a simulation approach and it was found that it was able to effectively cope with a set of different test conditions. Also, when tested for empirical validity with real-world data from two separate serious games, Smart CAT was found to be able to provide accurate and valid assessments, given reliable input materials (data and statistical model). In addition, when examined for its overall usability, Smart CAT’s was found to be useful, easy to use, easy to learn, and satisfactory for its end-users. The outcomes of this thesis show that Smart CATeffectively mitigates the arrangement of SA, and that it can already be applied in education and research. However, future work is needed to upgrade its functionality and usability to turn it into a full-fledged market-ready product. To sum up, this thesis provides a novel perspective on data-driven assessments in serious games and contributes substantially to their practicability by combining educational methods and practices with cut-edging technology. Thereby, it adds to furthering the educational value of serious games and therefore promoting the use of serious games in mainstream education.
show more
Abstract
Serious games die vooroplopen in digitaal onderwijs bieden nieuwe kansen voor actief leren en kunnen effectief de ontwikkeling ondersteunen van complexe competenties die als cruciaal worden beschouwd voor de mensen van de 21e eeuw. Desalniettemin is het beoordelen van dergelijke competenties met standaardtests (bijv. Meerkeuzevragenlijsten) een moeilijke, zo niet onmogelijke taak. Daarom is het van groot belang om nieuwe beoordelingsinstrumenten te ontwikkelen die educatieve waarde hebben en vertrouwen op principiële methodologieën. In dit proefschrift gebruiken we een datagedreven beoordelingsmethodologie genaamd Stealth Assessment (SA) en ontwikkelen we een beoordelingssoftwaretool op basis hiervan voor serious games. SA is een beoordelingsmethodologie die gebruik maakt van (a) Evidence Centered Design om de configuratie van beoordelingen op verschillende competentiestructuren mogelijk te maken en (b) Machine Learning-technologie om conclusies te trekken over het beheersingsniveau va ...
Serious games die vooroplopen in digitaal onderwijs bieden nieuwe kansen voor actief leren en kunnen effectief de ontwikkeling ondersteunen van complexe competenties die als cruciaal worden beschouwd voor de mensen van de 21e eeuw. Desalniettemin is het beoordelen van dergelijke competenties met standaardtests (bijv. Meerkeuzevragenlijsten) een moeilijke, zo niet onmogelijke taak. Daarom is het van groot belang om nieuwe beoordelingsinstrumenten te ontwikkelen die educatieve waarde hebben en vertrouwen op principiële methodologieën. In dit proefschrift gebruiken we een datagedreven beoordelingsmethodologie genaamd Stealth Assessment (SA) en ontwikkelen we een beoordelingssoftwaretool op basis hiervan voor serious games. SA is een beoordelingsmethodologie die gebruik maakt van (a) Evidence Centered Design om de configuratie van beoordelingen op verschillende competentiestructuren mogelijk te maken en (b) Machine Learning-technologie om conclusies te trekken over het beheersingsniveau van de lerenden over respectieve competenties. Ondanks dat SA een bewezen methodologie is, is de toepassing ervan nog steeds complex, arbeidsintensief en tijdrovend. Om dit probleem aan te pakken, presenteert dit proefschrift een raamwerk voor de ontwikkeling en implementatie van een softwaretool, genaamd Smart CAT (Smart Configurable Assessment Tool), dat de barrières van het gebruik van SA verlaagt en de bredere toepassing ervan accommodeert. Smart CAT zorgt voor de flexibele opstelling van gegevensgestuurde beoordeling via zijn softwarewizard (die wordt verbeterd door een respectievelijke GUI) en voert automatisch ML-gerelateerde functies uit in zijn back end subsysteem. Smart CAT werd onderzocht op zijn robuustheid met behulp van een simulatiebenadering en het bleek dat het in staat was om effectief om te gaan met een reeks verschillende testomstandigheden. Ook bleek dat Smart CAT, wanneer het werd getest op empirische validiteit met real-world data van twee afzonderlijke serious games, in staat was om nauwkeurige en valide beoordelingen te geven, gegeven betrouwbaar inputmateriaal (data en statistisch model). Bovendien bleken Smart CAT’s, wanneer onderzocht op hun algehele bruikbaarheid, nuttig, gebruiksvriendelijk, gemakkelijk te leren en bevredigend voor de eindgebruikers. De resultaten van dit proefschrift laten zien dat Smart CAT de opstelling van SA effectief verzacht en dat het al kan worden toegepast in onderwijs en onderzoek. Toekomstig werk is echter nodig om de functionaliteit en bruikbaarheid te upgraden om er een volwaardig, marktklaar product van te maken. Samenvattend biedt dit proefschrift een nieuw perspectief op gegevensgestuurde beoordelingen in serious games en draagt het substantieel bij aan de uitvoerbaarheid ervan door educatieve methoden en praktijken te combineren met geavanceerde technologie. Daardoor draagt het bij aan de educatieve waarde van serious games en bevordert het daarom het gebruik van serious games in het reguliere onderwijs.
show more
