Kwaliteitsverbetering digitale toetsen
Als goed gebruik wordt gemaakt van digitale toetssystemen, kan dat een positief effect hebben op de toetskwaliteit. Dat is één van de conclusies van een beschrijvend onderzoek dat masterstudent Sjoerd Lindenburg in het kader van een onderzoeksstage bij Educate-it heeft uitgevoerd. Het onderzoek bestond uit een literatuurverkenning en interviews met toetsexperts. Hierbij is gekeken naar de kwaliteitscriteria (maatstaven), kwaliteitsfactoren (die invloed uitoefenen op kwaliteitscriteria) en kwaliteitsindicatoren (gegevens die indicaties van kwaliteit geven).
Uit dit onderzoek blijkt dat de digitale component een positief effect kan hebben op de validiteit en betrouwbaarheid van toetsing. Hieronder vind je een aantal kwaliteitsfactoren.
| Vragenbank | Automatisch toetsen samenstellen vanuit een vooraf opgebouwde vragenbank kan de toetsvaliditeit verhogen |
| Leesbaarheid | Leesbare antwoorden bij open vragen leveren tijdwinst op en kunnen leiden tot een objectievere benadering van nakijken |
| Objectiviteit | Met één druk op de knop is er de mogelijkheid om verticaal, horizontaal of anoniem na te kijken, om zo de betrouwbaarheid van de toets te verhogen |
| Vraaganalyse | Direct na toetsafname heb je toegang tot overzichtelijke kwaliteitsindicatoren, met de mogelijkheid vragen te verbeteren voor een volgend toetsmoment |
Wel moet er bij iedere digitale mogelijkheid didactisch worden nagedacht, zoals blijkt uit dit voorbeeld:
| Multimedia | Ook al lijkt het toevoegen van multimedia aantrekkelijk, er moet altijd worden afgewogen of het meerwaarde heeft. Een CT-simulatie bij geneeskunde heeft een grotere meerwaarde dan het toevoegen van een ‘grappig’ bedoelde afbeelding bij wiskunde |
Ook blijkt uit dit onderzoek dat transparantie complexer ligt bij digitale toetsing, maar dat deze problemen niet onoverkoombaar zijn. Hieronder vind je een aantal kwaliteitsfactoren om de transparantie te verhogen.
| Formatief toetsen | Laat studenten wennen aan het digitale toetssysteem door formatieve toetsing (vaker) in te zetten |
| Beoordelingscriteria | Studenten moeten van tevoren weten waar ze op worden beoordeeld en hoe de toets in elkaar steekt (bv. via een openbare rubric of syllabus) |
Concluderend geeft dit onderzoek inzicht in de verschillende kwaliteitsaspecten van digitale toetsing. Docenten en docentondersteuners kunnen gebruikmaken van deze gegevens om digitale toetsing te verbeteren, zodat de toetsen van goede kwaliteit zijn en ook blijven.
Aanleiding van dit onderzoek was een evaluatie onder studenten en docenten uit 2016, waaruit bleek dat zij positief staan tegenover digitale toetsing en Remindo. Maar ook dat ondanks de mogelijkheden die Remindo biedt, deze niet automatisch lijken te leiden tot een verbetering van de toetskwaliteit (Corbalan, De Kleijn en Manrique, 2016). Het onlangs afgeronde onderzoek wijst dus dat dit wel tot een kwaliteitsverbetering leidt als deze goed wordt ingezet.
Als je interesse hebt om het interne onderzoeksrapport te lezen, kan je een e-mail sturen naar Educate-it.