Logo Universiteit Utrecht

Educate-it

Alle tools

Digitaal Toetsen (Remindo)

750+

Met Remindo kun je digitaal toetsen in een beveiligde omgeving op Chromebooks. Ook kunnen formatieve toetsen afgenomen worden. Deze toetsen kunnen zowel in een beveiligde omgeving als op een eigen device van studenten afgenomen worden. Met de mogelijkheden in Remindo kun je de kwaliteit van je toetsen verbeteren, door onder andere directe feedback aan de student, itembanking en analysemogelijkheden. In de zalen Alfa, Bèta, Gamma en Olympus kunnen maximaal 1800 studenten tegelijk een toets maken op een Chromebook. Daarnaast zijn kleinschalige beveiligde toetsvoorzieningen beschikbaar bij de faculteiten UCU, DGK, REBO, GW, Bèta, GEO en FSW.

  • Digitaal formatief en summatief toetsen
  • Verschillende vraagtypes mogelijk
  • Uitgebreide ondersteuning mogelijk
BeoordelenDigitaal toetsenRemindoTentamen
  • Vraagtypen: meerkeuzevraag, meervoudig-juistvraag, sorteervraag, matrixvraag, hotspot/ aanwijsvraag, punten grafisch verbinden (hotmatchvraag), invulvraag, sleepvraag, open vraag.
  • Media toevoegen aan vragen: afbeeldingen, video’s, audio en pdf-bestanden kunnen in Remindo worden toegevoegd.
  • Scoretypen: toekenning punten (enkelvoudig juist/onjuist of meervoudig juist/onjuist). Gesloten vragen worden automatisch nagekeken en open vragen worden handmatig digitaal nagekeken.
  • Toetsmatrijs: maak een toetsmatrijs en selecteer daarbij welke vragen in de uiteindelijke toets komen. Remindo kan ook een selectie uit een groep vragen maken.
  • Toetsanalyse: de volgende waarden zijn in Remindo beschikbaar: op toetsniveau: Cronbach’s alfa; P-. Rit-, Rir-, Rar-, Rat-waarde en standaardafwijking; op vraagniveau; P-. Rit-, Rir-, Rat-, Rar-waarde.

Remindo kun je op allerlei manieren toepassen in je onderwijs:

  1. Geef via roostering door dat je een digitale toets wilt plannen
  2. Neem contact op met je facultaire key-user voor een intake. Breng bij een eerste keer digitaal toetsen je key-user ruim op tijd (minimaal vier weken van te voren) op de hoogte!
  3. In de intake worden de mogelijkheden en beperkingen van Remindo besproken. (circa 60 min)
  4. De key-user zorgt dat de cursus en opleiding in Remindo komen, zodat je vragen en een toets kunt maken.
  5. Met hulp van de key-user en de supportsite ga je vragen en een toets in Remindo maken.
  6. De key-user stipt de praktische zaken aan die nodig zijn voor een goede toetsafname.
  7. Het toetsmoment vindt plaats.
  8. Na de toetsafname kijk je de open vragen (als die in de toets zaten) digitaal na in Remindo. Gesloten vragen worden automatisch nagekeken door Remindo. Je kunt de toetsanalysewaarden uit Remindo gebruiken om je vragen te analyseren.
  9. Als je een digitale inzage en/of herkansing wilt plannen: geef dit door aan de roostering (minimaal twee weken van tevoren).

Per faculteit kan de werkwijze enigszins verschillen, stem met je key-user af wat wanneer gedaan moet worden.

 

Context en Interventie

De UU heeft tot doel de kwaliteit van het onderwijs voortdurend te verbeteren, onder andere door het slim gebruiken van technologie. De afgelopen vijf jaar (sinds maart 2015) hebben hierdoor steeds meer studenten kennis gemaakt met de digitale toetsafname: het maken van een tentamen op een chromebook met Remindo, digitale toetssoftware. Om inzicht te krijgen in de ervaring van studenten aangaande deze digitale toetsafname is een langlopend verkennend evaluatieonderzoek uitgevoerd. Dit betekent dat in de afgelopen vijf jaar er op drie momenten – 2015, 2016 en 2019 – een vragenlijst onder studenten is verspreid die een digitale toets hadden bijgewoond met als doel de volgende vraag te beantwoorden:

Hoe heeft de ervaring van studenten aangaande het digitaal toetsen zich in de afgelopen vijf jaar ontwikkeld?

Deze vraag zal door een bespreking van de vragenlijst (paragraaf 2) en de uitkomsten (paragraaf 3), in de conclusie & discussie (paragraaf 4) worden beantwoord.

Meetinstrumenten

Studenten van de Universiteit Utrecht die een digitale toets hadden afgerond zijn gevraagd om nog voor ze de toetszaal verlieten een vragenlijst in te vullen waarmee hun ervaringen met de digitale toets werden geïnventariseerd. Deelname was vrijwillig en volledige anonimiteit kon worden gegarandeerd. Afhankelijk van het jaar van afname zijn verschillende faculteiten en cursusgroottes gerepresenteerd in de data. Het aantal ingevulde vragenlijsten per jaar was voor 2015, 2016 en 2019 respectievelijk, 731, 736 en 730.

De vragenlijst bestond uit 22 stellingen die tot doel hadden de ervaringen van studenten met betrekking tot het digitaal toetsen te inventariseren op het gebied van: techniek, retrieval en validiteit. De stellingen konden worden gescoord op een 5-punts Likert-schaal van 1 (helemaal mee oneens) tot 5 (helemaal mee eens). Naast de stellingen is de studenten gevraagd naar hun ervaring (d.i. aantal keer deelgenomen aan een digitale toets) met digitaal toetsen en naar hun voorkeur voor een papieren of digitale toetsafname.

Uitkomsten

De vraag ‘hoe heeft de ervaring van studenten aangaande het digitaal toetsen zich in de afgelopen 5 jaar ontwikkeld?’ kan met de verkregen data op de volgende wijze worden beantwoord.

  • Technisch gemak laat een significant stijgende lijn zien en scoort gemiddeld hoog met uiteindelijk een 4.29 op de 5-puntschaal in 2019.
  • De retrieval laat ook een significant stijgende lijn zien. Studenten ervaren steeds meer dat het ophalen van de geleerde lesstof in een digitale toets beter is dan bij een papieren toets. Echter, belangrijk hierbij is te vermelden dat er vrij grote verschillen zijn in de ervaringen van studenten bij de onderliggende vragen van het component Retrieval. Al deze vragen scoren gemiddeld tussen de 2.76 en 3,85 wat betekent dat studenten het niet eens maar ook niet oneens zijn met de geformuleerde stellingen. Het lijkt de student om het even of er voor deze vragen digitaal of op papier wordt getoetst, met soms een zeer lichte voorkeur voor digitaal toetsen en soms een zeer lichte voorkeur voor een papieren toets.
  • Men ervaart de digitale toets (ten opzichte van een papieren toets) als steeds meer valide (d.i. meet de toets de kennis die de student na het volgen van de cursus zou moeten hebben opgedaan). Echter, de gemiddelden laten zien dat het ook hier studenten om het even is of er voor deze vragen digitaal of op papier wordt getoetst.
  • De voorkeur voor een digitale toetsafname is gedurende de jaren significant gestegen naar 60%. De stijging tussen 2015 en 2016 is groter dan tussen 2016 en 2019, het is de vraag of hiermee een normalisering in gang is gezet of dat de stijgende lijn zal doorzetten.
  • Studenten hebben steeds meer ervaring met digitaal toetsen. Het percentage studenten dat in 2019 nog geen ervaring of heel weinig ervaring had met digitaal toetsen is minder dan 5%, terwijl dit in 2015 nog 69% was. Het percentage dat juist heel veel ervaring had met digitaal toetsen (10+ keer) is van 2015 naar 2019 met 25% gestegen. Het merendeel van de studenten heeft ondertussen 6 tot 9 digitale afnamen achter de rug.

Belangrijke kanttekeningen

  • In dit onderzoek staat alleen de perceptie van de student centraal. Voor een volledig overzicht en inschatting van de voor en nadelen van digitaal toetsen ten opzichte van een papieren toetsafname zou men o.a. ook de perceptie van de docent en de meetbare kwaliteit (in betrouwbaarheid- en validiteitindicatoren ) van de toetsen moeten meenemen.
  • De vragenlijst heeft door de praktische overweging niet te veel tijd van studenten te vragen bij het invullen van de vragenlijst een beperkt aantal items om de verschillende concepten te meten. Hoewel een betrouwbare vragenlijst volgens de statistieken, moet men hierdoor voorzichtig zijn met het formuleren van harde conclusies.
  • Er kan niet worden uitgesloten dat eenzelfde participant de vragenlijst twee of drie keer heeft ingevuld (d.i., in 2015, 2016 en 2019). Hoewel de kans klein is, zou dit de gegevens en statistische analyses kunnen beïnvloeden.
  • Hoewel we hebben geprobeerd in de data een goede afspiegeling van faculteiten, afnamegrootte, en studiejaar te bewerkstelligen, is dit door omstandigheden maar deels gelukt. Zo was de respons soms te laag om een afname mee te nemen in de analyses, waren er soms binnen een faculteit alleen grote cursussen, en waren niet altijd alle jaren binnen een faculteit vertegenwoordigd. Dit maakt dat men voorzichtig moet zijn met het formuleren van harde conclusies.
Bekijk het volledige onderzoek

Introductie

De Universiteit Utrecht (UU) beoogt de kwaliteit van het onderwijs voortdurend te verbeteren, bijvoorbeeld met behulp van innovatie en technologie. Eén van de nieuwe ontwikkelingen is de digitale toetsafname. Het universiteitsbrede onderwijsinnovatieprogramma Educate-it onder- steunt docenten bij het gebruik van het digitale toetssysteem Remindo. Uit een eerdere evaluatie (Corbalan, de Kleijn & Manrique, 2016) blijkt dat zowel studenten als docenten positief tegenover digitale toetsen en Remindo staan. Daarentegen

zijn beide groepen niet van mening dat de moge- lijkheden van digitaal toetsen (bv. grote variëteit aan vraagtypen) helpen om toetsen beter aan
te laten sluiten op de leerdoelen. Educate-it wil meer inzicht in de kwaliteit van digitale toetsen. Daarom wordt in dit artikel de volgende onder- zoeksvraag beantwoord:

Welke (invloeden op) kwaliteitscriteria van (digitale) toetsen zijn te vinden in de literatuur en welke zijn er volgens de toetsexperts?

Bekijk het volledige onderzoek
  • Dries Hegger /

    Gebruiksgemak
    Verbetert mijn toetskwaliteit
    Ik zou deze tool aan mijn collega's aanraden
  • Laurens van Meeteren /

    Gebruiksgemak
    Verbetert mijn toetskwaliteit
    Ik zou deze tool aan mijn collega's aanraden
  • Frank van Laerhoven /

    Gebruiksgemak
    Verbetert mijn toetskwaliteit
    Ik zou deze tool aan mijn collega's aanraden