Veilig en betrouwbaar summatief toetsen, tentamineren en examineren: kan dat?

Onderwijsinstellingen gaan op dit moment in rap tempo over op online afstandsleren. Ze zitten echter nog vaak in hun maag met het afnemen van tentamens, examens en andere vormen van summatief toetsen. Je kunt daarvoor echter ook ICT in zetten, en wel online proctoring. Dat is echter niet eenvoudig.

Bij online proctoring maakt een lerende een toets of examen vanuit thuis, via de computer. Daarbij kan het gaan om een mondeling tentamen of een schriftelijke toets met open of gesloten vragen. Het gaat ook om toetsen die binnen een afzienbare tijd (bijvoorbeeld een uur) gemaakt worden. Bij essays of praktijkexamens is online proctoring niet aan de orde.

Bij online proctoring wordt een apart bureau ingehuurd voor het online surveilleren. Dit bureau beschikt over een techniek en aanpak waarmee voorkomen wordt dat een lerende fraudeert terwijl de lerende thuis (of waar dan ook) achter de computer een toets maakt. De lerende wordt via de webcam geobserveerd en moet veelal met de camera van de smartphone de ruimte waarin de lerende zich bevindt, filmen. Is er niemand anders in de ruimte, liggen er geen bronnen die niet gebruikt mogen worden, enzovoorts. Ook wordt de identiteit van de lerende geverifieerd.

Er zijn drie vormen van online proctoring:

• Een proctor kijkt live mee tijdens de toets. De lerende wordt (steekproefsgewijs of live) geobserveerd door een surveillant.
• Er wordt een opname gemaakt terwijl de lerende een toets maakt. Een surveillant analyseert de opname en informeert een examinator over verdenkingen van fraude.
• Er wordt een opname gemaakt terwijl de lerende een toets maakt. De examinator geeft van tevoren aan wat signalen zijn van mogelijke fraude (bijvoorbeeld een tweede stem hoorbaar, een tweede gezicht in beeld). De software markeert op basis hiervan verdenkingen van fraude. De examinator controleert de signalen. Er wordt verschillend over gedacht of deze manier van surveilleren al voldoende betrouwbaar is. Critici zijn ook bang voor zeer veel ‘vals alarm’ (onterechte meldingen van verdacht gedrag).

Het bureau ontvangt hiervoor een vergoeding (bijvoorbeeld per tentamen).

Technisch is het schijnbaar binnen een week geregeld om online proctoring te kunnen gebruiken. Al is dit ook afhankelijk of de tools voor online proctoring geïntegreerd kunnen worden met de applicaties die je gebruikt voor het maken van toetsen en het inleveren van opdrachten. Dat is namelijk niet altijd het geval. Zonder integratiemogelijkheden kun je online proctoring ook gebruiken. Dat werkt echter meer omslachtig.

Op het gebied van online proctoring spelen een aantal ‘issues’. SURFnet heeft deze in een zinvol whitepaper (pdf) beschreven.

• Je registreert  bijzondere persoonsgegevens (uiterlijk van deelnemers). Daarmee moet je extra zorgvuldig zijn. Juristen van onderwijsinstellingen zijn daarom extra terughoudend. Lerenden willen in verband met privacy niet altijd gemonitord worden. Zij moeten ook expliciet toestemming hiervoor geven. Het weigeren van toestemming mag voor de lerende geen negatieve gevolgen hebben. Onderwijsinstellingen moeten normaliter daarom een alternatief bieden.
• Onderwijsinstellingen mogen de extra kosten niet doorberekenen. Wel als je studenten de keuze geeft: kom naar ons, of blijf thuis en betaal iets extra’s. De Vlaamse Vives Hogeschool doet dit al langer. In ons land kennen we echter de OV-kaart. Reiskosten zijn voor lerenden in ons land niet echt een ‘issue’.
• De inschatting of online proctoring voor een specifiek tentamenmoment geschikt is hangt van twee factoren af: het belang dat aan het tentamen wordt gehecht en het risico op fraude. Commissies van Examens hebben vaak aarzelingen bij het veilige en betrouwbare karakter. Ook zijn er vragen over wat er moet gebeuren als de internetverbinding wordt verbroken of andere technische problemen ontstaan (aan de kant van de lerende of aan de kant van de instelling). Daar moet je e.e.a voor regelen omdat lerenden anders snel in beroep zullen gaan bij een onvoldoende of afgebroken tentamen.

In hun whitepaper adviseert SURFnet daarom om bij toetsen, waarbij het belang zeer hoog is en sprake is van een middel of hoog risico op fraude, gebruik te maken van een reguliere toetszaal. Dat geldt ook voor toetsen met een hoog risico op fraude en een hoog belang. We hebben het dan over tentamens met een ‘civiel effect’ en over andere tentamens met gesloten vragen.

Maar goed: onder druk wordt alles vloeibaar. Nu we in de huidige situatie niet met grote groepen lerenden in één ruimte een summatieve toets kunnen maken, is online proctoring waarschijnlijk wel ‘proportioneel’, en durven we meer risico te nemen. Daarom zie je nu waarschijnlijk de belangstelling voor online proctoring toenemen.

Wat echter blijft:

• We hebben slechts op beperkte schaal ervaring met online proctoring. Er zijn niet heel veel bedrijven die deze service kunnen verlenen en hun capaciteit is beperkt. Ik vraag me dus af of online proctoring bedrijven in staat om deze toepassing op korte termijn en op grote schaal te implementeren.
• Hebben we bij live online proctoring de beschikking over voldoende mensen die online kunnen surveilleren? Hebben de bureaus voldoende surveillanten in dienst?
• Zijn docenten eventueel in staat om hun studenten online te monitoren terwijl zij online een tentamen maken? Zij zullen moeten leren omgaan met de software die de ‘proctors’ gebruiken. Of zij moeten goed definiëren wat ‘verdacht gedrag’ is. De meesten hebben vermoedelijk nog nooit met die applicatie gewerkt. En ze moeten zich al vaak in alle bochten wringen om hun onderwijs in ‘no time’ te digitaliseren.