Impressie conferentie E-Assessment #AssessmentTrends

Vandaag heb ik deelgenomen aan een conferentie over e-assessment, oftewel online toetsen, georganiseerd door het Welten-instituut van de Open Universiteit. Deze blogpost bevat een inhoudelijke impressie.

Op het terrein van e-assessment hebben we meer mogelijkheden dan het gebruik van online multiple-choice toetsen (of varianten daarvan). We kunnen nu bijvoorbeeld gebruik maken van online proctoring, multimediaal materiaal, direct feedback geven op schrijfproducten, peer-en zelf assessment en kunstmatige intelligentie (AI) inzetten voor het beoordelen van essays.

Dr. Denise Whitelock van de Britse OU mocht de conferentie openen. Zij is ingegaan op het geven en ontvangen van feedback bij online toetsen. Enkele bevindingen uit haar bijdrage zijn:

• Studenten hebben vaak het gevoel een pistool op de borst gezet te krijgen bij e-assessment.
• Het gaat erom dat studenten en docenten analyses van het leren begrijpen. Dat is een belangrijke uitdaging.
• Je zou meer gewicht moeten toekennen aan de eerste toetspoging. Dan kun je ook het beste feedback verwerken.
• Als we feedback geven, dan moet die feedback aanzetten tot actie.
• Een lerende prijzen kan leren ook belemmeringen. Het lijkt alsof je slim bent. Prijzen voor inspanningen werkt positief, prijzen voor ‘ability’ (laten zien dat je iets beheerst) werkt negatief.
• Studenten moeten begrijpen dat docenten met hun feedback jou helpen om beter te worden. Het gaat niet alleen om het cijfer.
• Online programma’s zouden eerst fouten moeten detecteren en inspanningen benoemen. Daarna zou het programma om omissies moeten benoemen, naar verklaringen vragen, verdere analyses vragen en gevolgtrekkingen vragen, causaliteiten controleren en alle causale factoren wegen.
• Geschreven feedback is niet alleen een cognitieve reactie. Het gaat ook om emotionele ondersteuning.

• 

  Bales heeft positieve reacties (solidariteit tonen, spanningen verminderen, overeenstemming tonen), ‘attempted answers’ (zoals suggesties), vragen en negatieve reacties onderscheiden, die je kunt gebruiken bij feedback (zie foto). Geef niet te veel negatieve reacties.

• Via de tool OpenMentor kun je feedback van docenten analyseren. Voordat je als docent een cijfer gaat geven. Daarmee kun je zien of iemand feedback heeft gekregen die bij het cijfer past.
• Zorg ervoor dat docenten op een vergelijkbare manier feedback geven. Professionalisering is daarbij erg belangrijk.
• Denise Whitelock heeft met collega’s een programma ontwikkeld waarmee je studenten automatisch feedback kunt geven op eerste versies op een essay. Studenten zijn terughoudend om feedback te geven op een eerste versie. Terwijl dat juist belangrijk is. Een computersysteem kan een samenvatting geven van wat een student heeft geschreven, de structuur presenteren en o.a. sleutelwoorden en ‘key phrases’ aanwijzen. Naarmate studenten deze applicatie meer gebruiken, des te beter de cijfers zijn.
• Deze applicatie maakt het mogelijk om ‘rainbow diagrams’ te maken waarmee je essays kunt analyseren.
• Er wordt veel vooruitgang geboekt met natural language processing en feedback. Je kunt automatisch cijfers en feedback geven op basis van automatische tekstanalyses. De producten op dit terrein zijnen echter nog niet betrouwbaar.
• Start met het geven van feedback, voordat studenten gaan schrijven. In de vorm van hints.
• Online toetsen zou bij moeten dragen aan een dialoog met studenten. Je moet studenten leren oordelen te vellen. Daarbij is socio-emotionele ondersteuning ook belangrijk.
• Studenten moeten ontdekken wat zij nog niet weten en wat zij daar aan kunnen doen, voordat ze bij een beoordeling een trauma oplopen.
• Studenten hebben vaak een heel verschillende visie op plagiaat. Kopiëren en plakken van tekst vindt men niet altijd plagiaat.
• Studenten zijn bij online proctoring bezorgd wat met biometrische data gebeurt.
• Hoe reageren onderwijsinstellingen op de ontwikkeling van AI? Voor e-assessments zullen chatbot recommender systemen gebruikt worden, en zullen persoonlijke robots feedback geven (je kunt robots nu slecht verstaan).

Betrouwbaar toetsen

José Janssen en Francis Brouns van de OU deelden hun ervaringen met betrouwbaar toetsen op afstand (TeSLA-project).

Betrouwbaar toetsen kan betrekking hebben op de toets als meetinstrument. Zijn onder gelijke omstandigheden de uitkomsten vergelijkbaar. Maar in het TeSLA-project gaat het om de betrouwbaarheid van de input. Is degene die de toets maakt, ook degene die de toets moet maken? Is het product dat de student inlevert, ook van de student zelf (plagiaat)? Kandidaten helpen of juist belemmeren, valt daar ook onder.

Bij toetsen op afstand, maak je toetsen buiten de instelling. Het betreft niet alleen online toetsen, ook niet alleen afstandsonderwijs.

Meer dan 75% van de studenten zegt wel eens gefraudeerd te hebben. In Duitsland zegt 4 van de 5 studenten wel eens gefraudeerd te hebben. In 6% van de gevallen zijn deze studenten betrapt op plagiaat (studie uit 2012). Verder laten studenten ook anderen tegen betaling papers schrijven. Voor 80 pond per pagina.

Onderzoek laat een zeer verschillend beeld zien als het gaat om fraude bij regulier en afstandsonderwijs. Je kunt daar lastig conclusies aan verbinden. De context is zeer bepalend.

Wat kun je doen om fraude tegen te gaan?

Houd rekening bij het ontwerp:
– Gebruik actuele onderwerpen in taken
– Gebruik bijv. interviews (lastig uit te besteden)
– Benadruk autonomie, relatie, competentie.
– Gebruik een geannoteerde bibliografie.
– Laat studenten alleen recente referenties gebruiken.

Procedure:
Gebruik een verklaring van eigen werk.

Technologie:
– Verifieer de identiteit (gezichtsherkenning met camera, spraakanalyse, analyse van de dynamiek van tekstanalyse). Je vergelijkt met een basisopname. Spraakherkenning blijkt ingewikkelder dan gezichtsherkenning.
– Verifieer het auteurschap. Plagiaat controle, schrijfstijl analyse (woordgebruik, zinsopbouw).

Welke instrumenten je gebruikt, is afhankelijk van de activiteit van studenten binnen het toetsproces.

Wat kun je hier mee?

Er zijn vijf hoofdcategorieën als het gaat om fraude.

• Impersonatie (doen alsof je iemand anders bent): indentiteit verifiëren.
• Spieken/samenwerken: plagiaat detectie en schrijfstijlanalyse
• Plagiaat: plagiaat detectie
• Contract cheating, het kopen van essays (schrijfstijlanalyse)
• Fabricatie (zelf data verzinnen): geen kruid tegen opgewassen.

Docenten blijken sceptischer te zijn dan studenten als het gaat om vertrouwen in betrouwbaar online toetsen.
Bijna 45% van de studenten heeft moeite met het maken van opnames van je gezicht.

Betrouwbaar toetsen is sowieso erg ingewikkeld. Het gebruik van technologie kan wetenschapsfraude ook afschrikken. Men heeft binnen het TeSLA-project niet gekeken naar online proctoring.

Analyseren van argumentatie

Liqin Zhang van de OU vertelde over computational argumentation analyisis en beoordelen van essays in het Nederlands waarbij formatieve feedback gegeven wordt.

Liqin ging eerst in op het gebruik van essays bij beoordelingen. Feedback is belangrijk voor studenten om belangrijke vaardigheden te ontwikkelen. Essays zijn alleen arbeidsintensief om na te kijken. Kan Natural Learning Processing-technologie daar een belangrijke rol bij spelen? Om essays te analyseren en om te beoordelen. OpenEssayist is daar een voorbeeld van.

Issues hierbij zijn:

• Wat zijn opvattingen van docenten hierover?
• Wat hebben docenten nodig aan tools? Waar moeten de tools aan voldoen?
• Zijn de huidige tools ook geschikt voor het Nederlands?
• Kun je state-of-the-art NLP-technologie voor essay assessments gebruiken?

Liqin doet hier onderzoek naar. Hij wil met name bekijken naar het analyseren van argumentaties binnen essays. Op dit moment heeft hij een survey uitgezet om opvattingen van docenten te inventariseren. Wil jij deze invullen?

De eerste indruk is dat docenten essays vooral willen gebruiken om argumenten te ontwikkelen. Docenten willen hier ook feedback op geven, al is dit arbeidsintensief. Tools zouden zicht moeten bieden op de kwaliteit van de argumentatie (voorlopige conclusie).

Liqin ontwikkelt voor het Nederlands taalgebied ook een model waarmee het ontwikkelen van argumentatie geïdentificeerd kan worden. Dat alleen al is relevant. Omdat heel veel van dergelijke toepassingen normaliter niet voor het Nederlands taalgebied relevant zijn.

Daarvoor legt hij nu ook een essay corpus aan waarin de structuur van argumentaties geannoteerd kunnen worden. Daarbij wordt machine learning toegepast. De essays zijn afkomstig uit het voortgezet onderwijs.

Uiteindelijk zul je daarmee ook argumentatie moeten kunnen beoordelen en formatieve feedback genereren op de kwaliteit van de argumentatie.

 

This content is published under the Attribution 3.0 Unported license.