De tweede workshop die ik vandaag tijdens de pre-conference van de Online Educa heb bijgewoond werd verzorgd door Will Thalheimer. Will is onder meer bekend van de ‘learning styles challenge’ (bewijs dat inspelen op leerstijlen effectief is, en win). De prijs is overigens nog steeds niet uitgekeerd. Hij heeft recent het Learning Transfer Evaluation Model ontwikkeld. Dit model nam een belangrijke plek in binnen deze sessie.
(Waarschuwing: deze impressie heeft grotendeels het karakter van aantekeningen.)
Om onze voorkennis te activeren vroeg Will of we een filosofie of benadering hebben waarmee we leren evalueren. Vervolgens stelde hij de vraag of wij data en analyses wel gebruiken om belangrijke beslissingen te nemen. Zoals boeren dat bijvoorbeeld doen. Op basis van welke criteria nemen we dan die beslissingen? Volgens Will moeten evaluaties ons helpen belangrijke beslissingen leren te nemen en zorgen voor resources en ondersteuning die we nodig hebben.
Hij benadrukte ook dat onderzoek op het gebied van leren immens en complex is. Een belangrijk kader voor Will is zijn Learning Landscape (van leerinterventie, naar performance naar leeruitkomsten).
Will stelde vanuit historisch perspectief dat we vaak niet goed in staat zijn om leren te meten. We moeten effectieve vragen om leren te evalueren maken of selecteren. Hij gaf daarbij aan dat we vaak niet doen wat we zouden moeten doen als het gaat om het evalueren van leren. Daar is veel ontevredenheid over. Veel data is ook niet bruikbaar. Volgens hem zijn er minimaal 54 fouten die gemaakt worden bij het evalueren.
We hebben gediscussieerd over een casus waarin een leidinggevende een cursus wil evalueren. Die aanpak bleek veel zwaktes te bevatten (meet alleen kennis, terwijl bekwaamheden gemeten worden etc).
Belangrijke uitgangspunten bij het evalueren zijn onder meer:
- Bij meten laten we veel aspecten buiten beschouwing. Er is geen perfecte evaluatietool. Meten moet in feite beschouwd worden als het maken van schattingen.
- Je moet fouten zien te reduceren bij het meten van effecten. Wees zo nauwkeurig als kan. Welke dimensies zijn het belangrijkste om te meten?
- Meerdere meetinstrumenten dringen fouten terug.
- Big data en data analytics staan in het middelpunt van de belangstelling, maar ‘matrix fixation’ kan ook contra-productief zijn.
- Wees bescheiden, sceptisch en wijs als het gaat om meten.
Will stond ook stil bij de redenen die we hebben om leren te evalueren:
- Om lerenden ondersteunen.
- Om de waarde van leren te bewijzen.
- Leren verbeteren. Daar gaat vaak minder aandacht naar uit dan zou moeten. Volgens Brinkerhoff zou dat het het doel van evaluaties moeten zijn.
Leren verbeteren doe je bijvoorbeeld om de vergeetcurve te helpen aanpakken. Evaluaties zijn dan gericht op het verbeteren van:
- Ontwerp van leren.
- After learning follow up.
Bij evaluaties wordt vaak gekeken naar percepties van deelnemers, Moeten we rekening houden met de voorkeuren? Ze kunnen namelijk vaak slecht inschatten wat effectief leren is. Lerenden kunnen daar wel in groeien (meta-cognitie ontwikkelen).
We hebben volgens Will uitgestelde tests nodig om te kijken wat mensen hebben geleerd of kunnen toepassen.
Kennisvragen zouden volgens hem geen indicator meer mogen zijn voor certificering. Scenario-based vragen, simulaties of liever beoordelen in de echte wereld: die geven een betrouwbaarder beeld.
Volgens Will Thalheimer zijn er drie missers bij het meten van leren
- Meten alleen aan het eind van leren.
- Moeten in de context van leren (ruimte is van invloed op onthouden).
- Alleen kennisvragen gebruiken.
KirkPatrick wordt vaak gebruikt om te evalueren, maar heeft ernstige tekortkomingen. KirkPatrick zegt bijvoorbeeld dat je je ook moet focussen op resultaten. Het model waarschuwt echter niet tegen niet effectieve evaluatiepraktijken. Het model miskent ook de rol van leren. ‘Leren’ wordt ook op een hoop gegooid.
Daarom heeft Thalheimer zelf het Learning Transfer Evaluation Model ontwikkeld.
Je moet continu evalueren. Niet alleen aan het eind. Het gaat om “sending messages to improve learning”.
Thalheimers model kent de volgende niveaus.
1. Aanwezigheid (zegt niets over leren)
2. Activiteit (zegt niets over leren
3. Percepties van lerenden (je moet dit objectiveren).
4. Kennis (te veel gericht op onthouden en reproductie)
5. Bekwaamheid om beslissingen te nemen.
6. Taakbekwaamheid.
7. Transfer (op de werkvloer gebruiken).
8. Effecten van transfer (niet alleen kijken naar effecten voor de organisatie, maar ook naar gemeenschap, individu, etc).
Je kunt dit model gebruiken om je manier van evalueren te beoordelen en te verbeteren (stapsgewijs). Of vanuit het evaluatiemodel naar je ontwerp kijken. Het is echter geen middel voor alle kwalen.
Will ging vervolgens in op feedback van lerenden, de perceptie van lerenden.
Is sprake van correlatie tussen feedback van lerenden via smile sheets en leeruitkomsten? Op basis van meta analyses kun je concluderen dat er eigenlijk geen sprake is van een correlatie.
‘Smile sheets’ worden echter al heel lang gebruikt. Kunnen we het daarom wel verbeteren? Dat komt door het gebruik van Likert-schalen. De antwoorden zijn voor meerdere uitleg vatbaar. We verliezen veel informatie doordat we scores vertalen naar gemiddelden.
We willen reputatie van leren in kaart brengen.
We kunnen ze gebruiken om lerenden te ondersteunen.
We kunnen ze eigenlijk niet gebruiken om de effectiviteit van leren te meten.
Lerenden hebben vaak weinig kennis over hun eigen leren. We zouden lerenden over betere middelen moeten laten beschikken om hun tevredenheid aan te geven. Open vragen werken bijvoorbeeld goed (maar zijn arbeidsintensief te verwerken).
Bij goede smile sheets houden we rekening met factoren waarvan we weten dat ze effectief zijn? Zorg er ook voor dat we wat met de antwoorden van lerenden kunnen doen.
Graag mensen bijvoorbeeld hoe goed zij zich in staat achten iets te doen. Of hoe veel prioriteit ze iets geven. Of vraag naar wat men na een training gaat doen (zie bijvoorbeeld dia 48 en 49 en 50 van onderstaande presentatie). Een pilot laat zien dat lerenden dergelijke vragen meer waarderen dan de traditionele smile sheets.
Gebruik ook eens ‘uitgestelde’ smile sheets.
Je krijgt wellicht ook een betere response omdat de vragen meer betekenisvol voor lerenden zijn. Wees ook kritisch op welke vragen je stelt. We vragen vaak te veel.
We hebben een aantal vragen doorgenomen en gediscussieerd of ze effectief zijn. Tips op basis hiervan zijn:
- Kunnen lerenden bepaalde aspecten wel beoordelen?
- Zorg ook dat er negatieve reactiemogelijkheden in staan.
- Laat anderen ook naar je evaluatievragen kijken.
- Hoofdletters zorgen ervoor dat mensen trager lezen en ook opnieuw gaan lezen.
- Via open vragen krijg je meer rijkere antwoorden. Via meerkeuzevragen krijg je meer antwoorden en snelle signalen.
- Bouw hints in je antwoorden die lerenden ondersteunen.
- Pilot je vragen.
- Zelfs enkele woorden maken een evaluatie al anders.
- Onmiddellijk evalueren en uitgesteld evalueren dienen verschillende doelen.
- Bepaal eerst de standaarden waar de cursus/training aan moet voldoen, voordat je gaat evalueren.
- Voorkom dat lerenden te veel moeten lezen.
- Veel vragen die over business results gaan, gaan eigenlijk over de perceptie van lerenden.
Will Thalheimer heeft erg goed nagedacht over het evalueren van leren, opleiden (en onderwijs). Hij heeft duidelijk gemaakt dat goed evalueren een kunst is, en een intensief proces. Hij liet vraagtypen zien, die discutabvel zijn, maar die we -ook ik- hee;l vaak gebruiken bij evaluaties. Tijdens de workshop werd ook gedeeld dat organisaties vaak alleen positief geformuleerde antwoorden willen gebruiken.
Willen organisaties investeren in de ontwikkeling van goede evaluatiemethodieken? We investeren in elk geval wel fors in voorbereiding en uitvoering van leren.
- Will’s presentatie (pdf) (bijna helemaal aan het eind vind je de belangrijkste punten).
- Meer informatie over het model en Will’s werk.
This content is published under the Attribution 3.0 Unported license.
Geef een reactie