Juich niet te vroeg als het gaat om het leerzame karakter van virtual reality

“VR effectief voor soft skills”, aldus de kop van een beknopte bijdrage van het bedrijf Let’s Learn op e-learning.nl. Let’s Learn verwijst daarbij na een recente studie van PWC waaruit onder meer zou blijken dat lerenden vier keer zo snel met virtual reality kunnen worden opgeleid, in vergelijking met klassikaal opleiden. Mirjam Neelen en Paul Kirschner laten echter zien dat je deze conclusie niet kunt trekken, op basis van het onderzoek van PWC.

Mirjam en Paul stellen dat het voorkomt dat artikelen niet altijd waar blijken te zijn, maar dat mensen denken of hopen dat ze waar zijn. Er is echter geen bewijs voor dat ze waar zijn. Dat fenomeen wordt ‘truthiness‘ genoemd. PWC heeft willen onderzoeken of virtual reality effectief is voor het trainen van leiderschap, soft skills, in vergelijking met een klassikale aanpak, of met online leren. Ook hebben ze gekeken naar kosteneffectiviteit. De uitkomsten van hun onderzoek zijn dus veelbelovend.

Mirjam Neelen en Paul Kirschner vragen zich echter af of het ‘gejuich’ via onder meer Linked gerechtvaardigis. Zij gebruiken daarom de ‘zeef’ van Stephen Gorard (pdf) om te analyseren of het onderzoek van PWC naar de effectiviteit van VR voor ‘soft skills’ waar is, of waar lijkt te zijn.

Godard stelt dat je bij het analyseren van onderzoeken moet kijken naar de volgende aspecten, waarbij sprake kan zijn een score van 0 t/m 4.

• Het ontwerp. Je moet bijvoorbeeld zeker weten dat de interventie die je onderzoekt, ook de enige variabele is die verschilt. Je doelgroep moet bijvoorbeeld vergelijkbaar zijn, en bijvoorbeeld ook de tijd die men besteed aan leren. Dit maakt vergelijkend onderzoek naar didactische aanpakken m.i. altijd erg ingewikkeld. Je draait namelijk vaak aan ‘meerdere knoppen’. en het is heel moeilijk om condities gelijk te houden. Dergelijk onderzoek voer je immers niet in een laboratorium uit. Het voorbeeld dat Mirjam en Paul gebruiken, is m.i. trouwens niet gelukkig gekozen (met name hun toelichting). Zij stellen dat het medium het enige verschil zou moeten uitmaken, en dat -bijvoorbeeld- de mate van interactie hetzelfde zou moeten zijn. Bij VR kun je echter juist leeractiviteiten toepassen die je bij klassikaal onderwijs niet kunt toepassen (bijvoorbeeld gevaarlijke handelingen simuleren). Het medium beïnvloedt je didactische aanpak. Mirjam en Paul hebben wel een punt als het gaat om interactie: als je meer interactie tijdens de klassikale setting zou toepassen (hetgeen makkelijk kan), dan zou de klassikale aanpak weleens aan effectiviteit kunnen winnen.
• Schaal. Daarmee doelt Gorard op het aantal respondenten, en op de verdeling van respondenten over verschillende groepen, die met elkaar worden vergeleken. In het geval van de PWC-studie waren er drie groepen: een groep die leerde via VR, een groep die een online cursus volgde en een groep die een klassikale cursus volgde.  Mirjam en Paul stellen dat hierover in de PWC-studie nogal wat basale informatie ontbreekt.
• Uitval. Hoeveel respondenten zijn tijdens het onderzoek gestopt? En hoeveel per groep? Deze informatie ontbreekt eveneens.
• Resultaten. Op welke manier zijn resultaten gemeten? In dit onderzoek zijn zes hypotheses onderzocht. Vier hypotheses zijn onderzocht met subjectieve zelfrapportages. Dat is geen heel betrouwbare aanpak. Eén hypothese is uiteindelijk niet onderzocht. Van de vijfde hypothese is niet heel duidelijk hoe deze is onderzocht.
• Betrouwbaarheid. Leidt de aanpak tot accurate uitkomsten, en kun je het onderzoek reproduceren? Hier scoort het onderzoek redelijk op.
• Validiteit. Meet ik wat ik wil meten? Mirjam en Paul geven de onderzoekers het voordeel van de twijfel, maar wijzen ook op mogelijke vooringenomenheid van de onderzoekers.

Over ontwerp, schaal, uitval en resultaten van het PWC-onderzoek naar VR oordelen Mirjam Neelen en Paul Kirschner zeer negatief. Op basis daarvan stellen zij dat je de positieve uitkomsten van het onderzoek ten aanzien van VR niet kunt vertrouwen. Het had al wat gescheeld als de onderzoekers meer inzicht hadden gegeven in hun aanpak.

Mirjam en Paul stellen ook dat je niet kunt concluderen dat VR niet veel beter was dan de andere aanpakken waarmee VR is vergeleken (klassikaa en online leren). Op basis van dit onderzoek weet je dit niet.

Je moet in elk geval kritisch zijn op wat je leest. Vooral als auteurs stellen dat de uitkomsten gebaseerd zijn op ‘onderzoek’. De ‘zeef van Gorard’ kan daarbij een handig hulpmiddel zijn.