John Hattie’s werk Visible Learning is binnen onderwijskunde zeer gezaghebbend. Hattie geeft hierin op basis van diverse meta-studies aan welke maatregelen docenten kunnen treffen ten behoeve van effectief onderwijs, en welke niet of minder effectief zijn. Hattie’s werk ligt echter ook flink onder vuur.
Pierre-Jérôme Bergeron van onder meer de Universiteit van Ottawa is statisticus. Hij heeft vanuit methodologisch standpunt een zeer kritische analyse geschreven van Hattie’s studie. Hattie’s bedoelingen zijn nobel, maar hij heeft volgens Bergeron enkele grove fouten gemaakt. De meeteenheid voor effectgrootte, die Hattie hanteert, kan volgens de auteur bijvoorbeeld niet worden gebruikt als algemene meeteenheid voor impact.
De auteur concludeert zelfs:
We can spin stories from real data in an effort to communicate results to a wider audience, but these stories should not fall into the realm of fiction. We must therefore absolutely qualify Hattie’s methodology as pseudoscience.
Hij meent dat statistici veel nauwer betrokken zouden moeten worden voor, tijdens en na afloop van dergelijke analyses. Het ontbreekt Hattie en zijn team volgens Bergeron aan kennis en bekwaamheden die nodig zijn om valide statistische analyses uit te voeren.
Ik heb al eens eerder geschreven dat je bij Hattie’s niet alleen moet kijken naar de effectgroottes, maar ook naar de toelichting er achter. Ook zijn er kanttekeningen te maken bij wat binnen onderwijsonderzoek gemeten wordt (er wordt dikwijls naar de invloed op testscores gekeken).
Verder heb ik Visible Learning echter sinds mijn kennismaking ermee als een waardevolle publicatie beschouwd.
De kritiek van Pierre-Jérôme Bergeron is echter zeer fundamenteel. Het lastige is dat ik over onvoldoende statistische expertise beschik om deze kritiek te weerleggen dan wel te ondersteunen.
Er zijn ook mensen die benadrukken dat het bij Hattie vooral gaat om het vooral erachter (mind frames). Als die ‘mind frames’ echter gestoeld zijn op ondeugdelijke analyses, dan heb je wel een probleem.
Nota bene: ik kan in de gauwigheid geen informatie vinden waaruit blijkt dat het betreffende tijdschrift meer of minder betrouwbaar is.
This content is published under the Attribution 3.0 Unported license.
Ik stel me ook al vele jaren vragen bij die “wijzerplaatjes” met effectgroottes. Die effectgroottes zij m.i. bijlange niet met elkaar te vergelijken tussen de verschillende factoren (zoals bijvoorbeeld “het overslaan van een klas” en “kleinere klassen”).
Dit neemt niet weg dat Visible Learning een interessant naslagwerk is, om een eerste idee te krijgen van de invloed van bepaalde factoren. Zelf vind ik wijzerplaatjes echter schandalig misleidend, o.a. omdat het onmogelijk is om de invloed van belangrijke interacties daarin weer te geven. In de begeleidende teksten komen die interacties wel aan bod, maar de zin van de wijzerplaatjes ontgaat me, net als de zin van lijstjes gesorteerd volgens “effectgrootte”.
Stel bijvoorbeeld dat kleinere klassen een geweldige effectgrootte geven voor leerresultaten in wiskunde maar niet voor begrijpend lezen. Heeft het dan zin om zo’n wijzerplaatje te publiceren voor “de effectgrootte van kleine klassen”?
Verder zijn bv. effectgroottes voor zevenjarigen niet de vergelijken met effectgroottes voor veertienjarigen.
Bergeron stelt – terecht – “Hattie confounds correlation and causality when seeking to reduce everything to an effect size”. Het grappige is dat Hattie zelf hiervoor OOK waarschuwt: “The fundamental word is meta-analysis, effect size, implies causation and this claim is often not defensible” (Visible Learning, p. 237). Maar zijn hele boek, vooral met die wijzerplaatjes, suggereert net die – volgens hem – “onverdedigbare” causaliteit!
Voor relevante kritiek, zie ook
http://literacyinleafstrewn.blogspot.be/2012/12/can-we-trust-educational-research_20.html
http://www.learningspy.co.uk/myths/things-know-effect-sizes/
En:
Snook, I., O’Neill, J., Clark, J., O’Neill, A. M., & Openshaw, R. (2009). Invisible learnings? A commentary on John Hattie’s book: Visible Learning: a synthesis of over 800 meta-analyses relating to achievement. New Zealand journal of educational studies, 44(1), 93.
Terhart, E. (2011). Has John Hattie really found the holy grail of research on teaching? An extended review of Visible Learning. Journal of curriculum studies, 43(3), 425-438.
Dank voor je aanvullingen. Ik deel je mening. Zoals ik al heb geschreven, moet je bij Hattie verder kijken dan de wijzerplaatjes. Dat gebeurt onvoldoende. Zijn toelichtingen zijn waardevol. Maar het wordt risicovol als deze gebaseerd zijn op niet-valide onderzoek. Ik ben heel benieuwd of er ook statistici zijn die het voor hem opnemen.