Effectiviteit trainingen meten op basis van de theory of change

Echte kwaliteit van onderwijs en opleiden is eigenlijk niet te meten. Dat stelde Bas Haring de afgelopen week tijdens een keynote. Geldt dat ook voor de effectiviteit van onderwijs, opleiden en trainen? In Measuring Learning: The Theory of Change beschrijft Kelly Meeker hoe zij en haar collega’s de effectiviteit van een trainingsprogramma voor werkloze jongeren proberen te meten.

In dat programma gaat het vooral om het ontwikkelen van zogenaamde “in-demand job skills” (zoals betrouwbaarheid, integriteit, verantwoordelijkheid). Op basis van de zogenaamde Theory of Change hebben zij een stappenplan ontwikkeld om de effectiviteit van het trainingsprogramma te meten:

1. Identificeer doelen. Over welke vaardigheden moeten de jongeren na afloop van het programma beschikken? Op basis van interviews met belanghebbenden en focusgroepen worden die doelen bepaald.
2. Bepaal welke randvoorwaarden nodig zijn voor het bereiken van einddoelen, en welke veranderingen nodig zijn om die randvoorwaarden voor elkaar te krijgen. Een voorbeeld is het ontwikkelen van authentieke leeractiviteiten.
3. Ontwikkel indicatoren voor de effectiviteit, en ontwikkel beoordelingsmethoden die bij de start van het trainingsprogramma en na afloop worden afgenomen. Zelfbeoordelingen en kwalitatieve feedback kunnen daar deel van uit maken. Maak gebruik van meerdere beoordelaars, en gebruik ook lange termijn beoordelingen waarmee je kunt kijken of het geleerde beklijft.
4. Schrijf een verhaal.
   

   A model describing how your initiative will create change to achieve your program goals. This is more than just a pretty story: This is your opportunity to test your logic in plain English. When you create your narrative, this is a document you will share with your stakeholders to make sure that the steps you outline make sense – and that the data measures you identify connect accurately to the program goals.

    

5. Implementeer, herhaal en verbeter.

Deze aanpak komt op mij als gedegen over. Er wordt niet alleen gekeken naar tevredenheid en leerresultaten, maar ook naar de gevolgen voor het gedrag van de jongeren (ook op langere termijn).

This content is published under the Attribution 3.0 Unported license.