Al eens gehoord van het Open Badges and Assessment programma? Ik tot vandaag niet. Via Stephen Downes werd ik geattendeerd op dit programma, waarna ik in mijn RSS feeds deze reflectie van Graham Attwell tegenkwam.
Het Open Badges and Assessment programma wil bewerkstelligen dat lerenden badges (een soort insignes) op verschillende sites kunt verzamelen en gerelateerd aan één enkele identiteit op diverse plekken (zoals binnen diverse sociale netwerken) kunnen delen. Het is dus een alternatieve manier van beoordelen, die badges oplevert en die uiteraard een open architectuur vereist. Je ziet badges binnen verschillende sociale netwerken gebruikt worden (denk aan de insignes die je bij Foursquare kunt verdienen als je op een specifieke plek incheckt).
Graham ziet potentie in dit programma ten behoeve van leren, maar schetst eerst ook enkele issues die op dit terrein spelen (diverse terminologieën, geloofwaardigheid o.a. in relatie tot accreditatie, technologische gedrevenheid).
Hij spiegelt het Open Badges and Assessment programma vervolgens aan enkele kenmerken van een assessmentsysteem:
- Betrouwbaarheid (meet in nauwkeurig?) (meet ik wat ik wil meten?).
- Validiteit (meet ik wat ik wil meten?) (meet in nauwkeurig?).
- Herhaalbaarheid (kan een beoordeling worden herhaald en toch tot dezelfde uitkomsten leiden?).
- Mogelijkheid om een beoordeling in een andere, vergelijkbare situatie, opnieuw te gebruiken (transferability).
- Geloofwaardigheid (hebben mensen vertrouwen in de beoordeling?).
- Praktische bruikbaarheid.
Vervolgens vergelijkt Graham Attwell de Learning Badges pilot assessments van de School of Webcraft met deze kenmerken, en concludeert dat het programma hierop over het algemeen positief scoort. Wel plaatst hij vraagtekens bij de toepasbaarheid van deze manier van beoordelen bij minder praktische taken.
Graham staat ook stil bij de geloofwaardigheid van deze manier van beoordelen. Hij denkt dat het inschakelen van communities (in plaats van specialistische beoordelingsinstanties) bij kan dragen aan een geloofwaardige beoordeling.
And this seems a much better way of building credibility than trying to negotiate complicated arrangements that n number of badges at n level would be recognized as a degree or other ‘traditional’ qualification equivalent.
Verder onderstreept hij terecht het belang van formatieve beoordelingen, en de rol van badges daarbij. Formatieve beoordelingen bevorderen meer de ontwikkeling van een lerende, in plaats van assessments die gericht zijn op een eindbeoordeling. Attwell denkt dat een reeks taken, met daaraan gekoppelde badges, lerenden binnen persoonlijke leeromgevingen kunnen ondersteunen bij hun ontwikkeling. Hij concludeert voorlopig:
In these terms the badges project has the potential not only to support learning taking place outside the classroom but to build a significant infrastructure or ecology to support learning that takes place anywhere, regardless of enrollment on traditional (face to face or distance) educational programmes.
Een interessante ontwikkeling, die zich nu nog in een pril stadium bevindt en die bij mij vooral nog vragen oproept. De badges binnen sociale netwerken zijn wat mij betreft voor 'even leuk', maar worden voor volwassenen al snel flauw. De toepassing ervan voor leren kon echter meer betekenisvol worden.
Ik vraag me echter wel af of de samenstelling van een community niet van invloed is op de kwaliteit van een beoordeling. Om bepaalde aspecten te kunnen beoordelen, moet je kennis van zaken hebben en moeten beoordelingscriteria transparant en duidelijk zijn. Ik kan een arts in opleiding op een aantal aspecten beoordelen, maar niet op alle relevante aspecten.
Verder vraag ik me af in hoeverre een dergelijk badgesprogramma wel bijdraagt aan een holistische beoordeling. Waarvoor krijg je een badge? Voor een eenvoudige taak? En maakt een verzameling van badges jou tot een bekwaam beroepsbeoefenaar of wetenschapper? Kleven aan badges niet dezelfde bezwaren als aan separate toetsen? Hiermee hangt samen: moet je badges niet beperken tot formatieve toetsen en summatieve beoordelingen op een andere manier vormgeven?
Tenslotte vraag ik mij met Graham Attwell af of je alle vereiste bekwaamheden via badges kunt beoordelen (en op basis van welk bewijsmateriaal)? Desalniettemin is deze vorm van 'gamification' waard om in de gaten te houden.
This content is published under the Attribution 3.0 Unported license.
Nog een keer dan maar: interessante mogelijkheid. Past goed binnen de gedachte om zelf bewijsmateriaal te verzamelen voor eigen kunnen in het portfolio. Vergroten van het aantal beoordelaars kan de betrouwbaarheid ten goede komen en vereist niet dat dat alleen door goed getrainde beoordelaars gebeurt. Badges vormen daarbij slechts een vorm van feedback. Om de functie van formatieve toetsing te vervullen, heb je naast de badge wel een inhoudelijke toelichting nodig denk ik om de formatieve functie te kunnen vervullen. Helaas haal je de definities van betrouwbaarheid en validiteit door elkaar in het begin van je stukje.
@Edvard58: eens. Toch zullen meerdere beoordelaars ook deskundig moeten zijn. Tien Wilfred’s kunnen net zo min een arts in opleiding op alle aspecten beoordelen dan 2 Wilfred’s. Ik heb de definities omgekeerd. Ik had mijn onderzoeksmethoden boek niet bij de hand toen ik de blogpost schreef 😉