Drie onderzoeken naar het gebruik van het digitaal portfolio Onlangs zijn tijdens een bijeenkomst van de SURF Special Interest Group NL Portfolio de resultaten van drie onderzoeken naar het gebruik van het digitaal portfolio gepresenteerd. Op uitnodiging van de SURF E-learning Themasite bespreekt Wilfred Rubens de belangrijkste bevindingen en de relevantie voor de onderwijspraktijk. Effecten van de invoering Marianne Elshout-Mohr cs hebben met NWO subsidie een vierjarige studie uitgevoerd naar het effect van de invoering van een elektronisch portfolio bij de Educatieve Faculteit Amsterdam. Enkele interessante conclusies zijn: Het duurt een hele tijd voordat een doel als het stimuleren van reflectievaardigheden ook daadwerkelijk wordt bereikt met behulp van een digitaal portfolio Een portfolio kan een bijdrage leveren aan het reflecteren, met name aan het laten nadenken van studenten over zichzelf als bron. Studenten reflecteren 'omdat het moet'. Uiteindelijk vinden studenten dit wel een nuttig activiteit. Docenten/begeleiders geven vaak te ongericht feedback en maken onvoldoende onderscheid tussen zelfevaluatie en reflectie. Ontwikkelingshulp en assessmenttool Elshout-Mohr en haar collega's hebben ook gekeken naar de kwaliteit van de zelfsturing tijdens de studie. Zij signaleren een duidelijke verbetering van zelfsturing naar verloop van tijd, maar kunnen niet hard maken dat het gebruik van het portfolio hier de oorzaak van is. Wel biedt het portfolio volgens hen goede mogelijkheden om met studenten over zelfsturing te communiceren in de vorm van opdrachten en feedback, zodat de zelfsturing gaandeweg toeneemt. De onderzoekers stellen verder dat het portfolio in eerste instantie bedoeld zou moeten zijn om de ontwikkeling van een student zichtbaar te maken. Als de student en diens begeleider concluderen dat de tijd rijp is om het portfolio te laten beoordelen, dan zou de portfolio de inhoud van het portfolio vanuit dit perspectief opnieuw moeten bezien. Zij hebben deze stelling niet met onderzoek kunnen onderbouwen. Tijdens de NL Portfolio-bijeenkomst bleek ook dat er geen consensus bestaat over de vraag of een digitaal portfolio tegelijkertijd als "ontwikkelingshulp" en assessmenttool kan worden gebruikt.   Wat vindt de student ervan? Anna Bouman en Ellen van Lisdonk hebben in opdracht van de Digitale Universiteit onderzoek gedaan naar de mate waarin het beleid met betrekking tot het digitaal portfolio aansluit op de wijze waarop studenten het gebruik ervan beleven. Zij concluderen onder meer: Studenten gebruiken het portfolio over het algemeen weinig (ongeveer 1x per anderhalf jaar). Deze onderzoekers verklaren het gebruik van het portfolio door de "fysieke inbedding" in het onderwijs (door onder meer met portfolio opdrachten te werken) en de motivatie van studenten om aan een portfolio te werken. Studenten zijn vooral gemotiveerd omdat het portfolio wordt beoordeeld. Opvallend is ook dat studenten van één van de vier onderzochte opleidingen het portfolio veel meer gebruiken dan studenten van de andere opleidingen. Als mogelijke verklaringen hiervoor noemen Bouman en Van Lisdonk: Een beter geconcretiseerd instellingsbeleid. Alle studenten hebben een instructie gehad. Er vinden al twee beoordelingen plaats tijdens het 1e studiejaar. 86% van de studenten van deze opleiding heeft een persoonlijk ontwikkelingsplan (bij de andere opleidingen is dat veel minder). Het type onderwijs leent zich goed voor het gebruik van een portfolio (competentiegericht onderwijs). Knelpuntenanalyse UU Binnen de Universiteit Utrecht (UU) hebben mijn IVLOS-collega Heinze Oost en ik een analyse uitgevoerd om beter zicht te krijgen op de omvang en de reikwijdte van knelpunten en uitdagingen met betrekking tot het gebruik van het digitaal portfolio. Hiervoor is een exploratief onderzoek uitgevoerd. In het rapport wordt een overzicht geven van de problemen rond het portfolio aan de UU. Dit wordt in perspectief geplaatst door een nadere bepaling van de omvang en het gewicht ervan. Uit dit onderzoek komt een wisselend beeld naar voren: Een aantal opleidingen ervaart veel knelpunten, sommigen weinig. Het goede nieuws is dat het nut en de noodzaak van expliciete aandacht voor academische vorming op de werkvloer breed wordt onderschreven. Dit was de belangrijkste aanleiding voor de UU om een portfolio te gebruiken. Onder meer de status van het portfolio en de plaats van het portfolio binnen het curriculum vragen nog veel aandacht. Deze knelpunten raken in feite aan het gekozen onderwijsconcept zelf; het gebruik van een portfolio komt ter discussie te staan als deze knelpunten niet worden aangepakt. Docenten dienen meer aandacht te schenken aan het stimuleren van reflectie bij studenten en het begeleiden van de academische ontwikkeling van studenten. Het "onderwijsmanagement" (managen van de implementatie) behoeft ook de nodige verbetering. Praktische knelpunten (met een instrumenteel of organisatorisch karakter) zijn het ontbreken van heldere beoordelingscriteria en het (niet) toekennen van studiepunten. Een aantal voorgelegde knelpunten -zoals de techniek en de spanning tussen "ownership" (het portfolio is van de student) en opleidingseisen- worden in brede kring als minder problematisch ervaren. Relevantie praktijk De drie onderzoeken –hoe verschillend van aard ook- leiden tot meer inzicht in de complexiteit van het gebruik van het digitaal portfolio. Uit alle drie de onderzoeken kun je concluderen dat het een aantal jaren duurt vóórdat het digitaal portfolio op een goede manier is ingebed in het onderwijs. Onder meer ten aanzien van de beoordeling van portfolio's zal nog het nodige gezegd moeten worden. Vanuit onderzoeksperspectief is het werk van Elshout-Mohr cs vermoedelijk het meest interessant, hoewel de reikwijdte van hun onderzoek beperkt is (Educatieve Faculteit Amsterdam). Dit onderzoek geeft "de burger" moed: het portfolio kan bijdragen aan goede leerresultaten. Het aardigste aan het onderzoek van Bouman en Van Lisdonk is dat ze naar het perspectief van de student hebben gekeken. Idealistische onderwijsvernieuwers komen hier trouwens van een koude kermis thuis: studenten maken een portfolio vooral omdat het moet (zie ook de opmerkingen van Elshout-Mohr cs over reflecteren). In hun onderzoeksrapport zijn ook de meetinstrumenten opgenomen zodat ook andere instellingen betrekkelijk eenvoudig onderzoek kunnen doen naar de studentbeleving van het digitaal portfolio. Dankzij het IVLOS-rapport kunnen andere instellingen ook een eigen knelpuntenanalyse maken. Een weging van knelpunten –zoals Oost en ik die hebben gemaakt- is daarbij zinvol. Niet elk knelpunt heeft immers dezelfde impact op de acceptatie van het digitaal portfolio binnen de instelling. Referenties: Bouman, A. & Van lisdonk, L. (2005). Naar een digitaal portfolio , Utrecht: DU. Driessen, E. (2005). Recensie: "Functies van een elektronisch portfolio in een constructivistische leeromgeving. Eindrapport". Elshout-Mohr, M. & van Daalen-Kapteijns, M.M. (2003). Goed gebruik van portfolio's in competentiegerichte opleidingen. VELON Tijdschrift voor Lerarenopleiders, 24 (4). 5-13. Elshout-Mohr, M., Van Daalen-Kapteijns, M.M., Meijer, J. & Kösters, J.(2004). Functies van een elektronisch portfolio in een constructivistische leeromgeving. Amsterdam: SCO-Kohnstamm Instituut en Instituut voor de Lerarenopleiding, Universiteit van Amsterdam (SCO-rapport 705) Presentaties van de SIG-dag NL Portfolio Rubens, W. & Oost, H. (2005). Portfolio als instrument voor academische vorming en professionele ontwikkeling: knelpunten en uitdagingen. De balans opgemaakt. Utrecht: IVLOS. Veugelers, M. (2005). Functies van een elektronisch portfolio in een constructivistische leeromgeving. Personalia Wilfred Rubens werkt als adviseur bij het Expertisecentrum ICT in het onderwijs van het IVLOS (Universiteit Utrecht). Sinds eind 1995 houdt Wilfred zich bezig met Internettechnologie en leren. Op dit moment houdt hij zich bezig met didactiek en e-learning (onder andere samenwerkend leren en ICT) en met de invoering van digitale portfolio's. Voor meer informatie over Wilfred Rubens: kijk op zijn profiel van het IVLOS of op zijn persoonlijke site (die voor een groot deel is gewijd aan e-learning). Op dit werk is de Creative Commons Licentie van toepassing.