Een AI-tutor kan lerenden in theorie helpen, maar dan moeten ze er wel gebruik van maken. Matt Barnum schrijft in “The problem with an AI tutor: Students don’t want to use it” over een onderzoek waaruit blijkt dat lerenden dat nu net niet doen. Ik probeer hier ook andere oorzaken voor te zoeken.
Khanmigo is de AI-chatbot van Khan Academy. Voor wie het niet weet: dat is een online platform waarop lerenden in hun eigen tempo lessen volgen en oefenen. De chatbot is zo ingesteld dat hij vragen beantwoordt zonder de juiste antwoorden te geven. In het onderzoek hebben Philip Oreopoulos en Nina Low lerenden uit een schooldistrict in Tennessee een experiment uit laten voeren. Lerenden met lage prestaties van achttien zogenaamde middle schools (ongeveer 11 tot 14 jaar) werden willekeurig ingedeeld. Een groep werkte tijdens de schooldag met Khan Academy, inclusief toegang tot Khanmigo. Een controlegroep gebruikte een combinatie van andere digitale rekenprogramma’s en instructie door een docent in kleine groepjes.
In het tweede jaar boekten de lerenden die met Khan Academy werkten volgens het onderzoek sneller vooruitgang bij wiskunde dan de controlegroep. De onderzoekers schrijven die winst echter niet toe aan AI. De meeste lerenden gebruikten Khanmigo namelijk niet of niet op een zinvolle manier.
Lerenden openden Khanmigo op ongeveer een derde van de dagen waarop ze met de leerstof van de Khan Academy werkten. Ze moesten de chatbot zelf actief opzoeken. Als er al interactie was, stuurden veel lerenden berichten die niets met de opdracht te maken hadden, of probeerden ze de chatbot over te halen om toch het juiste antwoord te geven. De onderzoekers stellen: vrijwel iedereen had toegang, maar de betrokkenheid was gering. Zij opperen dat menselijke aandacht mogelijk het ontbrekende ingrediënt is om de voordelen van gepersonaliseerd leren te benutten. Sal Khan -de initiatiefnemer van de Khan Academy- noemde de AI-tutor eerder al een “non-event” voor de meeste lerenden. Volgens hem laat het onderzoek vooral zien hoe groot de rol van motivatie is.
Khan Academy heeft de interface inmiddels aangepast. Khanmigo is nu meer verweven met de leerstof, zodat lerenden de zogenaamde productive struggle (het nuttige worstelen met een opgave) minder makkelijk kunnen omzeilen. Volgens Barnum sluit het onderzoek aan bij een bredere lijn in het nog jonge onderzoek naar AI in het onderwijs: lerenden gebruiken een AI-tutor vaak niet om te leren. Een samenvatting van Stanford komt tot dezelfde conclusie.
In een tweede studie testten Oreopoulos en collega’s volgens Matt Barnum een mogelijke oplossing. Zij ontwikkelden in hetzelfde district een eigen online rekenprogramma. De AI-chatbot verscheen daar uit zichzelf, en lerenden konden pas verder als ze een opgave goed hadden. Lerenden met AI werkten langzamer, maar maakten minder fouten. Een week later, zonder AI, scoorden zij iets beter op vergelijkbare opgaven dan de controlegroep. De auteur suggereert dat gerichte sturing dus wellicht belangrijk is. Het probleem is echter dat lerenden het grootste deel van hun tijd buiten zo’n gestuurde omgeving doorbrengen, en dat jongeren van nature geneigd zijn de weg van de minste weerstand te kiezen. Dezelfde technologie die als tutor kan dienen, kan ook worden gebruikt om het werk makkelijker te maken, en minder inspanning betekent minder leren, aldus Oreopoulos.
Mijn opmerkingen
Het geringe gebruik van Khanmigo laat zich mogelijk deels ook verklaren vanuit hoe lerenden een AI-tutor percipiëren: als een alwetend orakel waaraan je cognitief werk uitbesteedt, dat dus meteen het antwoord geeft. Khanmigo is echter juist ontworpen om dat niet te doen. Lerenden die vooral gericht zijn op kortetermijnsucces -mede een gevolg van ons onderwijssysteem- zijn daardoor minder gevoelig voor de langetermijnvoordelen die de onderzoekers meten.
Dit sluit aan bij wat ik eerder schreef over bruikbaarheid als belangrijkste voorspeller van AI-adoptie: ervaren bruikbaarheid bepaalt, boven vertrouwen en gebruiksgemak, of lerenden een AI-toepassing gebruiken. Een tutor die de kortste weg naar een goed antwoord weigert, scoort in de ogen van veel lerenden wellicht laag op bruikbaarheid, ook al is dat didactisch juist de bedoeling. Dat verklaart mogelijk mede waarom lerenden Khanmigo links laten liggen.
Er kan ook ongemak meespelen. In een eerdere blogpost over de grenzen van mens-computerinteractie beschreef ik de uncanny valley-theorie: naarmate een systeem menselijker overkomt, kan dat afstotend gaan werken in plaats van vertrouwenwekkend. Een chatbot die doorvraagt en net niet het antwoord geeft, gedraagt zich voor een schoolopdracht net iets te menselijk; voor sommige lerenden voelt dat onwennig, zeker als zij liever snel en anoniem een opgave afronden.
De tweede studie uit het artikel laat bovendien zien dat het ontwerp van de AI-gefaciliteerde leeromgeving uitmaakt: een chatbot die proactief ingrijpt en voortgang koppelt aan goede antwoorden, verhoogt de bruikbaarheid. Over dit aspect heb ik ook eerder geschreven.
Scholen die AI-tutors aanschaffen of zelf bouwen, moeten zich wat mij betreft niet alleen afvragen of lerenden toegang hebben, maar vooral of de tutor in hun beleving nuttig is voor hun directe doel.
Mijn bronnen over (generatieve) artificiële intelligentie
Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie.
Geef een reactie