Reflectie op met AI-tools ontwikkelde interactieve leeromgevingen: mogelijkheden en aandachtspunten

De afgelopen week deelde Tom Naberink via LinkedIn een interactieve leeromgeving voor het vak Economie voor het voortgezet onderwijs, die hij met behulp van AI-applicaties heeft gemaakt. Tom vroeg daarin ook om tips, verbeterpunten en feedback. Die wil ik graag geven. Hierbij.

Ik heb de agentmodus van ChatGPT een analyse laten maken van de online cursus MAVO Economie 3 met zes hoofdstukken van de methode Pincode 7e editie. Daarnaast heb enkele onderdelen van deze cursus zelf gemaakt, net als van Math with Menno & AI-tutor Tom. Uiteraard heb ik ook Tom’s LinkedIn post bekeken. Op basis hiervan heb ik onderstaande reflectie geschreven.

Algemeen

De startpagina van de online cursus MAVO Economie 3 vermeldt de titels van de hoofdstukken en de bijbehorende thema’s, variërend van welvaart en consumentengedrag tot bankzaken, verzekeringen, arbeid en productie. Elk hoofdstuk bestaat uit een enkele les met dezelfde opbouw: een uitlegvideo van YouTube‑docent Jos (Economie met Jos), een samenvattende infographic en daarna een uitgebreide oefensectie. Daarnaast kun je AI-tutor Tom om hulp vragen. Je hebt ook de mogelijkheden om te oefenen met oude examens. De wiskundecursus is vergelijkbaar van opzet.

In onderstaande reflectie ga ik niet de inhoud en opzet van de gebruikte video’s. Ik wil met name kijken naar de combinatie van de verschillende elementen, dankzij AI.

Mogelijkheden en kansen

• Originaliteit en creativiteit. Ik ben te spreken over het idee om bestaande YouTube video’s laagdrempelig te versterken met onder meer oefenvragen en een AI-tutor. Er zijn commerciële initiatieven die hier ook in voorzien. Daar hangt echter een prijskaartje aan. Ik vind het in elk geval bijzonder om te zien wat mogelijk is.
• Heldere structuur en navigatie. De hoofdstukken zijn genummerd en voorzien van korte beschrijvingen. Leerlingen kunnen eenvoudig een hoofdstuk kiezen via de ‘kaartjesstructuur’ en worden door een Terug‑knop steeds naar het hoofdmenu geleid. Binnen een les is de combinatie video, AI-tutor, infographic en oefening logisch en consistent. Nogmaals: ik vind het knap dat je dit met behulp van AI-tools kunt vormgeven.
• Multimediale uitleg. De uitlegvideo’s van Jos (en Menno) vormen de kern van elke les en sluiten -als het goed is- aan bij de bekende Pincode‑methode. Onder de video staat een grote infographic met overzichtelijke schema’s, definities en berekeningen (zoals piramide van behoeften, marketingmix en formules voor procentuele verandering). Ik ben nooit zo tevreden over AI-gegenereerde infographics. Deze vind ik behoorlijk goed. Als een infographic slim wordt ingezet, naast de video en oefenvragen, dan kan dat goed werken. Niet als leerlingen zich beperken tot de infographic en ervan uitgaan dat zij daarmee de video kunnen overslaan. Het zelf maken van een infographic door leerlingen is trouwens leerzamer, maar ook complex. Daarmee verwerken zij de inhoud actiever.
• Vergaande integratie van oefenen en feedback. De oefensectie bevat twee typen opdrachten: Quick Quiz (25 meerkeuzevragen) en Oefenvragen (25 open vragen). De Quick Quiz kent vijf niveaus – Instapper, Opwarmer, Videoniveau, Uitdaging en Expert – die op een voortgangsbalk met sterren worden weergegeven. Leerlingen kunnen starten op een passend niveau of tussentijds springen. Bij elke multiple‑choicevraag geeft het systeem direct inhoudelijke feedback. Bij een correct gekozen antwoord verschijnt een groen kader met een korte uitleg, bijvoorbeeld dat een vrij goed iets is waarvoor je niets hoeft op te offeren zoals zonlicht; bij een fout antwoord verschijnt een rood kader met uitleg waarom het antwoord onjuist is en wat het juiste begrip inhoudt. Deze onmiddellijke feedback is informatief, kan helpen misvattingen te corrigeren en reflectie te bevorderen, mits je hier als docent op stuurt.
• Adaptief element via AI‑tutor. Naast de opdrachten is, zoals gezegd, een chat met AI‑tutor Tom beschikbaar. Leerlingen kunnen vragen stellen over de video, concepten of oplossingen. Bij de open vragen controleert de AI‑tutor het antwoord en geeft gepersonaliseerde feedback. Dit kan waardevol zijn bij het oefenen van begripsvragen, mits de antwoorden van de AI betrouwbaar zijn. Zie ook onderstaande aandachtspunten.
• Motivatie en gamificatie. De niveau-indeling en sterren stimuleren leerlingen om zichzelf uit te dagen. De mogelijkheid om meteen te zien hoeveel vragen je goed hebt en de progressie‑indicator (bijv. 2/25) houden de voortgang inzichtelijk. Ook de verwijzing naar extra uitlegvideo’s ondersteunt zelfstandig leren. Gamification draagt overigens niet altijd bij aan effectief leren of aan motivatie (bron).

Aandachtspunten en verbeterpunten

• Toegankelijkheid. Deze site is moeilijk toegankelijk via screenreaders. Kunnen lerenden met een visuele beperking de inhoud gebruiken? Indien nee: hoe bied je dan deze doelgroep de inhoud van deze omgeving aan (inclusief onderwijs)?
• Kwaliteit van de vragen. Het niveau van de vragen vind ik wel vaak erg simpel. Ik geef echter geen economie aan ‘MAVO-3’, maar ben benieuwd wat inhoudsdeskundigen hiervan vinden. Het valt me op dat meerkeuze oefenvragen altijd uit vier antwoordmogelijkheden bestaan, waarbij het langste antwoord meestal het juiste antwoord is. Bij overduidelijk langere antwoorden heb ik, zonder de inhoud te lezen, altijd het langste antwoord gekozen. Deze vragen had ik altijd goed. Bij vier antwoorden is één antwoord vaak een een niet-plausibele afleider is. De open vragen laten leerlingen eigen antwoorden formuleren, wat dieper begrip bevordert. In de praktijk bleek echter dat het controleren van antwoorden soms best lang duurt omdat de AI‑tutor het antwoord moet genereren. Er is niet zichtbaar welke criteria worden gebruikt om een antwoord te beoordelen, wat onduidelijkheid kan scheppen. Ook zie je een klassiek goed-fout-indeling waarbij de kleuren rood en groen worden gebruikt. Ik ken heel wat mensen die daar bepaald niet ‘van houden’ (en dat is een eufemisme). Afhankelijkheid van een taalmodel maakt het risico op onjuiste of inconsistente feedback groter. Dit zijn eigenlijk verbeterpunten voor docenten in opleiding, als het gaat om het ontwerpen van goede formatieve toetsen.
• Kwaliteit van AI‑feedback. Het valt me op dat de gegeneerde teksten veel fouten bevatten. Bijvoorbeeld: Als je wilt dat ik je ietsitleg aan hand van een metafoor,ef dan even welkrip uit de les je niet helemaal snapt. Bijvoorbeeld: Schaste (niet oneindig). Verder valt mij op dat feedback vooral bestaat uit het geven van het goede antwoord en een toelichting bij het goede antwoord. Dat is ook bij examens het geval. In zijn LinkedIn bijdrage schrijft Tom dat deze feedback rijker en leerzamer is dan het correctiemodel van CITO. Het is echter de vraag hoe belangrijk feedback op dat moment nog is (wellicht als je een herexamen moet doen). Feedback bij formatief handelen is echter van groot belang, waarbij een risico is dat leerlingen feedback klakkeloos overnemen. Een bekende tekortkoming van veel AI-toepassingen. De feedback die leerlingen krijgen bij snelle quizzen is informatief, maar mist de activerende component die nodig is om de ‘kloof’ tussen de huidige prestatie en het gewenste leerdoel op een duurzame manier te dichten. Ook valt op dat de AI-tutor vooral veel uitleg geeft, maar geen feedback (zover ik heb kunnen waarnemen). In het verleden was de feedback van veel professioneel gemaakte online content voor verbetering vatbaar vanwege de beperkte feedback (bleek uit onderzoek uit 2015). Dit is echt een belangrijk aandachtspunt omdat we dadelijk terug bij af zijn als we op grote schaal zelfontwikkelde ‘leer-apps’ gaan gebruiken met beperkte feedback. We moeten voorkomen dat we ‘edu-app slop’ gaan creëren.
• Variatie in vraagvormen. Het oefenen grotendeels met multiple‑choicevragen, met één correct antwoord en sterk gericht op kennisreproductie, is beperkt. Dat kan echt beter (denk aan rekenopdrachten met formules, casusanalyses of drag‑and‑drop‑oefeningen, en ‘how-to’-vragen).
• Reflectie en overzicht achteraf. Na het voltooien van een quiz verschijnt er geen overzicht van de gemaakte fouten of een verzameling van feedback. Het toevoegen van een eindrapport met scores per onderwerp en links naar uitleg zou leerlingen helpen reflecteren en gerichte bijsturing mogelijk maken. Voor docenten zou een dashboard met voortgangsgegevens nuttig zijn om de vorderingen van de klas te monitoren. Helemaal mooi zou zijn: LTI-integratie (minimaal versie 1.3) waardoor je deze omgeving kunt integreren met een LMS. De data worden dan in de monitortool van het LMS opgenomen. Dit betekent wel dat leerlingen niet anoniem gebruik kunnen maken van deze toepassing voordat je in het kader van de AVG één en ander correct hebt geregeld.
• Didactische integratie. De cursus biedt rijke digitale ondersteuning, maar veronderstelt veel zelfsturing. Voor leerlingen die moeite hebben met plannen of digitale geletterdheid is begeleiding nodig. Docenten moeten deze online oefeningen inbedden binnen hun lessen, tijd reserveren voor vragen en bespreken hoe leerlingen de AI‑tutor kunnen gebruiken.
• Persoonsgegevens. Het is de bedoeling dat leerlingen deze omgevingen anoniem kunnen gebruiken. Ik vermoed echter dat het IP-adres van de leerling wel ergens wordt geregistreerd. En dat is een persoonsgegeven (overigens niet altijd). Mogelijk gaat de ene schoolorganisatie daar ‘precies’ mee om, en de andere ‘rekkelijk’. Dit is wel iets om rekening mee te houden.
• Ik lees is reacties op de LinkedIn-post van Tom dat deze opzet de mogelijkheid dat docenten een eigen leeromgeving creëren. Daar word ik niet zo blij van. Als docenten allemaal hun eigen leeromgeving creëren dan zien leerlingen al snel door de bomen het bos niet meer. Ik heb in de loop van de jaren met meerdere groepen lerenden van diverse instellingen gesproken over de digitale leeromgeving, en de belangrijkste klacht was unaniem: we worden horendol van al die docenten die een leeromgeving anders inrichten, die verschillende leeromgevingen gebruiken en die bepaalde processen verschillend vorm geven (denk aan de wijze waarop digitaal werk moet worden ingeleverd). Dit is overbodige cognitieve belasting die beter anders kan worden aangewend. Jij werkt als docent binnen een team, binnen een organisatie. Je hebt je dus te verhouden tot de leeromgeving die de onderwijsorganisatie faciliteert, ook al is deze omgeving ook voor verbetering vatbaar. Vanuit het perspectief van studenten kun je hierover het beste intern afspraken maken. Je zou deze zelf gemaakte leer-app minimaal moeten integreren in een onderdeel van je LMS, en niet gebruiken als aparte, eigen, leeromgeving. Hoe omvangrijk een zelf ontwikkelde educatieve app, des te gecompliceerder dit vraagstuk.
• Wanneer meerdere docenten eigen leeromgevingen bouwen, ontstaat fragmentatie: een lappendeken van tools en interfaces die voor een organisatie moeilijk te beheren is.
• Technologische innovatie leunt vaak sterk op individuele bevlogenheid; vibe coding vergroot het risico dat oplossingen verdwijnen of verouderen wanneer een docent minder tijd heeft of vertrekt. Zelfgebouwde leeromgevingen vragen structureel onderhoud, zoals updates, bugfixes en aanpassingen aan nieuwe leerdoelen of examens.
• Technische haalbaarheid betekent niet automatisch didactische kwaliteit. Zie mijn opmerkingen hierboven.
• Toetsing en verantwoording worden complexer, omdat instellingen moeten kunnen aantonen hoe leeractiviteiten bijdragen aan kwalificatiedoelen en examenprogramma’s.
• Bij zelfgebouwde oplossingen ontbreekt vaak expliciete documentatie, wat verantwoording bemoeilijkt. Ik kan bijvoorbeeld niet achterhalen met behulp van welke AI-toepassingen Tom deze omgevingen heeft gemaakt. Er zijn onduidelijkheden over eigenaarschap van leeromgevingen en data, en over het gebruik van externe diensten of AI-modellen. Hoewel instellingen wettelijk verantwoordelijk zijn, hebben zij bij ‘docentgedreven’ oplossingen vaak beperkt zicht op de onderliggende techniek.

Conclusie

Een mooi initiatief, maar ik zou voorlopig er vooral mee experimenteren. De uitwerking is voor verbetering vatbaar, zoals ik hierboven schrijf. Besteed ook aandacht aan de didactische, technische en organisatorische inbedding (zoals regie en governance). Ga hierover intern in gesprek. Dat kost wellicht ‘bloed, zweet en tranen’. IT komt inderdaad vaak van Mars, en ‘onderwijs’ van Venus. Maar door hierover niet met elkaar in gesprek te gaan, bereik je minder. Docenten maken deel uit van een organisatie, net als IT en privacy officers. Jullie hebben gezamenlijke belangen. Zoals het gezegde luidt: alleen ga je sneller, samen kom je verder. Dat geldt ook voor ‘IT’ en ‘onderwijs’.

Mijn bronnen over (generatieve) artificiële intelligentie

Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.