Instructievideo’s gemaakt met of zonder AI: onderzoek laat opvallende effecten zien

Onderzoekers van de ETH Zürich, onder leiding van Torbjørn Netland, hebben instructievideo’s gemaakt door docenten vergeleken met instructievideo’s die zijn gegenereerd met behulp van meerdere AI-tools. Zij hebben daarbij gekeken naar gevolgen voor leerresultaten op korte termijn, naar de voorkeur van lerenden en naar de productietijd. Wat valt op?

5S with AI — Bron: https://youtu.be/Q-2X_pbQj80?si=SxN6jd-4mrDh2jTk

Voor het experiment werden 447 deelnemers, die gebruik maken van via Amazon Mechanical Turk, willekeurig verdeeld over twee groepen. Elke groep bekeek vier video’s over onderwerpen op het gebied van operations management: werkplekorganisatie (5S), technische probleemoplossing (TRIZ), just-in-time en Kanban (logistiek), en economische ordergrootte (EOQ). De AI-video’s werden gemaakt met ChatGPT3.5 voor het script, Midjourney en Dall-E voor beelden, en Movio voor het genereren van een AI-avatar met audio.

Het artikel bevat ook links naar video’s zodat je deze ook zelf nog kunt bekijken en vergelijken. Voorbeeld:

Via een vragenlijst is gekeken naar de leerervaring en met behulp van een schriftelijke toets naar de leerresultaten.

Opvallende resultaten:

Lerenden waardeerden de door docenten gemaakte video’s iets hoger, met een verschil van ongeveer 4%.
De leerresultaten voor beide soorten video’s waren vergelijkbaar – lerenden deden evenveel kennis op, ongeacht of ze leerden van een video die door een docent is gemaakt, of met behulp van AI is gegenereerd.
Een praktisch voordeel van met behulp van AI gegenereerde video’s bleek de productietijd. Waar een video door een docent 16-28 uur kostte om te maken, was een AI-video in 3-4 uur klaar. Wel was er menselijke controle nodig bij het samenstellen van de AI-content.

De verschillen in waardering verschilden per onderwerp. Bij TRIZ en EOQ werden de door docenten gemaakte video’s beter beoordeeld, terwijl bij 5S en JIT/Kanban de ‘AI-video’s’ juist iets hoger scoorden. De onderzoekers noemen enkele mogelijke verklaringen voor de algemene voorkeur voor door docenten gemaakte video’s. Docenten kunnen emoties en betrokkenheid overbrengen. Dit maakt het leerproces aantrekkelijker. Ook kan er sprake zijn van een zekere scepsis tegenover AI-gegenereerde content.

Het onderzoek kent enkele beperkingen, zo schrijven Netland cs. De video’s waren kort en behandelden relatief eenvoudige, feitelijke onderwerpen. De resultaten kunnen anders zijn voor langere video’s of complexere onderwerpen. Ook ontwikkelt de AI-technologie zich snel; de video’s werden gemaakt in het voorjaar van 2023. Nieuwere AI-tools kunnen mogelijk betere resultaten geven.

De onderzoekers concluderen dat AI-gegenereerde onderwijsvideo’s waarschijnlijk een grotere rol gaan spelen in het onderwijs. Ze suggereren dat een combinatie van menselijke en AI-input mogelijk de beste aanpak is: docenten kunnen samenwerken met AI-tools om effectief en efficiënt onderwijsmateriaal te maken. Dit kan vooral nuttig zijn in situaties waar snelheid, schaalbaarheid en consistentie belangrijk zijn.

De studie benadrukt uiteraard ook het belang van verder onderzoek, met name naar complexere onderwerpen en langere video’s. Ook wijzen de onderzoekers op het belang van ethische overwegingen en de menselijke rol in het onderwijs, zelfs bij de inzet van AI-tools.

Mijn opmerkingen

Merk op dat het binnen dit onderzoek om vrij traditionele instructievideo’s gaat, dus zonder interactie en met het klassieke format van een ‘pratend hoofd’. Het is de vraag of je meer interactieve video’s of video’s volgens een ander format gemakkelijk met behulp van generatieve AI, en zonder veel menselijk handwerk, kunt maken. Maar zelfs in die gevallen zal de productietijd aanzienlijk korter zijn, en het leereffect mogelijk vergelijkbaar. De onderzoekers hebben ook alleen gekeken of lerenden de inhoud op korte termijn hebben onthouden, en niet of zij de inhoud (op langere termijn) kunnen toepassen.

Ik had overigens verwacht dat lerenden de video’s, die zonder AI-tools zijn gemaakt, hoger zouden waarderen dan nu het geval is. Het is knap dat je in korte tijd dergelijke video’s kunt maken. Maar de spreker komt wel erg onnatuurlijk over. Uiteraard is deze technologie, zoals gezegd, sterk in ontwikkeling.

In de toekomst zal de kwaliteit van dergelijke met behulp van AI gemaakte video’s, aanmerkelijk beter zijn. Ik verwacht dat een substantieel lagere productietijd dan zwaarder zal wegen dan een hogere waardering van door mensen gemaakte video’s, als de leerresultaten vergelijkbaar zijn.

Andere bronnen over generatieve AI

Mijn bronnen over (generatieve) artificiële intelligentie

Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.

This content is published under the Attribution 3.0 Unported license.

Geef een reactie