Generatieve AI en beoordelen: mogelijkheden en beperkingen (bespreking onderzoekspaper)

Onderzoekers van een aantal Britse universiteiten hebben een analyse gemaakt van de prestaties van ChatGPT en -toen nog- Google Bard bij het beoordelen van bèta/technische vakken. Het doel was om de potentiële impact op het leren en de ontwikkeling van studenten te begrijpen. Het onderzoek laat zien waar generatieve AI goed in is, en waar niet in. Aan het eind van deze bijdrage vind je weer diverse links naar artikelen over generatieve AI.

An image depicting a researcher analyzing the effectiveness of AI and video on educational outcomes.
DALL-E: An image depicting a researcher analyzing the effectiveness of AI and video on educational outcomes.

De onderzoekers hebben drie casestudies rond beoordelingen uitgevoerd op de vakgebieden data analytics, data science en constructiemanagement. Daarbij hebben zij ChatGPT 4 en Google Bard opdrachten laten maken. Op basis hiervan concluderen zij dat generatieve AI (GenAI) variërend presteert bij deze verschillende disciplines.

De resultaten van twee case studies laten zien dat deze GenAI-tools goed presteren op het gebied van communicatie, vakinhoudelijke kennis, probleemoplossend vermogen, analytisch denken en discipline-afhankelijk kritisch denken. De onderzoekers benadrukken dat deze vaardigheden van groot belang zijn en dat wordt beoogd deze vaardigheden te meten door de beoordelingen.Op het gebied van data analytics, data science zijn deze tools bijzonder effectief, mede dankzij de beschikbaarheid van onder meer publiek beschikbare open leermiddelen waar de taalmodellen onder meer mee zijn getraind. De tools genereren daarom relevante en hoofdzakelijk accurate content zonder dat mensen daar veel aan hoeven te doen.

Op het gebied van constructiemanagement zijn echter minder online leermaterialen beschikbaar, waar de taalmodellen mee getraind zijn, worstelen de tools met complexe denkvaardigheden. De onderzoekers stellen dan uiteraard dat het type en de hoeveelheid trainingsdata waarover de AI-systemen beschikken, hun effectiviteit sterk beïnvloeden.

De onderzoekers schrijven eveneens dat onethisch gebruik van GenAI-tools de ontwikkeling vaardigheden om te leren en inzetbaar te zijn kan beperken, vooral op vakgebieden als data analytics en data science. De onderzoekers veronderstellen dat lerenden de leerstof niet meer verwerken als zij GenAI-tools kunnen gebruiken bij beoordelingen. De accuratesse van de oplossingen die deze systemen bieden kunnen volgens de onderzoekers de kritische denkvaardigheden van studenten ondermijnen. De mogelijkheden van GenAI-tools bij beoordelen zijn ook afhankelijk van de aard van de beoordelingen. Meer projectgebaseerde assessments vormen grotere uitdagingen voor deze tools.

De onderzoekers benadrukken ook het belang van verder onderzoek in andere disciplines om de generaliseerbaarheid van het gebruik van deze tools bij beoordelen te verbeteren. Ze adviseren dringend dat docenten de beoordelingsinstrumenten herontwerpen met het oog op de mogelijkheden die studenten hebben om informatie uit GenAI-tools te genereren.

De onderzoekers formuleren tenslotte ook aanbevelingen. Het onderwijs zou haast moeten maken met de integratie van GenAI-systemen en academische AI-contentdetectoren binnen applicaties voor plagiaatdetectie. Dit is nodig omdat bestaande AI-contentdetectoren nog in ontwikkeling zijn en moeite hebben om consistent AI-gegenereerde content te onderscheiden van door mensen geschreven teksten. Docenten moeten zich vertrouwd maken met GenAI-systemen en authentieke assessments te ontwerpen die het ongeoorloofd gebruik van AI-oplossingen door studenten voorkomen. Dit kan volgens de auteurs onder meer door beoordelingen contextueel te ontwerpen en presentaties te gebruiken als bewijs van leeruitkomsten. Bovendien raden zij aan om reflectieve benaderingen van leren bij beoordelingen te gebruiken. Studenten reflecteren dan kritisch op de AI-output.

Als het gaat om betrokkenheid van studenten adviseren zij het gebruik van GenAI-systemen als interactief hulpmiddel tijdens onderwijssessies. Dit kan bijvoorbeeld door studenten samen te laten werken in groepsopdrachten waarbij ze AI-oplossingen vergelijken met case studies of door hen AI-gegenereerde oplossingen te laten bekritiseren tijdens bijeenkomsten. Ook kunnen vragenbanken nuttig zijn voor snelle formatieve quizzen.

Mijn opmerkingen

Ik heb al eerder verzucht dat onderzoekers m.i. te veel kijken naar de vraag of generatieve AI-toepassingen in staat zijn zelfstandig opdrachten te maken. Je zou veel meer moeten kijken naar de combinatie van mens met AI. Het pleidooi voor kritisch herzien van de manier van beoordelen deel ik. Dat vind ik logischer dan investeren in de doorontwikkeling van plagiaatdetectie. Op dit moment zijn tools voor plagiaatdetectie onbetrouwbaar om te analyseren of teksten geschreven zijn door generatieve AI. De tools genereren immers steeds andere teksten (die je trouwens wel vaak met het blote oog herkent). Daarnaast gaan deze tools ook uit van wantrouwen. Interessant is ook de tabel waarin onderzoekers vergelijkbare onderzoeken op dit gebied presenteren.

Andere bronnen over generatieve AI

  1. ‘Human intelligence’ Abominable idea from the AI industry
  2. AI-taalmodel achter betaalde versie van ChatGPT wordt slimmer
  3. HAI AI-Index Report 2024
  4. YouTube Video Link
  5. GPT-5 Features We Want to See
  6. Cognitive Atrophy
  7. Student-Developed AI Chatbot Opens Yale Philosopher’s Works to All
  8. Using AI and Robots to Build Social Connections for All Students
  9. The Opportunities and Drawbacks of AI-Powered Reading Coaches, Assistants, and Tutors
  10. Generative AI Update for 2024
  11. How People Are Really Using GenAI
  12. AI Impact on Work: Mary Daly Interview
  13. Utrecht Legt Gebruik AI Aan Banden
  14. Deze Handige AI Tools Besparen Docenten Veel Tijd
  15. Meta AI Assistant Llama 3 – ChatGPT, OpenAI Rival
  16. AI Tools to Support Effective Teaching and Leadership
  17. Nobody knows how AI works
  18. Using AI to Enhance Universal Design for Learning
  19. Do Education Leaders Know if Edtech Tool is Likely to Work?
  20. Questioning the Future of Generative of AI
  21. Supporting Safe Teacher Exploration of AI
  22. Preparing for New AI Workforce in Higher Education
  23. How schools are implementing AI – K-12 Dive trendline
  24. What’s Off Limits From AI? Are we together on this?
  25. ChatGPT and the digitisation of writing
  26. Texas is replacing thousands of human exam graders with AI
  27. The Future of AI’s Impact on Education
  28. How AI and Humans will transform the current Education System
  29. Crafting Responsible Guidelines for Educators and Learners
  30. Defining a path to equitable AI in higher education
  31. Higher Education: The role of educators in AI integration
  32. Is early childhood education ready for AI?
  33. 4 Keys to Exploring AI in Education
  34. Microsoft Technology Solutions for Schools
  35. The End of Foreign-Language Education
  36. Rethinking information literacy in an age of AI
  37. AI in Academia (Library)
  38. Feedback Mechanisms With ChatGPT: Enhancing eLearning
  39. Assessment System is broken; and we don’t want to fix it
  40. How AI could transform the way schools test kids
  41. Where does Artificial Intelligence belong in student life?
  42. ChatGPT Prompts for Students
  43. Humans Forget. AI Assistants Will Remember Everything
  44. Facebook / Instagram: label digitally altered content ‘made with AI’
  45. How AI Transforms Blog Writing
  46. Shadow AI bigger problem than Shadow IT
  47. Using AI to implement UN sustainable development goals at HighEd
  48. Unleashing AI into the skills development ecosystem
  49. Generative AI users could be held liable for breaking copyright law
  50. 3 Work Trends – Issue 14
  51. AI is too expensive to steal some jobs

Mijn bronnen over (generatieve) artificiële intelligentie

Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.

 

This content is published under the Attribution 3.0 Unported license.

Delen

Geef een reactie

Je e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *