Wordt het effect van generatieve AI op de productiviteit overschat?

In mijn dagelijks werk merk ik dat een toepassing als ChatGPT mij best wat werk uit handen neemt. Dit is echter anekdotisch bewijsmateriaal. In Is GenAI’s Impact on Productivity Overblown? plaatsen Ben Waber en Nathanael J. Fast kanttekeningen bij de opvatting dat generatieve AI zal leiden tot een hogere productiviteit.

DALL-E: An image depicting a researcher analyzing the effectiveness of AI and video on educational outcomes.

Adviesbureaus als McKinsey en Nielsen hebben volgens Waber en Fast hoge verwachtingen van deze technologie. Zij voorspellen aanzienlijke winsttoenames en verbeteringen in werknemersproductiviteit. Waber en Fast stellen echter dat je voorzichtig moet zijn met het organisatiebreed integreren van large language models (LLM’s) in bedrijfsprocessen, maar eerst moet experimenteren. De impact van deze technologie heeft namelijk vooral betrekking op taakniveau en niet op prestaties van de organisatie.

Onderzoek bij een callcenter liet bijvoorbeeld zien dat LLM’s de gemiddelde tijd voor voltooiing van een gesprek met 14% verbeterden. Toch was er een daling in prestaties bij hun beste medewerkers. Ander onderzoek toonde aan dat sprake was van grotere productiviteitswinst bij taken die goed afgedekt werden door bestaande modellen, maar dat sprake was van productiviteitsverlies bij taken waarbij LLM’s zwakke datadekking hadden of complexe redenering vereisten.

De auteurs stellen dat we nog weinig weten van mogelijke gevolgen van het introduceren van nieuwe producten, of de mogelijkheid dat er verloop ontstaat onder experts wiens werk wordt gebruikt om deze systemen te trainen. Zonder een meer diepgaande en langetermijnanalyse, stellen zij, biedt het bekijken van specifieke taakgegevens weinig inzicht de werkelijke impact van een dergelijke nieuwe technologie op de algehele prestaties van een bedrijf.

Het artikel belicht ook de problemen met betrekking tot de productie van overtuigende onwaarheden door LLM’s en de mogelijke negatieve langetermijneffecten op werknemers en interne processen. Een ander punt van zorg is de versterking van vooroordelen door LLM’s. Dit kan ook economische effecten en een gebrek aan diversiteit en inclusie binnen organisaties tot gevolg hebben. Denk aan hogere personeelsverloop en beperkingen in ideeënvorming.

LLM’s kunnen volgens de auteurs ook teveel op zichzelf gaan vertrouwen en kunnen daardoor in kwaliteit afnemen (‘model collapse‘). Bovendien is er een grens aan de hoeveelheid tekst die gebruikt kan worden voor training, wat verdere verbeteringen in de prestaties van deze modellen belemmert.

Waber en Fast pleiten voor een langetermijnperspectief op de effecten van LLM’s, waarbij rekening wordt gehouden met de gevolgen van onnauwkeurige output op systeemniveau. Ze benadrukken het belang van een holistische en longitudinale evaluatie om de ware impact van LLM’s op de prestaties van een bedrijf te begrijpen.

LLM’s kunnen nuttig zijn voor bepaalde taken. Toch zouden organisaties voorzichtig moeten zijn met het integreren van deze technologie in elke taak en functie. De organisatieleiding zou zich volgens de auteurs bewust moeten zijn van de specifieke toepassingen waar LLM’s effectief en betrouwbaar zijn. Dit vereist volgens hen een duidelijk begrip van de beperkingen en risico’s van LLM’s en een strategische benadering van hun implementatie om potentiële productiviteitsverliezen te vermijden.

Mijn opmerkingen

Mijn persoonlijke ervaring, dat generatieve AI, mij werk uit handen neemt, heeft ook vooral betrekking op taakniveau. Bovendien laat eerder onderzoek zien dat generatieve AI sterk is in het uitvoeren van bepaalde taken (zoals brainstormen), maar niet in andere taken (synthese maken van verschillende teksten). Bovendien is deze technologische ontwikkeling sterk aan verandering onderhevig, waarbij we nog veel niet weten. Dat pleit ook voor een prudente aanpak.

Andere bronnen over generatieve AI

Ik wil ook een aantal links van bijdragen met jullie delen die ik niet ga bespreken. De lancering van GPT Teams en GPT Store spelen daarbij een prominente rol.:

Mijn bronnen over (generatieve) artificiële intelligentie

Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.

This content is published under the Attribution 3.0 Unported license.

Geef een reactie