Vijfendertigste bloemlezing over ChatGPT (en aanverwante technologieën)

Er is binnen een week weer veel geschreven over en gebeurd ten aanzien van generatieve AI-toepassingen. Elon Musk heeft bijvoorbeeld ‘Grok’ aangekondigd, als een concurrent van ChatGPT, Google Bard of Claude. In Nederland gaat onder meer SURF aan de slag met het ontwikkelen van een eigen taalmodel. Er heeft zelfs een heuse wereldtop over AI plaatsgevonden. En op 6 november j.l. heeft OpenAI een aantal belangrijke veranderingen rond ChatGPT aangekondigd, met de nodige potentie voor leren, opleiden en onderwijs.

DALL-E: Een L&D professional waarbij de stoom uit de oren komt van alle generatieve AI-ontwikkelingen

Ontwikkelingen rond ChatGPT

De afgelopen week heeft OpenAI inzicht gegeven in een groot aantal ontwikkelingen met betrekking tot hun generatieve AI-oplossingen. De eerste ontwikkeling is die van de op maat gemaakte versies van ChatGPT, genaamd GPT’s. Gebruikers kunnen zelf op maat gemaakte chatbots maken voor specifieke doeleinden. Deze kunnen volgens OpenAI bijvoorbeeld helpen bij het leren van de regels van een bordspel, bij het onderwijzen van wiskunde aan kinderen of bij het ontwerpen van stickers. Het bouwen van een eigen GPT vereist geen programmeerkennis en kan zowel voor persoonlijk gebruik, intern binnen een bedrijf of voor het grote publiek zijn.

GPT’s zijn ontworpen om ChatGPT te personaliseren voor specifieke taken en behoeften, waarbij de gemeenschap van gebruikers volgesn OpenAI de meest innovatieve toepassingen zal ontwikkelen. Aan het eind van de maand lanceert OpenAI ook de GPT Store, waar gebruikers hun GPT’s kunnen delen. Ontwikkelaars van GPT’s kunnen hier ook geld mee verdienen. Bij het ontwikkelen van GPT’s is volgens de samenstellers rekening gehouden met privacy en veiligheid. Gebruikers behouden controle over hun gegevens, en chats met GPT’s worden niet gedeeld met de makers. Ook zijn er nieuwe systemen opgezet om GPT’s te toetsen aan gebruiksrichtlijnen om schadelijke GPT’s te voorkomen.

Het is de bedoeling van OpenAI dat GPT’s steeds nuttiger en slimmer worden, en uiteindelijk in staat zijn om echte taken in de echte wereld te volbrengen. Bedrijven kunnen bovendien ChatGPT Enterprise gebruiken, waarmee interne GPT’s kunnen worden ingezet voor specifieke bedrijfsdoeleinden. Zo kunnen ze bijvoorbeeld helpen bij het opstellen van marketingmateriaal of ondersteuning bieden aan klantenservicemedewerkers. Nota bene: Ethan Mollick laat zien hoe je GPT’s voor leren, opleiden en onderwijs kunt inzetten, met name voor het geven van feedback op schrijven.

OpenAI heeft ook andere ontwikkelingen aangekondigd, behalve de GPT’s. ChatGPT Plus is bijvoorbeeld gebruiksvriendelijker gemaakt door informatie bij te werken tot april 2023 en door het modelkeuzeproces te vereenvoudigen. Gebruikers hoeven niet langer tussen modellen -zoals DALL-E of Bing- te schakelen. Ook is het nu mogelijk om bestanden te koppelen zodat ChatGPT PDF’s en andere documenttypen kan doorzoeken.

Daarnaast heeft OpenAI een nieuwe, verbeterde versie van GPT-4, de ‘GPT-4 Turbo’, aangekondigd die in staat is een grotere hoeveelheid tekst te verwerken (tot meer dan 300 pagina’s) tegen een lagere kostprijs. Ook is er een nieuwe ‘Assistants API’ gelanceerd, die ontwikkelaars helpt om AI-gestuurde applicaties te bouwen. De API ondersteunt nu tools zoals een ‘Code Interpreter’ en ‘Retrieval’, waarmee assistenten toegang hebben tot externe informatiebronnen en eigen functies kunnen uitvoeren binnen de berichten die zij genereren.

Naast GPT-4 Turbo is er ook een update voor GPT-3.5 Turbo, die nu een grotere context kan verwerken en ook verbeterde instructies en function calling ondersteunt.

Bovendien introduceert OpenAI nieuwe multimodale mogelijkheden binnen haar platform, waaronder beeldherkenning en -creatie met ‘DALL·E 3’, en tekst-naar-spraak-functies. Met deze nieuwe functies kunnen ontwikkelaars bijvoorbeeld beelden analyseren en beschrijvingen genereren of menselijke spraak produceren uit tekst.

Voor diegenen die zich bezighouden met maatwerk, biedt OpenAI een ‘Custom Models’-programma aan, waar organisaties samen met OpenAI-onderzoekers specifiek voor hun domein getrainde GPT-4-modellen kunnen ontwikkelen.

Verder verlaagt OpenAI de prijzen voor het gebruik van tokens (niet de abonnementsprijs) en verhoogt het de snelheidslimieten voor tokengebruik. Daarnaast introduceert OpenAI de ‘Copyright Shield’ om klanten te beschermen tegen auteursrechtclaims en de ‘Whisper large-v3’, een verbeterde spraakherkenningsmodel dat betere prestaties levert over verschillende talen.

De nieuwe features worden geleidelijk beschikbaar gesteld aan klanten van OpenAI.

Bronnen:

Bakhtin (1895-1975) dialogics, learning and AI

Mikhail Bakhtin zag taal voornamelijk als een dialoog. Donald Clark beschrijft hoe Bakhtin dit principe toepast op leren. Volgens Bakhtin ontstaat leren uit sociale interacties: tussen docenten en lerenden, lerenden onderling, maar ook met het verleden. Bakhtins introduceert dialogisme als tegenhanger van de Westerse ‘monologische’ traditie. In dit licht wordt taal, en dus leren, gevormd door dialoog.

Bakhtin introduceert drie identiteitsvormen: I-voor-Mijzelf, I-voor-de-Ander, en Ander-voor-Mij. Clark licht toe dat Bakhtin de I-voor-Mijzelf als onbetrouwbaar ziet. Identiteit wordt rijker door de blik van de ander. In een tijdperk van sociale media en technologie vindt dan een soortgelijke dialoog plaats, die onze identiteit medevormt.

Deze dialoog komt tot uiting in ‘heteroglossia’, het blootstaan aan diverse stemmen en perspectieven. Clark brengt dit in verband met het leren van en door verschillende invloeden zoals ouders, docenten, en sociale media. Hij onderscheidt ‘Autoritatief Discours’, waarbij onwrikbare kennis vanuit cultuur en traditie wordt overgebracht, en ‘Intern Overtuigend Discours’, waarbij de lerende dialoog voert met bestaande kennis om eigen betekenis te construeren.

Bakhtin beschouwde ook het ‘carnavaleske’ als bevrijdend element in literatuur en onderwijs. Clark ziet parallellen in onderwijsstrategieën die traditionele hiërarchieën doorbreken en lerenden uitdagen.

De komst van AI en gesprekssystemen biedt volgens Clark nieuwe vormen van dialoog. Waar traditioneel onderwijs van technologie een ‘waarheidsmachine’ wil maken, kan AI volgens Clark weleens bijdragen aan leren als dialoog, in lijn met Bakhtin’s visie.

Bakhtin beïnvloedt volgens Clark onderwijsdenkers die leren zien als een sociaal, dialogisch proces en pleiten voor participatieve, op de lerende gerichte benaderingen. Clark suggereert dat op Bakhtins ideeën geïnspireerde docenten de nadruk leggen op discussie, debat en dialoog als kern van leren, en streven naar omgevingen waar de inbreng van lerenden gewaardeerd worden in de collectieve kennisconstructie. Overigens vermoed ik dat veel docenten nog nooit van Mikhail Bakhtin hebben gehoord (ik tenminste tot nu toe nog niet).

Op de wereldtop over AI werden de verkeerde vragen gesteld. Want het echte probleem van AI is niet AI

Volgens hoogleraar Reijer Passchier is het echte probleem van AI dat de beschikkingsmacht over deze technologie vooral in handen is van enkele zeer grote commerciële ondernemingen, en daarbinnen bovendien slechts van enkele ceo’s of grootaandeelhouders. Hij stelt dat het eigendomsrecht, dat twee eeuwen geleden ontstond, de weg heeft vrijgemaakt voor individuen om een exclusieve controle over technologie te verwerven. Door de introductie van de kapitaalvennootschap rond 1860, waarbij bedrijven zelfstandige rechtspersonen werden, is de macht over technologie verder geconcentreerd.

Passchier illustreert dat met de opkomst van dominant geworden megaondernemingen in de Westerse wereld, zoals de olie-, auto- en wapenindustrie. Hoewel staten theoretisch deze megaondernemingen konden reguleren, bleek dit in de praktijk moeilijk door verschillende factoren, waaronder lobbywerk en een afhankelijkheid van banen. Met de globalisering van de wereldeconomie nam de macht van multinationals toe, omdat zij regels konden ontwijken door hun operaties internationaal te verplaatsen.

In het digitale tijdperk, schrijft Passchier, versnelt de concentratie van technologische macht bij een paar grote ondernemingen door netwerkeffecten. Wie AI heeft, ontwikkelt het verder, verzamelt meer data, en trekt meer gebruikers aan. Dit leidt tot een ‘winner takes all’-scenario en een toenemende maatschappelijke ongelijkheid. Megaondernemingen, die al mobiel zijn, kunnen door digitale technologie regelgeving nog gemakkelijker ontwijken en staten uitbuiten voor fiscale voordelen.

Volgens Passchier ontstaat afhankelijkheid van deze bedrijven die het beschermen van het algemeen belang compliceert. De onevenwichtige technologische machtsverhoudingen maken dat specifieke techregulering vaak averechts werkt; grote bedrijven kunnen regels omzeilen of manipuleren, terwijl kleinere spelers en staten die macht niet hebben.

Passchier concludeert dat AI een herziening van het rechtssysteem vereist. Dit is volgens hem een langetermijnproject. Op de korte termijn moet de afhankelijkheid van de grootste techbedrijven en hun AI verminderen. Zolang overheden en samenlevingen afhankelijk zijn van enkele commerciële giganten, kan AI niet ten goede komen aan de hele gemeenschap.

A Vision of the Future of Online Learning in the Age of AI

De inhoud van het rapport “Insight Papers: A Vision of the Future of Online Learning in the Age of AI” van het Canadese Contact North bestaat uit dertien hoofdstukken die elk een ander aspect van online leren en AI behandelen:

Advances in Technology (over technologische ontwikkelingen die van invloed zijn op online leren).
Advances in Algorithms (ontwikkelingen op het gebied van algoritmes en hoe deze leren beïnvloeden).
Interaction and Conferencing (interactie en live online leren).
Remote and Distance Learning (afstandsonderwijs en de implicaties ervan).
Learning Environments (ontwikkelingen op het gebied van leeromgevingen).
Personalized Learning (gepersonaliseerd leren en de technologie die dit ondersteunt).
Learning Communities (leren in gemeenschappen).
Community Support (ondersteuning van en door gebruikers).
Assessment and Recognition (beoordeling en erkenning in het onderwijs, vooral in een online context).
Ownership and Identity (eigendom en identiteit in de context van online leren).
Learning Technology and Future Pedagogy (ontwikkelingen op het gebied van leertechnologie en didactiek).
The Economics of Online Learning (economische aspecten van online leren).
The Future (afsluitende vooruitblik op de toekomst van online leren en de mogelijke ontwikkelingen).

Onderzoekers van de New York University en de Universiteit Pompeu Fabra in Spanje hebben een nieuwe techniek ontwikkeld om neurale netwerken, zoals ChatGPT, te verbeteren in het maken van zogenaamde compositionele generalisaties. Deze techniek, bekend als Meta-learning for Compositionality (MLC), draagt er aan bij dat neurale netwerken door oefening beter kunnen worden in het generaliseren van concepten. De bevindingen zijn gepubliceerd in het tijdschrift Nature. ScienceDaily schrijft erover.

De discussie of kunstmatige neurale netwerken mensachtige generalisaties kunnen maken, duurt volgens ScienceDaily al meer dan 35 jaar. Er is lange tijd gehoopt dat dergelijke generalisaties vanzelf zouden ontstaan uit standaard trainingsmethoden, of dat ze bereikt konden worden door speciaal ontworpen architecturen. De ontwikkelingen op het gebied van MLC laten zien dat door expliciet oefenen deze systemen nieuwe vaardigheden kunnen ontwikkelen.

In het onderzoek werd MLC getest met een reeks ‘edities’ waarin het nieuwe woorden leerde en deze compositioneel moest gebruiken, zoals het vormen van nieuwe woordcombinaties met het woord “jump”. Vervolgens werd het getest en verbeterde het de vaardigheden met elke nieuwe editie.

Het gebruik van MLC is vergeleken met menselijke deelnemers die identieke taken moesten uitvoeren als de machine. Hierbij moesten zowel de menselijke deelnemers als MLC de betekenis van onzinnige termen leren en toepassen in verschillende contexten. MLC presteerde even goed als, en soms beter dan, de proefpersonen van vlees en bloed en overtrof ook ChatGPT en GPT-4, die moeite hadden met deze leeropgave.

Volgens de onderzoekers laat het onderzoek zien dat MLC de compositionele vaardigheden van grote taalmodellen verder kan verbeteren. Er is wellicht sprake van een significante stap in de richting van neurale netwerken die complexe menselijke denkprocessen kunnen nabootsen. Dit kan in potentie tot verbeterde prestaties in natuurlijke taalverwerking en spraakherkenningstechnologieën.

LinkedIn cursus generatieve AI

In deze cursus behandelt generatieve AI-expert Pinar Seyhan Demirdag de basisprincipes van generatieve AI, met onderwerpen als wat het is, hoe het werkt, hoe je je eigen content kunt maken, verschillende soorten modellen, toekomstvoorspellingen en ethische implicaties. Ik ben benieuwd wanneer de laatste ontwikkelingen hierin verwerkt zijn.

Andere bronnen over ChatGPT (geen tijd om kort te beschrijven of Nederlandstalig)

Mijn bronnen over (generatieve) artificiële intelligentie

Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.

This content is published under the Attribution 3.0 Unported license.

Geef een reactie