Verzameling artikelen analyseren met Claude Projects, ChatGPT GPT en Google NotebookLM

De afgelopen tijd heb ik geëxperimenteerd met het analyseren van een groot aantal PDF-documenten met behulp van Projects van Claude, een GPT van ChatGPT en Google NotebookLM. In deze blogpost beschrijf ik mijn ervaringen. Wat zijn dit voor generatieve AI-toepassingen? Wat was mijn doel? Wat was mijn aanpak? Wat zijn mijn bevindingen? En mijn conclusies?

Wat zijn Projects van Claude, een GPT van ChatGPT en Google NotebookLM?

• Claude van Anthropic  heeft de mogelijkheden om zogenaamde Projects aan te maken. Hiermee kun je zelfstandige chatruimtes maken. In elke chatruimte kun je documenten toevoegen en met Claude interacteren. Je kunt allerlei bestanden in een project zetten, zoals teksten en code. Elk project kan volgens de samenstellers 500 pagina’s aan informatie bevatten. Zo kan Claude gerichter antwoorden geven. Bovendien kun je in elk project speciale instructies geven aan Claude (custom instructions).
• ChatGPT biedt de mogelijkheid om zogenaamde GPT’s te creëren of te gebruiken, die zijn ontwikkeld voor het uitvoeren specifieke taken, zoals het maken van samenvattingen of het genereren van afbeeldingen. Je geeft de GPT instructies over hoe de GPT zich moet gedragen. Je kunt bijvoorbeeld ook bestanden uploaden naar een GPT en de GPT de opdracht geven de gegenereerde output uitsluitend te baseren op deze standaarden.
• Google NotebookLM is ontworpen om interacties te bieden met behulp van content door context te begrijpen en continuïteit in dialogen te handhaven. Je uploadt daarbij een set aan documenten. Vervolgens kun je vragen stellen over die set aan documenten. Als resultaat krijg je dan antwoorden die uitsluitend gebaseerd zijn op de inhoud van die documenten. Google NotebookLM geeft daarbij ook bronvermeldingen. De gegenereerde notities kun je vervolgens vastpinnen.

Wat was mijn doel?

In december van dit jaar neem ik voor de 20ste keer deel aan de Online Educa. De conferentie zelf bestaat 30 jaar. Alle twintig keer heb ik over de OEB geblogd. Met als resultaat 333 blogposts (inclusief voorbeschouwingen, oproepen om mee te eten en aankondigingen van call for proposals). Ik wil -waarschijnlijk ook tijdens het congres- hierop terugblikken. Uiteraard is het een heidens karwei om alle blogposts door te nemen en te analyseren. Met behulp van generatieve AI kan dat uiteraard slimmer en efficiënter. Ik wilde hier ervaring mee opdoen en kijken welke van de drie toepassingen mij het beste hierbij kan ondersteunen.

Wat was mijn aanpak?

Ik heb de 333 blogposts gescand en ongeveer 220 blogposts opgeslagen als PDF. Dus niet de call for proposals, de oproepen voor etentjes en andere minder inhoudelijke bijdragen. In totaal gaat het om 166 MB aan documenten. Het aantal pagina’s heb ik niet geteld. Het zijn er meer dan 1000. De informatie is publiek toegankelijk, en niet vertrouwelijk van aard. Binnen Claude heb ik een apart project aangemaakt, binnen ChatGPT een speciale GPT samengesteld en binnen Google NotebookLM heb ik een specifiek notebook aangemaakt.

Vervolgens heb ik geprobeerd om alle losse PDF bestanden te uploaden naar Claude’s geupload. Dat was in alle drie de gevallen te veel van het goede. Daarom heb ik een verdere selectie gemaakt van de meest belangrijke bestanden. Dat waren er 34 (met name samenvattende terugblikken). Binnen Claude heb ik bovendien een apart Project aangemaakt waar ik de bestanden van het Online Educa Debat heb geplaatst.
Gisteren las ik een bericht over het samenvoegen van PDF-bestanden. Ik heb daarop de ongeveer 220 PDF-bestanden gegroepeerd op jaar, en samengevoegd. De samengevoegde bestanden heb ik toen opnieuw geupload naar de drie applicaties. Bij ChatGPT en Google NotebookLM lukte dat. Bij Claude niet (328% of knowledge size used).

Er zijn ongetwijfeld handigere manieren om blogposts te laten ‘lezen’ door generatieve AI. Ik wilde echter bewust gebruik maken van redelijk toegankelijke taalmodellen. Ik beschik over onvoldoende kennis om mijn blog bijvoorbeeld via een API te koppelen met ChatGPT. En ik ben niet gemotiveerd om me daar uitgebreid in te verdiepen.

Claude (betaald)

Ik heb binnen Claude twee projecten aangemaakt. Eén over de OEB in het algemeen met de 34 PDF-documenten, één over het OEB Debat (verslagen per debat in de jaren 2009 en 2011 t/m 2023; in 2009 vond het eerste debat plaats).
Ik heb bij het algemene OEB-Project de volgende custom instruction gegeven (voor het OEB Debat heb ik die toegespitst op het debat):
Je bent journalist van een tijdschrift voor docenten en L&D-professionals. Je staat bekend om je vermogen om het meest gedetailleerde inzicht te presenteren aan een breed publiek dat door iedereen begrepen kan worden. Je gaat een analyse maken van de Online Educa. Dit is een omvangrijke, gerenommeerde, internationale conferentie over online en blended learning. Je beschikt over bronnen van de periode 2003 t/m 2023. Elke bron is voorzien van een datum. Schrijf in het Nederlands, niveau B2. Gebruik de term ‘lerende’ als in de bronnen gesproken wordt van een ‘student’ en gebruik ‘docent’ als in de bronnen gesproken wordt over een ’teacher’ of ‘instructor’. Zorg ervoor dat de tekst logisch, eenvoudig en goed gestructureerd is en vermijd oppervlakkig schrijven, en algemeenheden. De stijl moet informatief en boeiend zijn, met een sterke focus op het uitleggen van complexe concepten in toegankelijke taal. Houd rekening met culturele en taalkundige eigenheden van Nederland zoals directheid, en een pragmatische, nuchtere en realistische toon.
Ik heb Claude 3.5 Sonnet gebruikt voor het stellen van vragen.

ChatGPT (betaald)

Ik heb een GPT aangemaakt op basis van dezelfde instructie als bij Claude. Zoals gezegd heb ik eerst gewerkt met een beperkte set aan documenten, later met alle samengevoegde PDF-bestanden. Ik heb GPT 4-o gebruikt voor het stellen van vragen.

Google NotebookLM (gratis, experimentele versie)

Ik heb in eerste instantie een notebook aangemaakt met de 34 documenten, daarna een notebook met alle samengevoegde PDF-bestanden. Ik heb de custom instruction gebruikt, met daarna de vragen.

Gebruikte vragen/opdrachten

Ik heb diverse vragen/opdrachten gebruikt, zoals:

1. Wat kun je zeggen over het aantal deelnemers aan de Online Educa Berlijn in de periode 2003 t/m 2023?
2. De Online Educa heeft elk jaar een thema. Maak een overzicht van de thema’s voor de periode 2003-2023 (voor zover bekend).
3. Wat waren de thema’s van het Online Educa Debate dat sinds 2009 wordt gehouden?
4. Maak een overzicht van de belangrijkste technologische trends die tijdens de Online Educa zijn gepresenteerd in de periode 2003 t/m 2023.
5. Tijdens de Online Educa wordt regelmatig over de waarde van diploma’s gesproken. Schrijf een samenvatting over de standpunten die tijdens de Online Educa hierover zijn ingenomen. Geef ook aan door wie een standpunt is ingenomen en in wel jaar.
6. Tijdens de Online Educa wordt het bestaande onderwijssysteem regelmatig bekritiseerd. Wat zijn de belangrijkste kritiekpunten die door de jaren heen zijn genoemd?
7. Schrijf een kort essay van maximaal 800 woorden over hoe tijdens de Online Educa in de periode 2003-2023 gesproken is over gepersonaliseerd leren. Geef ook aan welke spreker hierover op welke manier sprak en geen aan wanneer voor het eerst tijdens de Online Educa over gepersonaliseerd leren gesproken werd.
8. Geef een puntsgewijs overzicht in de vorm van een ongenummerde lijst van maximaal 400 woorden over hoe tijdens de Online Educa in de periode 2003-2023 gesproken is over de gevolgen van kunstmatige oftewel artificiële intelligentie op leren, opleiden en onderwijs. Geef ook aan welke spreker hierover op welke manier sprak en geef aan in welk jaar voor het eerst tijdens de Online Educa over kunstmatige oftewel artificiële intelligentie gesproken werd.

Wat zijn mijn bevindingen?

De meeste tijd heb ik geïnvesteerd in het selecteren en als PDF-bestand opslaan van de bronnen. Bij het uploaden van veel bestanden tegelijkertijd ging vaker wat mis. Het aanmaken van de Projects, de GPT en het notebook verliep soepel.

Claude

De opdrachten/vragen leiden tot bruikbare en goede omschrijvingen. Claude beantwoordt de vraag over het deelnemers bijvoorbeeld correct. De vraag over de thema’s van het Online Educa Debat heb ik gesteld in een apart Project met daarin alle verslagen van de debatten. Het antwoord was van goede kwaliteit.

Toch zijn de antwoorden van Claude niet altijd volledig. Bijvoorbeeld bij de standpunten. Dat kan uiteraard komen omdat ChatGPT en Google NotebookLM over veel meer inhoud beschikken. Claude geeft geen verwijzingen naar specifieke bronnen. Wel als je er naar vraagt. Ik heb vervolgens in de custom instructions opgenomen dat Claude bronvermeldingen moest opnemen. Desalniettemin deed Claude dat niet.

ChatGPT

De output van ChatGPT is behoorlijk goed als het gaat om de vragen naar kritiekpunten, standpunten of de prompt met betrekking tot het essay. Toch zie je dat Claude soms met aanvullende argumenten komt. ChatGPT heeft veel moeite met de vraag naar het aantal deelnemers en de vragen over thema’s. ChatGPT geeft bijvoorbeeld bij de vraag over gepersonaliseerd leren en bij de vraag over AI ook een periodisering aan, die m.i. niet volledig klopt. Daarbij maakt het niets uit of ChatGPT zich baseert op de beperkte set van 34 documenten over over de samengevoegde PDF-bestanden.  ChatGPT geeft geen verwijzingen naar specifieke bronnen. Als je er specifiek om vraagt, dan omschrijft ChatGPT de bronnen. Ik heb vervolgens in de instructie opgenomen dat ChatGPT bronvermeldingen moest opnemen. Tevergeefs.

Google NotebookLM

Google NotebookLM produceert bij de beperkte set aan data redelijke resultaten. Bij de samengestelde bestanden is vaker sprake van meer algemene informatie. Soms is de output ook niet correct. Bijvoorbeeld als je vraagt naar de thema’s van de OEB dan krijg je een overzicht met belangrijke onderwerpen die zijn besproken. De inhoud is correct, maar geen antwoord op de vraag. De vraag over de aantallen deelnemers had Google NotebookLM wel weer juist. Een sterk punt is uiteraard de verwijzing naar bronnen.

Mijn conclusies

Projects van Claude presteert m.i. bij deze taak het beste. Ik heb Claude niet kunnen betrappen op onjuiste informatie. De onvolledige informatie kan het resultaat zijn van het beperkt aantal bronnen, in vergelijking met de andere twee toepassingen. Hopelijk kan ik op termijn meer bronnen uploaden naar Claude, zonder dat dit ten koste gaat van de kwaliteit. Het is jammer dat je bij Claude steeds expliciet moet vragen naar bronvermeldingen, al geeft Claude die uiteindelijk wel.

De GPT van ChatGPT presteert minder goed dan Claude, met name bij vragen naar feiten. De bronvermeldingen zijn niet goed, zelfs niet als je er expliciet naar vraagt. ChatGPT kan Claude wel inhoudelijk aanvullen.

Google NotebookLM lijkt vooral moeite te hebben met de samengestelde PDF-documenten. Wellicht is het format daarbij van invloed. Uiteraard moet je er ook rekening mee houden dat Google NotebookLM een experimentele toepassing is, en ‘gratis’ te gebruiken. Het sterke punt van de bronvermeldingen heb ik al genoemd.

Ondanks dat het voorbereiden van de werkzaamheden -het gereedmaken en uploaden van bestanden- veel tijd heeft gekost, besparen de AI-tools mij veel werk bij het maken van een analyse van mijn blogposts over de Online Educa in de periode 2003-2023. Ik zal daarbij starten met Claude. De andere tools gebruik ik als aanvulling.

Ik ontvang graag tips ter verbetering (ook als het gaat om toegankelijke maar meer efficiënte technologische oplossingen).

Andere bronnen over generatieve AI

1. Barend legt uit – Prompt Engineering
2. De Versplintering van Onze Consensusrealiteit door Nieuwe Technologie
3. Introducing Gen-3 Alpha – Runway ML
4. Annemieke Bosshardt en Anouk Holzken: De Persoonlijke AI Studiecoach van Saxion
5. Video De Persoonlijke AI Studiecoach van Saxion
6. New Innovators Dilemma: Fostering Young Talent in the Age of AI
7. The Vital Difference Between Machine Learning and Generative AI – Bernard Marr
8. AI is Speeding Up L&D, But Are We Losing the Learning?
9. AI Models That Cost $1 Billion to Train Are in Development, $100 Billion Models Coming Soon
10. Generative AI and Preparing for a Shift to Skills-Based Hiring
11. How Guardrails Allow Enterprises to Deploy Safe, Effective AI
12. ChatGPT Forces Universities to Adapt or Retreat – Forbes
13. TUAW: Unofficial Apple Tech Blog
14. Moshi

Mijn bronnen over (generatieve) artificiële intelligentie

Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.

This content is published under the Attribution 3.0 Unported license.