Gisteren (en donderdag) vond weer een editie plaats van MBO Digitaal. Dit keer georganiseerd door het Graafschap College en ROC van Twente, in de DRU te Ulft (een prachtige locatie). Hieronder vind je mijn impressie van de sessies die ik heb bijgewoond.
Voormalig schaatser, podcastmakers en IT-ondernemer Ben van der Burg mocht met een keynote de vrijdag openen. Dat was een bijzondere keynote. Heel hyper, weinig gestructureerd, druk, druk, druk, maar toch grappig. Voor de weinige jongeren in de zaal, typeerde hij zichzelf als schaatser, als iemand die net zo goed als Sven Kramer was maar die wel altijd tweede werd. Tweede is top, stelde hij. Dan heb je nog iets om naar te streven. Streef er dus naar om tweede te worden. Kern van digitalisering is volgens Van der Burg: alles wordt makkelijker. Hij schetste een beeld van veel technologische ontwikkelingen die op ons af komen, bijvoorbeeld op het gebied van (generatieve) AI. Die ontwikkelingen hebben voors- en tegens. We maken onszelf gek. We gebruiken technologie om mensen op de werkplek te monitoren om op basis daarvan in grijpen. Dat is niet gewenst.
Je kunt bij technologische vernieuwingen twee posities kezen. Enerzijds: omarmen, experimenteren en uitproberen, in veel vrijheid, meanderen. Anderzijds: terughoudend zijn, planmatig ontwikkelen, binnen duidelijke regels en ingekaderd in wetgeving. Uiteraard kun je ook een tussenpositie innemen. Digitale geletterdheid en het besef van werking van technologie zijn in elk geval volgens Van der Burg belangrijk. Maar uiteindelijk blijven unieke kenmerken van mensen: creativiteit, emotie, empathie. Technologie kan dit nooit vervangen.
Datacoalitie: datagedreven onderzoek in het mbo
Hoe kun je de vele data die we verzamelen gebruiken om studieloopbaan van studenten en kwaliteit onderwijs verbeteren? De voortijdige uitval in het MBO wisselt per opleidingsniveau, maar is erg hoog (en in tien jaar niet zo hoog geweest). In haar promotieonderzoek introduceerde Irene Eegdeman (ROC TOP) een methode waarin je dankzij studiedata studenten met de hoogste kans op uitval kunt ‘signaleren’. Op basis van tal van studiedata en meerdere variabelen (zoals vooropleidingsdata, presentie/verzuim, en opleidingsdata zoals formatieve resultaten) en met behulp van machine learning is de zogenaamde ‘uitnodigingsregel’ ontwikkeld. De methode biedt SLB’ers en mentoren een notificatiesysteem: zij zien welke studenten meer kans lopen om uit te vallen en kunnen deze studenten snel uitnodigen voor een gesprek, en andere interventies. Er wordt daarbij gekeken naar naar sensitiviteit (identificatie van uitvallers) en precisie (correct voorspelde uitvallers). Op deze manier kun je uitval voorkomen. Je kunt beter geïnformeerd beslissingen nemen. De methode biedt vooralsnog geen zicht op welke variabelen uitval voornamelijk beïnvloeden en welke interventies effectief zijn. Zes onderwijsinstellingen hebben vervolgens met achttien opleidingen een replicatieonderzoek uitgevoerd op basis van de Methode Eegdeman.
Hoeveel procent van de uitvallers heb je te pakken? En hoeveel procent van de uitgenodigde studenten is uitvaller?
Het replicatieonderzoek laat zien dat deze methode niet bij elke instelling werkt. Tussen onderwijsinstellingen blijken grote verschillen tussen sensitiviteit en precisie. Er zijn ook verschillen tussen opleidingen.
Een mogelijke reden is dat de datakwaliteit niet overal het zelfde is. Je moet meer data hebben en meer data die meer informatie geven. Je moet ook data over recentere jaren vergaren (bijvoorbeeld over vooropleiding). Werk dus aan de datakwaliteit, adviseren de betrokken onderzoekers. Wel blijkt dat naarmate je verder in het studiejaar komt, de resultaten van het model verbeteren.
Worden we geremd door privacywetgeving? Enigszins wel. We krijgen bijvoorbeeld weinig informatie over buurten waar mensen wonen. Ondanks dat we niet weten welke variabelen het meeste van invloed zijn op uitval, verwachten de onderzoekers dat presentie waarschijnlijk een belangrijke variabele. Nota bene: in de jaren negentig heeft een oud-collega van mij literatuuronderzoek gedaan naar voortijdige uitval. Daaruit bleek, als ik me goed herinner, dat verzuim een belangrijke voorspeller van uitval was.
Het is essentieel dat we weten wat we moeten weten. We moeten namelijk ook niet te veel willen weten. De onderzoekers kijken nu nog naar welke data er werkelijk toe doen, wat je dus moet registreren?
Er is ook sprake van een spanningsveld tussen data over leergedrag en privacy. Studenten kunnen ook geen toestemming geven voor het monitoren. Als zeer aannemelijk is dat bepaalde data uitval voorspellen, is waarschijnlijk sprake van een gerechtvaardigd belang om deze data te meten. Het op orde brengen van data (o.a. het organiseren van toegang) is heel belangrijk. Evenals het voeren een ethisch gesprek, onder meer met studenten, stellen de onderzoekers.
Interessante discussie: moet elke instelling eigen medewerkers hebben die in staat zijn om data te analyseren of zou je gebruik kunnen maken van een centrale voorziening die hierin voorziet? Kijk op https://datagedrevenonderzoekmbo.nl/ voor meer informatie.
Een leven lang ontwikkelen met een eigen digitale identiteit
Hoe kun je met een ‘wallet’ studenten helpen met een leven lang ontwikkelen? Koning Willem I College werkt daarbij onder meer samen met een aantal bedrijven. Kun je een infrastructuur, een open ecosysteem, realiseren voor een leven lang leren?
Een gedecentraliseerde digitale identiteit -gebaseerd op open internationale standaarden- is daarbij van groot belang. Dit lijkt op de DigiD, maar is een stuk geavanceerder en decentraler opgezet.
Een belangrijke trend daarbij is die van self-sovereign identity waarbij de lerende controle heeft over identiteit en data. Deze identiteit is ook niet aantrekkelijk om te hacken (er is slechts sprake van één gebruiker). Verder kun je deze identiteit integreren met diverse platforms van diverse instellingen en organisaties, zodat je bij die instellingen/organisaties kunt inloggen met je identiteit en geen aparte loginnaam en wachtwoord nodig hebt. Deze identiteit richt zich vaak op het vastleggen digitale credentials (van een edubadge tot een rijbewijs). Dus bijvoorbeeld van een certificaat (met informatie over degen die het certificaat heeft verstrekt, waarvoor, tegen welke prestatie, etcetera).
Dit concept past ook bij nieuwe Europese wetgeving (eIDAS 2.0), waarin self-sovereign identity principes worden geadopteerd. EU-burgers krijgen dan hun eigen Identity Wallet App. Een leven lang leren, waarin je diverse certificaten combineert, past ook bij deze trend.
Tijdens deze sessie werd ook een demonstratie gegeven van een lerende die cursus gaat volgen, en waarvan credentials worden opgeslagen. Inschrijfprocessen etcetera kunnen daardoor veel sneller verlopen. Bijvoorbeeld: dankzij je identiteit wordt bijvoorbeeld gekeken of je gerechtigd bent om een bepaalde cursus te volgen. Dat doe je door bepaalde data van je identiteit met de opleider te delen. Als je een cursus vervolgens hebt behaald dan krijg je de credential weer via een QR-code in je identiteit. Je hoeft daarbij geen mailadres of wachtwoord te delen.
Behalve het verkrijgen van een credential, kun je deze ook weer delen via de app, bijvoorbeeld via het open jobs network. Iemand die dat netwerk gebruikt om werknemers te werven, kan dan weer contact opnemen met de lerende. De lerende kan dan een profiel of CV delen. De potentiële werkgever kan daarbij aangeven welke data men nodig heeft om een sollicitatie in ontvangst te nemen. Via de app ontvang je daarna de gegevens om in te loggen bij het bedrijf waar je gaat werken. Alles in één app die werkt met QR-codes. Opvallend: er wordt geen gebruik gemaakt van blockchain technologie. Jij bewaart data op jouw smartphone. Je maakt zelf een back up via cloudcomputing.
Men gaat er ook vanuit dat je zo weinig mogelijk aan data gaat delen. Alleen data die je wilt delen.Jij bepaalt welke data je gaat delen. Jij hebt daar controle over.
Een interessante ontwikkeling, die wel lastiger is uit te leggen dan ChatGPT. Dit bemoeilijkt het adoptieproces. Het feit dat dit initiatief aansluit bij Europese wetgeving helpt wel bij de adoptie. Bekijk ook de demo.
Van onderbuik naar datagedreven werken binnen het Graafschap College
Graafschap College wil minder ad hoc werken en meer analyses maken, en ook de datakwaliteit verbeteren. Ze willen een datagedreven organisatie worden. Samen met Macaw is men het data platform onderwijs gestart, waar meerdere instellingen op zijn aangesloten. Verder vindt de overstap naar Power BI plaats. Op het gebied van data heeft men een strategisch plan geschreven (datakwaliteit, databewustzijn, professionalisering, van terugblikken naar vooruit zien). Er is ook een datateam en stuurgroep op dit gebied. Wensen en behoeften van gebruikers staan in een backlog.
Inhoud van bronbestanden zoals Afas, Xedule en Magister gaan naar het DPO. Van daaruit gaat data naar Power BI waar dashboards worden gebouwd. Macaw probeert met het DPO instellingen in staat te stellen om integrale rapportages op te stellen die medewerkers ondersteunen in het nemen van besluiten (self service). In de praktijk is namelijk geen sprake van een integrale situatie , maar vaak van silo’s waarin data worden opgeslagen.
Men onderscheidt daarbij zes thema’s zoals aanmeldingen, onderwijs (deelname, rendementen, etc) en onderwijslogistiek.
The Next School maakt via Power BI dashboards die managementinformatie beschikbaar maken. Dashboards worden echter vaak los van de praktijk ontwikkeld. Gebruikers moeten betrokken worden bij de ontwikkeling van dashboards. Ook moet je oog hebben voor de vorm van het dashboard. Er wordt vaak alleen met een groep super users gesproken. The Next School pleit ook voor het iteratief ontwikkelen van dashboards. Dus snel een werkend resultaat opleveren, dat vervolgens wordt verbeterd. Je moet daarbij ook nadenken over de belangrijkste data en over eenvoudige visualisaties. Maak mensen het ook zo makkelijk mogelijk door alle informatie op één plek te zetten. Zijn het ook grafieken waar gebruikers wat mee kunnen?
Tijdens de sessie werden ook geleerde lessen gedeeld. Het van begin tot eind verzinnen en betrekken van partners en belanghebbenden intern is van belang. De volgordelijkheid van het traject om een datagedreven organisatie te worden is ook een aandachtspunt, evenals het moment waarop je een dashboard ‘publicabel vindt’. Je kunt daarbij ook niet iedereen tevreden te stellen. Je moet op een gegeven moment keuzes maken. Datakwaliteit is een sterk aandachtspunt.
Ik heb al met al weer een prima editie van MBO Digitaal bezocht. Natuurlijk ook dankzij de diverse ontmoetingen, de goede organisatie en het op eten (dankzij eerstejaars studenten).
This content is published under the Attribution 3.0 Unported license.
Geef een reactie