Tijdschrift voor Hoger Onderwijs

De digitale informatiesystemen, leerplatformen en -tools die in toenemende mate worden ingezet in het hoger onderwijs leveren vaak een schat aan informatie op. Mits een doordacht en kritisch gebruik kunnen deze data belangrijke inzichten generen in situ over o.a. leer- en participatiegedrag van studenten in digitale leeromgevingen of feedbackprocessen van docenten, en ook ingezet worden voor het ontwerp van leeromgevingen en het monitoren van onderwijskwaliteit of voorspellen van studierendement. Het actief gebruik maken van deze data in functie van het begrijpen en optimaliseren van onderwijsleeromgevingen, onderwijskwaliteit en -rendement wordt ook vaak geduid onder de koepelterm Learning Analytics (LA). In de bijdragen in dit themanummer wordt la nooit als doel op zich beschouwd, maar wel als een belangrijk middel om de complexiteit van het bevorderen van leren en presteren in het hoger onderwijs te begrijpen en hieruit doelgerichte acties uit af te leiden. Dit vergt een kritische houding ten aanzien van het gebruik van la op de werkvloer en de nodige onderzoekcompetenties om met deze toenemende maar ook vaak complexe datastroom en de verwerking ervan om te gaan.

Learning Analytics (LA) zijn begaan met het gebruik van data om het leerproces van studenten te begrijpen, hun leeromgeving te
optimaliseren of door data-geïnformeerde innovatie mogelijk te maken. Kwalitatieve dashboards zijn cruciaal om deze doelen te bereiken. Het praktijkgericht wetenschappelijk onderzoek lap! tracht op een door onderzoek geïnformeerde manier dashboards voor verschillende gebruikersgroepen te ontwikkelen en gebruikt daarbijeducational design research als raamwerk. Deze bijdrage illustreert de analyse- en exploratiefase in dit project. Hierin werd onderzoek opgezet naar de inhoud, structuur, lay-out en relevantie van deze dashboards aan de hand van drie acties: een literatuurverkenning; een gebruikersonderzoek bij studenten, lesgevers en opleidingshoofden; en een databankanalyse die met behulp van machine learning naging welke beschikbare variabelen een voorspellende kracht hebben op studiesucces. Verder werd ook de juridische en wettelijke basis van de verwerking van persoonsgegevens in de dashboards in kaart gebracht en geëvalueerd via een Data Protection Impact Assessment (DPIA). De resultaten van de drie onderzoeksacties inzake de selectie van variabelen zijn niet steeds eenduidig, maar bieden wel voldoende houvast voor de ontwikkeling van een prototype voor een generiek dashboard. Via cycli van ontwikkeling, implementatie en testen zal dit prototype worden verfijnd en worden aangepast aan de noden van verschillende gebruikersgroepen

In het hoger onderwijs wordt veelvuldig gebruik gemaakt van elektronische portfolio’s of e-portfolio’s. In deze bijdrage onderzoeken we of e-portfolios, aangevuld met learning analytics, gebruikt kunnen worden als een middel om de kwaliteit van feedback en formatieve beoordeling op de werkplek te verbeteren. We baseren deze bijdrage op een Europees project, genaamd WatchMe dat gericht was op het verbeteren van de kwaliteit van feedback in e-portfolios door middel van het toevoegen van learning analytics. De ontwikkeling van het e-portfolio aangevuld met learning analytics bestond uit een iteratief co-design met verschillende stakeholders, dat geordend kan worden volgens de fasen van het ontwerpen van assessments volgens Mislevy et al. (2012): (1) domeinmodel, (2)
taakmodel, (3) bewijsmodel, (4) presentatie. Vervolgens werd een evaluatiestudie uitgevoerd, gericht op de motivatie van studenten in
een lerarenopleiding in Nederland (n = 66), hun ervaringen en het gebruik van het e-portfolio. De resultaten tonen dat studenten gemotiveerd waren en de verkregen feedback van hun supervisoren als positief waardeerden. Ze varieerden in hoeverre ze de learning analytics functies in hun e-portfolios gebruikten. De conclusie luidt dat learning analytics verbonden met e-portfolios nog in de kinderschoenen staat en dat een gezamenlijke ontwikkeling en implementatie vanuit gebruikers perspectief cruciaal is.

In deze bijdrage beschrijven we de invoering en het gebruik van learning analytics als het sluitstuk van een ontwikkelproces waarin de
transitie van voortgezet naar hoger onderwijs, het adresseren van kennisdeficiënties in die transitie, het gebruik van digitale leer- en oefenplatforms, hybride instructievormen en intensieve formatieve toetsing, alle stadia zijn die dat ontwikkelproces definiëren. Betoogd zal worden dat het niet enkel vanuit dit perspectief van een natuurlijke ontwikkeling is dat bovengenoemde factoren beschreven worden, maar dat ze vooral als noodzakelijke voorwaarden voor de toepassing van learning analytics gezien moeten worden. Learning analytics benodigt idealiter rijke data die het leerproces van de individuele student tot in detail documenteert en inzicht geeft in de leerbenaderingen die studenten toepassen. Met die rijke data kan learning analytics uitgroeien tot een waardevolle bron van leerfeedback voor de student zowel als aanknopingspunten bieden voor cursusherontwerp. Zonder die rijke data is het primair de digitale variant van een studievoortgangsregistratiesysteem.

Deze discussiebijdrage heeft als doel een kritisch constructief perspectief te bieden op het onderzoek, de ontwikkeling en het gebruik van Learning Analytics. Hiertoe plaats ik de verschillende bijdrages in dit themanummer in een breder kader en breng deze in verband met evoluties binnen het Learning Analytics domein. Eigen onderzoeks- en implementatie-ervaringen, die zich situeren in de eerste jaren van het universitair onderwijs, verrijken het perspectief en geven aanleiding tot een kritisch constructieve blik op niet enkel de bijdrages in deze uitgave, maar ook het Learning Analytics domein en de onderzoekers en ontwikkelaars die hierbinnen actief zijn. Op deze manier tracht ik enige houvast te bieden aan welwillende onderzoekers, onderwijsontwikkelaars, onderwijsondersteuners, gebruikers, onderwijsdirecteurs, opleidingshoofden of managers die Learning Analytics willen inzetten als een ondersteunend instrument binnen een breder onderwijs- en begeleidingskader.