AIDA-project: resultaten en toepassingen voorgesteld

13 februari 2023 - David Van Waeyenberghe

Het AIDA-consortium onderzocht op basis van partnerschappen met industriële en academische spelers e-assessment-toepassingen in het onderwijs, inclusief een AI-ondersteuningscomponent. Concreet zocht het project een manier om AI te gebruiken bij het opstellen van (examen)vragen.

Hoe kan artificiële intelligentie leraren helpen bij het opstellen van oefeningen en toetsen? Bij elke nieuwe toepassing die de jongste maanden uit de grond schiet, duiken er meteen uitdagingen op. Zo is het moeilijk om gepersonaliseerde vragen te maken met de juiste moeilijkheidsgraad. Ook de user adoption voor zowel docenten als studenten is niet altijd even simpel. Voilà, het kader voor een groot onderzoek was gemaakt. Het AIDA-project pakte de vraagstukken aan via onderzoek naar e-learning, e-assessment, natuurlijke taalverwerking en transparante AI-modellen.

Innovatiedoelen

De onderzoekers van het AIDA-project van imec.icon, dat liep van oktober 2020 tot eind vorig jaar, stelden de resultaten maandag voor tijdens het slotevent. Schoolit kreeg even voordien de gelegenheid om te praten met onderzoeker Thomas Demeester (UGent/imec) en Cedric Koslowski (Digitale Methode). We wilden graag weten wat enerzijds het onderzoek heeft uitgewezen en anderzijds hoe die bevindingen in de praktijk kunnen bijdragen aan een betere leeromgeving.

De evolutie in AI gaat razendsnel. Daarom koos het project voor enkele haalbare innovatiedoelen. “De focus lag op vier doelstellingen”, zegt Cédric Koslowski van Digitale Methode. Het platform integreerde de toepassingen om die te testen bij leerkrachten. “Die doelen waren AI-ondersteunde vraagstelling, AI-gestuurde e-learningpersonalisatie, verhoogde user adoption en het genereren van inzichten voor niet-technische gebruikers zoals leerkrachten.”

Consortium van industriële en academische partners

Partners uit zowel de academische als industriële wereld hebben hun medewerking verleend. Het consortium bestond uit drie industriële partijen: Digitale Methode, Televic Education (assessmentQ)  en Cumul.io. Vanuit de academische wereld verleenden de onderzoeksgroep Augment van KU Leuven en de groep tekst-to-knowledge (IDLab) UGent hun medewerking. Beide universiteiten legden een verschillende focus op het onderzoek.

Van zodra de onderzoekers een theoretisch model ontwikkelden, moest dat uiteraard ook in de praktijk worden uitgetest. Daar speelde Digitale Methode zijn rol in. “We hebben een netwerk van 200 scholen die met ons werken en voornamelijk digitaal bezig zijn”, gaat Cedric Koslowski verder. “Daarnaast hebben we gewerkt met Smart Education. Dat is een extensie van icon en daardoor konden we de school ZAVO betrekken. Het was een behoorlijk intensief traject dat liep over heel 2022 en werd gedragen vanuit de directie.”

Verschillende focus

“De focus van de groep in Leuven lag op in welke mate het gebruik van AI-tools door niet-gespecialiseerde personen zoals leerkrachten mogelijk was”, zegt onderzoeker Thomas Demeester. De professor natuurlijke taalverwerking en machinaal leren aan de UGent werkte vanuit imec mee aan het onderzoek. “Belangrijk was om het vertrouwen in de, niet altijd onfeilbare, technologie te vergroten. Daarnaast lag de doelstelling op het ontwikkelen van gebruiksvriendelijke user interfaces. Een leerkracht is geen data-analist en wil op een begrijpelijke manier zaken visualiseren.”

Voor de Gentse groep lag de nadruk enigszins anders. “Ons doel was om de gebruikerservaring met AI-tools te verbeteren en om inzichten te krijgen via focusgroepen met experten uit alle geledingen van het onderwijs”, gaat professor Demeester verder. “We wilden weten welke toepassingen we nu al, automatisch of semi-automatisch, we nu al kunnen maken. De focus lag niet op het maken van een assistent-professor want daar heb je geen controle over en het is ook ethisch moeilijk. Maar wel om tools te maken met dezelfde kwaliteit van output, op een efficiëntere manier.”

Meerdere modellen

“Televic, een partner in het onderzoek, leverde heel veel data aan in de vorm van vragen. Dat waren gewone en multiple choice-vragen die ze door de jaren heen hebben verzameld over uiteenlopende onderwerpen”, zegt professor Demeester. De onderzoekers hebben uiteindelijk twee modellen opgesteld en getest. “Er was één zeer generiek model dat vragen opstelde uit cursusboeken, teksten, enzovoort. Het ging om zeer eenvoudige vragen die peilden naar de kennis en of iemand een tekst wel had gelezen.”

Het nadeel van het eerste model was dat het niet precies genoeg was om de vragen in een commerciële omgeving te gebruiken. “Om die reden maakten we een tweede model, dat veel specifieker peilde naar afleiders in multiple choice-vragen. Die taak ‘zoek afleiders die geschikt zijn voor een gegeven vraag’ is een veel nauwere taak. Het is niet altijd accuraat maar kan de leerkracht wel inspireren. Het is ondertussen een AI-powered feature geworden die draait in software.”

ChatGPT

Het voorbije jaar is er één van AI-evolutie, zeg maar AI-revolutie. De ontwikkelingen van bedrijven zoals OpenAI hebben ook mee het onderzoek gestuurd. “We moeten het benoemen zoals het is. De tweede taak, het zoeken van afleiders, is accurater met GPT-3 en bovendien kan je hiermee verklaringen vragen. Voor gebruik binnen Televic is ons model absoluut bruikbaar maar voor een meer gestructureerde aanpak is het commerciële aanbod dat er nu is wel beter”, zegt professor Demeester.

De onderzoekers kregen nog een derde taak mee: het maken van een model dat grammaticale oefeningen genereert. “Hiervoor hebben we specifiek ingezet op Frans en Engels, op aangeven van de leerkrachten zelf. Het model maakt oefeningen op basis van een door de leerkracht ingevoerde tekst. We hebben dat model gebenchmarkt tegen de nieuwe GPT-modellen en het blijkt dat ons model beter is. Dat komt door de heel specifieke, objectieve en afgelijnde taak.”

Voor de leerkrachten was deze taak misschien wel de meest nuttige van allemaal. “We kregen heel veel feedback over hoe gemakkelijk het is om een tekst van pakweg de website van BBC te plukken en er in geen tijd een volwaardige grammatica-oefening mee te maken”, vult Cedric Koslowski aan. Aan wat moet goede AI-ondersteuning voldoen voor leerkrachten?  Het moet tijdswinst opleveren, betrouwbaar en quasi feilloos zijn en het moet een uniek voordeel meedragen.”

Afsluiten onderzoek is geen eindpunt

De resultaten van het onderzoek zijn bekend en verschillende toepassingen zijn geïntegreerd in AI-gedreven systemen. Ondanks de storm ChatGPT evalueren beide heren het project bijzonder positief. “Een icon-onderzoek is nooit een afgewerkt product”, zegt Cedric Koslowski. “Het mag soms ook falen en je komt niet aan de eindmeet met een afgewerkt, commercieel product. Vanuit Digitale Methode hebben we veel kennis opgedaan over AI en data. Zo hebben we meer metadata kunnen toevoegen en hebben we onze data beter kunnen structureren. We zijn slimmer geworden.”

“Voor ons uit de academische wereld komt er nog een tweede aspect bij kijken. We kunnen bij dit onderzoek nu doctoraatsstudenten betrekken”, gaat professor Demeester verder. “Met de gegevens gaan we aan de slag om nog dieper te werken. Niet alleen om een bepaalde oefening te maken uit een tekst, maar er meteen uit te kunnen afleiden over welke werkwoordtijden het gaat, om maar iets te noemen. Voor ons stopt het onderzoek niet.”

Slotevent met Nanda Piersma

Op maandag stelde het consortium de resultaten voor tijdens een slotevent. De organisatie koos voor een informatief en interactief programma. De Nederlandse AI-expert Nanda Piersma (lector Responsible IT en Wetenschappelijk directeur expertisecentrum Applied AI) had het in de keynote over de rol van intelligente technologie. Daarnaast sprak de professor over de beperkingen zoals downtijd, reality checks, etc en het verantwoord gebruik van digitale systemen. Het spreekt voor zich dat ook een hoofdstuk ChatGPT niet kon ontbreken.

In het tweede deel, na de voorstelling van de resultaten en de bevindingen van de verschillende partners, kregen de deelnemers de kans om zelf aan de slag te gaan. De onderzoekers gaven meer uitleg bij wat we hierboven hebben neergepend. Tijdens drie break-out sessies kregen de aanwezigen meer inzichten in learning analytics van Digitale Methode, Augment van KU Leuven en IDLab/Televic.

Conclusies en valkuilen

“We kunnen concluderen dat data en transparantie onmiskenbaar nog belangrijker zullen worden”, aldus professor Thomas Demeester en Cedric Koslowski. “Stap voor stap zullen nieuwe bevindingen worden geïmplementeerd. Ze passen ook in andere onderzoeken van imec, zoals i-Learn. Allemaal dienen ze hetzelfde doel en dat is het ondersteunen en verbeteren van het onderwijs. En daarbij moeten we oppassen dat niet alleen het begrip ‘onthouden’ maar ook ‘begrijpen’ voldoende aandacht krijgt.”

“Er blijft op dat vlak nog veel werk liggen. Hoe kan je AI gebruiken om een leerkracht te ondersteunen op vlak van inzichtsvragen. Wat kan AI doen om te vermijden dat dezelfde leerkracht tot diep in de nacht feedback geeft op de antwoorden van al zijn leerlingen, net omdat elk antwoord verschillend is. Daar liggen nog veel uitdagingen, want op dit moment is AI eigenlijk alleen betrouwbaar voor zaken die voor leerkrachten als ‘bandwerk’ kunnen worden beschouwd. Dat is een belangrijke nuance om mee te nemen in het verdere verhaal.”