Nederlandse Gebarentaal leren via je camera, terwijl een AI-model meekijkt en direct feedback geeft op je handgebaren. Studenten van Breda University of Applied Sciences (BUas) hebben in twee weken tijd werkende prototypes ontwikkeld voor een leerplatform dat dit mogelijk moet maken.
Het platform richt zich op het leren van Nederlandse Gebarentaal, ook wel NGT, met speciale aandacht voor vingerspelling. Gebruikers kunnen via een camera oefenen met het handalfabet, namen spellen of woorden maken die geen eigen gebaar hebben. De AI analyseert vervolgens of het gebaar goed wordt uitgevoerd en kan feedback geven op de positie van de vingers. Daarmee gaat het platform verder dan een gewone video of online cursus. Je kijkt niet alleen hoe een gebaar moet, je oefent actief en krijgt meteen terugkoppeling.
Een interactief alternatief voor statisch lesmateriaal
De opdracht kwam van Nienke Fluitman van Gebaren.nl, gecertificeerd docent Nederlandse Gebarentaal en ondernemer op het gebied van inclusiviteit en toegankelijkheid. Zij ziet dat er online nog weinig interactief lesmateriaal beschikbaar is voor mensen die NGT willen leren.
Juist daar kan AI een verschil maken. Een platform dat via de camera meekijkt, kan gebruikers helpen om preciezer te oefenen. Niet door alleen te zeggen of iets goed of fout is, maar door te laten zien wáár het misgaat. Staat een vinger verkeerd? Is de handvorm niet duidelijk genoeg? Wordt een letter niet goed herkend? Dat soort feedback maakt oefenen veel persoonlijker. “Ik gaf deze studenten een uitdaging: kunnen jullie een model bouwen dat mensen helpt het handalfabet te leren, met echte feedback?”, vertelt Nienke. “Het resultaat was verbluffend. Ze bouwden een model dat realtime feedback geeft op individuele vingers bij het maken van een letter.”
Zo werkt het AI-platform voor Nederlandse Gebarentaal
Voor het herkennen van handgebaren gebruikten de studenten verschillende AI-technieken, waaronder actieherkenning, landmarkdetectie en dynamic time warping. Simpel gezegd leert het systeem om de positie en beweging van handen en vingers te herkennen en te vergelijken met het juiste gebaar.
Bij vingerspelling is dat extra belangrijk. Kleine verschillen in vingerstand kunnen bepalen welke letter iemand maakt. Een AI-platform moet dus niet alleen een hand zien, maar ook begrijpen hoe de vingers staan ten opzichte van elkaar.
Om het systeem te trainen, maakten de studenten hun eigen dataset. Ze fotografeerden elkaar terwijl ze de letters van het handalfabet maakten. Zo kon het model leren hoe verschillende handvormen eruitzien en hoe die herkend kunnen worden.
--- Sidenote: Wil je ons vaker zien als je googelt? ---
Voeg TechGirl toe als jouw voorkeursbron en kom ons meer tegen in Google zoekresultaten!
Het resultaat: prototypes van apps waarin gebruikers kunnen oefenen met gebaren en direct feedback krijgen. Sommige studententeams voegden ook gamification toe, zodat leren speelser wordt. Denk aan oefeningen, scores of game-elementen die gebruikers motiveren om door te blijven oefenen.
Oefenen, oefenen, oefenen
Een sterk punt van het platform is dat het leren minder afhankelijk maakt van één vast lesmoment. Gebarentaal leer je door veel te oefenen, maar niet iedereen heeft altijd iemand in de buurt die feedback kan geven. Een AI-platform kan dan functioneren als een oefenpartner. Je opent de app, zet je camera aan en oefent letters, namen of woorden. Het systeem kijkt mee en helpt je stap voor stap beter te worden.
Dat maakt het platform interessant voor beginners die het handalfabet willen leren, maar ook voor scholen, organisaties of bedrijven die toegankelijker willen communiceren. Zeker nu Nederlandse Gebarentaal sinds 2021 officieel erkend is als taal in Nederland, groeit de aandacht voor inclusieve communicatie.
Meer dan een technisch experiment
Hoewel het platform nog uit prototypes bestaat, laat het project goed zien hoe AI concreet kan bijdragen aan toegankelijkheid. Hier draait AI niet om sneller teksten schrijven of plaatjes maken, maar om communicatie tussen mensen makkelijker maken.
Ook voor de studenten zelf had het project impact. Ze leerden niet alleen werken met computer vision en machine learning, maar ook het handalfabet zelf. Student Khaled vertelt: “Ik had een dove vriend op de middelbare school en wilde altijd gebarentaal leren. Deze challenge was mijn kans en ik heb het alfabet echt geleerd.” Student Timur ontdekte hoe complex gebarenherkenning technisch kan zijn. “Handgebaren herkennen lijkt eenvoudig voor een mens, maar bleek best ingewikkeld om te implementeren.”
Van prototype naar leerplatform
De prototypes werden gebouwd tijdens de End of the Block Challenges van BUas. In deze intensieve projecten werken studenten één tot twee weken aan echte opdrachten van bedrijven en non-profitorganisaties.
Na het succes van deze challenge organiseert BUas een vervolgweek om de ontwikkelde tools verder te verfijnen. Dat is nodig, want een goed AI-platform voor Nederlandse Gebarentaal vraagt om veel nauwkeurigheid, gebruiksvriendelijkheid en representatieve trainingsdata. De eerste stap is echter al gezet. De studenten hebben laten zien dat AI kan helpen om Nederlandse Gebarentaal interactiever, toegankelijker en leuker te maken om te leren.
