Hoe AI helpt gebarentalen in kaart te brengen
Net als gesproken talen ontwikkelen gebarentalen zich organisch en hebben niet altijd dezelfde oorsprong. Dit levert verschillende manieren van communicatie en annotatie op. Manolis Fragkiadakis schreef er zijn promotieonderzoek over.
‘Hoewel veel mensen ervan uitgaan, bestaat er géén universele gebarentaal.’ Dit is het eerste wat Fragkiadakis zegt, wanneer ik hem naar zijn onderzoek vraag. ‘Gebarentaal kan zelfs gefragmenteerder zijn dan gesproken taal: er kan sprake zijn van meerdere talen in hetzelfde land. Door de fragmentatie is het lastig gebarentaal te codificeren of er academisch over te schrijven. Daar willen we verandering in brengen.’
Achterstallige technologie
‘We hebben daarom een programma voor het maken van woordenboeken van gebarentalen gecreëerd', legt Fragkiadakis uit. ‘Hiervoor maken we gebruik van machine learning , een vorm van AI. Door de positie en bewegingen van de gewrichten in de gebarende handen te analyseren, moet het systeem identificeren welk woord uit welke taal er gebaard wordt.’
Dat bleek niet zonder slag of stoot te gaan. ‘De technologische ontwikkelingen van de afgelopen jaren zijn nog niet compatibel met gebarentaal. Zodoende gaat het nog langzaam', vertelt Fragkiadakis. ‘De large language models die we nu al hebben zijn slechts getraind op één gebarentaal en in het gros van het videomateriaal dat daarvoor wordt gebruikt, zie je de spreker recht voor de camera staan, waardoor de gebaren het beste te zien zijn. In mijn onderzoek hebben we de AI getraind op zowel meerdere gebarentalen, als meerdere sprekers. Hiervoor werd de camera tussen twee sprekers in gepositioneerd en moest de AI dus uit een andere positie dezelfde informatie weten te halen.’
Voor nu heeft deze techniek er vooral voor gezorgd dat er meer informatie over verschillende gebarentalen bekend is, maar voor de toekomst voorziet Fragkiadakis ook praktische toepassingen binnen de gebarentaalgemeenschap. ‘In de toekomst zou AI kunnen helpen bij het herkennen van zowel de overeenkomsten als de verschillen tussen verschillende gebarentalen, om zo de communicatie tussen gebruikers te bevorderen.’
Ontwikkeling
Daarnaast is het volgens Fragkiadakis nuttig dat door zijn onderzoek de verschillen tussen de gebarentalen beter in kaart zijn gebracht. Hoe speelt cultuur bijvoorbeeld een rol? ‘Ik ben Grieks, en zodoende gebruik ik veel ruimte om te gebaren', zegt Fragkiadakis, ‘hierdoor kan de betekenis van wat ik wil zeggen veranderen. Grotere gebaren kunnen bijvoorbeeld signaleren dat iemand ‘schreeuwt’, maar dat hoeft niet zo te zijn.’
Uiteindelijk moet deze kennis leiden tot een betere toegankelijkheid van gebarentaal. ‘De hoop is dat we met dit onderzoek gebarentaal toegankelijker weten te maken voor iedereen, van de academici tot de alledaagse sprekers. Er is nog te weinig kennis over de kenmerken van de verschillende gebarentalen, en daar willen we verandering in brengen.'