Er zijn meer dan driehonderd gebarentalen geregistreerd in de wereld. Ondanks de vooruitgang in Kunstmatige Intelligentie en taaltechnologie wordt slechts een klein aantal daarvan ondersteund door AI-tools en taaltechnologie. Om de automatische vertaling tussen gebarentalen en gesproken talen te verbeteren werkten taalkundige Mirella De Sisto, AI-specialist Dimitar Shterionov en PhD-studente Lisa Lepp aan de automatische herkenning en vertaling van gebarentaal door middel van machine learning en computationele taal. Zo kan de communicatiekloof tussen horende en dove mensen te verkleind worden.
Het onderzoek was uniek vanwege de nauwe samenwerking met de dove gemeenschap, wat een van de eerste grootschalige projecten was die een co-creatief proces hanteerden.
“Er is geen universele gebarentaal: mensen van over de hele wereld gebruiken verschillende woorden, uitdrukkingen en gebaren. Daarom zijn er net zoveel verschillen in gebarentalen als in gesproken talen. Het is pas 75 jaar geleden dat wetenschappelijke interesse in gebarentaal ontstond.”
Automatische gebarentaalherkenning (SLR) wordt tegenwoordig gebruikt in sommige toepassingen, waar gebruikers gebaren voor een camera of een video uploaden en het systeem de verschillende gebaren herkent. Bovendien zijn machinevertalingstechnieken (MT) toegepast om te vertalen tussen gebaren- en gesproken talen. Echter, SLR- of MT-tools zijn verre van optimaal.
De onderzoekers stuitten ook op andere problemen. Naast gelijktijdigheid van gebaren en uitdrukkingen is het ontbreken van een officieel geaccepteerde en breed aangenomen geschreven vorm voor gebarentalen lastig.
Lees het hele verhaal op de site van Tilburg University, of kijk op https://signon-project.eu/.
