Project SignON krijgt 5,6 miljoen euro financiering van de Europese Commissie. Het drie jaar-durende project ontwikkelt een app waarmee communicatie tussen horende, dove en slechthorende mensen makkelijker wordt.
Doel
Het project SignON heeft het doel om de communicatie tussen slechthorende en horende mensen in heel Europa te vergemakkelijken. Elke gesproken taal heeft een unieke gebarentaal wat communiceren extra ingewikkeld maakt. Het project focust op Ierse, Britse, Nederlandse, Vlaamse en Spaanse gebarentalen. Als gesproken talen focust het consortium zich op Iers, Engels, Nederlands en Spaans.
De app
Een van de onderzoekers die betrokken is bij het project is Dr Dimitar Shterionov van Tilburg University. Shterionov is betrokken als wetenschappelijk projectleider. “Het project is erg breed. Vanuit technologisch onderzoeksperspectief draait het vooral om herkenning, analyse en begrip van tekst, spraak en gebarentaal. De app vertaalt automatisch naar de gekozen taal met een model dat een hybride is van een deep learning en rule-based model.”
“Wanneer iets naar gebarentaal wordt vertaald, wordt dit uitgebeeld door een 3D avatar. Wanneer gebarentaal naar een gesproken taal wordt vertaald, wordt dit uitgesproken met kunstmatige spraak.” Hierbij kun je denken aan een computer stem zoals Siri.
Co-creatie
Tijdens het project wordt veel samengewerkt met doven en slechthorenden. “Communicatie met doven en slechthorenden zal de ontwikkeling van de toepassing sturen. We zullen tussentijds evalueren zodat we de feedback van deze groep kunnen verwerken.” Deze vorm van co-creatie maakt het project, volgens Shterionov, uniek. De aanpak zorgt ervoor dat de toekomstige app goed aansluit bij de gebruikersdoelgroep.
Partners
Er zijn vier Nederlandse partners betrokken bij het project. De Radboud Universiteit, de Nederlandse TaalUnie, het Instituut voor de Nederlandse Taal en Tilburg University. In totaal werken er 17 Europese partners aan het project. In het consortium zitten verschillende experts op het gebied van Natural Language Processing (NLP), Machine Learning (ML), Deep Learning (DL), Machine Translation (MT), Linguistics, Dovenstudies, onderwijs en 3D-graphics.
Ook interessant:
KitMe geeft je een seintje als je zelf niet goed horen kunt
Gerard & Anton Awardwinnaar Hable: razendsnel braille typen op je smartphone
Als je dit artikel leuk vindt, lees dan ook:
