Met de slimme mouw van HART begrijp je elke vreemde taal

Studententeam HART heeft draagbare apparatuur in de vorm van een slimme mouw ontwikkeld die tekst – in welke taal dan ook – kan omzetten in trillingen. Via deze trillingen is het mogelijk om elke vreemde taal te begrijpen, aldus de Technische Universiteit Eindhoven (TU/e) in een persbericht. Het team presenteert morgen de innovatieve toepassing aan een aantal medestudenten op de TU/e-campus. Innovation Origins berichtte al eerder over dit project van studententeam HART.

Het is zover bekend de eerste keer dat een mouw met trilmotoren wordt ingezet om te communiceren. De studenten hebben hiervoor een ‘triltaal’ doorontwikkeld, die is gebaseerd op de 39 verschillende klanken die de Engelse taal machtig is.

Een computerprogramma zet geschreven tekst om in het Engels en vervolgens in klankeenheden, die op hun beurt worden omgezet in trillingen. Elke klank heeft zijn eigen trilling. De trillingen die een gebruiker via de mouw op zijn of haar arm voelt, vormen samen woorden en zinnen.

Leren interpreteren

Teamlid Lisa Overdevest (student Industrial Engineering) heeft de eigen ontworpen triltaal in een maand leren interpreteren door elke twee dagen een uur te oefenen. Daardoor is zij nu in staat om via trillingen iemand te begrijpen. Ze kan dus letterlijk op gevoel met mensen communiceren. HART hoopt dat mensen hierdoor alle talen op dezelfde manier kunnen waarnemen op een non-invasieve manier, zodat er meer begrip voor elkaar ontstaat.

Het studententeam – bestaande uit 17 studenten van verschillende faculteiten – werkte een jaar aan de productie van de mouw en wil de innovatieve toepassing in de toekomst door ontwikkelen. Nu kunnen gebruikers geschreven taal voelen en begrijpen. Maar volgens HART moet het in de nabije toekomst mogelijk zijn om gesproken taal direct om te zetten naar trillingen. Hiervoor moet kunstmatige intelligentie (AI) in het ontwerp worden geïntegreerd. Daar is HART nu mee bezig. Daarnaast wil het team de trilapparatuur direct in kleding inbouwen.

Als het team HART lukt om gesproken taal om te zetten naar trillingen, is dat goed nieuws voor dove mensen. Zij kunnen dan al voelende met iemand een gesprek voeren waarbij de gesprekspartner niet in het zicht hoeft te staan, wat bij liplezen of gebarentaal wel het geval is. Als een doof persoon de triltaal onder de knie heeft, zou hij of zij bovendien eenvoudig met iedereen kunnen communiceren, ongeacht of de gesprekspartner gebarentaal beheerst. Simpelweg praten is dan voldoende.

Nieuwe zintuigen downloaden

Uiteindelijk wil het studententeam nieuwe menselijke zintuigen creëren of bestaande verbeteren, wat de essentie is van human augmentation. In dit geval gaat het om spraak, maar ook beelden of geuren behoren in de toekomst tot de mogelijkheden. Grote doel is om een online platform te creëren waar mensen als het ware nieuwe zintuigen kunnen downloaden. Bijvoorbeeld om een smartphone op een geheel nieuwe manier te gebruiken.

Superhelden

“Nu besturen we onze mobiele telefoon slechts met onze vingertoppen. Stel dat je andere delen van je lichaam kan gebruiken om gemakkelijker informatie tot je te nemen, bijvoorbeeld via trillingen op je huid. De mogelijkheden zijn eindeloos”, verduidelijkt Mariia Turchina, de oprichtster van het studententeam. Ze haalde haar inspiratie onder meer uit films waarin superhelden met bovenmenselijke eigenschappen de hoofdrol spelen.

Deze mogelijkheden zijn volgens haar eindeloos omdat hersenen zelf niets horen, zien of voelen, maar enkel elektrochemische signalen ontvangen. “Als iemand een nieuwe taal leert, maakt het niet uit waar de signalen vandaan komen. Dit kunnen signalen via je oren of ogen zijn, maar ook deze trillingen. Dat maakt voor de hersenen niet uit en zorgt er dus voor dat mensen een taal kunnen leren door te voelen.”

Onthulling

De onthulling van de slimme mouw vindt plaats op 26 november in het Auditorium op de TU/e campus (van 12:30 uur tot 13:30 uur). Door de coronamaatregelen is het mogelijk om 75 mensen live te ontvangen. Er zal een online livestream zijn voor iedereen die niet op de campus aanwezig kan zijn, aanmelden kan via teamhart.nl/showcase.

Updates worden gegeven op de LinkedIn-pagina van HART.

Foto: Studententeam Hart heeft draagbare apparatuur in de vorm van een mouw ontwikkeld die gesproken tekst – in welke taal dan ook – kan omzetten in trillingen. Via deze sleeve is het niet alleen voor dove mensen mogelijk om al voelende met iemand een gesprek te voeren, ook kan de uitvinding in de toekomst dienst doen als (simultaan)vertaler.