Tolmácskesztyű | dsd.sztaki.hu

Teljes név:	Tolmácskesztyű
Kezdet:	2012. 09. 01.
Lezárás:	2014. 08. 31.
Résztvevők:	MTA SZTAKI Euronet Magyarország Informatikai Zrt.

A Tolmácskesztyű projekt célja egy olyan segédeszközt alkotni, mellyel a beszéd- és halláskárosult emberek kézmozgást, gesztusokat használva képesek a mindennapi életben kapcsolatot teremteni ép embertársaikkal. A kifejlesztett segédeszköz egy innovatív hardver-szoftver rendszer, amely egy kézmozgást érzékelő kesztyűből és a kézjeleket felismerő és nyelvi feldolgozást végző szoftverből áll. A Tolmácskesztyű eszközrendszer jelnyelvi szinkrontolmácsként működik, segítségével a fogyatékkal élők anyanyelvükön - vagyis jelnyelven - kommunikálhatnak az épekkel. A Tolmácskesztyű a jelelt szöveget hangosan felolvassa, így a sérültek és a (jelnyelvet nem ismerő) épek között folytonos kommunikáció jön létre.

A siketnéma emberek kommunikációs lehetőségeit nagymértékben bővíti az eszköz. Ők jelenleg hosszas és nehézkes magyarázkodással tudják megértetni szándékukat, vagy kénytelenek jelnyelvi tolmács segítségére támaszkodni. A Tolmácskesztyű azonban jelentősen előmozdítja társadalmi integrációjukat, mivel az eszköz által képesek magukat megértetni a jelnyelvet nem ismerőkkel és olyan mindennapi helyzeteket megoldani, amelyek korábban - fogyatékosságuk okán - önállóan leküzdhetetlen akadályt jelentettek. Üzletben, piacon való vásárlástól kezdve a banki ügyintézésen át az oktatásban való részvételig számos kaput nyit meg számukra a Tolmácskesztyű. Ezen felül az eszköz jelentősen előmozdíthatja a beszéd- és halláskárosult emberek munkavállalási lehetőségeit is.

A Tolmácskesztyű hardver prototípusa lélegző elasztikus anyagból készült, ergonomikus tervezésének köszönhetően az elektronika és a szenzorok nem zavarják viselőjét, ezzel biztosítva a problémamentes mindennapos használatot. A kesztyűn tizenkét darab kilenc-tengelyes integrált mozgáskövető szenzor található, a vezérlőegységhez vezeték nélküli kommunikációs egységet illesztettünk. Az integrált szenzorokban egy-egy háromtengelyű gyorsulásmérő, háromtengelyű giroszkóp és háromtengelyű magnetométer található. Bár önállóan a szenzorok egyike sem képes a térbeli helyzetet stabilan meghatározni, azonban együtt megbízhatóan használhatók az abszolút 3D orientáció azonosítására. Ehhez jelfúziós algoritmusokat használunk, melyek kiszámítják a kesztyűre rögzített szenzormodulok pontos elfordulását (yaw), lehajlási szögét (pitch) és billenési szögét (roll). Ebből szenzorpáronként kiszámoljuk a relatív szögeket, melyből megkapjuk az ízületek behajlítottságát. A kesztyű firmware ezen 3D szögek használatával megalkotja a kézfej digitális mását, melyet speciális gesztusleírókként reprezentál. A felhasználó mobiltelefonjára csatlakozva a kesztyű folyamatosan küldi a gesztusleírókból álló adatfolyamot, melyen a mobilapplikáció összetett magasszintű számítási feladatokat hajt végre.

Az általunk létrehozott gesztusleíró nyelv szemantikája az általános emberi biomechanikus jellemzőket tartalmazza, ugyanakkor igazodik a kesztyű hardver speciális igényeihez is. Egy Hagdil leíró (Hand Gesture DescrIption Language) tárolja az emberi kéz minden lényeges anatómiai jellemzőjét: a kéz ujjainak párhuzamos és merőleges relatív helyzetét a tenyérhez viszonyítva, az ujjpercek behajlítottságát, valamint a csukló helyzetét és a kézfej abszolút orientációját. A Hagdil-t a felhasználói kéz gesztusainak kódolására használjuk, ezeket a mobileszköznek folyamatosan közvetítve az applikáció megfelelő információt kap a kézfej aktuális helyzetéről és állapotáról.

A mobilapplikáció feldolgozza a mozgásérzékelő kesztyűtől érkező Hagdil gesztusleírók jelsorozatát, melyet érthető szöveggé alakít és hangosan felolvas. Ezen automatikus jeltolmács szoftverünk logikája két fő algoritmusból áll: az adatfolyam intelligens szegmentációjából és egy automatikus szövegjavító algoritmusból. Mindkét algoritmus illeszkedik a kesztyű egyedi hardveres tulajdonságaihoz, a specifikált Hagdil szemantikához és a generált leírósorozat tipikus jellemzőihez.

Olyan kisegítő technológiát fejlesztünk, amely összetett hardver-szoftver megoldásként a hátrányos helyzetű embereket segíti.

Betűszegmentálás céljából több lehetőséget megvizsgáltunk. A jelelt betűátmenetek megtalálására, vagyis a legjobb minőségű Hagdil leírók beazonosítására a következő algoritmusokat teszteltük: egyszerű Hagdil hasonlóság- és ismétlés-alapú, valamint csúszóablakos algoritmusok, szegmentálás ismeretlen leírók, ismert átmenetek alapján valamint a kézfej és az ujjak kinetikai jellemzői alapján. A szegmentálás eredményeképpen létrehozott nyers szöveg még tartalmazza a felhasználó pontatlan jeleléséből és a hardver specialitásából eredő helyesírási hibákat. Az automatikus szövegjavító algoritmus ezt a nyers szöveget dolgozza fel és helyesbíti. Érthető szavakat és mondatokat formál, így a szöveg már egy beszédszintetizátor által hangosan felolvasható. Mivel a megvizsgált kész helyesírás-ellenőrzők nem képesek megoldani ezt a bonyolult feladatot, kifejlesztettünk egy saját automatikus szövegjavító algoritmust amelyben a Levenshtein távolságszámítást kiegészítve többek közt n-gram statisztikákat és konfúziós (confusion) mátrix hasonlósági metrikát is alkalmazunk.

Munkánk során számos kihívással találkozunk, hiszen nem csupán hardver és szoftverkomponensek együttműködésével foglalkozunk: olyan kisegítő technológiát fejlesztünk, amely összetett hardver-szoftver megoldásként a hátrányos helyzetű embereket segíti. Már a fejlesztés legkorábbi szakaszában bevontunk siket és beszédkárosult embereket a tesztelési és véleményezési folyamatokba. Tapasztalataikból és észrevételeikből sokat tanultunk, ez nagymértékben befolyásolta munkánkat és a fejlesztés irányát is. Mivel speciális igényű felhasználókat szeretnénk támogatni, biztosítjuk a szoftver magasszintű testreszabhatóságát is. A Tolmácskesztyű segédeszköz minél szélesebb körű elterjesztése érdekében az alkalmazást közzé tesszük a legelterjedtebb mobilplatformokon: Androidon, iOS-en és Windows Phone 8-on is.

A kesztyűben a Daktil ábécét és egyedi gesztusokat jelelhetünk, melyet a szoftveres feldolgozás szöveggé alakít és hangosan felolvas.

Bár az eszköz eredetileg a siket emberek mindennapjait hivatott támogatni, a fejlesztés során számos más fogyatékkal élő közösség (beszédsérültek, testi fogyatékkal élők vagy stroke utáni rehabilitáción résztvevők) segítésére is alkalmasnak találjuk. Ezen új felhasználói igények feltárása és kiszolgálása jövőbeni projektjeink feladata.

Kiállítások

Sajtómegjelenések

A Tolmácskesztyű projekt az MTA SZTAKI és az Euronet Zrt. konzorcium együttműködésében valósul meg.

SZTAKI - Department of Distributed Systems

Jelenlegi hely

Kiállítások

Sajtómegjelenések