AI Seko Pareizrakstībai Amerikāņu Zīmju Valodā

Pētnieki izstrādājuši gredzenu, kas atpazīst amerikāņu zīmju valodu

Hyunchul Lim valkā SpellRing. Foto: Louis DiPietro

Autors: Louis DiPietro

Kornela Universitātes pētnieku komanda ir izstrādājusi mākslīgo intelektu apgādātu gredzenu, kas izmanto mikrosonara tehnoloģiju, lai nepārtraukti un reāllaikā atpazītu pirkstu kustības amerikāņu zīmju valodā (ASL).

Pašreizējā versijā SpellRing var izmantot, lai ievadītu tekstu datoros vai viedtālruņos, izmantojot pirkstu pareizrakstību, ko ASL lieto, lai izteiktu vārdus bez atbilstošām zīmēm, piemēram, īpašvārdus, vārdus un tehniskos terminus. Turpinot attīstību, ierīci potenciāli varētu izmantot, lai nepārtraukti sekotu līdzi veseliem zīmju vārdiem un teikumiem.

“Daudzas citas tehnoloģijas, kas atpazīst pirkstu pareizrakstību ASL, nav pieņēmušās kurlās un nedzirdīgās kopienas, jo aparatūra ir apjomīga un nepraktiska,” sacīja Hyunchul Lim, informācijas zinātnes doktorants. “Mēs centāmies izstrādāt vienu gredzenu, kas spēj uztvert visas smalkās un sarežģītās pirkstu kustības ASL.”

Attēls no pētījuma, kas parāda SpellRing sistēmas shēmu.

SpellRing tiek valkāts uz īkšķa un aprīkots ar mikrofonu un skaļruni. Kopā tie sūta un uztver nedzirdamas skaņas viļņus, kas seko līdzi lietotāja rokas un pirkstu kustībām, kamēr mini žiroskops izseko rokas kustības. Šīs sastāvdaļas ir ievietotas 3D drukātā gredzenā un korpusā, kas nav lielāks par parasto ASL ceturtdaļdolmaņu monētu.

Pēc tam patentēts dziļā mācīšanās algoritms apstrādā sonara attēlus un paredz ASL pārrakstītos burtus reāllaikā un ar līdzīgu precizitāti kā daudzas esošās sistēmas, kurām nepieciešama vairāk aparatūras.

Izstrādātāji izvērtēja SpellRing ar 20 pieredzējušiem un iesācēju ASL lietotājiem, liekot viņiem dabiski un nepārtraukti pārrakstīt vairāk nekā 20 000 dažāda garuma vārdu. SpellRing precizitāte bija no 82% līdz 92%, atkarībā no vārdu grūtības pakāpes.

“Vienmēr pastāv plaisa starp tehniskās kopienas izstrādātājiem un mērķa kopienu, kas tos izmanto,” sacīja Cheng Zhang, informācijas zinātnes asistējošais profesors. “Mēs esam daļēji šo plaisu aizpildījuši. Mēs izstrādājām SpellRing mērķa lietotājiem, kuri to novērtēja.”

ASL kopiena ir izteikusi interesi par šāda veida ierīcēm, kas varētu padarīt komunikāciju vieglāku, īpaši tehnoloģiju jomā, kur bieži vien trūkst pieejamības risinājumu.

SpellRing balstās uz iepriekšēju SciFi laboratorijas izstrādi ar nosaukumu Ring-a-Pose un ir jaunākais laboratorijas sonāra tehnoloģiju ierīču virknē. Pētnieki iepriekš ir izstrādājuši ierīces, kas interpretē rokas pozīcijas virtuālajā realitātē, augšējā ķermeņa kustības 3D, kluso runu, skatienu un sejas izteiksmes.

“Lai gan lielās valodu modeļi ir ziņu virsrakstos, mašīnmācīšanās padara iespējamu uztvert pasauli jaunos un negaidītos veidos, kā parāda šis un citi laboratorijas projekti,” sacīja līdzautors François Guimbretière. “Tas atver ceļu daudzveidīgākai un iekļaujošākai piekļuvei skaitļošanas resursiem.”

Nākamais Lims plāno integrēt mikrosonara sistēmu brillēs, lai uzņemtu augšējā ķermeņa kustības un sejas izteiksmes, izveidojot visaptverošāku ASL tulkošanas sistēmu.

“Kurlie un nedzirdīgie cilvēki ASL izmanto ne tikai rokas. Viņi izmanto sejas izteiksmes, augšējā ķermeņa kustības un galvas žestus,” sacīja Lims. “ASL ir ļoti sarežģīta vizuāla valoda.”

Šo pētījumu finansēja Nacionālā zinātnes fondācija.

https://aihub.org/