Nvidia lanceert AI-platform voor gebarentaalonderwijs

Signs maakt gebruik van een camera om de gebaren van gebruikers te analyseren en AI-gestuurde feedback te geven. Daarnaast biedt het een 3D-avatar met spraakfunctionaliteit om ASL aan te leren. Nvidia stelt dat ASL een van de grootste talen in de Verenigde Staten is, maar ondervertegenwoordigd is in AI-datasets. Daarom heeft het bedrijf een dataset opgebouwd met momenteel 400.000 videoclips van ongeveer 1.000 ASL-woorden. De gebaren in deze dataset worden gevalideerd door ervaren ASL-gebruikers en tolken om nauwkeurigheid te garanderen.

Naast het onderwijzen van gebarentaal biedt Signs ook de mogelijkheid om bij te dragen aan de open-source dataset van Nvidia. Gebruikers kunnen nieuwe woorden tekenen en opnemen, waardoor de database verder wordt uitgebreid. Nvidia plant om deze dataset later dit jaar openbaar te maken.

Video afspelen (laadt YouTube)

Toekomstige ontwikkelingen

Op dit moment richt Signs zich op hand- en vingerposities, maar ASL maakt ook gebruik van gezichtsuitdrukkingen om betekenis over te brengen. Nvidia onderzoekt hoe deze elementen in toekomstige versies van het platform kunnen worden geïntegreerd. Daarnaast bekijkt het team hoe regionale dialecten en variaties in gebarentaal kunnen worden weergegeven in Signs.

ASL is een levende taal die continu evolueert en per gemeenschap kan verschillen. Volgens Nvidia kan het gebruik van AI in gebarentaalonderwijs bijdragen aan betere toegankelijkheid en communicatie tussen dove en horende gemeenschappen.