Gebarentaal in VRChat – GEKA DESIGN

Inhoud: Ontwikkeling | Eerste gebarentaal werelden | Eerste Sign&Fun wereld | Nieuwe wereld dankzij UdonSharp | Achter de schermen
De links naar de werelden staan in de tekst hieronder.
De pijl rechtsonder in cirkel brengt je weer naar hier.

Kort over VRChat

Normaal gesproken is VRChat niet zelf ontworpen voor doven en slechthorenden. De meeste content is gericht op normaal praten. Desondanks zijn er aardig wat doven en slechthorenden op VRChat gekomen, en de laatste tijd is dat aantal ook meer toegenomen dankzij veel goedkopere Quest 2 VR headset. Quest 2 kan zelfstandig gebruikt worden of via de link aan de computer aangesloten worden.

VRChat ondersteunt zowel Quest als PC. Alleen de PC is veel krachtiger dan Quest, zodat men meer kan instoppen en dus meer effecten kan laten zien. En ook veel groter. Maar omdat er de laatste tijd meer Quest gebruikers bijgekomen zijn, moet ik rekening mee houden met de Quest kant. Dat betekent geen grote wereld, er geen zware dingen instoppen, en alles zo licht mogelijk.

Ontwikkeling gebarentaal in VR

Zoals ik al zei is VRChat niet ontworpen voor doven. Het is een algemeen sociaal platform voor horende mensen. Maar omdat ik meer dove mensen tegenkom in VRChat, wist ik dat er wat aan moet gebeuren om gebarentaal in VRChat beter te maken.

In eerdere tijden (sinds 2016) waren er maar 2 headsets uit: HTC Vive en Oculus Rift. Dankzij de gesture systeem in VRChat kan men 8 verschillende hand vormen laten zien. Er moet heel wat uitgezocht worden met het beperkte aantal hand vormen om zo veel mogelijk woorden te kunnen tonen in de VR omgeving. Samen met een aantal dove mensen uit de wereld heb ik genoeg beeld om een wereld te kunnen maken.

Dit gebeurt natuurlijk niet in 2016, maar veel later. In 2019 komt er pas een verandering in. Dat komt omdat VRChat zelf niet vriendelijk is voor doven, je kan moeilijk communiceren met anderen, zeker met beperkte gestures en dat niet op een makkelijke manier met de VR controllers van toen. Alleen pas in midden 2019 komt er al meer een lichtpunt voor doven met Valve Index: de controllers zijn aangepast om elke vinger te kunnen tracken. Daardoor kunnen we al veel meer verschillende handvormen maken. Het duurt ook langer voordat meer dove mensen op VRChat komen en eindelijk meer kunnen communiceren in VRChat.

Eerste gebarentaal werelden

Omdat VRChat wereldwijd is, is het letterlijk “24 uur” continu open voor iedereen. Hierdoor ontstaat een nadeel voor de eerste werelden met alleen maar woorden en tekeningen. Ze zijn minder makkelijk te leren voor veel mensen. Gebarentaal is meer dan alleen maar tekening, je moet ook de juiste bewegingen laten zien.

Er zijn wel paar mensen die bereid zijn om les te geven in gebarentaal. Maar VR is meer lichamelijk belastend en dus zijn we ook sneller vermoeid. Daardoor kunnen we een beperkt aantal uren per dag lesgeven en dat kan vervelend zijn voor mensen die net wakker zijn of moeten slapen. Om dat op te lossen moeten er video’s komen. Alleen op deze manier kan er 24 uur geoefend worden en zijn we minder tijdafhankelijk. Iedereen in de wereld kan dus komen en zelf leren. Verder is goed om te weten dat de meesten lessen tot ca 60 personen tegelijk kunnen, daarna wordt het wel zwaar voor sommigen met veel lag en frame drop tot minder dan 20. Het kan dus niet veel meer aan, deels doordat VRChat niet goed geoptimaliseerd is.

Eerste wereld met video’s: Sign & Fun wereld.

De wereld kan bekeken worden via deze link: https://vrchat.com/home/world/wrld_604d0b95-d619-454c-b2eb-76267500f959 – De wereld is nu als memorial wereld voor iedereen die vroeger gebarentaal leerde kennen. Het is voor lange tijd een belangrijke ontmoetingsplek voor de doven.

Het ontwerp van de wereld begint in augustus 2019. Ik onderzoek de mogelijkheden om video’s te kunnen afspelen zonder gebruik te maken van de synchronisatie, alleen op deze manier worden video’s direct afgespeeld en levert geen lag op als het druk wordt. En ik moet ook de navigatie met SDK2 uitzoeken. Dus met de triggers uitzoeken hoe alles zo goed mogelijk verloopt voor iedereen en men snel door de video’s kan bladeren.

Nog steeds met SDK2 (dus kan niet in C# coden) is dit uitgebreid tot 27 lessen. Video maken gebeurt in samenwerking met doven. Ongeveer 1500 video’s zijn hiervoor nodig, en dat is veel werk.

Het succes van de Sign&Fun zorgt ervoor dat meer mensen gebarentaal kennen, waardoor communicatie beter wordt in VRChat en het aantal gebarentaal leraren zijn ook stuk minder uitgeput. Honderden mensen zijn er bijgekomen door de tijd heen, en de wereld is al duizenden keren bezocht. Zodra Quest beschikbaar is voor VRChat, is de wereld zelf helaas te groot en niet geschikt voor Quest gebruikers, ze moeten allemaal de link gebruiken om bij de PC kant te kunnen komen. Niet iedereen heeft daar een goed computer voor.

Nieuwe wereld dankzij UdonSharp

Je kunt de wereld bekijken via deze link: https://vrchat.com/home/world/wrld_2147b034-c6e9-4919-b74a-a0c81b596d95

Vanaf april 2020 is UdonSharp geïntroduceerd voor VRChat, waardoor men kan programmeren via beperkte C# omgeving. Dit maakt de dynamische werelden mogelijk, want de databases zijn hier mogelijk. Na weken programmeren en uitzoeken wat het beste werkt, kan ik het geheel samen met vrienden testen en zoveel mogelijk fouten eruit halen en gebruiksgemak vergroten op basis van ideeën van anderen.

Duizenden mensen hebben wereld bezocht voor zelfstudie en het is ook Quest vriendelijk gemaakt. De wereld is opgebouwd met Quest in mind, zodat het niet te groot wordt. En toch bevat het Gebarentaal museum, wat spelletjes, Nieuwsstudio, videoplayer deel, globaal en lokaal lesborden, en je kan naar buiten.

De lesbord script is zo ontworpen dat het makkelijk aangepast kan worden met tekst bestanden. Editen van woorden gaat via Google Spreadsheets. Dit heeft voordeel dat vrienden het zelf kunnen aanpassen, corrigeren en uitbreiden. Sinds kort is de Japanse gebarentaal toegevoegd. Meer talen zijn dus mogelijk, allemaal met de video’s. Een paar scripts zijn toegevoegd om snel te kunnen omzetten in Unity array’s.

Op dit moment hebben we video’s voor ASL, DGS (Duitse gebarentaal), BSL, LSF (Franse gebarentaal), KSL (Koreaanse gebarentaal) en JSL. In toekomst komt er nog van NGT bij, van mijn kant. Meer talen komen zeker bij in de toekomst.

Toekomst plannen

De ontwikkeling gaat door met meer video’s, en er is een plan om ShaderMotion toe te voegen, waarbij men via video kan omzetten in 3D bewegingen via de avatar. De speler kan dan beter van alle kanten bekijken hoe een gebaar verloopt.

Als laatste is een website gepland voor offline leren van gebarentaal. Er is al domein voor geregeld.