Leuk zo’n VR-bril. Maar voor een fijne ervaring van de virtuele wereld, is een snoer eigenlijk nog steeds onmisbaar. De grote hoeveelheid data is anders niet goed over te brengen van computer naar bril. Daar heeft Dieter Schmalstieg van het instituut voor Maschinelles Sehen und Lernen aan de TU Graz een oplossing voor gevonden. Hij ontwikkelde een nieuwe streamingmethode, waardoor videospellen op een betaalbare manier ook beschikbaar komen voor draadloze VR-brillen. En dat met een hoge resolutie. De technologie komt binnenkort commercieel beschikbaar.
Bij streamen luister je muziek of kijk je video’s op je computer via internet of vanaf een server. Randvoorwaarde is daarbij niet zozeer de modernste hardware, maar juist een snelle internetverbinding. Die zorgt ervoor dat grote hoeveelheden data van de computer naar het gebruiksapparaat gaat. Het liefst zonder vertragingen. Bij een langzame internetverbinding wil een film wel eens ‘bevriezen’, omdat de data voor de volgende beelden nog niet binnen is.
De nieuwste digitale technologie: cloud gaming
Streamingdiensten zijn allang ingeburgerd. Cloud gaming daarentegen is nog lang niet zo ver. Deze nieuwe digitale technologie lijkt op die van de videodiensten. Het computerspel draait op een server van een cloud-aanbieder. Deze ontvangt de gebruikersgegevens van de speler via internet. Deze krijgt daarop het geluid- en of videosignaal toegezonden. Maar zoals de recente introductie van Google Stadia wel heeft duidelijk gemaakt, is deze technologie nog lang niet af.
Geen dure hardware noodzakelijk
Cloudgaming moet virtual reality-spellen naar een nieuw niveau brengen. Waar tot dusver nog een high-end pc en een kabelverbinding tussen computer en headset noodzakelijk was, is dat bij VR-cloudgaming niet meer nodig. In theorie althans. VR-spellen kunnen direct worden gestreamd naar de VR-headset. De ontkoppeling van de headset geeft de gebruiker de vrijheid door een virtuele omgeving te wandelen.
Grotere datastromen in minder tijd
Er is nog wel een hobbel te nemen op de weg naar vermarkting. Een ononderbroken datastroom naar een VR-bril vereist een tot 10 keer zo snelle rekencapaciteit als voor gebruikelijke videospellen. De uitdaging is een zeer grote hoeveelheid data in een zo kort mogelijke tijd over te brengen. Er moeten immers per seconde veel meer beelden worden opgebouwd. Traditionele videotransmissies stoten hier snel tegen hun grenzen.
Bestaande oplossingen zijn onvoldoende
Er bestaan al wel All-in-one-Virtual Reality Headsets. Daar zitten wel veel haken en ogen aan wat stroomverbruik, thermische belasting en productiekosten betreft. Een ingebouwde grafische processor (GPU) die voor virtual reality noodzakelijk is, zal niet binnen afzienbare tijd leverbaar zijn, zo stellen de onderzoekers. Ook het commerciële aanbod van breedbandverbindingen biedt geen oplossing. Vertragingen in de datatransmissie door pieken en dalen in de breedbandverbinding, kunnen bij videodiensten worden opgevangen door buffering. Dat is bij VR-spellen niet mogelijk, omdat direct op bewegingen en veranderingen gereageerd moet worden.
Vertraging compenseren
Het probleem ligt dus in de vertraging bij de signaaloverdracht. Deze ontstaat bij de tussentijdse opslag van data of tijdens de controle van datapakketten. Het is onmogelijk deze vertraging compleet te vermijden, aldus de onderzoekers. echter wel mogelijk die vertragingstijd te compenseren. Het door hen ontwikkelde systeem heet Shading Atlas Streaming (SAS). Het is een geheel nieuwe manier om objecten en ruimten digitaal weer te geven.
Met dit systeem wordt de dataoverdracht duidelijk lager. Het gaat niet meer om het streamen van video’s, maar om geometrisch gecodeerde informatie die door de VR-bril wordt gedecodeerd en in een beeld wordt vertaald. De manier waarop de wetenschappers beelden coderen, maakt het mogelijk in een uiterst korte tijdsspanne correcte beelden te voorspellen. Daardoor verminder je de hoeveelheid pixelfouten in het beeld tot slechts enkele procenten. Dat is voor de eindgebruiker niet storend.
Shading en rendering ontkoppeld
Shading Atlas Streaming ontkoppelt het proces van ‘shading’ op de server en dat van ‘rendering’ bij de gebruiker. Rendering betekent dat de computer uit datastroom beelden samenstelt. Bij shading worden via hardware of software modules bij 3D-computerbeelden bepaalde effecten toegevoegd. Door deze ontkoppeling kan het gebruikersapparaat zelf voor een moment de frame rate upsampling (het opbouwen van beeld) en de vertragingscompensatie doorvoeren. De framerate is de frequentie waarmee per seconde het beeld wordt ververst.
In deze video wordt dit nader (in het Engels) uitgelegd:
Integreerbaar in bestaande hardware
De beelden worden vanaf de server met de gebruikelijke MPEG-code gecomprimeerd. Daardoor kan de nieuwe techniek zonder problemen in bestaande apparaten worden toegepast. De vereiste capaciteit voor het decoderen van 3D-informatie is in de huidige virtual reality-brillen al aanwezig. Er is dus geen nieuwe hardware nodig om gebruik te maken van Shading Atlas Streaming.
Er wordt al gewerkt aan een commerciele toepassing van dit onderzoeksresultaat. Partner daarbij is chipsfabrikant Qualcomm.
Klik hier voor de oorspronkelijke publicatie over Shading Atlas Streaming
Ook interessant:
Met VR een kijkje nemen in de menselijke cel
Nooit meer vliegangst dankzij virtual reality
Andere artikelen over virtual reality op Innovation Origins
Als je dit artikel leuk vindt, lees dan ook:
