Dieter Schmalstieg vom Institut für Maschinelles Sehen und Lernen an der TU Graz, entwickelte eine neue Streaming-Methode, die Videospiele auch auf erschwinglichen und kabellosen Virtual Reality Brillen verfügbar macht – und das in hoher Qualität. Die Technologie soll schon bald kommerziell umgesetzt werden.
Streaming ist das Abspielen von Inhalten wie Musik und/oder Videos auf dem Computer über das Internet oder einen Server. Voraussetzung ist dabei nicht mehr so sehr die neueste Hardware, sondern eine schnelle Internetverbindung. Diese soll die großen Datenmengen von den Rechenzentren zu den Endgeräten transportieren – möglichst verzögerungsfrei. Bei einer langsamen Internetverbindung kommt das Video ins Stocken, weil die nächsten Daten noch nicht heruntergeladen sind.
Cloud Gaming inspiriert die Videospiel-Industrie
Während Streamingdienste schon längst alltäglich sind, steht Cloud Gaming noch ganz am Anfang. Die neueste digitale Technologie gleicht jener der Videodienste: Das Computerspiel läuft extern auf einem Server des Cloud-Anbieters. Dieser empfängt die Nutzereingaben über das Internet vom Spieler. Im Gegenzug wird das Ton- beziehungsweise Videosignal an den Client gesendet.
Keine teure Hardware notwendig
Cloud Gaming soll Virtual Reality Spiele auf eine neues Level bringen: War zuvor noch ein High-End-PC und Verkabelung zwischen Computer und Headset notwendig, so fällt dies bei Cloud Gaming zumindest theoretisch weg. Alternativ zum Standalone-Betrieb können Virtual Reality-Spiele als Streaming-Service von Cloud Computing direkt an das Virtual Reality-Headset geliefert werden. Die Entkoppelung des Headsets gibt dem Benutzer die Freiheit, die virtuelle Umgebung zu durchstreifen.
Große Datenströme mit geringer Laufzeit
Hürde für den Markteintritt ist aber ein noch ungelöstes technisches Problem: Die flüssige Darstellung von Sequenzen auf Virtual Reality Brillen erfordert eine bis zu zehnmal höhere Rechenleistung als bei konventionellen Videospielen. Es gilt sehr große Datenströme mit möglichst geringer Laufzeit zu übertragen. Der Grund: es müssen mehr Pixel und mehr Bilder pro Sekunde dargestellt werden. Traditionelle Videoübertragungen stoßen hier rasch an ihre Grenzen.
Bestehende Lösungen unzureichend
Es gibt bereits kabellose All-in-one-Virtual Reality Headsets. Diese sind allerdings durch Strombudget, thermische Einschränkungen und Produktionskosten beschränkt. Einen eingebetteten Grafikprozessor (GPU), wie dieser für Virtual Reality erforderlich ist, werden diese in absehbarer Zeit nicht liefern können, so die Argumentation der Forscher.
Auch das kommerzielle Angebot von Breitbandnetzen löse das Problem nicht. Bei Videodiensten können Verzögerungszeit (Latenz) und Bandbreitenschwankung durch starke Pufferung verborgen werden. Bei Virtual Reality Spielen gelinge dies nicht, weil diese ständig reagieren müssen.
Latenzzeiten ausgleichen
Das Problem liegt in der Latenz – also der Verzögerungszeit, die bei der Signalübertragung – beim Zwischenspeichern von Daten oder beim Prüfen von Datenpaketen – entsteht. Latenz vollständig zu vermeiden sei unmöglich, erklärt der Forscher. Aber er und sein Team schafften es, die wahrgenommenen Latenzzeiten auszugleichen. Das von ihnen entwickelte System läuft unter der Bezeichnung Shading Atlas Streaming (SAS) und bringt einen neuartigen Ansatz zur Darstellung von Objekten und Räumen.
Senken der Übertragungsrate
Das System ermöglicht es, die nötige Übertragungsrate deutlich zu senken. Gestreamt werden nicht Videos, sondern geometrisch codierte Informationen, die von der Virtual Reality-Brille decodiert und in ein Bild übersetzt werden. Ihre Art der Codierung erlaubt es, innerhalb eines kleinen Zeitfensters korrekte Bilder vorherzusagen. Dadurch werden Pixelfehler in der Darstellung auf wenige Prozent reduziert und werden nicht mehr als störend wahrgenommen.
Shading Atlas Streaming entkoppelt das serverseitige Shading vom clientseitigen Rendering.
- Rendering bezeichnet in der Computergrafik die Erzeugung eines Bildes aus Rohdaten.
- Shading (englisch: Schattierung) basiert auf Hardware- oder Software-Modulen, die bestimmte Rendering-Effekte bei der 3D-Computergrafik implementieren.
Durch diese Entkoppelung kann der Client das Framerate Upsampling und die Latenzkompensation für kurze Zeiträume autonom durchführen. Jedes Bild gilt als Frame und die sogenannte Framerate wird in Sekunden gemessen.
Hier finden Sie ein Erklärvideo der Forscher in Englisch:
In bestehende Hardware integrierbar
Das System ist überall dort einsetzbar, wo Daten anfallen und Virtual-Reality-Brillen zum Einsatz kommen – und eignet sich auch für das Streaming von Virtual-Reality-Inhalten.
Der Transport der Daten erfolgt in herkömmlichen MPEG-Kompressionsverfahren. Dadurch kann die neue Technik in die bestehende Infrastruktur integriert werden. Die notwendige Leistung für das Decodieren der 3D-Information ist in Virtual Reality-Brillen bereits vorhanden. Es ist also keine neue Hardware nötig, um Shading Atlas Streaming nutzen zu können.
An einer kommerziellen Umsetzung der Forschungsergebnisse wird bereits gearbeitet. Partner ist der Chiphersteller Qualcomm.
Zur Originalpublikation: Shading Atlas Streaming
Auch interessant:
Lernumgebung in der virtuellen Realität
Virtual Reality-Stresstraining soll Polizisten auf hochriskante Situationen vorbereiten
Virtual Reality für eine barrierefreie Architektur nutzen
Related Posts:
