Die Fortschritte in Bereich der Augmented und Virtual Reality erlauben den Nutzern immer realistischere Erfahrungen. Gerade erst ist es einem Informatiker der Universität Saarbrücken gelungen, virtuelle Welten physisch „ertastbar“ zu machen (IO berichtete). Nun sind Forscher der Abteilung Vision and Imaging Technologies (VIT) am Fraunhofer Heinrich-Hertz-Institut HHI dabei, neue Verfahren zu entwickeln, mit denen eine echte Interaktion mit virtuellen Charakteren ermöglicht werden soll – mit Hilfe innovativer volumetrischer Videos.
Augmented und Virtual Reality sind ohne volumetrisches Video nicht denkbar. Dieses Verfahren ermöglicht nämlich erst ein qualitativ hochwertiges „free-viewpoint rendering“ von dynamischen Szenen. Bisher beschränkten sich diese Szenen jedoch auf vorab aufgezeichnete Situationen. Eine individuelle Interaktion mit den virtuellen Charakteren war also nicht möglich. „Um Interaktion zu ermöglichen, werden üblicherweise klassische Computergrafikmodelle eingesetzt, die allerdings nicht die gleiche Realitätsnähe erreichen“, heißt es in der Mitteilung des Fraunhofer HHI.
Dr. Anna Hilsmann, die Leiterin der Forschungsgruppe Computer Vision und Grafik in der Abteilung VIT, und ihre Kollegen haben nun offenbar eine Methode gefunden, Daten aus der realen Welt soweit inklusive ihrer rein natürlichen Verformungen und Eigenschaften zu nutzen. Sie präsentieren diese Methode vor Kurzem in einer neuen Publikation sowie der Initiierung des, von der EU geförderten Projekts „Innovative Volumetric Capture and Editing Tools for Ubiquitous Storytelling“ (INVICTUS).
Gesichter als Herausforderung
Die Hauptmerkmale der vorgestellten Pipeline seien „die Ergänzung der erfassten Daten durch Semantik und Animationseigenschaften sowie die Nutzung von hybriden geometrie- und videobasierten Animationsmethoden, welche eine direkte Animation ermöglichen“. Darüber hinaus gebe es auch einen zuverlässigen Ansatz für die Verarbeitung von Körper- und Gesichtsbewegungen.
Insbesondere Gesichter mit deren Mimik stellen für die Macher von Augmented und Virtual Reality traditionell eine Herausforderung dar. Hilsmann und ihre Kollegen schlagen in ihrer Publikation in der Sonderausgabe zum Thema „Computer Vision for the Creative Industry“ deshalb eine dreistufige Lösung vor: Erstens, mit Hilfe von Geometrie, die Modellierung von Merkmalen mit geringer Auflösung – wie z. B. grobe Bewegungen. Zweitens die Überlagerung von videobasierten Texturen, um subtile Bewegungen und feine Merkmale zu erfassen. Und drittens – unter Verwendung eines Autoencoder-basierten Ansatzes – die Synthese von traditionell vernachlässigten Merkmalen wie zum Beispiel Augen.
Im Rahmen des INVICTUS-Projekts werden dazu erst mit modernsten volumetrischen Bewegungserfassungstechnologien sowohl das Aussehen als auch die Bewegung von Schauspielern erfasst. Dann werden volumetrische Avatare erzeugt, um „die Entwicklung von Narrativen zu erleichtern“. Am Ende des Projekts, das seit März 2020 für zwei Jahre läuft, stehen nach Aussagen der Forscher unter anderem drei innovative Authoring-Tools: Eines für die hochauflösende volumetrische Erfassung von Aussehen und Bewegung der Schauspieler. Diese kann anschließend für hochwertige Offline-Produktionen (Film) und Echtzeit-Rendering Produktionen verwendet werden. Ein weiteres Tool dient zur Bearbeitung von hochauflösendem volumetrischen Aussehen und Bewegung, ein drittes für das Story-Authoring. Dazu zählen beispielsweise die Bearbeitung von Dekors, Layouts und animierten Charakteren.
An dem Projekt sind zwei Forschungsgruppen der Abteilung VIT am Fraunhofer HHI (Computer Vision und Grafik und Immersive Medien und Kommunikation) sowie die Partner Ubisoft Motion Pictures, Volograms Limited, die Université de Rennes 1 und Interdigital R&D France beteiligt.
