Of het nu gaat om Iron Man in Marvel-films of het personage van Ana de Armas in Blade Runner 2049, hologrammen in sciencefictionfilms zijn een lust voor het oog van de kijker. Hoewel deze mensachtige projecties enorm futuristisch lijken, heeft hedendaagse technologie zoals kunstmatige intelligentie het maken van hologrammen toegankelijker dan ooit gemaakt.
Hologrammen op industrieel niveau worden al twee decennia lang gebruikt voor creatieve en commerciële doeleinden. Het begon met Microsoft’s Mixed Reality Studio, en in de afgelopen jaren hebben veel middelgrote bedrijven, zoals 8i, Soar en 4DR Studios, goedkopere en compacte alternatieven voor hologramcaptatie aangeboden. Door volumetric capture toe te passen, een 3D-scanmethode om menselijke bewegingen vast te leggen, hebben deze studio’s met succes hologrammen geproduceerd voor muziekvideo’s, technische conferenties, kunstinstallaties en VR-films.
Vorig jaar verscheen het hologram van de Oekraïense president Volodymyr Zelensky op de Viva Tech-conferentie in Parijs, dankzij de draagbare volumetrische studio van Evercoast. 4DR Studios, een in Eindhoven gevestigde volumetrische studio, bood voetbalfans de mogelijkheid tot interactie met hologrammen van PSV-spelers tijdens de stadiontour in Eindhoven. Dergelijke hologrammen zijn meestal beperkt tot de industrie, waar geld en productietijd een belangrijke rol spelen.
Om ook de massa te laten meegenieten van deze complexe technologie, heeft Vologram, een in Ierland gevestigd bedrijf, een aantal stappen gezet. Door gebruik te maken van kunstmatige intelligentie creëerde de spin-off van het Trinity College een app Volu, waarmee gebruikers hologrammen kunnen maken met alleen de camera van hun smartphone.
Reconstructie van 3D-modellen met behulp van AI
Standaard hologrammen maken vereist meestal de uitlijning van RGB dieptecamera’s rond een persoon binnen een greenscreen studio, gevolgd door zware computationele post-productie. Maar Volu doet de hologramconstructie op een snellere manier. Met de app kunnen gebruikers een video van een persoon opnemen en vervolgens uploaden naar hun cloudserver, waar de 3D-hologramproductie plaatsvindt.
Aanvankelijk begonnen Rafael Pagés en Jan Ondřej, oprichters van Vologram, dit project met het doel het aantal camera’s dat nodig is om een mens vast te leggen in volumetrische video te verminderen en de voortgang te bestuderen voor onderzoeksdoeleinden. Maar door de snelle vooruitgang op het gebied van kunstmatige intelligentie was het duo niet alleen in staat om menselijke bewegingen in 3D vast te leggen met behulp van één enkele camera, maar ook om het resultaat binnen korte tijd te produceren.
Eén algoritme
“We hebben ons kunstmatige neurale netwerk getraind met honderden in de studio vastgelegde 3D-modellen van mensen”, legt Pagés uit. “Door deze modellen te bestuderen hebben we met succes één algoritme gecreëerd dat helpt bij de constructie van het 3D-hologram uit de opgenomen video.”
Wat een eenvoudig proces lijkt om van een 2D-video een 3D volumetrisch model te maken, vereist in werkelijkheid een reeks complexe computationele workflows. Na ontvangst van de metadata van de opgenomen video begrijpt het neurale netwerk de scène, de kleding, de achtergrond, de skeletbeweging van de persoon en het dieptesysteem. Op basis van het geheugen van de neutrale netwerken wordt een reconstructie gemaakt van het gehele 3D-model, dat vervolgens wordt gecodeerd en gecomprimeerd in een compact formaat.
De kwaliteit van hologrammen die met AI-ondersteuning worden gemaakt, is echter niet vergelijkbaar met de hologrammen die door volumetrische studio’s worden gemaakt. Pagés: “De AI heeft meer training nodig om een scherpere kwaliteit van de reconstructie te produceren.” In tegenstelling tot high-end volumetrische studio’s is de Volu-app gericht op een consumentenmarkt en dus gebaseerd op een andere technologie.
Hoogwaardig
Natasja Paulssen, oprichter van 4DR Studios, is het ermee eens dat de technologie achter AI-ondersteunde hologramcreatie heel anders is in vergelijking met traditionele volumetrische studiocaptatie. Terwijl een oplossing als Volu gebruikers in staat stelt om alleen de voorkant van een persoon vast te leggen en de overige aspecten van de mens en de omgeving opnieuw creëert met behulp van AI, vertrouwt volumetrische studio niet enkel op AI. “Wij maken hoogwaardige 3D-modellen met behulp van complexe camerasystemen en tijdrovende postproductie”, legt ze uit. “In plaats van te vertrouwen op AI om hiaten op te vullen die ontstaan door een single-point camera, is ons systeem ontworpen om kristalheldere hologrammen te maken voor musea, onderwijs en commerciële doeleinden.”
Eindeloze mogelijkheden
De mogelijkheid om een 3D-weergave van een persoon te maken opent veel mogelijkheden, niet alleen in de creatieve industrie maar ook op het gebied van communicatie. In eerste instantie is de app vooral aangepast door tech-savvy gebruikers die geïnteresseerd zijn in XR-ontwikkeling. Maar Rafael gelooft dat de technologie niet alleen beperkt is tot de ontwikkelaarsgemeenschap, en kan worden gebruikt voor verschillende doeleinden, waaronder campagnes, marketing en onderwijs.
FarmVR, een landbouwbedrijf, werkte samen met entomologe Molly Keck om hun gebruikers te leren over bijenteelt door haar hologram in de virtual reality-ruimte te gebruiken.
“Ik ben van plan de Volu-app te gebruiken voor een cursus over motion capture en AI in het volgende semester”, aldus Dr. Andrew Hogue, universitair hoofddocent aan de Ontario Tech University. Als programmadirecteur spelontwikkeling en media-interactie deelde hij zijn ervaring met het testen van volumetrische capture bij het maken van spellen. “We probeerden een spel te bouwen rond volumetrische video, wat voorheen een uitdaging was, maar waarschijnlijk gemakkelijker met Vologram gezien de technologie die we hebben.”
Eindeloos
Of het nu gaat om oprichters die hun bedrijf tonen aan potentiële klanten, of een persoon die holografische verjaardagswensen stuurt naar dierbaren, de mogelijkheden zijn eindeloos. “Het kan worden beschouwd als een revolutie,” riep Hogue uit. “Om een persoon met één druk op de knop te kunnen vastleggen en het 3D-model in je omgeving te kunnen bekijken, is opwindend vanuit het perspectief van de consument.”
Terwijl hologrammen meestal beperkt bleven tot de verbeelding van het filmpubliek, is de technologie erin geslaagd om menselijke virtuele modellen werkelijkheid te laten worden. “We willen virtueel worden en onze ouders aan de andere kant van de wereld bezoeken,” aldus Paulssen.
Gebruikers die hologrammen regelmatig willen inzetten voor persoonlijke communicatie zullen nog even moeten wachten. Hoewel het idee om je familie, vrienden en geliefden als een 3D hologram voor je te zien verschijnen fascinerend lijkt, moet de technologie zich nog ontwikkelen voor dergelijk gebruik. Maar met de snelle vooruitgang in AI-reconstructie en de toenemende productie van AR-brillen lijkt holografische communicatie voor interpersoonlijke gesprekken in de nabije toekomst mogelijk.
Als je dit artikel leuk vindt, lees dan ook:
