Door Michael Abrash is al jaren een van de grote namen in Virtual Reality. Hij is nu Chief Scientist bij Oculus, en gaf tijdens Oculus Connect een fantastische vooruitblik. Hij voelt zich zeker genoeg om te stellen dat de VR van vandaag er prehistorisch zal uitzien binnen vijf jaar.
Je moet zijn uitspraken wel in de juiste context zien. Zo gaan ze allemaal over de leading- edge van VR-technologie, en dat zal nog lange tijd de PC zijn. Ja, VR op mobiel zal volgen, maar volgens Abrash za de PC nog geruime tijd het beste VR -platform zijn. En uiteraard, geen garanties dat al deze dingen ook werkelijk uitkomen. Maar Abrash heeft wel stevige referenties, hij kondigde twee jaar geleden de doorbraak van VR aan, zoals te lezen hier.
,
Vandaag zitten we te kijken naar 1.200 x 1.080 per oog, met een kijkhoek van ongeveer 90° wat een pixeldensiteit geeft van ongeveer 15 pixels per graad.
Naar welke resolutie gaan we? Dat is de makkelijkste vraag omdat je de bestaande groei vrij goed kan extrapoleren. Op basis daarvan voorspelt hij binnen vijf jaar een resolutie van 4K x 4k per oog. Resolutie hangt nauw samen met de hoek van je blikveld. Momenteel is die vrij beperkt en Abrash denkt dat een grote beeldhoek juist van enorm belang zal zijn om de beste VR ervaring te krijgen. We willen dus de breedst mogelijke hoek, namelijk 140°. Dat betekent dat de pixeldensiteit zal zien verdubbelen tot ongeveer 30 pixels per graad. “Dat is nog geen 20/20 zicht, maar genoeg om je rijbewijs te halen.” Dat breder blikveld vereist wel fundamenteel betere lenzen dan vandaag. Met de huidige lenzen geraken ze niet voorbij 100° blikveld.
Tot slot is er ook nog het dieptezicht. Vandaag ligt dat vast op twee meter. Dus onze ogen moeten idealiter altijd op die afstand focussen, kijk je elders dan is het beeld licht wazig, wat uiteraard niet realistisch is. Het is geen enorm probleem, want VR-oplossingen vandaag werken desondanks vrij goed. Maar als dit opgelost kan worden, is VR weer wat comfortabeler, en dat is belangrijk als je lang in VR wil zitten. De oplossingen die men onderzoekt lopen ver uit uit elkaar, van holografische schermen, over lichtveld schermen, tot multifocale of varifocale schermen. En geen van allen staan ze al ver genoeg om een oplossing te bieden voor een draagbare technologie. Binnen vijf jaar echter, denkt Abrash dat er een oplossing zal zijn.
,
Het hoeft geen betoog dat je een krachtige graphics-chip nodig zal hebben. Het systeem moet 16 MPixels (4K x 4K) leveren en dat aan 90 beelden per seconde. Maar, dat is misschien niet nodig. Want veel van die resolutie is verspild. Ons oog kan immers maar op een zeer klein deel van ons blikveld, genaamd de fovea, werkelijk de volle resolutie waarnemen. Ideaal zou je je graphics zo moeten opbouwen dat je enkel het deel dat door de fovea gezien wordt in volledig detail rendert. De rest mag aan lagere resolutie gedaan worden. Zo zou ‘foveated rendering’ een grootteorde verschil kunnen maken (1/10 van de rekenkracht). Dat moet volledig ontwikkeld worden, maar gezien het belang vermoedt hij dat dit binnen vijf jaar een core technologie zal zijn.
,
Foveated rendering vereist uiteraard dat je perfect iemands oog kan tracken, je moet perfect weten waar de pupil naar kijkt. En dat moet ongelooflijk goed zijn: volledig betrouwbaar, voor alle bewegingen die je oog kan maken, en voor alle mensen.
Abrash dacht dat dit een opgelost probleem was, waarvoor gewoon een engineering oplossing gevonden moest worden. Maar na twee jaar beseft hij dat de huidige tracking volstaat om een VR-avatar bewegende ogen te geven, maar niet voor foveated rendering. Pupil tracking is erg moeilijk. Pupillen variëren enorm in maat en vorm en doen dat op soms zeer subtiele wijze en je twee pupillen doen dat niet altijd samen op dezelfde manier. Bovendien moet het allemaal binnen in een VR-bril gebeuren. Wordt het volledig nieuwe research en/of volledig nieuwe technologie? Moeilijk te zeggen, maar dit is zo belangrijk dat hij denkt dat het er binnen vijf jaar zal zijn. Abrash voegde er wel aan toe dat hij van deze voorspelling het minst zeker was.
,
Binnen vijf jaar kan je een HRTF personaliseren bij jouw thuis. De ‘Head Related Transfer Function’ bepaalt hoe geluid rond botst in je hoofd en oren en hoe het dus specifiek voor jou klinkt. Een goede, en persoonlijke HRTF zal er voor zorgen dat je virtueel geluid net zo ervaart als echt geluid.
De reflectie, diffractie en interferentie van geluid in ruimte zal perfect gemodelleerd zijn. Dat zal het geluid in een kamer zeer overtuigend en echt maken. Helaas, de theorie is goed gekend, maar de nodige rekenkracht is groot. Dit soort audio zal dus niet in alle omstandigheden te verwezenlijken zijn. Abrash vermoedt dat het in beperkte kamers met niet te veel audiobronnen, en een beperkt aantal luisteraars mogelijk zal zijn. Maar die gevallen zullen wel zeer indrukwekkend zijn.
,
We willen zo natuurlijk mogelijk interageren met de virtuele wereld. Abrash denkt dat de Oculus Touch de muis van VR kan zijn en dat het dat binnen vijf jaar vermoedelijk nog altijd zal zijn. Ja, je handen gebruiken is beter, dat is de volgende stap. Maar dat soort interface zit niet op de vijf jaar track. De vereiste technologie is er gewoon niet.
Hand tracking is wel al in staat om VR-avatars degelijke handen te geven en het kan dienen voor een eenvoudige interface gebaseerd op gebaren, zoals bijvoorbeeld een film kijken of typen op een virtueel toetsenbord.
,
Om VR populairder te maken moet het meer ergonomisch worden. Je wil als het ware gewoon het holodeck binnen wandelen, maar dat is helaas zeer verre toekomst. Minder gewicht, een betere verdeling van dat gewicht, en een headset die beter samenwerkt met je eventuele bril, dat zijn haalbare verbeteringen. En uiteraard willen we een draadloze headset. Niet alleen om ergonomische redenen, maar ook omdat het rondwandelen in VR mogelijk maakt, terwijl je blijft gebruik maken van de rekenkracht van een PC. Helaas, geen enkele technologie voldoet hiervoor vandaag. De vereiste bandbreedte is gewoon te hoog (denk er aan 4k x 4k resolutie aan 90 beelden per seconde). Wil je een draadloze headset dan blijkt opnieuw dat foveated rendering van groot belang zal zijn.
,
De echte wereld in VR binnen brengen, dat zou super zijn. Je kan dan zonder risico rondlopen in je kamer (want je ziet je eigen lichaam). Even van je echte koffie drinken terwijl je in een VR-ervaring zit (je ziet je handen en de koffietas), of zien wie er net binnen wandelt. Maar je zou je ook op eender welke plaats in de wereld kunnen begeven en met eender wie interageren. VR en de echte wereld op die manier mengen, en kiezen welke elementen je van VR of van de echte wereld wil zien, dat noemen we Augmented VR. Het vereist onder andere twee dingen: een eenvoudige manier om de echte wereld te construeren in VR, en Virtuele mensen.
De wereld rondom ons modelleren is VR is mogelijk, zelfs vandaag al. Maar om het te doen in real-time, en met een apparaat dat voor consumenten beschikbaar is, dus niet met gespecialiseerde apparatuur, is een heel andere materie. En toch, binnen vijf jaar zal het er zijn, gewoon omdat het de mogelijkheden van VR-toepassingen zo uitbreidt.
De grens van VR en de echte wereld zal er door vervagen. Augemented VR (AVR) geeft veel meer mogelijkheden dan Augmented Reality (AR). Met AVR heb je immers een volledig computermodel van de totale scene, en kan je elke pixel aanpassen. In AR heb je enkel controle over de toegevoegde elementen. In AVR kan je het model van de kamer (of ruimte) doorsturen naar iemand anders. Zo kan je dan samen in dezelfde virtuele ruimte zitten.
Nog een stap verder: wat als je zou kunnen interageren met je gesprekspartner in die virtuele ruimte. Dat vereist een model van een mens, een virtuele mens. Virtuele mensen zullen erg belangrijk zijn, en het is de grootste uitdaging voor VR. Niet alleen is het model erg complex, maar we zijn zelf erg gevoelig voor fouten in het model. Een perfect model van een virtuele mens, neen, dat is nog niet voor de nabije toekomst. Maar is wel al heel wat vooruitgang.
We kunnen bijvoorbeeld bijna perfect handen tracken (met speciale handschoenen helaas en veel camera’s). Binnen vijfjaar moet dit haalbaar zijn met eenvoudigere oplossingen. Gezichten zijn ongelooflijk complex, en dat wordt alleen maar erger als je een headset op hebt, maar ook daar is de oplossing er bijna. Het volledige lichaam tracken, zonder dat je een speciaal pak moet dragen is ook al perfect haalbaar.
Dus ja, binnen vijf jaar zal het werken, en VR-mensen zullen erg goed zijn, maar je zal ze nooit verwarren met een echte mens. Ze zullen wel perfect bruikbaar zijn voor sociale interactie.
,
Wat zouden al die verbeteringen beteken voor de gebruikservaring? Abrash sprak niet over killer-apps maar lichtte wel een toepassing toe die hij persoonlijk zelf binnen vijf jaar zou willen gebruiken.
Een virtuele werkplaats, die je configureert zoals je zelf wilt, en die je met een vingerknip aanpast aan je noden. In die werkplaats kan je zoveel whiteboards hebben als je wil, met video, of tekeningen, of wat dan ook. Ze zijn perfect op te slaan, en doorzoekbaar. Bovendien kan je in die werkplaats collega’s virtueel uitnodigen om samen te werken. Je ziet elkaars avatar, je kan samen op het bord werken, dingen vasthouden en tonen aan elkaar. Een echte revolutie in telewerken.
Abrash sloot af met een quote van Atman Binstock, de Chief Architect van Oculus: “De manier waarop technologische revolutie werkelijk gebeurt, zijn slimme mensen die hard werken aan het juiste probleem op het juiste moment.” Hij is er van overtuigd dat er nu hard aan VR gewerkt wordt, en dat de revolutie er komt.
