Hoe Microsoft op slimme wijze virtual en augmented reality samenvoegt

De laatste twee jaar lijkt het soms over niks meer anders meer te gaan: virtual reality en augmented reality. Beide grote beloftes voor de toekomst en alle techbedrijven investeren er dan ook fors in.

Zo stapte Facebook in virtual reality door Oculus over te nemen en lag bij ontwikkelaarscongres F8 vorige maand de focus daarnaast ook op augmented reality. Google is al een paar jaar bezig met betaalbare virtual reality, zodat iedereen er mee aan de slag kan. Dat begon met de Cardboard en een jaar geleden werd Daydream gepresenteerd. Tegelijkertijd zet Google in op augmented reality in smartphones met Tango, een project waar het jarenlang aan heeft gewerkt.

Apple is in zijn producten en diensten nog wat stil op dit vlak, maar heeft wel allerlei experts binnengehaald op het gebied van virtual reality en augmented reality. Daarbij herhaalt Tim Cook zo vaak hij kan hoe hoog zijn verwachtingen zijn van augmented reality. Een aankondiging op dat vlak lijkt niet ver weg te zijn.

Microsoft

Misschien wel de interessantste ontwikkeling op dit gebied vindt echter plaats bij Microsoft. Ruim twee jaar geleden kondigde Microsoft de Hololens aan: een bril waarmee je de wereld om je heen ziet, maar waar via augmented reality voorwerpen in kunnen worden geplaatst. Doordat de bril realtime de omgeving scant kun je vrij bewegen en blijven de digitale voorwerpen op hun plaats. Als je de HoloLens voor het eerst probeert, voelt dat bijna magisch.

Bekijk ook

Acer komt eind dit jaar met betaalbare virtual reality-bril met motion controllers

Microsoft spreekt echter al sinds de start over mixed reality in plaats van augmented reality. Onhandig, want het is al lastig voor mensen om te begrijpen wat virtual reality en augmented reality zijn. Zo’n extra term zorgt vooral voor (onnodige) verwarring.

En die verwarring kwam ook duidelijk naar voren toen Microsoft in maart aankondigde dat Acer een ‘Windows Mixed Reality headset’ gaat maken. Deze opvallende, blauwe bril leek namelijk meer op een virtual reality-bril dan op een augmented reality-bril als de HoloLens. Wat is dat mixed reality van Microsoft nu precies?

Schaal

Mixed reality is zowel augmented als virtual reality Deel deze quoteOp de ontwikkelaarsconferentie Microsoft Build vorige week werd dit duidelijker. Mixed reality is zowel augmented als virtual reality. Microsoft zit het als een soort schaal, waar je je helemaal kan onttrekken aan de echte wereld of de echte en virtuele wereld kan mixen. Afhankelijk van het type hardware en de toepassing. Ook bij deze uitleg gebruikt het bedrijf trouwens de termen virtual en augmented reality zo min mogelijk.

Deze (nieuwe) definitie van mixed reality maakt het in eerste instantie niet direct veel duidelijker, totdat je een beter beeld krijgt hoe Microsoft mixed reality benadert. Ondanks de verschillende werking is de hele mixed reality-schaal één technologie, die volledig draait op het Windows Mixed Reality-platform. En de technologie lijkt op bijna alle vlakken op elkaar. Het feit of je de echte wereld nog kan zien – of juist niet – is eigenlijk het enige wat anders kan zijn binnen mixed reality.

Cliff house

Hoe dat precies werkt? Ik denk dat het meest concrete voorbeeld datgene is wat er gebeurd als je de Acer Windows Mixed Reality headset opzet. Ik heb deze vorige week op Build meerdere keren mogen proberen. Zodra je hem opzet kom je in het cliff house terecht. Dit is een virtuele huiskamer met een prachtig uitzicht.

In dit huis kun je het menu oproepen en apps openen op precies dezelfde manier als met de Microsoft HoloLens. Het menu ziet er hetzelfde uit en het werkt hetzelfde. Maar waar bij de HoloLens het menu en de apps rondzweven in de kamer waar je je bevindt, is voor de VR-bril een virtuele kamer gebouwd.

In virtual reality kun je om voorwerpen heenlopen, net als bij de HoloLens Deel deze quoteWat verder interessant is, is dat de Acer-headset – en alle brillen die partners van Microsoft nog gaan produceren – in de basis dezelfde sensortechnologie hebben als de HoloLens. Via die sensoren in de bril wordt de omgeving in realtime in kaart gebracht. Dat betekent dat je ook in virtual reality om verwerpen heen kunt lopen, net als bij de HoloLens. En doordat alle sensoren in de bril zitten, hoef je geen losse kastjes in de ruimte om je heen te plaatsen zoals bij sommige andere VR-brillen wel nodig is.

Er is echter wel een verschil in hoe je rondloopt in de virtuele wereld vs. de augmented reality. Bij de HoloLens is 5 meter lopen ook gewoon echt 5 meter lopen. Met de VR-bril op kun je jezelf teleporteren naar een punt 5 meter verderop. Je bevindt je immers in een volledige virtuele wereld. Dit voorkomt dat je ergens tegenaan loopt en voorkomt ook problemen met headsets, zoals die van Acer, die via een kabel aan je computer hangen. Als je vastzit met aan een kabel wordt 5 meter lopen immers een uitdaging.

Apps

Het feit dat mixed reality uiteindelijk één technologie is met een paar kleine verschillen in de details, wordt pas duidelijk als je bekijkt wat ontwikkelaars kunnen met Windows Mixed Reality. Op Microsoft Build konden zij een stoomcursus krijgen: de drie-uur-durende ‘Mixed Reality Academy’.

In deze workshop plaats je een eiland in mixed reality in de ruimte om je heen, bijvoorbeeld op een tafel. Met de HoloLens geen probleem natuurlijk, maar hoe doe je dat in virtual reality? Vrij simpel, in dezelfde app voeg je een virtuele kamer met een tafel toe, waarop je het eiland plaatst. Zo werkt de app met het virtuele eiland zowel in virtual als augmented reality. En het eiland zelf is in beide gevallen exact hetzelfde: het enige verschil is de ruimte waarin het eiland zich bevindt.

Samenwerken

Wat het echter nog interessanter maakt, is dat je er ook voor kan kiezen om dezelfde app een verschillende functie te geven, afhankelijk van het type headset dat je gebruikt. In de workshop wordt de app zo aangepast dat je met de Acer-headset op het eiland staat en daar rond kan lopen. Met de HoloLens blijf je het eiland echter van bovenaf bekijken en kan je daar – in de vorm van poppetjes – de personen met een Acer-headset op zien staan. Andersoms zie je als je in virtual reality omhoog kijkt gekleurde wolken boven het eiland hangen, dit zijn de mensen met een HoloLens.

Bij de app die in de workshop wordt gebruikt, heeft dit ook nog eens een doel. De mensen die op het eiland liepen moeten puzzels oplossen en van bovenaf is goed te zien wat er precies moet gebeuren. De gebruikers van virtual en augmented reality moeten dus samenwerken. Het type mixed reality-technologie hangt dus samen met de rol van de speler, maar uiteindelijk is het gewoon één app.

Microsoft benadrukte hierbij dat het nu om een simpel spelletje gaat, maar dat er ook serieuze toepassingen van het combineren van augmented en virtual reality mogelijk zijn. Wat dacht je van een arts die opereert met ondersteuning van augmented reality, terwijl een andere arts op afstand meekijkt via virtual reality?

Uitdaging

De vraag is of Microsoft de terminologie en voordelen goed uitgelegd krijgt aan het publiek Deel deze quoteAugmented reality en virtual reality samenvoegen tot mixed reality opent dus interessante mogelijkheden. Tevens maakt het het voor gebruikers makkelijker om beide brillen te bedienen (de interface werkt immers altijd hetzelfde) en kunnen ontwikkelaars makkelijker apps ontwikkelen die werken op meerdere platformen. Sterker nog: doordat Windows Mixed Reality uiteindelijk gewoon Windows 10 is, kun je ‘normale’ apps gemakkelijk op alle soorten mixed reality-headsets gebruiken.

De vraag is echter of Microsoft de terminologie en voordelen goed uitgelegd krijgt aan het publiek. Na een paar dagen Microsoft Build inclusief deelname aan de Mixed Reality Academy is het voor mij duidelijk. Om het vervolgens uit te leggen heb ik echter wel weer ruim 1200 woorden nodig gehad. Hier ligt voor Microsoft dan ook een grote uitdaging de komende jaren.