Uitgebreide realiteit – waar we zijn, wat er ontbreekt en de problemen die voor ons liggen

Openbaarmaking: Qualcomm, Microsoft, HP en Lenovo zijn klanten van de auteur.

Qualcomm bood deze week een uitgebreide presentatie aan over waar het staat met mixed reality (MR). Dit is belangrijk omdat Qualcomm de belangrijkste technologieleverancier is voor ongebonden MR-oplossingen. Tot op heden heeft MR succes geboekt in het bedrijfsleven voor training, productie en reparatie, met name in gebieden zoals de ruimtevaart, waar de HoloLens AR van Microsoft op grote schaal is toegepast.

Meta is de leider aan de consumentenkant van de markt, maar worstelt met het typische probleem van prijs versus prijs. capaciteit, die is tekortgeschoten omdat de lat van Meta te laag is en de verwachtingen te hoog. (Het komt binnenkort met een betere optie die dat gat zou kunnen dichten als de markt de hogere prijs koopt.)

Mijn focus ligt op de commerciële kant van de zaak in de context van de presentatie van Qualcomm.

De vier soorten extended reality

Terminologie is overal op de kaart in deze arena, maar ik ga uitgebreide realiteit gebruiken als de klassenaam met subklassen van VR/MR (virtual reality en mixed reality), augmented reality (AR) standalone, AR-viewers en slimme bril. De laatste is een bijzonder interessante klasse omdat het minder te maken heeft met wat we doorgaans beschouwen als uitgebreide realiteit en meer met het weergeven van het scherm op je gezicht.

VR/MR is waar we aan denken als we het hebben over immersie. Beide vereisen dat het volledige beeld wordt weergegeven, waarbij het verschil tussen VR en MR is hoeveel denkbeeldig is en hoeveel echt is. Met VR bestaat de hele scène alleen in software, niets is echt en camera’s (als er camera’s zijn) worden meestal gebruikt om te voorkomen dat je tegen dingen aanloopt. MR gebruikt camera’s om de omgeving vast te leggen en geeft de scène vervolgens weer met een mix van computergegenereerde beelden en gerenderde beelden van wat er om je heen is. Dit is potentieel de meest realistische van alle gemengde oplossingen, maar vereist enorme verwerkingskracht, heeft vaak problemen met latentie en hardwaregewicht en leent zich meestal voor gekoppelde oplossingen. Deze benaderingen worden gebruikt voor meeslepende training (de US Space Force gebruikt dit voor training in ruimtegevechten) en entertainment. Van de headsets die ik heb gezien en getest, heeft Varjo misschien wel de beste, terwijl HP’s Reverb G2 een goede instapoptie biedt.

AR standalone wordt het best vertegenwoordigd door Microsoft’s HoloLens en Lenovo’s ThinkReality A6-bril, die vergelijkbaar zijn met HoloLens, maar een deel van het gewicht van het hoofd naar de taille verplaatsen voor een beter langdurig gebruik. Dit gebruikt de technologie om een ​​gerenderd beeld te projecteren in glazen die transparant zijn en beelden als spoken voor de ogen van de gebruiker laten zweven. Gebruikt in productie en buitendienst – en met interessante use-cases in de gezondheidszorg – is deze technologie met name nuttig geweest voor niet-repetitieve productielijnbanen en ruimtevaart.

AR-viewer is een variant van het bovenstaande en gebruikt meestal een smartphone met de bril om de kosten te verlagen en tegelijkertijd vergelijkbare prestaties en mogelijkheden te bieden. Het bekendste apparaat in deze klasse was Google Glass, die zo slecht was uitgerold dat deze productlijn jaren achteruit ging.

En tot slot zijn er op het hoofd gemonteerde displays. Het scherm zit op je hoofd en neemt de plaats in van het scherm op je telefoon of pc. Dit is tegenwoordig vooral handig voor het bekijken van video’s, met name die met inhoud die u niet door anderen wilt laten zien. Het kan worden gebruikt voor vertrouwelijke training in openbare ruimtes of om ervaringen op een groot scherm te bieden met draagbare apparaten. Hoewel dit niet echt een ER-apparaat is, zou het kunnen evolueren naar een apparaat en samengaan met het AR-viewersegment. Het product waar ik het meest bekend mee ben, is de Lenovo ThinkReality A3 Smart-bril.

Wat ontbreekt er op dit moment

Geen van deze oplossingen is nog volwassen, maar zowel VR/MR als AR standalone worden op grote schaal geproduceerd en zijn tegenwoordig nuttig. De AR-viewer, die werd verlamd door Google Glass, en het aanbod van beeldschermen op het hoofd staan ​​nog in de kinderschoenen, maar gaan snel vooruit.

Wat ontbreekt voor onderdompeling in de VR/MR is full-body instrumentatie, zodat je kunt bewegen en communiceren in de virtuele wereld(en) zoals je zou doen in de echte wereld. Handscannen met camera’s op een headset was niet erg betrouwbaar en het algemene gebruik van controllers zorgt voor een ontkoppeling tussen hoe u willen om te communiceren met een virtuele wereld en hoe u moeten ermee reageren. Dit is vooral problematisch bij MR omdat je je blote hand gebruikt om echte objecten aan te raken en de controller om gerenderde objecten aan te raken, wat de ervaring bederft. Haptiek, die Meta en anderen agressief ontwikkelen, is slechts een slechte stop-gap-methode; wat nodig is, is een manier om een ​​persoon naadloos in de virtuele wereld te brengen en volledige interactie en zintuiglijke waarnemingen mogelijk te maken alsof het de echte wereld is.

AR standalone heeft problemen gehad met occlusie, waaraan door Qualcomm en anderen wordt gewerkt. Na correctie zullen gerenderde objecten er steviger uitzien en minder op spookachtige afbeeldingen die gedeeltelijk transparant zijn. Maar de use-cases voor deze klasse zijn zeer goed ontwikkeld, waardoor dit vandaag de meest aantrekkelijke oplossing is.

AR-viewer heeft vergelijkbare problemen als standalone AR, maar presteert ver onder zijn potentieel, aangezien het goedkoper zou moeten zijn dan standalone AR, terwijl het vergelijkbare voordelen biedt.

Op het hoofd gemonteerde displays bestaan ​​al sinds het begin van de jaren 2000. Het probleem was om mensen vertrouwd te maken met de bril en een manier te bieden om ze te gebruiken voor meer dan alleen het bekijken van video’s. Ze zouden uiteindelijk monitoren kunnen vervangen, maar gebruikers hebben eerst een betere manier nodig om naar beneden te kunnen kijken en hun handen en bureau te kunnen zien, of om mensen te trainen in blind typen of sterkere spraak-naar-tekstvaardigheden. Dat laatste lijkt onwaarschijnlijk.

Veranderen hoe we omgaan met technologie

Deze oplossingen zullen, naarmate ze volwassen worden, de manier veranderen waarop we omgaan met onze smartphones en pc’s. Zodra u de ervaring van een groot scherm in een bril kunt bieden en cloudopties zoals Windows 365 kunt gebruiken, gaat uw computer naar de cloud en heeft u alleen een krachtig, draadloos (5G/6G) apparaat nodig, geen volledige pc.

Deze apparaten veranderen nu al de manier waarop industrieën mensen opleiden en hoe ze producten bouwen en repareren. Ik verwacht dat ze mettertijd drastisch zullen veranderen wat er op ons bureau staat en zelfs het bureau zelf overbodig zal maken.