De kracht van visuele invloed

Wat motiveert of drijft het menselijk oog om zich op een doel te fixeren en hoe wordt dat visuele beeld dan waargenomen? Wat is de vertragingstijd tussen onze gezichtsscherpte en onze reactie op de waarneming? In het snelgroeiende veld van meeslepende virtual reality (VR) en augmented reality (AR), is het in realtime verbinden van die punten tussen oogbewegingen, visuele doelen en besluitvorming de drijvende kracht achter een nieuw computermodel dat is ontwikkeld door een team van computerwetenschappers aan de New York University, Princeton University en NVIDIA.

De nieuwe aanpak bepaalt de realtime reactie van een gebruiker op een afbeelding of scène op basis van hun oogbewegingen, met name saccades, de supersnelle bewegingen van het oog die tussen punten schokken voordat ze zich op een afbeelding of object fixeren. Saccades zorgen voor frequente verschuivingen van aandacht om iemands omgeving beter te begrijpen en om interessante objecten te lokaliseren. Het begrijpen van het mechanisme en het gedrag van saccades is van vitaal belang voor het begrijpen van menselijke prestaties in visuele omgevingen, wat een opwindend onderzoeksgebied in computergraphics vertegenwoordigt.

De onderzoekers zullen hun nieuwe werk met de titel “Image Features Influence Reaction Time: A Learned Probabilistic Perceptual Model for Saccade Latency” demonstreren op SIGGRAPH 2022, gehouden op 15 augustus. 8-11 in Vancouver, BC, Canada. De jaarlijkse conferentie, die dit jaar persoonlijk en virtueel zal zijn, belicht ‘s werelds toonaangevende professionals, academici en creatieve geesten in de voorhoede van computergraphics en interactieve technieken.

“Er is onlangs uitgebreid onderzoek gedaan naar het meten van de visuele kwaliteiten die door mensen worden waargenomen, met name voor VR/AR-schermen”, zegt senior auteur Qi Sun, PhD, assistent-professor informatica en engineering aan de Tandon School of Engineering van de New York University.

“Maar we moeten nog onderzoeken hoe de weergegeven inhoud ons gedrag kan beïnvloeden, zelfs merkbaar, en hoe we die schermen mogelijk kunnen gebruiken om de grenzen van onze prestaties te verleggen die anders niet mogelijk zouden zijn.”

Geïnspireerd door hoe het menselijk brein gegevens verzendt en beslissingen neemt, implementeren de onderzoekers een neurologisch geïnspireerd probabilistisch model dat de accumulatie van “cognitief vertrouwen” nabootst die leidt tot een menselijke beslissing en actie. Ze voerden een psychofysisch experiment uit met geparametriseerde stimuli om de correlatie tussen beeldkenmerken te observeren en te meten, en de tijd die nodig is om ze te verwerken om een ​​saccade te activeren, en of/hoe de correlatie verschilt van die van gezichtsscherpte.

Ze valideren het model met behulp van gegevens van meer dan 10.000 gebruikersexperimenten met behulp van een eye-tracked VR-display, om de correlatie tussen de visuele inhoud en de “snelheid” van besluitvorming op basis van reactie op de afbeelding te begrijpen en te formuleren. De resultaten laten zien dat de nieuwe modelvoorspelling nauwkeurig het menselijk gedrag in de echte wereld weergeeft.

Het voorgestelde model kan dienen als maatstaf voor het voorspellen en wijzigen van de reactietijd van gebruikers in interactieve computergraphics-toepassingen, en kan ook helpen om het ontwerp van VR-ervaringen en spelerprestaties in esports te verbeteren. In andere sectoren, zoals de gezondheidszorg en de auto-industrie, zou het nieuwe model kunnen helpen bij het inschatten van het vermogen van een arts of bestuurder om snel te reageren en te reageren op noodsituaties. In esports kan het worden toegepast om de eerlijkheid van de concurrentie tussen spelers te meten of om beter te begrijpen hoe je je prestaties kunt maximaliseren wanneer reactietijden tot milliseconden dalen.

In toekomstig werk is het team van plan om het potentieel van cross-modale effecten te onderzoeken, zoals visueel-audiosignalen die gezamenlijk onze cognitie beïnvloeden in scenario’s zoals autorijden. Ze zijn ook geïnteresseerd in het uitbreiden van het werk om de nauwkeurigheid van menselijke acties die worden beïnvloed door visuele inhoud beter te begrijpen en weer te geven.

De auteurs van het artikel, Budmonde Duinkharjav (NYU); Praneeth Chakravarthula (Princeton); Rachel Brown (NVIDIA); Anjul Patney (NVIDIA); en Qi Sun (NYU), zijn klaar om hun nieuwe methode in augustus te demonstreren. 11 bij SIGGRAPH als onderdeel van het programma, Roundtable Session: Perception. Het papier is hier te vinden.

Over ACM SIGGRAPH
ACM SIGGRAPH is een internationale gemeenschap van onderzoekers, kunstenaars, ontwikkelaars, filmmakers, wetenschappers en zakelijke professionals met een gedeelde interesse in computergraphics en interactieve technieken. Als speciale belangengroep van de Association for Computing Machinery (ACM), ‘s werelds eerste en grootste computermaatschappij, is het onze missie om gelijkgestemde onderzoekers en beoefenaars te koesteren, verdedigen en verbinden om innovatie in computergraphics en interactieve technieken te katalyseren.