In een snelle, oogverblindende speciale toespraak op SIGGRAPH beschreven NVIDIA-execs de krachten die het volgende grafische tijdperk aandrijven, en het groeiende assortiment tools van het bedrijf om deze te versnellen.
“De combinatie van AI en computergraphics zal de metaverse, de volgende evolutie van het internet, aandrijven”, zei Jensen Huang, oprichter en CEO van NVIDIA, aan het begin van de 45 minuten durende talk.
Het wordt de thuisbasis van verbonden virtuele werelden en digitale tweelingen, een plek voor echt werk en spel. En, zei Huang, het zal bruisen van wat een van de meest populaire vormen van robots zal worden: digitale menselijke avatars.
Met 45 demo’s en dia’s kondigden vijf NVIDIA-speakers aan:
- Een nieuw platform voor het maken van avatars, NVIDIA Omniverse Avatar Cloud Engine (ACE).
- Plannen om Universal Scene Description (USD), de taal van de metaverse, uit te bouwen.
- Grote uitbreidingen op NVIDIA Omniverse, het computerplatform voor het creëren van virtuele werelden en digitale tweelingen.
- Tools om grafische workflows een boost te geven met machine learning.
“De aankondigingen die we vandaag hebben gedaan, bevorderen de metaverse, een nieuw computerplatform met nieuwe programmeermodellen, nieuwe architecturen en nieuwe standaarden”, zei hij.
Metaverse toepassingen zijn er al.
Huang wees op consumenten die virtuele 3D-producten uitproberen met augmented reality, telco’s die digitale tweelingen van hun radionetwerken creëren om radiotorens te optimaliseren en in te zetten en bedrijven die digitale tweelingen van magazijnen en fabrieken creëren om hun lay-out en logistiek te optimaliseren.
Voer de Avatars in
De metaverse zal tot leven komen met virtuele assistenten, avatars waarmee we net zo natuurlijk communiceren als praten met een andere persoon. Ze werken in digitale fabrieken, spelen in online games en bieden klantenservice aan e-tailers.
“Er zullen miljarden avatars zijn”, zei Huang, die ze “een van de meest gebruikte soorten robots” noemde die in Omniverse zullen worden ontworpen, getraind en gebruikt.
Digitale mensen en avatars vereisen natuurlijke taalverwerking, computervisie, complexe gezichts- en lichaamsanimaties en meer. Om op realistische manieren te bewegen en te spreken, moet deze reeks complexe technologieën tot op de milliseconde worden gesynchroniseerd.
Het is hard werken dat NVIDIA wil vereenvoudigen en versnellen met Omniverse Avatar Cloud Engine. ACE is een verzameling AI-modellen en -services die voortbouwen op het werk van NVIDIA, van alles van conversatie-AI tot animatietools zoals Audio2Face en Audio2Emotion.
“Met Omniverse ACE kunnen ontwikkelaars hun avatar-applicatie bouwen, configureren en implementeren in elke engine in elke publieke of private cloud”, zegt Simon Yuen, senior director graphics en AI bij NVIDIA. “We willen het bouwen van interactieve avatars voor elk platform democratiseren.”
ACE zal begin volgend jaar beschikbaar zijn en draait op embedded systemen en alle grote clouddiensten.
Yuen demonstreerde ook de nieuwste versie van Omniverse Audio2Face, een AI-model dat gezichtsanimatie rechtstreeks van stemmen kan maken.
“We hebben zojuist meer functies toegevoegd om je emoties te analyseren en automatisch over te brengen naar je avatar”, zei hij.
Toekomstige versies van Audio2Face zullen avatars maken van een enkele foto, automatisch texturen toepassen en animatieklare 3D-meshs genereren. Ze spelen hifi-simulaties van spierbewegingen die een AI kan leren van het bekijken van een video – zelfs levensecht haar dat reageert zoals verwacht op virtuele verzorging.
USD, een stichting voor het 3D-internet
Veel superkrachten van de metaverse zullen worden gegrondvest in USD, een basis voor het 3D-internet.
De metaverse “heeft een standaardmanier nodig om alle dingen in 3D-werelden te beschrijven”, zegt Rev Lebaredian, vice-president van Omniverse en simulatietechnologie bij NVIDIA.
“Wij geloven dat Universal Scene Description, uitgevonden en open source door Pixar, de standaard scenebeschrijving is voor het volgende tijdperk van internet”, voegde hij eraan toe, terwijl hij USD vergeleek met HTML in het 2D-web.
Lebaredian beschreef NVIDIA’s visie op USD als een sleutel tot het openen van nog meer kansen dan die in de fysieke wereld.
“Onze volgende mijlpalen zijn bedoeld om USD-prestaties te leveren voor realtime, grootschalige virtuele werelden en industriële digitale tweelingen”, zei hij, wijzend op de plannen van NVIDIA om ondersteuning in USD te helpen uitbouwen voor internationale karaktersets, geospatiale coördinaten en realtime streaming van IoT-gegevens.
Om de acceptatie van USD verder te versnellen, zal NVIDIA een suite voor compatibiliteitstests en certificering voor USD uitbrengen. Het laat ontwikkelaars weten dat hun aangepaste USD-componenten een verwacht resultaat opleveren.
Daarnaast heeft NVIDIA een reeks simulatieklare USD-activa aangekondigd, ontworpen voor gebruik in industriële digitale tweelingen en AI-trainingsworkflows. Ze sluiten zich aan bij een schat aan USD-bronnen die gratis online beschikbaar zijn, waaronder USD-ready scenes, on-demand tutorials, documentatie en cursussen onder leiding van een instructeur.
“We willen dat iedereen helpt bij het opbouwen en vooruithelpen van de USD”, zei Lebaredian.
Omniverse breidt zijn palet uit
Een van de grootste aankondigingen van het speciale adres was een belangrijke nieuwe release van NVIDIA Omniverse, een platform dat bijna 200.000 keer is gedownload.
Huang noemde Omniverse “een USD-platform, een toolkit voor het bouwen van metaverse applicaties en een rekenmachine om virtuele werelden te draaien.”
De nieuwste versie bevat verschillende verbeterde kerntechnologieën en meer verbindingen met populaire tools.
De koppelingen, Omniverse Connectors genaamd, zijn nu in ontwikkeling voor Unity, Blender, Autodesk Alias, Siemens JT, SimScale, het Open Geospatial Consortium en meer. Connectors zijn nu beschikbaar in bèta voor PTC Creo, Visual Components en SideFX Houdini. Deze nieuwe ontwikkelingen voegen zich bij Siemens Xcelerator, nu onderdeel van het Omniverse-netwerk, en verwelkomen meer industriële klanten in het tijdperk van digitale tweelingen.
Net als het internet zelf, is Omniverse “een netwerk van netwerken”, dat gebruikers uit verschillende sectoren en disciplines met elkaar verbindt, zegt Steve Parker, NVIDIA’s vice-president van professionele grafische afbeeldingen.
Bijna een dozijn toonaangevende bedrijven zullen Omniverse-mogelijkheden presenteren op SIGGRAPH, waaronder leveranciers van hardware, software en cloudservices, variërend van AWS en Adobe tot Dell, Epic en Microsoft. Een half dozijn bedrijven zullen NVIDIA-aangedreven sessies houden over onderwerpen als AI en virtuele werelden.
Natuurkunde versnellen, dieren animeren
Parker heeft verschillende technologie-upgrades in Omniverse beschreven. Ze omvatten verbeteringen voor het simuleren van fysiek nauwkeurige materialen met de Material Definition Language (MDL), realtime fysica met PhysX en het hybride weergave- en AI-systeem, RTX.
“Deze kerntechnologiepijlers worden aangedreven door NVIDIA high-performance computing van de edge tot de cloud”, aldus Parker.
PhysX ondersteunt nu bijvoorbeeld soft-body- en particle-cloth-simulatie, waardoor virtuele werelden in realtime fysiek nauwkeuriger worden. En NVIDIA is volledig open source MDL, zodat het gemakkelijk grafische API-standaarden zoals OpenGL of Vulkan kan ondersteunen, waardoor de materiaalstandaard breder beschikbaar is voor ontwikkelaars.
Omniverse zal ook neurale grafische mogelijkheden bevatten die zijn ontwikkeld door NVIDIA Research en die RTX-graphics en AI combineren. Bijvoorbeeld:
- Animal Modelers laten kunstenaars de vorm van een dier herhalen met puntenwolken en vervolgens automatisch een 3D-mesh genereren.
- GauGAN360, de volgende evolutie van NVIDIA GauGAN, genereert 8K, 360-graden panorama’s die gemakkelijk in een Omniversum-scène kunnen worden geladen.
- Instant NeRF maakt 3D-objecten en scènes van 2D-beelden.
Met een Omniverse-extensie voor NVIDIA Modulus, een raamwerk voor machine learning, kunnen ontwikkelaars AI gebruiken om simulaties van real-world physics tot 100.000x te versnellen, zodat de metaverse eruitziet en aanvoelt als de fysieke wereld.
Bovendien is Omniverse Machinima – onderwerp van een levendige wedstrijd op SIGGRAPH – nu sportinhoud van Post Scriptum, Voorbij de draad en Schaduw Krijger 3 evenals nieuwe AI-animatietools zoals Audio2Gesture.
Een demo van Industrial Light & Magic toonde nog een nieuwe functie. Omniverse DeepSearch gebruikt AI om teams te helpen intuïtief te zoeken in enorme databases met niet-gecodeerde activa, waardoor nauwkeurige resultaten worden verkregen voor termen, zelfs als ze niet specifiek in metadata worden vermeld.
Grafische oplossingen worden slim
Een van de essentiële pijlers van de opkomende metaverse is neurale afbeeldingen. Het is een hybride discipline die neurale netwerkmodellen gebruikt om computergraphics te versnellen en te verbeteren.
“Neurale graphics verstrengelen AI en graphics en maken de weg vrij voor een toekomstige grafische pijplijn die van data kan leren”, zegt Sanja Fidler, vice-president AI bij NVIDIA. “Neurale afbeeldingen zullen opnieuw definiëren hoe virtuele werelden worden gecreëerd, gesimuleerd en ervaren door gebruikers”, voegde ze eraan toe.
AI zal artiesten helpen om de enorme hoeveelheid 3D-content voort te brengen die nodig is om de metaverse te creëren. Ze kunnen bijvoorbeeld neurale afbeeldingen gebruiken om snel objecten en gedragingen in de fysieke wereld vast te leggen.
Fidler beschreef NVIDIA-software om precies dat te doen, Instant NeRF, een hulpmiddel om een 3D-object of scène te maken van 2D-beelden. Het is het onderwerp van een van NVIDIA’s twee beste papieren awards op SIGGRAPH.
In de andere beste papieren award, drijft neurale graphics een model aan dat reactielatenties in esports en AR/VR-toepassingen kan voorspellen en verminderen. De twee beste papers behoren tot de 16 in totaal die NVIDIA-onderzoekers deze week presenteren op SIGGRAPH.
Ontwerpers en onderzoekers kunnen neurale afbeeldingen en andere technieken toepassen om hun eigen bekroonde werk te creëren met behulp van nieuwe softwareontwikkelingskits die NVIDIA op het evenement heeft onthuld.
Fidler beschreef een van hen, Kaolin Wisp, een reeks tools om neurale velden te creëren – AI-modellen die een 3D-scène of object vertegenwoordigen – met slechts een paar regels code.
Los daarvan heeft NVIDIA NeuralVDB aangekondigd, de volgende evolutie van de open source-standaard OpenVDB die industrieën van visuele effecten tot wetenschappelijke computers gebruiken om water, vuur, rook en wolken te simuleren en weer te geven.
NeuralVDB gebruikt neurale modellen en GPU-optimalisatie om de geheugenvereisten drastisch te verminderen, zodat gebruikers in realtime kunnen communiceren met extreem grote en complexe datasets en deze efficiënter kunnen delen.
“AI, de krachtigste technologische kracht van onze tijd, zal een revolutie teweegbrengen in elk gebied van de computerwetenschap, inclusief computergraphics, en NVIDIA RTX is de motor van neurale graphics”, zei Huang.
Bekijk het volledige speciale adres op de SIGGRAPH-evenementsite van NVIDIA. Daar vind je ook details over labs, presentaties en het debuut van een documentaire achter de schermen over hoe we onze nieuwste GTC-keynote hebben gemaakt.
0 Comments