A legfontosabb elvitelek
- Az Nvidia nemrégiben bemutatott egy technikát, amely a 2D-s fényképeket pillanatok alatt 3D-s jelenetekké változtatja.
- A módszer számítógépes teljesítményt használ annak meghatározására, hogy a fény hogyan viselkedik a való világban.
- A metaverzum az egyik olyan terület, ahol a 3D-s jelenetek hasznosak, mert bármilyen kameraperspektívából megtekinthetők.
Az Nvidia új mesterséges intelligencia (AI) technológiája hamarosan másodpercek alatt 3D-s jelenetekké változtathatja a 2D-s fényképeket, így a metaverzumhoz hasonló magával ragadó virtuális terek létrehozása olyan triviális, mint a szövegszerkesztés.
Az Nvidia nemrégiben bemutatta az Instant NeRF nevű fényképezési módszert, amely számítási teljesítmény segítségével közelíti meg, hogyan viselkedik a fény a való világban. Átalakíthatja régi fényképeit videojáték-jelenetté, vagy arra is használható, hogy robotokat és önvezető autókat képezzenek ki, hogy megértsék a valós tárgyak méretét és alakját.
"A 3D képalkotás az átalakulás új világát hozza el" - mondta a Lifewire-nek Oren Debbi, a Visionary.ai, a 3D algoritmusait az Nvidia platformon futtató számítógépes látással foglalkozó cég vezérigazgatója egy e-mailes interjúban. "A 3D használatával a valós világ mélységét utánozza a jelenetben, és a képet élethűbbé és valósághűbbé varázsolja. Az AR/VR és az ipari kamerák mellett, ahol a 3D nagyon elterjedt, ma azt látjuk, hogy szinte minden okostelefonon használják anélkül, hogy a felhasználó még tudja is."
Méretek hozzáadása
Az első azonnali fotó, amely 75 évvel ezelőtt készült Polaroid fényképezőgéppel, a 3D-s világ gyors 2D-s képen történő rögzítését tűzte ki célul. Az AI-kutatók most az ellenkezőjén dolgoznak: állóképek gyűjteményét másodpercek alatt digitális 3D-s jelenetté varázsolják.
Az inverz renderelésként ismert folyamat mesterséges intelligencia segítségével közelíti meg, hogyan viselkedik a fény a valós világban, lehetővé téve a kutatóknak, hogy egy maroknyi, különböző szögekből készült 2D-s képből 3D-s jelenetet tudjanak rekonstruálni. Az Nvidia azt állítja, hogy olyan megközelítést fejlesztett ki, amely szinte azonnal elvégzi ezt a feladatot.
Az Nvidia ezt a megközelítést alkalmazta egy új, neurális sugárzási mezőnek vagy NeRF-nek nevezett technológiával. A cég szerint az Instant NeRF névre keresztelt eredmény az eddigi leggyorsabb NeRF technika. A modellnek mindössze néhány másodpercre van szüksége néhány tucat állókép elkészítéséhez, majd több tíz ezredmásodperc alatt képes renderelni a kapott 3D-s jelenetet.
"Ha a hagyományos 3D-s ábrázolások, például a sokszögű hálók hasonlóak a vektoros képekhez, a NeRF-ek olyanok, mint a bittérképes képek: sűrűn rögzítik, ahogy a fény kisugárzik egy objektumról vagy egy jeleneten belül." - David Luebke, a grafikai kutatásokért felelős alelnöke Az Nvidia egy sajtóközleményben azt mondta: „Ebben az értelemben az Instant NeRF ugyanolyan fontos lehet a 3D számára, mint a digitális fényképezőgépek és a JPEG-tömörítés a 2D-s fotózásban – ez jelentősen megnöveli a 3D rögzítés és megosztás sebességét, egyszerűségét és elérhetőségét."
A NeRF táplálásához szükséges adatok gyűjtéséhez a neurális hálózatnak néhány tucat, a jelenet körüli több helyről készített képet, valamint az egyes felvételek kamerapozícióját kell rögzítenie.
A NeRF egy kis neurális hálózatot képez ki, hogy rekonstruálja a jelenetet azáltal, hogy megjósolja a 3D tér bármely pontjáról bármely irányba sugárzó fény színét.
A 3D fellebbezése
A metaverzum az egyik olyan terület, ahol a 3D jelenetek hasznosak, mert bármilyen kameraperspektívából megtekinthetők – mondta Brad Quinton, a Perceptus Platform for Augmented reality (AR) alapítója a Lifewire-nek egy e-mailes interjúban. Ugyanúgy, ahogy a való életben végigsétálhatunk egy helyiségen, és sok különböző szögből láthatjuk annak tartalmát, egy rekonstruált 3D-s jelenettel gyakorlatilag áthaladhatunk a téren, és bármilyen perspektívából megtekinthetjük.
"Ez különösen hasznos lehet a virtuális valóságban használható környezetek létrehozásához" - mondta Quinton.
Az olyan programok, mint az Apple Object Capture, a fotogrammetria nevű technikát alkalmazzák virtuális 3D objektumok létrehozására 2D képek sorozatából. A 3D modelleket széles körben használják majd a virtuális valóságban és az AR-alkalmazásokban, jósolta Quinton. Például néhány mesterséges intelligencia, mint például a Perceptus AR Platform, 3D modelleket használ a valós világ megértéséhez, ami lehetővé teszi a valós idejű AR-alkalmazásokat.
A 3D-s képek használata a jelenet valós mélységét is utánozza, és élethűbbé és valósághűbbé teszi a képet – mondta Debbi. A Bokeh-effektus (más néven portré mód vagy filmes mód) létrehozásához 3D mélységleképezés szükséges. A technikát szinte minden okostelefonon alkalmazzák.
"Ez már szabvány a filmeket forgató professzionális videósok számára, és ez lesz a szabvány minden fogyasztó számára" - tette hozzá Debbi.
