Neural rendering oyunlarda buyuk devrim olacak.
RTX'lerdeki Tensor Core'lar bu is icin kullanilabilir. Yeni gelecek konsollarin donanimi yeterince guclu olursa belki onlarin omru icerisinde bu isleri benzer kalitede gercek zamanli yapan algoritmalar hazirlanir, oyunlardaki grafik kalitesinde radikal bir sicrayisin ilk orneklerini gorebiliriz. Gercek dunyadan alinan goruntulerden ortamin modelini olusturma konusundaki calismalar bu tarz neural rendering ile birlesirse sonuc acayip olur.
Gercek zamanli rendering'de tum ortamin bu sekilde hazirlanmasina daha vakit olabilir. Buradaki gibi 2D goruntuden yeni 2D goruntu elde edilmesinin gercek zamanli yapilmasina da vakit olabilir. Ama hybrid/melez cozumler cok ilginc olabilir. Her zamanki gibi 3D hazirlanmis bir karakterin uzerinden butun derinlik ve isiklandirma bilgisine mukemmel erisimi olan oyun motorunun o karakterin sadece yuzunu gercek bir yuzle degistirmesi 2D videoyu analiz edip yuzu degistirmesinden cok daha kolay olacaktir. Yani su alttakini yapan algoritmanin erisimi olan veri cok daha kisitli aslinda:
Meshur Half-Life 2 G-man videosunun oyunun rendering motoru tarafindan G-man'in yuz modelinin butun ayrintilari ve ortam isiklandirmasinin butun ayrintilari bilinerek gercek bir insanin (mesela Jordan Peterson) yuzunden alinan goruntulerle gercek zamanli yeniden sekillendirilmesi animasyondan daha gercekci sonuclar verebilir.
Burada kastettigim teknik gercek insanlarin yuzlerini tarayarak doku elde edip bu dokunun giydirildigi modele animasyon uygulamaktan farkli. Yine oyun motoru ilk etapta G-man'in yuz ifadesini animasyon sistemi ile belirliyor, bunu takiben neural network gercek bir insanin farkli videolarini tarayarak o animasyona denk gelen gercek goruntuyu kullanip nihai goruntuyu olusturuyor. Oyun motorunun G-man'e verecegi animasyonlar bastan belli oldugu icin bunlari kullanarak train edilen bir network hangi animasyona Jordan Peterson'in hangi videosundaki verinin denk geldigini bildigi icin bu training supercomputer'da bir kez yapilip nvidia'nin driver'larina yuklendiginde Tensor Core'lar bu islemi gercek zamanli yapabilir.
Global Illumination vb. gelismis efektlerin path tracing ile donanimda gercek zamanli yapildigi bir oyunda karakterlerin yuzleri de gercek oyunculardan goruntulerle neural rendering teknikleri kullanilarak degistirildiginde, isiklandirmanin etkisinin birebir korunmasi mumkun olursa elde edilen kalite gercek hayat seviyesine olmasa da Marvel filmlerinin tarzina yaklasabilir. Iron Man maskesi Robert Downey Jr'in yuzune inmeden once zirhin kenarlarinin dusurdugu golge ile yuzun golgelendirilmesi gercek hayat kadar mukemmel olmuyor ama sonuc cogu zaman etkileyici oluyor. O tarzin nispeten dusuk cozunurluklusu gibi bir sonuc elde edilebilir.
