Partiamo con il dire che questa non è una e vera propria news, ma bensì un'anteprima su di un nuovo modo di "vedere" ciò che ci circonda con l'ausilio del rendering fotorealistico, supporto scientifico e sperimentale. 

A tal proposito la tecnologia NeRF e tutte le sue implicazioni, risulta essere la punta di diamante di un intero studio verso future applicazioni. Questa news potrebbe essere "pesante", ma se si libera la fantasia che è in noi, a fine lettura scopriremo miliardi di possibilità offerte da questa tecnologia.

c2bcd7f8f56c5128c0efdcca0ebf9934.jpg

Memories from Portland - The Portland Japanese is a splendid place  NeRF synthesized using @NVIDIAAIDev's Instant ngp by Hugues Bruyère


Nel 2020, il documento NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis  presentò un nuovo metodo per sintetizzare viste di scene complesse ottimizzando una funzione di scena volumetrica continua e un insieme sparso di viste di input. Mip-NeRF, dimostrò che era possibile estendere NeRF per rappresentare scene su scala a valore continuo, riducendo efficacemente gli artefatti di aliasing e migliorando significativamente le prestazioni dell'approccio originale. In sintesi, è possibile creare rendering fotorealistici 3D di scene molto grandi  da nuove angolazioni della telecamera preservando i dettagli molto fini con l'ausilio dei campi di radianza neurale, la quale, hanno dato risultati impressionanti di sintesi della vista su oggetti e regioni delimitate dello spazio. 

0101fe8d9730a41813d6008ebf2d992a.jpg

A NeRF capture of the sculpture outside Glyptoteket in Copenhagen: “Lion with Snake”  @NVIDIAAIDev's Instant ngp by Nikolaj Stausbøl


I modelli basati su NeRF sono efficaci su di una scena illimitata, in cui la telecamera può puntare in qualsiasi direzione e il contenuto può esistere a qualsiasi distanza?

Da questa domanda nasce Mip-NeRF 360 (estensione di Mip-NeRF) la quale utilizza una parametrizzazione della scena non lineare, una distillazione online e un nuovo regolatore basato su distorsione, per superare le sfide presentate dalle scene illimitate in cui la telecamera ruota di 360 gradi attorno a un punto.

e92629645c46285fceec69e9c8dc9786.png

(profondità e rendering)

Quando si parla di campi di radianza neurale, significa che abbiamo coinvolta, ovviamente, una rete Neurale, una Radianza (nient'altro che la luminosità della scena emessa dalla rete neurale  o quanta luce viene emessa da un punto nello spazio in ciascuna direzione) e dei Campi, ovvero la Rete Neurale che modella una rappresentazione continua della scena che apprende.
In parole povere,  un campo di radianza neurale è una rete neurale che modella il punto e una direzione di osservazione in uno spazio 3D alla quantità di luce che viene emessa da detto punto in ciascuna direzione in modo non discrezionale

ebe5a1150c19812a06751c6ec457b2c8.png


Mip-NeRF 360 è fondamentalmente una variante del NeRF originale, il quale è basato su coordinate per modellare la densità volumetrica e il colore di una determinata scena utilizzando un modello di rendering volumetrico simile al Ray-Tracing

Purtroppo questo sistema ignora sia l'impronta relativa del pixel dell'immagine corrispondente, sia la lunghezza dell'intervallo lungo il raggio contenente il punto cosi da avere artefatti di aliasing durante il rendering di nuove traiettorie della telecamera. Mip-NeRF risolve questo problema utilizzando l'impronta dei pixel proiettata per campionare i tronconi conici lungo il raggio anziché gli intervalli, e utilizza distribuzioni gaussiane multivariate per rappresentare volumi 3D in una determinata scena.

Partendo da questo presupposto, nascono alcuni problemi; Le scene a 360° illimitate possono occupare una regione arbitrariamente ampia dello spazio, ma Mip-NeRF richiede che le coordinate della scena 3D si trovino in un dominio limitato. I tipi di parametrizzazione usati sono NeRF++, che utilizza una rete aggiuntiva per modellare oggetti distanti, e DONeRF, che propone una procedura di deformazione spaziale per ridurre i punti distanti verso l'origine ma entrambi hanno delle limitazioni.

In Mip-NeRF, le telecamere proiettano gaussiani nella scena, ma in uno spazio illimitato ciò si traduce in gaussiane molto lontane dall'origine e molto allungate. Questo è un problema per Mip-NeRF la quale richiede uno spazio di coordinate limitato e gaussiane isotropiche. 

54362a16c5de0ae04fcceccd6b170bfc.png

Si tenta cosi di risolvere la parametrizzazione di scene a 360°, definendo un warp che mappa uniformemente tutte le coordinate al di fuori di una sfera di raggio 1 (mostrata in blu nella figura seguente) in una sfera di raggio 2 (mostrata in arancione nella figura seguente). Questa curvatura è progettata per contrastare la spaziatura non lineare definita dalle Gaussiane Mip-NeRF.  Ciò consente di deformare le gaussiane in modo tale che in una scena illimitata risieda in una sfera di raggio 2 (mostrata in arancione nella figura seguente).

8eb6645c9c4e770790670c0a23e81bc9.png


Una sfida fondamentale nell'affrontare scene illimitate è che quest'ultime sono grandi e dettagliate e richiedono un numero significativamente maggiore di campioni lungo ciascun raggio per localizzare accuratamente le superfici. Ciò rende il ridimensionamento della rappresentazione computazionalmente costoso.  Per accelerare notevolmente la rappresentazione, si tenta di "distillare" la geometria della scena da un grande MLP NeRF in un piccolo MLP durante l'ottimizzazione con un "addestramento" e campionamento dei pixel e istogrammi con procedure complesse (vedi alla fine dell'articolo per maggiori informazioni). Sebbene i NeRF siano tradizionalmente ottimizzati utilizzando molte immagini di input di una scena, il problema del recupero di un NeRF che produce viste sintetizzate realistiche da nuove angolazioni della telecamera è ancora fondamentalmente limitato. Questo problema di ambiguità viene affrontato nella pipeline Mip-NeRF 360 utilizzando un semplice regolarizzatore sull'istogramma di ciascun raggio minimizzando la distanza assoluta ponderata tra tutti i punti lungo il raggio e questo incoraggia ogni istogramma ad essere il più vicino possibile a una funzione delta.

c56ab97801d66d77e9e2400c12de3801.jpg

Warehouse Skyway -  NeRF synthesized using @NVIDIAAIDev's Instant ngp by Hugues Bruyère


Il risultato di questi complicate operazioni  è mostrato tramite le prestazioni di Mip-NeRF 360 su un nuovo set di dati di 9 scene interne ed esterne. Come mostrato, Mip-NeRF 360 è in grado di produrre rendering fotorealistici di una scena da posizioni invisibili della telecamera date un paio di centinaia di immagini in posa della scena. 

bf0026a789733fc95fed26cc4b611b10.png


77158c617a1ed9a3ea0c8e633ecc5855.png

Ablating Parameterization

fc9c05b31b8b60bb9d53156498382375.pngAblating Online Distillation

b0054dde7e78197310ba0c3e2a9ddc3d.pngAblating the Regularizer

6f15092cdd70e65ed20fe0b74586020b.pngComparison with Mip-NeRF

79e9cb26e1a9a044bf0ce2306dbb0941.pngComparison with NeRF++

a3035928add7f828bc7210b9bf21c6bb.pngComparison with Stable View Synthesis + COLMAP


Alcuni esempi di NeRF:

https://twitter.com/jonstephens85/status/1530758807294316545?s=20&t=dL2QP9asmPely1EHPZrQaw

https://twitter.com/_ScottCondron/status/1535219176972992512?s=20&t=4fZXIB048SjgFUE1n9wcMQ

https://twitter.com/AlexTench/status/1534699004969242624?s=20&t=4fZXIB048SjgFUE1n9wcMQ

Sebbene Mip-NeRF 360 superi notevolmente Mip-NeRF (e altri lavori precedenti), esso non è perfetto dato che alcune strutture sottili e dettagliate potrebbero non essere rilevati, come i raggi del pneumatico nella scena della bicicletta o le vene sulle foglie nella scena del tronco. Come la maggior parte dei modelli simili a NeRF, il recupero di una scena richiede diverse ore di addestramento su un acceleratore, precludendo l'addestramento sul dispositivo

In conclusione, la tecnologia NeRF in associazione con le nuove frontiere "neural networks" o Nvidia IA dev ad esempio, portano l'immagine oltre la naturale finalizzazione, aprendo progetti e prospettive infinite. 

L'attualizzazione del rendering basato sul ray-tracing, sulla neuralità, sui campi, sui pixel, sui livelli di luce portano l'inimmaginabile di qualche anno fa alla realtà attuale, dove le immagini, video e la condivisione si sono fusi in un tutt'uno rendendo possibile l'impossibile.


Per leggere in modo più approfondito e dettagliato l'argomento toccato in questa news riguardante la tecnologia NeRF e i suoi campi di utilizzo: 

https://wandb.ai/geekyrakshit/mip-nerf-360/reports/Mip-NeRF-360-Unbounded-Anti-Aliased-Neural-Radiance-Fields--VmlldzoxOTc4Mjk4

Per maggiori informazioni a riguardo l'intero universo e il suo sviluppo dell tecnologia NeRF:

https://wandb.ai/pandeyparul/posts/Launching-the-W-B-Blogathon---VmlldzoyMDg4NjQz