Jump to content
Search In
  • More options...
Find results that contain...
Find results in...
Sgab

Via Cinzio Cenedese_360 for Rendering

Recommended Posts

Ciao a tutti, vorrei condividere con voi il WIP di questo progetto sperimentale portato avanti insieme a Francesco La Trofa e presentato come workflow teorico in occasione dell’Udine 3d Forum 2019.

Il tutto nasce dalla necessità di ricercare un metodo che potesse agevolare le operazioni di ricostruzione urbana, soprattutto quando il contesto è un contorno e non l’oggetto di interesse. Quanto tempo utilizzare per la ricostruzione? Il budget del cliente è sufficiente a ricoprire questo step?

Queste domande ci hanno spinti a ricercare degli start alternativi alle classiche planimetrie o alle ricostruzioni da foto: da qui l’approccio alla fotogrammetria come strumento di ricostruzione. È ideale per piccoli oggetti, ma può essere adatta per oggetti di grosse dimensioni come gli edifici?

Il budget sicuramente non permetterebbe l’uso di laser scanner, né di droni, né di altri tipi di ricostruzioni, per cui l’obiettivo è stato quello di strutturare un sistema low cost per la ricostruzione fotogrammetrica.

Obiettivo sicuramente proibitivo se ci si affida ad una semplice reflex, per cui la scelta è ricaduta sull’uso di una macchina fotografica 360, nel nostro caso la Insta 360 One X.

Di seguito riporto i primi risultati ottenuti da Metashape, a breve pubblicherò gli steps successivi.

Stay tuned!

360.jpg

01.Nuvola sparsa.JPG

02.Nuvola Densa.JPG

03.Mesh.JPG

04.mesh e textures.jpg

Share this post


Link to post
Share on other sites
Posted (edited)

I risultati migliori all'epoca (quasi dieci anni fa) li avevo con Microsoft photosynth
https://en.wikipedia.org/wiki/Photosynth

 

Avevo caricato più di 1400 immagini in un progetto (fatte anche con obiettivi differenti, hz e verticali, dettagli, ecc) e digeriva tutto. Faceva tutto in cloud e all'epoca, a parte la durata dell'upload, era davvero un ottimo prodotto (gratuito). Poi c'era un tool in python per scaricare la nuvola di punti e il resto te lo facevi per conto tuo in quanto il software era stato studiato per altro (di per se prendere interi cataloghi/o foto su internet e lui da solo capiva cosa c'era nella foto e aggiungeva man mano che la base dati cresceva)
 

 


Edited by emilierollandin

Share this post


Link to post
Share on other sites
Posted (edited)

Anch'io ne ho provati qualcuno tra cui il mitico 123 catch (in cloud, molto veloce e gratuito) e agisoft photoscan. Trovo che il migliore in assoluto sia reality capture.  


Edited by Filippo Soldateschi

Share this post


Link to post
Share on other sites
Posted (edited)
45 minuti fa, Filippo Soldateschi ha scritto:

Anch'io ne ho provati qualcuno tra cui il mitico 123 catch (in cloud, molto veloce e gratuito) e agisoft photoscan. Trovo che il migliore in assoluto oggi sia reality capture. 

li ho provati praticamente tutti visto che al CNRS all'epoca quando lavoravo in laboratorio ne hanno sviluppato uno loro, ottimo e opensource:

https://micmac.ensg.eu/

 

Però alla fine se devo dire il meno difficile sulle foto alla fine che ho trovato è stato PhotoSynth... (cancellato nel 2015 visto che avranno mille progetti nel cassetto e neanche gli interessava farci altri soldi). Il caso più emblematico è stato quando ho fatto 200 foto in una caverna in montagna al buio e mi ha allineato tutto correttamente. Metashape, che ho acquistato in versione lite, fa il difficile appena qualcosa non gli piace

Oppure anche questo per chi vuole qualcosa di opensource: visualsfm. Qua un'applicazione https://disegnarecon.unibo.it/article/view/3873/3434


Edited by emilierollandin

Share this post


Link to post
Share on other sites
32 minutes ago, emilierollandin said:

li ho provati praticamente tutti visto che al CNRS all'epoca quando lavoravo in laboratorio ne hanno sviluppato uno loro, ottimo e opensource:

https://micmac.ensg.eu/

 

Però alla fine se devo dire il meno difficile sulle foto alla fine che ho trovato è stato PhotoSynth... (cancellato nel 2015 visto che avranno mille progetti nel cassetto e neanche gli interessava farci altri soldi). Il caso più emblematico è stato quando ho fatto 200 foto in una caverna in montagna al buio e mi ha allineato tutto correttamente. Metashape, che ho acquistato in versione lite, fa il difficile appena qualcosa non gli piace

 

Coincidenza! Reality cpt me l 'aveva Consigliato proprio un professore del CNR di pisa 🙂 

Share this post


Link to post
Share on other sites
1 ora fa, emilierollandin ha scritto:

li ho provati praticamente tutti visto che al CNRS all'epoca quando lavoravo in laboratorio ne hanno sviluppato uno loro, ottimo e opensource:

https://micmac.ensg.eu/

 

Però alla fine se devo dire il meno difficile sulle foto alla fine che ho trovato è stato PhotoSynth... (cancellato nel 2015 visto che avranno mille progetti nel cassetto e neanche gli interessava farci altri soldi). Il caso più emblematico è stato quando ho fatto 200 foto in una caverna in montagna al buio e mi ha allineato tutto correttamente. Metashape, che ho acquistato in versione lite, fa il difficile appena qualcosa non gli piace

Oppure anche questo per chi vuole qualcosa di opensource: visualsfm. Qua un'applicazione https://disegnarecon.unibo.it/article/view/3873/3434

 

 

Praticamente si parla della nascita della fotogrammetria😀!

Facendo ricerche qua e la abbiamo trovato molto materiale sul tema ( tanto teorico, quanto pratico). Riporto un articolo elaborato dal Politecnico di Milano sull’uso delle camere 360 per la fotogrammetria.

 

https://www.int-arch-photogramm-remote-sens-spatial-inf-sci.net/XLII-2/69/2018/isprs-archives-XLII-2-69-2018.pdf

Qua ci si interroga sull’accuratezza dell’utilizzo di una camera 360 a fini di rilievo.

 

Il nostro obiettivo non era quello di essere millimetrici nel rilievo ma l’utilizzo della fotogrammetria è puramente orientata verso le esigenze dei 3d Artist: veloce, pratico e con tutte le textures (in qualche modo).

In questo caso specifico si parla di  143 foto 360 per un totale di 60 min di ripresa più o meno: fotogrammetria non come fine ma come mezzo.. Alla fine non so neanche quanto rimarrà di “fotogrammetrico”.

Vero anche che la fatica più grande in questi casi per evitare epic fail dentro Metashape (o qualsiasi altro software che supporta 360) è la creazione delle maschere…Li ci ho perso più o meno un paio di ore…Poi però il resto è calcolo macchina. Bisogna fare attenzione a tutti gli elementi mobili come auto, persone (il classico vecchietto da cantiere che si interessa a quello che fai, per cui lo devi mascherare in tutte le foto😭).

E soprattutto i cambi di luce…in ambiente esterno più veloci si è meglio è.

Share this post


Link to post
Share on other sites
38 minuti fa, Sgab ha scritto:

 

Praticamente si parla della nascita della fotogrammetria😀!

Facendo ricerche qua e la abbiamo trovato molto materiale sul tema ( tanto teorico, quanto pratico). Riporto un articolo elaborato dal Politecnico di Milano sull’uso delle camere 360 per la fotogrammetria.

 

https://www.int-arch-photogramm-remote-sens-spatial-inf-sci.net/XLII-2/69/2018/isprs-archives-XLII-2-69-2018.pdf

Qua ci si interroga sull’accuratezza dell’utilizzo di una camera 360 a fini di rilievo.

 

Il nostro obiettivo non era quello di essere millimetrici nel rilievo ma l’utilizzo della fotogrammetria è puramente orientata verso le esigenze dei 3d Artist: veloce, pratico e con tutte le textures (in qualche modo).

In questo caso specifico si parla di  143 foto 360 per un totale di 60 min di ripresa più o meno: fotogrammetria non come fine ma come mezzo.. Alla fine non so neanche quanto rimarrà di “fotogrammetrico”.

Vero anche che la fatica più grande in questi casi per evitare epic fail dentro Metashape (o qualsiasi altro software che supporta 360) è la creazione delle maschere…Li ci ho perso più o meno un paio di ore…Poi però il resto è calcolo macchina. Bisogna fare attenzione a tutti gli elementi mobili come auto, persone (il classico vecchietto da cantiere che si interessa a quello che fai, per cui lo devi mascherare in tutte le foto😭).

E soprattutto i cambi di luce…in ambiente esterno più veloci si è meglio è.

 

Beh dai se pensi che queste cose le facevamo in laboratorio nel 2002/2003

All'epoca le panoramiche e poi la ricostruzione 3d si facevano con i prodotti usciti dall'INRIA sfociati poi nella Realviz (Stitcher e ImageModeler) che poi è stata comprata da Autodesk e il resto della storia la conoscete ecc..

 

Share this post


Link to post
Share on other sites
Posted (edited)

Certamente. I fondamenti del rilievo / rappresentazione basato sulla fotogrammetria 3D in CG sono sostanzialmente gli stessi dalla tesi di dottorato di Paul Debevec in poi (metà anni 90 o giu' di li). La cosa interessante è esplorare le potenzialità che la tecnologia oggi offre ad uso e consumo di chi ogni giorno produce e smercia rendering.

Di qui il tentativo di capire cosa poteva venire fuori dall'utilizzo delle 360 come fonte di acquisizione, dopo averli utilizzati fino alla nausea come output finale dei progetti 😀

Ovviamente facendo le cose si scoprono un sacco di implicazioni che in primo luogo uno non immaginava nemmeno esistessero o comunque non avrebbe inizialmente associato ad una possibile soluzione legata all'obiettivo iniziale.

Questo genere di sperimentazione consente proprio di fregarsene, deliberatamente, della scientificità del risultato, cercando di trovare soluzioni ai problemi pratici. Molte di queste derivano proprio da aspetti parziali, approfondimenti sviluppati durante il lavoro.

E' un'attività nello spirito del forum di discussione, in cui si condivide un risultato sperando che possa essere utile ad altri e soprattutto che arrivino spunti e suggerimenti da chi ha gli stessi problemi e lo stesso tipo di esigenze 😀 Qualcosa che rimane per sempre come riferimento utile, senza perdersi nella durata effimera di un canale social.


Edited by Francesco La Trofa

"Il vero viaggio di scoperta non consiste nel cercare nuove terre, ma nell'avere nuovi occhi" (Marcel Proust)

"Due sono le cose infinite esistenti: l'universo e la stupidità degli uomini, ma sull'universo ho ancora qualche dubbio" (Albert Einstein)

Share this post


Link to post
Share on other sites
Il 8/6/2020 at 13:15 , Sgab ha scritto:

 

Praticamente si parla della nascita della fotogrammetria😀!

Facendo ricerche qua e la abbiamo trovato molto materiale sul tema ( tanto teorico, quanto pratico). Riporto un articolo elaborato dal Politecnico di Milano sull’uso delle camere 360 per la fotogrammetria.

 

https://www.int-arch-photogramm-remote-sens-spatial-inf-sci.net/XLII-2/69/2018/isprs-archives-XLII-2-69-2018.pdf

Qua ci si interroga sull’accuratezza dell’utilizzo di una camera 360 a fini di rilievo.

 

Il nostro obiettivo non era quello di essere millimetrici nel rilievo ma l’utilizzo della fotogrammetria è puramente orientata verso le esigenze dei 3d Artist: veloce, pratico e con tutte le textures (in qualche modo).

In questo caso specifico si parla di  143 foto 360 per un totale di 60 min di ripresa più o meno: fotogrammetria non come fine ma come mezzo.. Alla fine non so neanche quanto rimarrà di “fotogrammetrico”.

Vero anche che la fatica più grande in questi casi per evitare epic fail dentro Metashape (o qualsiasi altro software che supporta 360) è la creazione delle maschere…Li ci ho perso più o meno un paio di ore…Poi però il resto è calcolo macchina. Bisogna fare attenzione a tutti gli elementi mobili come auto, persone (il classico vecchietto da cantiere che si interessa a quello che fai, per cui lo devi mascherare in tutte le foto😭).

E soprattutto i cambi di luce…in ambiente esterno più veloci si è meglio è.

 

Ciao, progetto molto interessante. Da fotografo di mappe HDRI 360 mi chiedevo a che risoluzione delle texture riuscivi ad arrivare con una Insta360.

Mi spiego meglio, una volta realizzato il modello 3d di un palazzo e di conseguenza della sua facciata, a che livello di dettaglio si arriva con un approccio di questo tipo? Si riescono i rocostruire ad esempio i rilevi di un muro di mattonelle oppure il muro è piatto?

 

Share this post


Link to post
Share on other sites
1 ora fa, 0utsider ha scritto:

 

Ciao, progetto molto interessante. Da fotografo di mappe HDRI 360 mi chiedevo a che risoluzione delle texture riuscivi ad arrivare con una Insta360.

Mi spiego meglio, una volta realizzato il modello 3d di un palazzo e di conseguenza della sua facciata, a che livello di dettaglio si arriva con un approccio di questo tipo? Si riescono i rocostruire ad esempio i rilevi di un muro di mattonelle oppure il muro è piatto?

 

Ciao, grazie mille per l'interesse. La insta 360 one X è la più piccola della sua categoria (è stata scelta appositamente per il testing...della serie se funziona su questa funzionerà con quelle di fascia superiore). Ha 18 MP  su un 360 per cui la qualità su singola foto non è il massimo. Dipende tutto da quante foto vengono utilizzate per la ricostruzione e da quali punti (es. se mi voglio focalizzare sulla chiesa farò più foto intorno ad essa). Per rispondere alla tua domanda: il muro è tendenzialmente piatto. Nel nostro caso l'obiettivo è stato quello di ottenere un allineamento per la nuvola dei punti e successivamente una mesh di base. Nel caso delle textures ci si accontenta della base color sui singoli edifici...poi da mixare eventualmente ad altre mappe e usarle in combinata su Substance.. Sarebbe fichissimo provare il tutto con una Titan o una Pro..li sicuramente la musica cambia! 

Share this post


Link to post
Share on other sites
6 minuti fa, emilierollandin ha scritto:

Forse con questa appena uscita si risolvono i problemi di mancanza di risoluzione

 

E cavolo si! Ho visto sul sito e non siamo neanche troppo distanti come prezzo rispetto alla Insta One X. Sarebbe una giusta via di mezzo! Grazie veramente della dritta!!!!

Share this post


Link to post
Share on other sites

Ciao a tutti!

Sono molto soddisfatto dei Feedback che sta portando questo WIP.

Riporto di seguito quanto prodotto fino ad ora.

Fatte tutte le procedure d’obbligo (retopo, texturing etc…), mi sto dedicando a curare le immagini in termini di dettaglio e di effetto generale.

 

Nei prossimi giorni spero di pubblicare le immagini concluse con qualche dettaglio annesso!!!

 

 

A presto!

Via Cinzio Cenedese, Camera_03.jpg

Share this post


Link to post
Share on other sites

Quella è pura modellazione ! Dalla scansione si tira fuori ben poco..Ho tirato fuori 2 immagini che spiegano meglio quanto è scansionato e quanto modellato. 

Per la navigazione: non è pensato per il realtime. Però il flusso di lavoro sarebbe del tutto similare...solo che ragionato in Low ( ad oggi che non abbiamo ancora Unreal 5😅)

Via Cinzio Cenedese_Photoscan.jpg

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...
Aspetta! x