Tra le esperienze VR più interessanti di un 2018 che si annuncia più che mai avvincente non possiamo prescindere da 30 Days in VR, sviluppato da Enea Le Fons in collaborazione con HTC VIVE.

Enea è un nome noto nella 3D community sin dai tempi di Softimage, di cui è stato testimonial per molti anni. Dopo la nota acquisizione da parte di Autodesk che ha portato a chiudere lo sviluppo di XSI, per Enea è stata la volta di un'esperienza con Epic Games, che lo ha reso una figura di riferimento nella divulgazione e nella formazione di Unreal Engine. Chiusa la parentesi con Epic, è arrivata nuova avventura, assolutamente unica nel suo genere: un vero e proprio hackaton di 30 giorni in realtà virtuale.

Scopriamo insieme i dettagli più significativi di questo originalissimo progetto.


Durante 30 days in VR, Enea e il suo team hanno sviluppato in VR molte esperienze VR e AR, tra cui:

  • - Augmenting a Living Space with AR
  • - Merging Physical and Virtual 3D with Vive Trackers and Unreal Engine
  • - Creating VR Worlds, in VR.
  • - Design and Architecture beyond Earth, in VR.
  • - Bringing Trainers in the Augmented Living Room via micro-apps
  • - Achieving Open Source cross platform Remote Communication in VR
  • - Bringing a sound-reactive Vive Focus VR app Prototype in a Club
  • - DJing, VJing and making Music in VR
  • - Meditating and Dreaming in VR
  • - Tracked Objects as Haptic Interface for VR
  • - Experimenting with World-Scale VR

Lo spirito pionieristico e il contagioso entusiasmo che contraddistingue la iniziativa di Enea hanno convinto niente meno che Alvin Wang Graylin, presidente di HTC Vive, personalmente presente in occasione del day zero.

Cosa ha convinto HTC Vive a credere ed investire concretamente nel tuo progetto?

(Enea Le Fons) - Ero da tempo in contatto con HTC VIVE e con Alvin siamo riusciti a condividere su tutta la linea l'intenzione di intraprendere un'azione prolungata. L'intenzione è quella di creare dei progetti in realtà virtuale per la realtà virtuale ed aumentata. Il nostro obiettivo comune è quello di definire esperienze in grado di migliorare la vita delle persone, superando la visione distopica che si ha attualmente nei confronti di questa tecnologia. La VR del futuro non è Matrix, ma l'esatto opposto, è qualcosa di assolutamente integrato con la nostra realtà.

A chi non conosce queste tecnologie le mie parole potranno suonare bizzarre, ma grazie alla VR possiamo vincere la sedentarietà che contraddistingue il lifestyle di chi trascorre molte ore in ufficio. Facendo in VR le cose che tradizionalmente faremmo in ambiente desktop, possiamo passare da una media di 400 passi al giorno a superare tranquillamente i 10000 passi, che equivalgono alla misura consigliata per uno stile di vita sano, in associazione ad una dieta equilibrata.

HTC VIVE ha inoltre scelto di puntare sulla nostra iniziativa per sperimentare hardware in prototipo o testare alcuni dispositivi ben prima della loro messa in commercio. Abbiamo avuto a disposizione in anteprima sia il Vive Pro che il Vive Focus, oltre ad accessori quali gli SteamVR Lighthouse v2, il Vive Wireless Adapter e molti Vive Trackers.

A livello di endurance, sei stato in grado di raggiungere le 18 ore al giorno di immersione in VR. Senza dubbio un risultato estremo, ma in misura più consona alle possibilità dei comuni mortali ritieni che la durata di immersione sia una qualità allenabile?

(Enea Le Fons) - Assolutamente si. I progressi che ho sviluppato nei 30 giorni lo dimostrano, dal punto di vista scientifico. Abbiamo monitorato questi aspetti attraverso il rilevamento dei miei parametri biometrici, attraverso una serie di sensori tipo fitbit. Sono partito con circa 5 ore di immersione, ho concluso costantemente oltre le 10 ore. Questo grazie all'allenamento fisico che ha accompagnato l'abitudine ad indossare il visore.

Oltre a sviluppare, hai letteralmente vissuto in VR, con comparsate in discoteca, fino a mangiare e... dormire. Ma come è possibile dormire in VR?

(Enea Le Fons) - Ho sviluppato un'app per il sonno polifasico, che ho successivamente sperimentato in prima persona con una serie di sessioni da 20 minuti. Ho utilizzato Neuroprogrammer Pro per sviluppare un'esperienza audiovisiva immersiva in grado di rilassare totalmente l'individuo o eccitarlo progressivamente fino al risveglio, sulla base delle impostazioni dei suoni e delle immagini. In questo ambito è stato fondamentale l'utilizzo del Vive Focus. Un device totalmente standalone con il see through è un requisito necessario per poter "vivere in VR", unendo alla portabilità una risoluzione apprezzabile.

7e51fe61ccdbe4b7dcc930da56e2fad5.jpg

Enea mentre "dorme" in VR con il suo Vive Focus.


Cosa serve alla realtà virtuale per diventare, come si suol dire, mainstream?

(Enea Le Fons) - Le applicazioni 3D desktop che utilizziamo oggi, dai cad ai software 3D real time, sono molto avanzate. Perché sono il risultato di anni di utilizzo. Milioni di 3D user che offrono in maniera più o meno consapevole i loro feedback alle varie software house, hanno consentito di perfezionare anno dopo anno i tool, che al tempo stesso hanno beneficiato della maggior potenza di calcolo messa a disposizione dall'evoluzione dell'hardware.

Ed è la situazione che dovrà riproporsi per la VR che attraversa, oggi, quello che per il 3D desktop è iniziato moltissimi anni fa. Il fatto che non ci sia ancora la tecnologia non vuol dire che si debba aspettare che questa arrivi, occorre portarsi avanti ed essere propositivi nella ricerca e nello sviluppo, per farsi trovare pronti quando i tempi saranno maturi.

Vi faccio un esempio pratico, su cui abbiamo focalizzato gran parte delle attenzioni di 30 Days in VR.

In questo momento mancano, a livello hardware, i device per completare l'esperienza immersiva con la realtà aumentata in tempo reale. Ma questo non vuol dire che non si possa iniziare a sviluppare in tal senso. Uno degli aspetti che abbiamo analizzato con HTC VIVE è stata la grande esigenza di un background sperimentale. Gli sviluppatori sono molto bravi. Ma necessitano di feedback, chi può darglieli? In primis i creativi, coloro che utilizzano le loro applicazioni, per sviluppare a loro volta i progetti di cui sono artefici.

Quando avremo collezionato decine, centinaia, migliaia di ore di utilizzo in ambiente VR, avremo sviluppato quel know how necessario agli sviluppatori per perfezionare progressivamente gli strumenti creativi. Nè più nè meno di quanto avviene da decenni nell'ambito dello sviluppo software. La rete e le tecnologie cloud ci offrono oggi un'opportunità unica, che dobbiamo assolutamente essere in grado di cogliere.

30 Days in VR nasce quale progetto pilota, open source, per mettere nelle stesse condizioni di Enea altri sviluppatori in tutto il mondo. In breve, chiunque vorrà potrà fare la sua 30 giorni in realtà virtuale.

(Enea Le Fons) - Questo è stato un altro dei motivi che ha spinto HTC VIVE a sostenere l'iniziativa. Abbiamo ragionato proprio in questo senso, per garantire a chiunque voglia continuare a credere in questo progetto tutte le basi necessarie. Non sarà necessario fare per forza 30 giorni. Abbiamo in programma anche delle formule più brevi, come 7 Days in VR. Un formato più agile, su cui noi stessi proseguiremo la nostra iniziativa.

Non siamo assolutamente gelosi del risultato che abbiamo conseguito in questa esperienza pilota. Anzi, sono il primo ad ammettere che quasi tutte le applicazioni siano in una fase prototipale, per via del pochissimo tempo che abbiamo dedicato ad ognuna di essa. Condividere il codice e i file prodotti può consentire ad altri di proseguire, perfezionare, offrire alternative, proporre modifiche, ottenere anche risultati totalmente differenti rispetto a quelli che ci siamo prefissati. Questo è il senso della sperimentazione, del produrre esperienza utile a sviluppare quelle applicazioni che saranno la base della nostra produttività nei prossimi anni.

30 Days in VR non è inoltre concepito per un'utenza specifica. I risultati sono a disposizione di tutti, funzionalmente alle sue esperienze ed alle sue potenzialità. Dal dev freelance alla multinazionale. Non ci sono limiti, se non il tempo e le risorse che ciascuno decide di dedicare all'evoluzione del progetto.

Enea non ha portato a termine questa impresa da solo. Una figura determinante per la riuscita del progetto è stata senza dubbio quella di Andrea Bay, il producer dell'evento. 30 Days in VR si è infatti tenuto letteralmente a casa sua. in un appartamento nel centro di Torino. Un dettaglio che si è rivelato decisivo anche per quanto concerne lo sviluppo dei contenuti dell'esperienza stessa.

Oltre a conversare con Enea, condividiamo anche le impressioni di Andrea in merito a 30 Days in VR

(Andrea Bay) - Si è trattato di qualcosa di inedito, non avevamo assolutamente riferimenti in merito. Abbiamo scelto una formula che ha finito per rivelarsi un vero e proprio reality, anche se ovviamente non caratterizzato da riprese costanti. La particolare natura del progetto doveva consentire ad Enea di poter lavorare ma anche vivere in VR, da qui l'idea di un'esperienza domestica e la mia abitazione ha costituito il miglior compromesso possibile in tal senso.

HTC VIVE ci ha imposto di non divulgare nulla prima di aver concluso i 30 giorni, limitandoci nel coinvolgimento dei contributor esterni. Ci siamo rivolti a developer che già conoscevamo e che sono stati in grado di dare un grandissimo contributo a questa esperienza.

Con me ed Enea ha lavorato sin dall'inizio Giacomo Ferronato, tra i fondatori di 34BigThings, una delle più note company italiane nel game development. In totale sul progetto hanno collaborato circa una decina di persone. Speriamo di coinvolgerne molte di più ora che il progetto è diventato di pubblico dominio. La particolare natura dell'iniziativa ci consente di collaborare in remoto con altri sviluppatori, dunque siamo molto ottimisti in merito.

A 30 days in VR hanno contribuito in totale circa una decina di persone, che si sono alternate aiutando nella definizione delle varie esperienze. Se Enea è stato il frontman di 30 Days in VR, quanto prodotto è stato il risultato di uno sforzo corale, soprattutto a livello di competenze necessarie per variare la tipologia dell'esperienze stesse.

cde2c832822e8ef558a306c7061fee8f.jpg

Buona parte dell'arsenale HTC VIVE in mano ad alcuni dei protagonisti di 30 Days in VR. Da sinistra il producer Andrea Bay, l'inconfondibile Enea, il presidente di HTC Vive, Alvin Wang Graylin e il dev Anthony Vitillo, autore dell'apprezzato blog Skarredghost, che ha contribuito alla realizzazione di alcune esperienze.


Digitalizzare in 3D il grande living dell'appartamento di Andrea è stata la prima fase di 30 Days in VR. Un risultato ottenuto grazie all'impiego di tecniche di fotogrammetria low cost e dell'utilizzo della camera Matterport VR.

(Andrea Bay) - Abbiamo voluto sperimentare più strade, ottenendo delle indicazioni molto interessanti sotto tutti i punti di vista. Con Matterport abbiamo rilevato l'ambiente principale, mentre con la fotogrammetria abbiamo acquisito tutti gli arredi puntuali. I passaggi successivi sono stati costituiti da un retopo in ZBrush ed una serie di ottimizzazioni indispensabili per creare gli asset da importare in Unreal Engine. Dopo aver posizionato tutti gli oggetti, attraverso l'utilizzo dei Vive Trackers, abbiamo creato la corrispondenza perfetta tra gli oggetti nell'ambiente reale e quelli nell'ambiente virtuale. Il matching è stato indispensabile per avere anche un feedback tattile nell'esperienza in VR.

La scansione 3D è dunque in grado di contribuire notevolmente alla creazione di ambienti 3D per la VR.

(Andrea Bay) - Automatizzare la scansione 3D degli ambienti sarà possibile anche con altre tecnologie. Già oggi Hololens è in grado di farlo e credo che tutti i visori dotati di camere frontali, una volta dotati di applicazioni specifiche, saranno in grado di rendere il processo economico ed alla portata di tutti, senza richiedere chissà quali capacità tecniche. Una volta acquisiti i fondamenti del processo, tutto diventa relativamente semplice e ripetitivo.

Simulare la AR in ambiente VR ci offre un'anteprima concreta delle app del futuro, oggi soltanto paventate da tecnologie in fieri, su tutte il misterioso, quanto ambizioso, Magic Leap.

(Enea Le Fons) - Assolutamente. Oggi non abbiamo ancora la tecnologia per avere una AR in real time in overlay sul reale, ma possiamo tranquillamente farlo in un digital twin 3D. Dopo aver ricostruito in 3D l'ambiente, ho sviluppato alcune microapp in AR. Se un environment viene condiviso, chiunque può sviluppare delle microapp e condividerle. Io ad esempio mi sono divertito, grazie a Mixamo (tool di mocap/animazione character integrato in Unreal Engine), a realizzare un trainer di MMA (Mixed Martial Arts) e un trainer Yoga. Entrambe le applicazioni sono usufruibili in AR utilizzando una tecnologia nativa per la VR.

Un po' come avviene già in ecosistemi come Google Earth, puntualmente aumentati da informazioni di ogni genere, che possono essere condivise o meno a discrezione di chi le crea.

(Andrea Bay) - Il concetto è sostanzialmente lo stesso. Da riproporre in maniera immersiva, soprattutto ragionando in prospettiva. Credo oltretutto che sia ancora molto importante il contributo soggettivo nella ricostruzione 3D degli ambienti. Il 3D artist ha un'attenzione sul dettaglio che supera quello che le tecnologie di scansione e fotogrammetria in automatico sono in grado di convertire a livello di modelli 3D texturizzati. Soprattutto se consideriamo gli ambienti interni. In tal senso la 3d community credo che possa offrire un contributo enorme, per creare la base di ambienti in cui sperimentare moltissime applicazioni. La loro condivisione consentirebbe di accelerare la fase di know how necessaria allo sviluppo cui faceva accenno Enea in precedenza.

40d3cf1e80303e24d70813ecf8d13669.jpg

6c202b9a1e0aebcf274ee23aac2c2f27.jpg

In alto il trainer MMA ed in basso il trainer Yoga. Le microapp AR per la VR sviluppate da Enea all'interno di Unreal Engine VR Editor.

A livello di software 3D per la VR cosa avete utilizzato?

(Enea Le Fons) - Principalmente lo sviluppo è stato implementato su Unreal VR Editor e a-frame del WebVR di Mozilla, per quanto riguarda la piattaforma VR collaborativa che abbiamo iniziato a programmare. Nello specifico poi ho avuto molto di sperimentare moltissime app e tool, come Tiltbrush, Masterpiece VR e molti altri. Ci tengo moltissimo a precisare che ogni istante dei 30 days in VR è stato vissuto sviluppando in VR per la VR. Questo è un aspetto fondamentale.


Cosa cambia tra l'utilizzo "tradizionale" di un software 3D e l'utilizzo in VR.

(Andrea Bay) - Nei software 3D desktop l'area creativa è in 3D, ma viene fruita in 2D, attraverso la proeizione che si interfaccia sul monitor. In VR invece è possibile entrare all'interno dello spazio tridimensionale, e varia totalmente la percezione. E' possibile un contatto con i modelli 3D di gran lunga superiore a quanto possibile nell'esperienza tradizionale.

Unreal Engine è ormai molto diffuso per le app in real time, VR o meno che siano. Il suo VR Editor è però mediamente ancora poco utilizzato. Tu sei stato fin dall'inizio un grande fan di questa modalità di editing, al punto di farne uno strumento irrinunciabile.

(Enea Le Fons) - Assolutamente. Io penso che tutti dovrebbero provare il VR Editor di Unreal Engine. Difficilmente tornerebbero indietro, almeno per la gran parte delle applicazioni. Gli strumenti sono gli stessi a disposizione nell'editor in ambiente desktop, con il vantaggio di avere un feedback diretto ed immediato di quanto si crea per l'esperienza VR.

Quello che vedi mentre crei ed editi una scena è lo stesso che vedrà l'utilizzatore finale. Non è dunque necessario "togliere e mettere il visore", ma si può fare tutto in VR. Una volta presa la necessaria confidenza con l'interfaccia VR, tutto diventa estremamente più naturale e veloce. Creare in VR è più intuitivo. Non c'è davvero paragone.

In più di una circostanza, al di là del bene che poteva volerti HTC, hai rilevato come senza il Vive Pro non avresti potuto portare a termine la maggior parte delle esperienze. A cosa ti riferivi dal punto di vista tecnico?

(Enea Le Fons) - Alla risoluzione del display. Anche se al momento in cui l'abbiamo provato il Vive Pro non aveva ancora alcune feature che verranno sviluppate in seguito, il fatto di poter avere una 2k di base mi ha consentito di avere a disposizione un display con il 75% di area pixel in più rispetto al Vive normale. Per fare un esempio pratico, senza la risoluzione del Vive Pro non avrei potuto lavorare con i blueprint di Unreal Engine direttamente nel VR Editor. Lo stesso potrei dire per molte altre situazioni. La risoluzione dei device, oltre alla qualità delle lenti, è assolutamente determinante per fruire delle esperienze in VR e, ancor di più, per svilupparle. Il concetto non è molto diverso dallo sviluppo tradizionale. Lo spazio nell'area di lavoro non basta mai. Più ne hai, più ne vorresti. Questo è un aspetto su cui la tecnologia della VR deve necessariamente migliorare molto.


Quanto agli utilizzatori finali, quelli che vengono sostanzialmente assoggettati nel segmento consumer, come possono contribuire all'evoluzione degli ecosistemi VR?

(Enea Le Fons) - Oggi potenzialmente la VR è già alla portata di tutti. Basta indossare un cardboard per vivere un'esperienza immersiva. Non serve più dello smartphone e di un pezzo di carta piegato da una decina di euro. Ma perché l'utilizzo della VR è così limitato? Perché manca l'interazione. L'ecosistema consumer è da questo punto di vista molto limitato. Se escludiamo l'ambito enterprise, le esperienze si limitano alle applicazioni entertainment. I giochi contibuiranno a diffondere questa tecnologia, ma non sarà sufficiente. E' necessario che vi sia coinvolgimento ed interazione anche nelle esperienze del quotidiano. Così come oggi la gente crea e condivide le foto su Instagram, i video su Youtube, lo stesso credo avverrà con i contenuti in VR. Ma perché ciò accada devono esserci contenuti più aumentati, che stimolino l'interazione.

La sensazione che molti hanno è relativa ad una tecnologia al momento inutile. Sempre più persone sono incuriosite e provano la VR. Basta recarsi a qualsiasi evento o fiera per vedere come gli exhibit VR siano facilmente in grado di catalizzare l'attenzione della maggior parte degli spettatori. Si tratta però di applicazioni ad hoc, sviluppati e fruibili con tecnologie al momento high end. Per inciso, quanti sarebbero disposti ad investire, a livello domestico su un HTC Vive, su un Oculus Rift e sull'hardware desktop necessario per fruire delle applicazioni? Il gap tra le applicazioni professionali e quelle consumer credi che sia soltanto un fatto di limiti nell'interazione che un cardboard o un GearVR, per ovvie ragioni, non sono in grado di offrire?

(Enea Le Fons) - In parte si, in parte manca la consapevolezza. Anche a livello consumer non ci si rende conto di come noi siamo già immersi nella tecnologia. Siamo costantemente a contatto con display di qualsiasi genere, ma quanto li sfruttiamo? Quanto siamo predisposti a cogliere le opportunità che l'augmented ci consentirebbe di fruire? Per questo sostengo che sia necessario portarsi avanti con uno sviluppo in grado di superare la visione distopica per cui la VR, prospettando contenuti virtuali, potrebbe esistere solo per esperienze alternative a quelle reali. L'integrazione è molto più vicina a noi di quello che siamo naturalmente soggetti a pensare.

Se la tecnologia è un limite, non deve diventare un alibi.

Le prime esperienze in VR, con tecnologie molto diverse e più limitate rispetto a quelle attuali, le ho sviluppate nel 1997 con Studio Azzurro. Oggi abbiamo a disposizione la possibilità di sviluppare delle applicazioni in multipresenza che chiunque può utilizzare con un qualsiasi browser internet. Questo utilizzando le tecnologie WebVR che sono a disposizione di tutti. In mezzo ci sono vent'anni di esperienze. Le tecnologie evolveranno sempre. Ma non dobbiamo aspettarle. Dobbiamo farci trovare pronti, sapendo già cosa vogliamo ottenere da loro.


L'approccio "learning by doing" è sempre più determinante proprio per offrire dimostrazioni pratiche e comprensibili dei risultati dello sviluppo, anche in ambiti finora inesplorati, come la visualizzazione dei dati. La computer grafica ha una grande responsabilità in questo, soprattutto per agevolare i processi decisionali che derivano dall'analisi dell'enorme quantità di dati disponibili per qualsiasi applicazione.

(Enea Le Fons) - Se penso allo sviluppo, proprio nella visualizzazione dei dati abbiamo finalmente a disposizione delle applicazioni favolose, come Primitive, che consentono di fare coding immersivo. Visualizzare il dato oltre le potenzialità del 2D, del classico istogramma generato da excel, offre delle potenzialità enormi. Si ha finalmente una percezione volumetrica, che supera nettamente quella numerica.


Cosa dobbiamo aspettarci ora da 30 Days in VR?

(Andrea Bay) - Ora finalmente possiamo divulgare il progetto, coinvolgendo altri sviluppatori. Continueremo sia a Torino, con il nostro team, che supportando le esperienze di tutti coloro che vorranno intraprendere un'esperienza analoga nel mondo.

(Enea Le Fons) - Siamo molto stimolati in varie direzioni, su tutte quella di combinare la VR con altre tecnologie 3D. Abbiamo fatto alcuni test con la robotica, vorrei al più presto coinvolgere anche la stampa 3D ed altre tecnologie di fabbricazione. Così potremo procedere in altre sperimentazioni. Per fare ciò ho già sviluppato In Unreal Engine VR editor alcuni arredi 3D ottimizzati per l'utilizzo di software laser cutting.

Stay tuned... in VR.

df6ee470003e88b0c3d7724e95642f3e.jpg