Jump to content

Nicolas Esposito

Members
  • Portfolio

    Portfolio
  • Content Count

    32
  • Joined

  • Last visited

About Nicolas Esposito

  • Rank
    Matricola

Recent Profile Visitors

1,173 profile views
  1. Buongiorno a tutti, Spesso mi trovo a dover riggare vari personaggi in modo da testare alcune animazioni da file motion capture, ma ovviamente il settaggio dei joints e lo skinning sono operazioni noiose e ripetitive. Prendendo come riferimento la skeletal hierarchy base del Mannequin esportato da Unreal Engine, ho creato un setup che permette di trasferire le informazioni di skinning utiizzando una blend shape come driver. I joints vengono riposizionati e riorientati tramite constraints sulla mesh che viene deformata tramite la blend shape, e successivamente lo skinning viene trasferito tramite UV, poi il personaggio da skinnare viene bindato alla skeletal hierarchy, per poi trasferire le informazioni di skinning tramite Cosest Point on Surface. In pochi click si ha un personaggio riggato, permettendo di avere 80-90% del paint weights già fatto. Funziona molto bene su personaggio umanoidi, ma se il character design è complesso ( cloth o molti accessori ), i risultati possono variare. Reusable Skinning Technique for Characters Il prossimo step è il trasferimento delle corrective shapes e di un facial rig basato su Blend Shapes. Critiche e commenti sono benvenuti Nicolas Esposito www.enter-reality.it
  2. Salve a tutti, Negli ultimi mesi ho elaborato un documento in cui spiego in dettaglio l'utilizzo di Unreal Engine 4 utilizzato come strumento principale per il Motion Capture, data la possiblità di combinare insieme diversi sistemi di mocap, visualizzando il tutto in tempo reale. Avevo intenzione di fare una videoreview dei due sistemi, ma il tempo a disposizione è poco, quindi ho deciso di adattare il documento in forma di Blog post, dove c'è tanta roba da leggere e tante informazioni che possono tornare utili, sopratutto per studios o developers che hanno intenzione di realizzare un sistema di Motion Capture in-house. Link al Blog post Critiche e commenti sono benvenuti Nicolas
  3. Buongiorno a tutti, Da poco ho ricevuto da Valve i Knuckles e ho deciso di integrare il tutto nel sistema Full Body Motion Capture che utilizzo ( IKinema Orion ), utilizzando i Knuckles al posto dei Noitom Hi5 VR Gloves, che avevo già integrato tempo fa. Anche se i Knuckles utilizzano dei touch capacitors al posto di avere the sensori IMU, devo dire che i risultati sono piuttosto buoni. Critiche e commenti sono benvenuti Full body Motion Capture: Valve Knuckles integration with IKinema Orion
  4. Cambia la scala di export in Blender, probabilmente stai esportando in mm invece che in cm, visto che 1 unità in UE4 equivale a 1cm.
  5. Ci sono degli esempi nella scena Content Example e sui material Automotive, il tutto scaricabile direttamente dal launcher, ma in realtà se hai bisogno di creare dei materiali master, usa gli scalar parameter per i canali che ti interessano, magari usando il multiply per controllare il valore dello scalar, dopo di che tasto destro sul master material e crea un material instance, e vedrai che i valori degli scalar parameter possono essere controllati in tempo reale, senza ricalcolare il materiale.
  6. Su questo ti puoi sbizzarrire quanto vuoi, visto che di default alcune azioni sono gi' settate ( grab ), mentre per le altre o qualcosa di specifico la logica la devi creare tu Guarda le scene nel Content Example, è pieno di cose utili
  7. Ti ringrazio Francesco, in effetti questi workflow è stato creato appositamente per permettere di esportare animazioni da UE4 in modo semplice e veloce, visto che ad oggi l'export dai game engine ( in generale ) è ancora limitato. Venerdì incontrerò una parte del team di Epic al Laval ( Francia ), e gli farò vedere un paio di cose che ho sviluppato per semplificare la vita ai developers, vediamo un pò se riesco a corromperli in qualche modo :D
  8. Buongiorno a tutti, Recentemente ho integrato il Facial Mocap utilizzando iPhoneX insieme all Full Body Motion Capture ( in questo esempio realizzato con la Perception Neuron ), avendo il tutto in realtime all'interno di Unreal Engine. Facial Animation Pipeline - UE4 to Maya Considerato che al momento non c'è la possibilità di esportare animazione tramite blend shapes da UE4, ho creato un setup apposito utilzzando un proxy rig, in modo da collegare il valore 0-1 all'asse Z dei joints, in modo da guidare le blend shapes in Maya tramite questi valori. Critiche e commenti sono benvenuti Saluti Nicolas Esposito www.enter-reality.it
  9. Buongiorno a tutti, Stò sperimentando con i Noitom Hi5 VR Gloves e ho fattoun pò di RnD per applicazioni in ambito industriale, oltre che a rielaborare un VR Template per sostituire completamente i controller di Vive. Buona visione VR RnD - Manual Workstation and Welding Training using Noitom Hi5 VR Gloves VR Content Example for Noitom Hi5 VR Gloves Saluti Nicolas Esposito www.enter-reality.it
  10. Salve a tutti, Ho finalmente avuto la possibilità di testare IKinema Orion insieme ai Noitom Hi5 VR Gloves ( ancora in fase di prototipo ), in modo da avere un Full Body Motion Capture. Full Body Motion Capture using IKinema Orion + Noitom Hi5 VR Gloves Sono stati utilizzati 8 Vive Trackers: testa, bacino, mani, gomiti e piedi. I dati vengono inviati in streaming direttamente all'interno di Unreal Engine 4, ed il tutto è stato registrato utilizzando Sequencer a 60FPS, i dati inviati sono "raw" ( registrati in presa diretta ). A breve integrerò alcune funzioni specifiche ( tramite Blueprints in UE4 ), come la possibilità di avere pose predefinite per le mani ( quando si prende un oggetto ), IK per utilizzare armi a due mani, e altre utilità. Lo scopo finale è quello di limitare ( o eliminare completamente ) il lavoro di rifinitura dopo aver registrato la sessione di motion capture. A breve comincerò ad offrire il tutto come servizio, quindi se avete bisogno di questo tipo di servizio non esitate a contattarmi. Saluti Nicolas Esposito www.enter-reality.it
  11. Salve a tutti, Vendo le mie due tute Motion Capture Perception Neuron 32 sensori. Le tute sono state acquistate durante la campagna Kickstarter e ricevute a metà Novembre 2015. Ho utilizzato le tute per mocap classico e RnD per la realtà virtuale ( di seguito un video di esempio ): Wireless VR 2.0 Le metto in vendita in quanto stò investendo in VR e ho bisogno di acquistare alcuni visori da aggiungere a quelli che ho già. Ad oggi una tuta 32 sensori sul sito Notiom viene venduta a 1499$+ spese di dogana ( 260 € ). Il prezzo per ogni tuta che propongo è 850€, meno della metà del nuovo. Incluso nel prezzo di ogni tuta ( oltre a tutti gli accessori della tuta ) regalo una batteria esterna Anker da 13.000 mAh ( valore 26€ ). Per eventuali prove se siete disposti a fare un salto a Pescara ve le faccio provare. Spedizione a vostra scelta e a vostro carico. Se avete domande chiedete pure. Saluti Nicolas
  12. Buongiorno a tutti, Ecco un WIP di simuilazioni CAD in VR utilizzando Unreal Engine 4. I due esempi mostrati sono 1. Cinematica continua con possibilità di controllo RPM 2. Sistema di visione per separazione prodotti in base al colore. Fine Agosto / Metà Settembre rilascerò una demo con diverse simulazioni, in modo da avere feedback. Saluti Nicolas Esposito www.enter-reality.it
  13. Salve a tutti, ho già lanciato la proposta a D@ve in privato riguardo ad estendere il progetto e renderlo completamente interattivo, utilizzando la realtà virtuale e l'Unreal Engine 4. Prima di tutto mi presento, mi chiamo Nicolas Esposito, da un pò ho aperto partita iva ( in parallelo alla mia attività di lavoro dipendente ) per sviluppare progetti in realtà virtuale, mirati ad implementare il tutto in ambito lavorativo ( simulazione linee di assemblaggio, training operatori, sicurezza, visualizzazione architettonica, ecc... ). ( aggiungo un pò di self promotion ) Lavoro principalmente utilizzando l'HTC Vive, e con UE4, ho creato diversi setup personalizzati in modo da estendere la funzionalità ed utilizzo dei controller, in modo da interagire con l'ambiente circostante. Ho anche sviluppato una soluzione completamente custom, dove si utilizza una tuta motion capture, combinata ad un backpack Laptop, e il buon vecchio Oculus DK2, in modo da avere un'esperienza VR full body, senza utilizzare telecamere per il tracking ( orientamento dato dal giroscopio del DK2, tracking posizione dato dalla tuta mocap ). Tech Demo Wireless VR La mia idea è quella di rendere l'intera scena che si realizzerà interattiva in VR, in modo da presentare un qualcosa di unico e originale, facendo "vivere" un ambiente 3D, piuttosto che osservarlo passivamente. Utilizzando tutti e due i setup si potrebbe anche creare una sorta di mix tra videogioco e film, in modo da dare la possibilità all'utente di interagire in modo attivo con gli NPC e con gli oggetti in scena, rendendo il tutto unico. Ci sono delle regole da seguire per quanto riguarda la VR, e precise indicazioni per quanto riguarda il setup con la mocap suit, ne elenco alcune: - In generale non impazzire con i dettagli, sopratutto sui characters, visto che spesso non vengono rappresentati al meglio ( le normal maps a volte risultano "strane" in VR ) - ( nel caso dell'utilizzo della mocap suit ) Non c'è collisione, onde evitare motion sickness, ossia l'user avrà la possibilità di interagire con gli oggetti, e se prova ad appoggiarsi ad un muro ci sarò compenetrazione...tra i vari esperimenti che ho fatto è la soluzione migliore. - Rapporto velocità/tempo ottimizzato, ossia meglio fare interazioni ( sopratutto con NPC ) mirate; avere 50 NPC con animazioni facciali e custom animations risulterebbe troppo lavoro - Riguardo gli oggetti interattivi, ho creato un template standard dove viene impostata solo la mesh, e segue la logica: Se il player si avvicina all'oggetto e chiude la mano ( o semi-chiude ) l'oggetto viene "grabbato", altrimenti rimane lì dov'è...questo è per rendere interattivo il tutto, ossia c'è la possibiltà di dropparlo o lanciarlo eventualmente - ( nel caso dell'utilizzo della mocap suit ) la zona dove si cammina dovrà essere in piano, quindi di conseguenza anche l'environment dove il personaggio cammina dovrà esserlo, altrimenti c'è dissonanza tra il segnale visivo inviato al cervello e la non-pendenza in realtà Differenze tra l'utilizzo del Vive e della soluzione Mocap: - Vive ha tracking cameras, quindi la recezione del movimento è realtime al 100%, ma ci si dovrebbe teletrasportare per muoversi - Ho già realizzato un prototipo di guanti VR, mixando il Vive( con i Trackers che Valve mi ha gentilmente inviato ) con i guanti della tuta mocap, quindi si potrebbe anche optare per un ibrido per l'interazione - Vive viaggia a 90FPS, il laptop VR che utilizzo ( MSI VR One ) regge bene, ma ovviamente se c'è troppa roba in scena le cose cominciano a rallentare...l'engine ragiona in: più oggetti ( diversi ) ci sono in scena, più draw calls si hanno, quindi c'è anche un discorso di ottimizzazione da fare ( LODs, dimensione textures, complessità shaders ) - La tuta mocap ha dal suo che è completamente wireless, ma c'è latenza nei movimenti, minima ma comunque c'è, ossia se si fa un discorso "prendi la mira e spara" non è l'ideale, ma per un discorso esplorazione/visualizzazione/interazione è ottima come soluzione - La tuta mocap utilizza il DK2, che funziona senza la IR camera, quindi ( come già detto ) si può camminare ( letteralmente ) per km e la tuta comunque registra i movimenti....c'è da dire che, essendo una tuta basato su sensori IMU,la precisione non è il massimo ( se cammini in avanti e ritorni al punto di partenza non è preciso al 100% ), ma in VR non è un problema ( avendo a disposizione uno spazio ampio per camminare senza problemi ) In ultimo, dovrei esserci per fine luglio, ma ho una variabile piuttosto importante, ossia mia moglie dovrebbe partorire a metà Agosto, ma c'è la possibilità che il parto avvenga prima, quindi potrei anche trovarmi in una situazione di "sola colossale", quindi onde evitare problemi potrei salire un solo giorno, ma c'è da vedere come organizzarsi per il lavoro, visto che tutti gli asset e compagnia bella andranno importati in UE4. Se avete domande/dubbi/cose/gente scrivete pure, sopratutto se valutate la cosa fattibile o magari è meglio andare con qualcosa di meno complicato Saluti Nicolas
×
×
  • Create New...