Introduzione

Ecco a voi il terzo dei quattro approfondimenti legati all’utilizzo della tecnologia per virtual set.
Come accennato in precedenza, le tecniche di tracking in real time rappresentano un nodo fondamentale per la realizzazione di set virtuali propriamente detti: solo grazie ad un tracking in real time effettuato con precisione, efficienza di calcolo adeguata alle riprese video televisive, libertà di movimento e solidità del sistema, è possibile competere con la qualità del risultato di un set reale e valorizzare le potenzialità della grafica 3D.

Come forse sarà noto a chi si occupa di tracking, i software utilizzati nella elaborazione di video in post produzione (come per esempio nel cinema, con programmi come Bonjou), hanno la funzione di calcolare, a partire da un video, (per esempio la ripresa di un ambiente o della superfice di un oggetto), la posizione della camera che ha effettuato la ripresa in questione. Grazie a questa operazione, sarà poi possibile integrare elementi grafici oppure oggetti 3D, all’interno dell’ambiente ripreso, in modo coerente con il movimento della camera. I tempi di calcolo di queste operazioni variano a seconda della potenza delle macchine, della tipologia delle immagini riprese e del tipo di software utilizzato. Di seguito un esempio di utilizzo di questi sistemi.
 

Il tracking in real time svolge una funzione analoga a quello eseguito in post-produzione ma con la peculiarità di fornire i dati camera nel momento stesso in cui si esegue la ripresa. In questo modo il livello grafico può essere istantaneamente miscelato con il segnale video proveniente dalla telecamera, con il vantaggio di poter realizzare prodotti audiovisivi con scenografia virtuale in diretta. I tempi di calcolo sono ovviamente ridottissimi. Si tratta infatti di produrre grafiche ad una frequenza di 50fps (sia per i formati video interlacciati che progressivi, la grafica viene prodotta a questa frequenza), con ritardi sull’ordine dei centesimi di secondo, a partire dalla ricezione dell’immagine da compositare. Contemporaneamente si ha il vantaggio che regista e operatori alle camere possono vedere dai loro monitor la scena virtuale già come se fosse una scenografia classica e quindi possono lavorare senza alcuna differenza rispetto ad ambiente di studio classico.
Raccogliere i dati camera, in questo contesto, diventa un’operazione ingegneristica complessa, dove software e hardware devono necessariamente lavorare all’unisono.
 
Tracking in real time – componenti logiche e sistemi più comuni

Il tracking in realtime , infatti, necessità di due componenti funzionali fondamentali:
A - riferimenti di partenza
B - software di rilevamento dei riferimenti ed estrazione dati camera
 
A - La prima funzione (riferimenti di partenza) individua la tecnica, o le tecniche, che si è scelto di utilizzare per fornire un appiglio al software di estrazione dei dati camera, a partire dal quale quest’ultimo possa calcolare le posizioni della camera durante tutta la registrazione.  In base alla tecnica scelta, infatti, si possono distinguere differenti tipologie di tracking. Vediamo i più comuni:
  • Riconoscimento di pattern (pattern recognition)
  • Rilevamento tramite sensori elettromeccanici
  • Rilevamento tramite sensori infrarossi
Ognuna di queste tipologie può assumere varianti differenti, a seconda dello specifico strumento tecnologico coinvolto.

 

1. Il riconoscimento di pattern rappresenta forse il sistema più snello da implementare, per avere un virtual set propriamente detto, che permetta quindi movimenti di camera. Il principio che sta alla base di questo sistema è il medesimo che sta alla base della elaborazione in post-produzione, basandosi sulla elaborazione diretta delle immagini riprese. Allo stesso modo, infatti, lavorando in real time, un software riconosce un pattern noto, costituito spesso da una griglia di un colore simile a quello di chroma dello sfondo, ma di una tonalità differente, in modo tale che il software possa riconoscerla, mentre nell’elaborazione del chromakeyer essa venga eliminata insieme al colore di sfondo. Con algoritmi specifici di calcolo trigonometrico e teoria delle proiezioni, a partire dalla ripresa del pattern, il software di tracking restituisce la posizione della camera, calcolata con un procedimento inverso, per il quale la forma del pattern così come viene inquadrata è possibile solo se si la sta inquadrando da una determinata posizione nello spazio e con una determinata lunghezza focale.

 

orad wall30percento

 

2. Il rilevamento della posizione della camera tramite  sensori elettromeccanici si basa sull’utilizzo di tecnologia hardware, montata e integrata nello studio, sia sui supporti delle camere (cavalletti, crane, carrelli) sia sulle ottiche delle stesse. La funzione dei sensori è quella di misurare con precisione altissima gli spostamenti e i movimenti in determinati punti di snodo, comprese le variazioni delle ghiere delle ottiche (nel complesso si tratta di misurare ogni grado di libertà del sistema). Mappando ed elaborando tali dati, questi sistemi determinano le posizioni delle camere, fornendo dati in tempo reale, in base alle variazioni registrate dai sensori. La loro sensibilità arriva a misurare un milione di passi in 360 gradi.

 

vhcams 021

 

3. Il rilevamento con sensori ad infrarossi è una tecnica che si basa sul rilevamento della posizione tramite emettitori di infrarossi montati sulla camera e microcamere sensibili agli infrarossi che ne ricevono i segnali, posizionate in punti noti. Attraverso una triangolazione tra le microcamere che ricevono il segnale si calcola la posizione dell’emettitore e quindi della camera che lo trasporta.

 

infrared tracking

 
B- La seconda funzione, il software di rilevamento,  è appunto un software in grado di recepire le informazioni dall’esterno ed elaborarle per fornire i dati al virtual set secondo un protocollo stabilito. Ogni sistema di tracking realtime elabora dati specifici con algoritmi specifici ma il prodotto finale è analogo per tutti ed è costituito da un gruppo dati di base che fotografa posizione e inclinazione della camera nello spazio, rispetto ad un’origine di riferimento. Nei sistemi più sofisticati possono essere presenti anche i dati della focale e della messa a fuoco, che permettono di gestire camere con focale variabile e profondità di campo.
 
 
Calibrazione
 
Ciascuna delle tipologie di tracking deve fare i conti con una serie di problematiche comuni, oltre a quelle specifiche di ciascuno. In generale ogni metodo ha bisogno di un fase di calibrazione, che può essere più o meno elaborata, anche se, a sistema completo, si tratta sempre di operazioni che durano pochi minuti e rimangono valide fino allo spegnimento del sistema, oppure fino a quando le condizioni di ripresa non richiedano una nuova calibrazione.

La calibrazione del sistema che impiega la pattern recognition è probabilmente la più veloce, basandosi semplicemente sulla inquadratura del pattern la cui forma e dimensioni sono note al sistema. Quindi non si tratta di una vera e propria operazione a sé stante, che impiega un tempo definito prima delle riprese, ma viene effettuata direttamente via software in runtime. A fronte di questa velocità di calibrazione, questo sistema può essere considerato un entry-level, tra i virtual set propriamente detti, a causa del maggior numero di limitazioni in ripresa (che analizzeremo tra poco), proprio dovute alla natura puramente software del suo funzionamento.
 
La calibrazione del sistema elettromeccanico invece si basa sul concetto che le camere siano posizionate ad un tempo zero in una posizione già nota, all’interno dello studio. Posizionate le camere in ciascuna posizione nota, il sistema viene resettato e a partire da tale posizione ogni rilevamento dei sensori sarà utilizzato per determinare gli spostamenti relativi. Questo tipo di tracking non ha legami con le immagini riprese, ma con la posizione delle camere nello spazio fisico: ciò implica che, ogni volta che si spegne e riaccende il sistema, è necessario rimettere le camere in posizione iniziale zero. Ovviamente più è preciso il reperimento della posizione zero maggiore sarà la precisione del tracking.
 
La calibrazione dei sistemi ad infrarossi, invece, prende come riferimento la posizione di microcamere ad infrarossi, ancorate in posizioni note all’interno dello studio. Questo sistema garantisce una buona libertà di movimento, nel limite delle interferenze possibili tra i raggi infrarossi degli emettitori e quelli delle luci del set.
 
 
Confronto tra i sistemi

Ciascun metodo comporta alcuni accorgimenti strutturali, che favoriscono determinati stili di ripresa e di conseguenza rendono preferibile l’una o l’altra soluzione, a seconda del tipo di lavorazioni che si vorranno intraprendere. Inoltre non tutti i sistemi garantiscono di poter coprire da soli l’intera gamma di necessità realizzative. Per esempio il sistema ad infrarossi va spesso integrato con un sistema a pattern o con encoder elettromeccanici e calibrazione dell’ottica quando si vuole gestire lo zoom delle camere.
Di seguito mostriamo un piccolo schema riassuntivo sulle caratteristiche dei vari sistemi di tracking presentati, mettendoli a confronto su alcuni elementi caratterizzanti;
prendiamo in esame le seguenti caratteristiche:
  • Numero di camere supportate
  • Tipi di sostegno alla camera possibili
  • Vincoli all’inquadratura
  • Possibilità di zoom
  • Il numero di camere supportate, in sistemi di virtual set propriamente detti, è generalmente scalabile, essendo le scenografie virtuali generate indipendentemente l’una dall’altra. Unico distinguo è che in alcuni sistemi si può avere la scenografia virtuale solo su una camera alla volta, in altri su tutte le camere contemporaneamente. Quest’ultima situazione permette ad un regista di avere la visione multicamera durante le riprese e di avvantaggiarsene anche nella fase montaggio.
  • Per tipi di sostegno possibili si intendono i supporti sui  quali può essere montata la camera, in modo che il virtual set operi correttamente. Ovviamente a seconda del sistema, i sostegni dovranno essere dotati di strumentazioni specifiche per permetterne il tracking. In questo senso il sistema più snello è  quello basato sulla pattern recognition, avendo track integralmente basato sulla elaborazione software. Di contro questo sistema è da considerarsi un entrylevel, sia per la precisione del tracking che per la stabilità della ripresa.
  • Passando ai vincoli all’inquadratura, ci accorgiamo che il vincolo più importante è detenuto proprio dal sistema con pattern recognition. Infatti, in ogni istante, deve essere presente almeno il 15% della griglia nella nostra inquadratura, pena lo “sgancio” della scenografia virtuale che può spostarsi in modo inconsulto o addirittura sparire. Gli altri sistemi, invece, essendo indipendenti dall’immagine inquadrata, permettono di eseguire inquadrature in modo del tutto equivalente a quanto verrebbe fatto in una scenografia reale.
  • Considerazione ulteriore merita il funzionamento dello zoom. Attualmente l’unico sistema che permette di fare indipendentemente sia cambi di focale che movimenti di camera in piena libertà è il sistema con sensori elettromeccanici. Nel caso del sistema a pattern recognition, il vincolo d’inquadratura sopra citato, limita l’impiego di focali lunghe quando queste non rendano leggibile il pattern dal sistema di tracking. Allo stesso tempo, quando il sistema ad infrarossi utilizza un supporto di pattern per effettuare variazioni di focale, porta con se lo stesso limite.   
schema sistemi track                 
 
Lo scivolamento

Oltre alle precedenti caratteristiche, un’importante valutazione del sistema di tracking in uso, benché basata più su osservazioni euristiche che su veri e propri parametri oggettivi, è la misura dello “scivolamento”.
 
scivolamento
scivolamento2
 
Con il termine scivolamento intendiamo una misura della coerenza dei movimenti del mondo virtuale rispetto a quello reale.
Non è facile individuare una unità di misura standard per definire questo fenomeno, a causa delle molteplici variabili in gioco e trattandosi di un fenomeno che si presenta in maniera diversa a seconda della distanza focale utilizzata; ma è comunque un fenomeno che va individuato e tenuto sotto controllo:  la precisione del sistema di tracking, la sua sensibilità rispetto alle sollecitazioni ed eventuali ritardi non colmati, tra il segnale video della camera e quello della grafica, possono generare delle incoerenze logiche che rischiano di inficiare la percezione di immersione del reale nel virtuale, svelando la natura artificiale dell’ambientazione.
Nell’immagine precedente abbiamo cercato di rappresentare un esempio di scivolamento su un movimento di camera panoramico (la camera non trasla in nessuna direzione, ma ruota attorno all’asse verticale). Dobbiamo considerare il bipede come un soggetto reale immobile e il cerchio rosso come un oggetto virtuale posto sotto ai suoi piedi. Nella prima panoramica, vediamo che il cerchio rimane coerente con la posizione del bipede, rappresentando il comportamento di un sistema con una buona precisione di tracking. Nella seconda immagine invece abbiamo rappresentato quello che succederebbe se la scena virtuale ricevesse una indicazione di movimento della camera minore di quanto realmente essa si sia spostata, comportando di conseguenza un disallineamento tra soggetto reale (il bipede) e scena virtuale (il cerchio rosso).
 
Conclusioni

In merito ai sistemi di tracking in real time attualmente in uso, quindi, esistono diverse possibilità; lo sviluppo è incessante, alla ricerca di soluzioni sempre più sofisticate per le esigenze della produzione audiovisiva. Le soluzioni sul lato prodotto (sistemi di virtual set chiavi in mano, da acquistare) sono varie ed adeguate alle diverse esigenze, ma pagano lo scotto di avere la necessità di massimizzare gli investimenti, rendendo più lento il processo di sviluppo, come spesso accade per i settori industriali. Di contro le offerte di servizi di virtual set (che danno la possibilità di affittare uno studio virtuale), quando sono basate su soluzioni sviluppate in proprio e non su prodotti standard, offrono traiettorie di sviluppo molto più veloci e performanti, rispetto ai capitali investiti, ma non riescono a raggiungere le medesime economie di scala, dovendo spesso spalmare i costi di sviluppo su un numero esiguo di studi virtuali.