Vai al contenuto
Massimo Ghirga

render farm - su cluster IBM - softwares

Recommended Posts

salve a tutti, ho assemblato un bladecenter IBM con 90 processori e 90 gb di RAM. mi occorrerebbero delle informazioni su quale software andrebbeinstallato e come va impostata una render farm ad uso commerciale.

Condividi questo messaggio


Link al messaggio
Condividi su altri siti

Hum.. che processori ha la macchina? Che sistema operativo ci gira? Di quali software hai bisogno?

Intendi dire che lo scopo è quello di vendere un servizio in qualità di render farm?

Hem, posso chiederti che esperienza hai nel settore?

Condividi questo messaggio


Link al messaggio
Condividi su altri siti

mi chedete molte informazioni e.. vi rispondo

Esperienza :

Da studente - anni '80 con Lightwave, 3dStudio, Imagine, Radar CH

Designer in una intrustia di meccanica - anni '90 con Pro/E, Division Mockup (realtà virtuale ad immersione), Alias Design, Solid Thinking, Cinema 4D, Stratasis (prototipazione rapida)

Professione di Architetto - 2000 ad oggi: 3Dstudo Max, Revit, Autocad, Solid Thinking, Archicad, Artlantis, Cinema 4D

--------------

Ho sviluppato negli ultimi 5 anni dei software asp gestionali e da circa un mese ho conficurato un datacenter cluster per i gestionali, dato che ho a disposizione questa macchina la vorrei sfruttare anche come render farm.

-------------------

i processori sono intel xeon quad core L5520 2,5 Ghz

Condividi questo messaggio


Link al messaggio
Condividi su altri siti

ciao, e benvenuto su forum..

non hai detto, che sistema operativo e stato montato.

comunque questo nn e un problema. (si puoi reinstallare.. al inizio pensavo, che hai IBM Power... pero con i xeon, anche se sono piccoli, comunque sono 90 pezzi..)

puoi usare qualisassi software di rendering, che ha distribute render, o network render opzione.

Per affitare la renderfarm a terzi parti ti devi mettere al contatto con i produttori di render engine, perche ogniuno ha la sua politica. Per uso interno (aziendale o personale e un altro) discrso. Ma per usare tutti i 45 nodi (con 2 GB su nodo..) prima ti servano le licenze.. e secndo devi portare la ram su.. come minimo 6 gb (nn garantisco, che ti bastano) al nodo. La potenza e abbastanza alta (un po meno di 1 thz) - pero mancanza di ram ti puo fregare.

Credo, che hai preparato cluster con linux - magari basato su beowulf - dove se non hai un tuo sorgente di renderengine per compillare e preparare alla funzione cluster.. non puoi usare il tuo sistema operativo attuale. La solita cosa e con windows cluster, pero ormai nn devi reinstallare.

Piu meno la situazione e questa.

Condividi questo messaggio


Link al messaggio
Condividi su altri siti

Mi pare che l'unico engine di render a tua disposizione che può usare tutte quelle cpu è Mental Ray in 3ds.

Condividi questo messaggio


Link al messaggio
Condividi su altri siti

ho configurato per ora 6 nodi con xenserver della citrix in pratica ho virtualizzato 6 server con 2 processori e 8gb di ram ciascuno.

le altre lame le devo ancora configurare e mi occorrerebbe sapere se è possibile creare una render farm per tutti i tipi di motori rendering oppure uno o due che hanno la possibilità di interagire con diversi softwares e, tra questi quale pensate che vada per la maggiore ovvero quale è più richiesto.

Esistono già interfacce che permettono all'utente esterno di dialogare direttamente con la render farm mediante il suo accreditamento o occorre programmare una interfaccia web e poi gestire "maualmente" i file inviati?

In questa fase vorrei mettere in piedi un sistema automatico di rendering a basso costo per gli utenti.

Condividi questo messaggio


Link al messaggio
Condividi su altri siti
Inviata (modificato)

Mi pare che l'unico engine di render a tua disposizione che può usare tutte quelle cpu è Mental Ray in 3ds.

a me mi pare, che sbagli..

OGNI motore di render che supporta backburner.. o altro queue manager per NETWORK render... supporta tanti cpu.. prove sono fatte con 200+ nodi..

per distribute render.. solita cosa.. comunque la oltre 10 nodi non ce senso di fare DR..


Modificato da BeaZtiE

Condividi questo messaggio


Link al messaggio
Condividi su altri siti
Inviata (modificato)

a me mi pare, che sbagli..

OGNI motore di render che supporta backburner.. o altro queue manager per NETWORK render... supporta tanti cpu.. prove sono fatte con 200+ nodi..

per distribute render.. solita cosa.. comunque la oltre 10 nodi non ce senso di fare DR..

Veramente pensavo proprio a quello che dicevi l'altro giorno, e cioè che Cinema 4d, non supporta più di 32 core, riguarda solo una configurazione a singola motherboard, e sfrutta invece più cpu fisiche? O vale solo per Cinebench?


Modificato da enri2

Condividi questo messaggio


Link al messaggio
Condividi su altri siti

Con XEN perdi tanta performance. e con memoria condivisa.. mah..

se hai modo di installare puramente sistema operativo su ogni nodo..

allora - windows 7 x64 pro.. comunque per render nodo ancora va meglio XP x64 (prima di tutto, perché consuma molto meno ram e la organizza meglio)

E mi mette in dubbio anche il fatto, che se hai memoria fisica di 2 gb su ogni nodo e condividi la memoria di altri nodi a portala a 8 gb. (utilizzando magari "Memory overcommitment" o qualcosa simile)

Quindi sarebbe meglio, che dici la configurazione esatta di ogni singolo nodo.

Secondo me questo blade center e un giocatolo estremamente costoso, e sarebbe un peccato di usarlo per rendering.

Intendo.. anche se vuoi affittarlo non puoi essere concorrente di renderfarm tipo rebus o simili. La parliamo di circa 5 cent ghz/ora.. E per render commerciale tutta sta cosa - tieni presente, che devi investire anche in software.. (a parte in prezzo di RAM) quindi per far funzionare tutta questa soluzione devi investire abbastanza.

Se riesci a riempire con il lavoro la puoi affittare ad un costo di circa 40 euro ora.. quindi fai 2 calcoli se ti conviene...

Condividi questo messaggio


Link al messaggio
Condividi su altri siti

Veramente pensavo proprio a quello che dicevi l'altro giorno, e cioè che Cinema 4d, non supporta più di 32 core, riguarda solo una configurazione a singola motherboard, e sfrutta invece più cpu fisiche? O vale solo per Cinebench?

in una mainboard di questi ci sono 2 cpu con un totale di 16 thread.

Quindi.. calcola cosi..

frame 1 16 thread

frame 2 16 thread

.........

frame 90 16 thread.

puoi

frame 91 16 thread

frame 92 16 thread

........

frame 180 16 thread..

ecc.

Per distribute render.. mental ray attuale su max 2012 (se nn sbaglio ma mi sa, che era cosi) e limitato a 48 thread aggiuntivi.. quindi parliamo di una macchina 16 thread + altre 3.

Con v-ray ho fatto prove di 10 nodi da 24 thread e funzionavano.. mi sa.. che v-ray DR e limitato a 256 thread.. devo sentire vlady.. pero mi sembra, che era cosi.. progettato a fine anni 90.. (sembrava Sci-Fi quando lo abbiamo fatto)

Comunque per più nodi (oltre questo 1+3) con mray ci vuole mental ray stand alone.. la i prezzi sono ovviamente alti.. e se nn sbaglio le licenze si pagavano per ogni CPU. Comunque la.. la news buona e, che supportano x86-64 Linux. Pero il costo e.. pazzesco.. (ultima volta, quando chiesto era circa 1000-1500 euro per ogni cpu.. se parliamo di 90 cpu.. fai un calcolo..)

Condividi questo messaggio


Link al messaggio
Condividi su altri siti

come dicevo prima, il sistema è in piedi per altre attività e ho a disposizione 28 lame biprocessore con 2gb di ram inutilizzate: o le tengo in una scatola o le utilizzo tirandoci su 4soldi.

Proprio per risparmiare sul software preferirei installare linux, in quanto gratuito e, acquistare i o il motore di rendering da intallare.

Mi rendo conto che installare 28 win 7 o Xp è una spesa esagerata.

La configurazione del sistema e' la seguente:

2 IBM Bladecenter E con 28 lame dual core xeon 2Gb ra 2 HD 40GB

1 IBM Bladecenter H con 6 lame dual core xeon 8Gb ra 2 HD 73GB

2 Swich fiber channel 4Gbit

2 Swich Ethernet gigabit

2 Management

4 alimentatori 2000w ogni bladecenter

1 Totalstorage DS3400 dual Channel Fiber 4Gbit + 12 HD SAS 15K 300GB hot swap

1 NAS Cisco NSS6100

1 UPS 8000 6/8 Kw

Condividi questo messaggio


Link al messaggio
Condividi su altri siti

aspetta.. L5520 e quad core.. a 2,26 ghz.. (non mi ricordo se il turbo funzionava a portarli a 2.4 ghz o no.. comunque nn importa)

se i processori sono dual core.. in pratica nn ce neanche senso di fare le prove. intendo.. bladecenter e un bel sistema per virtualizzare server.. esempio.. hai 28 nodi con dual xeon (se sono quad core con htt) quindi parliamo di virtualizzare circa 480 server.. mettere in affitto al mese ti possono portare molto più soldi, rispetto metterli in calcolo puro.

Comunque calcola anche una cosa abbastanza brutta in realtà attuale.

Se vuoi mettere questo tutta sistema in internet.. per fare la renderfarm.. ti serve una bandwith verso internet abbastanza alta..

in UPLOAD un minimo di 10 mbps.

immaginiamo ci..

io sono il tuo cliente..

ho una scema modesta impostata e preparata di essere renderizzata per 30 sec. di animazione in FullHD.. con render elements ecc.

quindi parliamo di soli 750 frames..

la scena mia pesa 3 gb con le texture.. io con il mio internet schifoso (upstream 1/2 mbps) carico al tuo NAS condiviso il mio lavoro dopo 15 ore (circa)

ovviamente ho downstream a 7 mbps (che nn funzionano mai a 7 mbps.. ma immaginiamo 5 mbps)

dopo un po di tempo, quando i tuoi nodi hann rednerizzato la mia scena solo il rendering (senza calcolare neanche il render elements) parliamo di circa 6 mb per frame (uncompress tiff o targa) - magari salvando lo in PNG sono circa 2 mb.. (quindi 3 volte meno)

quindi parliamo di 4,5 gb solo rendering (senza render elements - la dipende quanti ne mettiamo.. possono essere anche 10-15 per ogni frame).. se hai un bandwith meno di 5 mbps in upstream (PER UN CLIENTE sei fregato) questi 4.5 gb il cliente tuo con il internet classico tipo alice adsl 7 "mega" - con un medio di 5 mbps gli scarica per circa 30 mb. al minuto.. quindi 2-3 ora.. pero solo se hai 5 mbps upstream per fornire.. Ovviamente il utente ci vuole come minimo un canale alpha.. Che e circa 30% del peso di rendering finale. quindi calcola un altra ora occupata per il tuo upstream..

perché dico minimo 10 mbps? perché i clienti possono essere 2.. ma.. anche tre ..... :)

Allora.. dammi anche la config precisa..

quindi se sono 28 con dual L5520 + 6 dual L5520 va bene..

performance totale viene di un totale di 650 ghz.. (senza calcolare il HTT) quindi tutto il sistema bladecenter ti può portare 30/35 euro/ora..

facciamo un medio di 10 ora al giorno e siamo su circa 10k euro mese. senza calcolare le spese di corrente, banda, software ecc.

fai affitto di 500 server virtuali senza investire in software.. a parte questo, che hai.. affitti server virtuali a 30 euro/mese

e sai a 100% che avresti un "income" sicuro su 15 000 euro al mese.

Ovviamente se riesci ad avere 24/7 rendering.. guadagni 24 000 euro/mese.. pero nessuno nn ti da garanzia. Perché se io personalmente devo affittare la tua renderfarm per un mese e devo pagarti 24k euro - preferisco di comprarmi un sistema dove il nodo mi costa 1000-1200 euro.. prendo 18-20.. il resto investo in switch, nas ecc.. ovviamente software ho, perché se ho bisogno di renderizzare un mese scene pesanti devo averlo x forza. per questo investimento mensile posso comprare hardware estremamente economico - e raggiungere un totale di circa 400 ghz.. che ovviamente e un po meno rispetto, che hai tu.. pero so, che quando mi finisce il progetto tra questo un mese posso svendere tutto questo hardware che ho comprato a metta prezzo (ad esempio)

comunque poca gente qua, che ha bisogno di render power si appoggia su renderfarm esterni.. prima di tutto, perché la banda in questa zona geografica e limitatissima.. e secondo, perché facendo 4 calcoli come questo, che ti ho fatto io.. si rende conto, che non ce senso..

ad esempio.. io ultimi 10+ anni abito in affitto.. e ora mi rendo conto, che ho buttato 100+k euro e non ho nulla sotto mano.. intendo pagato mezza casa, pero i soldi sono regalati.. la logica e più meno stessa ;-)

Quindi il mio consiglio e.. di trovare qualche utilizzo migliore di questo blade center.. perché solo investimenti in licenze di windows.. sono alti.. ma se iniziamo a parlare per investimenti in DCC software più usati.. prezzi di render engine.. ecc.

intendo.. la idea e buona, pero mi pare.. che nn ti porta questa soddisfazione economica.. :)

Condividi questo messaggio


Link al messaggio
Condividi su altri siti

aspetta.. L5520 e quad core.. a 2,26 ghz.. (non mi ricordo se il turbo funzionava a portarli a 2.4 ghz o no.. comunque nn importa)

se i processori sono dual core.. in pratica nn ce neanche senso di fare le prove. intendo.. bladecenter e un bel sistema per virtualizzare server.. esempio.. hai 28 nodi con dual xeon (se sono quad core con htt) quindi parliamo di virtualizzare circa 480 server.. mettere in affitto al mese ti possono portare molto più soldi, rispetto metterli in calcolo puro.

Comunque calcola anche una cosa abbastanza brutta in realtà attuale.

Se vuoi mettere questo tutta sistema in internet.. per fare la renderfarm.. ti serve una bandwith verso internet abbastanza alta..

in UPLOAD un minimo di 10 mbps.

immaginiamo ci..

io sono il tuo cliente..

ho una scema modesta impostata e preparata di essere renderizzata per 30 sec. di animazione in FullHD.. con render elements ecc.

quindi parliamo di soli 750 frames..

la scena mia pesa 3 gb con le texture.. io con il mio internet schifoso (upstream 1/2 mbps) carico al tuo NAS condiviso il mio lavoro dopo 15 ore (circa)

ovviamente ho downstream a 7 mbps (che nn funzionano mai a 7 mbps.. ma immaginiamo 5 mbps)

dopo un po di tempo, quando i tuoi nodi hann rednerizzato la mia scena solo il rendering (senza calcolare neanche il render elements) parliamo di circa 6 mb per frame (uncompress tiff o targa) - magari salvando lo in PNG sono circa 2 mb.. (quindi 3 volte meno)

quindi parliamo di 4,5 gb solo rendering (senza render elements - la dipende quanti ne mettiamo.. possono essere anche 10-15 per ogni frame).. se hai un bandwith meno di 5 mbps in upstream (PER UN CLIENTE sei fregato) questi 4.5 gb il cliente tuo con il internet classico tipo alice adsl 7 "mega" - con un medio di 5 mbps gli scarica per circa 30 mb. al minuto.. quindi 2-3 ora.. pero solo se hai 5 mbps upstream per fornire.. Ovviamente il utente ci vuole come minimo un canale alpha.. Che e circa 30% del peso di rendering finale. quindi calcola un altra ora occupata per il tuo upstream..

perché dico minimo 10 mbps? perché i clienti possono essere 2.. ma.. anche tre ..... :)

Allora.. dammi anche la config precisa..

quindi se sono 28 con dual L5520 + 6 dual L5520 va bene..

performance totale viene di un totale di 650 ghz.. (senza calcolare il HTT) quindi tutto il sistema bladecenter ti può portare 30/35 euro/ora..

facciamo un medio di 10 ora al giorno e siamo su circa 10k euro mese. senza calcolare le spese di corrente, banda, software ecc.

fai affitto di 500 server virtuali senza investire in software.. a parte questo, che hai.. affitti server virtuali a 30 euro/mese

e sai a 100% che avresti un "income" sicuro su 15 000 euro al mese.

Ovviamente se riesci ad avere 24/7 rendering.. guadagni 24 000 euro/mese.. pero nessuno nn ti da garanzia. Perché se io personalmente devo affittare la tua renderfarm per un mese e devo pagarti 24k euro - preferisco di comprarmi un sistema dove il nodo mi costa 1000-1200 euro.. prendo 18-20.. il resto investo in switch, nas ecc.. ovviamente software ho, perché se ho bisogno di renderizzare un mese scene pesanti devo averlo x forza. per questo investimento mensile posso comprare hardware estremamente economico - e raggiungere un totale di circa 400 ghz.. che ovviamente e un po meno rispetto, che hai tu.. pero so, che quando mi finisce il progetto tra questo un mese posso svendere tutto questo hardware che ho comprato a metta prezzo (ad esempio)

comunque poca gente qua, che ha bisogno di render power si appoggia su renderfarm esterni.. prima di tutto, perché la banda in questa zona geografica e limitatissima.. e secondo, perché facendo 4 calcoli come questo, che ti ho fatto io.. si rende conto, che non ce senso..

ad esempio.. io ultimi 10+ anni abito in affitto.. e ora mi rendo conto, che ho buttato 100+k euro e non ho nulla sotto mano.. intendo pagato mezza casa, pero i soldi sono regalati.. la logica e più meno stessa ;-)

Quindi il mio consiglio e.. di trovare qualche utilizzo migliore di questo blade center.. perché solo investimenti in licenze di windows.. sono alti.. ma se iniziamo a parlare per investimenti in DCC software più usati.. prezzi di render engine.. ecc.

intendo.. la idea e buona, pero mi pare.. che nn ti porta questa soddisfazione economica.. :)

e ogni volta che finisco di leggere post penso "sto qua, ne sa a pacchi..."

Esempio della tua casa in affitto calza a pennello.... tutto il resto, ovviamente, ineccepibile

Condividi questo messaggio


Link al messaggio
Condividi su altri siti

leggendo il tuo post sicuramente può convenire affittare server virtuali: ma c'è mercato?

non ho una idea.. ma vedendo solution provider tipo Aruba.. o simili.. sembra, che ce.. tanto..

Condividi questo messaggio


Link al messaggio
Condividi su altri siti

imho non si dovrebbe trasformare il forum in un mercato.... domande simili trovano poche risposte non essendo strettamente legate alla cg

Condividi questo messaggio


Link al messaggio
Condividi su altri siti

bisogna sentire diversi provider.. comunque qua nn credo, che qualcuno e in grado di risponderti a queste domande..

qua tutti ci occupiamo com computer grafica e 3d.. probabilmente puoi sentire aziende tipo telecom, fastweb (o hosting provider tipo aruba o datacenter di telecom...) ecc. io davvero non ti posso rispondere.. comunque quando chiedi suqesta informazione devi dire 10 mbps in UPSTREAM.. perche se no.. ti danno alice 20 "mega" haha.. o una soluzione assurda.. dal genere..

Condividi questo messaggio


Link al messaggio
Condividi su altri siti

Crea un account o accedi per commentare

Devi essere un utente per poter lasciare un commento

Crea un account

Registrati per un nuovo account nella nostra comunità. è facile!

Registra un nuovo account

Accedi

Hai già un account? Accedi qui.

Accedi ora

  • Navigazione recente   0 utenti

    Non ci sono utenti registrati da visualizzare in questa pagina.

×