DEL CARRO ALLEGORICO LA PENISOLA SOMMERSA IL DOPO…
2.1 - Metodi - Scelta della tecnica
Le soluzioni tecnologiche oggi disponibili, offrono opportunità di grande interesse per il rilevamento, sia durante la fase di acquisizione del dato metrico, sia per quanto concerne la rappresentazione per oggetti di interesse artistico e architettonico.
La scelta del metodo da utilizzare si è fondata sulle esperienze maturate e sugli studi effettuati, durante il corso di Grafica 3D per i Beni Culturali, sull’utilizzo delle varie tecniche. È però giusto precisare che ogni esperienza presenta proprie caratteristiche e peculiarità ed è difficile approcciarvisi con schemi convenzionali e metodologie standardizzate e spesso è possibile e auspicabile, integrare fra loro le varie tecniche.
Analizzando le diverse possibilità, prendendo in esame la tecnica della scansione 3D si può rilevare che un’elevata dimensione, come quella del soggetto scelto da rappresentare, l’intero carro, necessiterebbe di uno scanner a interferenza di fase, il quale permette di avere un campo d’azione fra 2 e 60 metri. Tale strumento presenta problematiche relative al suo costo e all’uso, che necessita di un operatore esperto. Inoltre, data la complessità dell’oggetto, la copertura attraverso scansione necessiterebbe di un grande numero di punti di vista, alcuni dei quali di difficile messa in pratica (vedere sezione 2.2). E’ pertanto preferibile considerare tecniche alternative.
Un altro possibile approccio sarebbe la modellazione 3D, tuttavia ricostruire un carro a partire da zero con l’utilizzo di un programma di scultura digitale risulterebbe alquanto dispendioso in termini di tempo e lavoro, sarebbe necessario ricreare tutti i vari elementi, e successivamente assemblarli disponendoli, sulla base delle immagini disponibili, con lo svantaggio di ottenere, comunque, un modello approssimativo, non geometricamente misurabile, in quanto mai perfettamente corrispondente all’originale. La necessità di utilizzare questa tecnica si presenterebbe solo nel caso in cui non fosse possibile reperire materialmente il soggetto e si renderebbe indispensabile per una eventuale ricostruzione dei più significativi carri allegorici realizzati nel passato. Questa tecnica, a pro di quanto sopra accennato, non è comunque da escludere completamente, ma piuttosto da integrare alla tecnica scelta per il procedimento di acquisizione dati, come vedremo in seguito.
Escludendo quindi le ipotesi sopra elencate e avendo la possibilità di poter disporre del bene reale, si è scelto di optare per la tecnica della ricostruzione attraverso l’acquisizione di immagini con fotocamera, in quanto la più consona per questo progetto.
2.1.1 - Vantaggi e svantaggi
La ricostruzione 3D da immagini è una tecnologia ancora emergente ma di crescente uso nel campo dei Beni Culturali.
Questa tecnologia si basa sull'analisi dell'immagini per estrarre features comuni, le quali sono utilizzate dapprima per stimare i parametri di camera associati a ciascuna immagine, quindi per calcolare una rappresentazione densa della scena di interesse attraverso una nuvola di punti, la quale può essere quindi trasformata in un modello 3D. Il 3D da immagini ha avuto rapida evoluzione anche in base ai recenti sviluppi delle camere digitali. Come tutte le tecnologie di acquisizione 3D, tuttavia, essa presenta aspetti positivi e negativi:
Il vantaggio principale è che lo strumento di acquisizione è una semplice camera digitale (perfino la camera di un telefono cellulare). Ovviamente con fotocamere migliori si ottengono risultati più soddisfacenti, essendo le immagini ottenute, fotografie digitali, la loro dimensione sarà direttamente legata alla dimensione dei pixel che la fotocamera supporta. Tuttavia in ogni caso questo permette avere un costo molto basso per l’hardware di acquisizione.
Panasonic DMC GH3 (da me utilizzata) con cavalletto
Un altro vantaggio è l’adeguata accuratezza nella determinazione metrica della forma e della geometria di oggetti di ogni tipo e, agendo con le giuste condizioni, la possibilità di ottenere un adeguato livello di dettaglio, permettendoci di avere modelli 3D dell’oggetto in tempi abbastanza brevi, con una limitata interazione.
Naturalmente non è possibile ottenere la stessa accuratezza del modello ottenuto con la tecnica della scansione, che ha però a sua volta delle limitazioni, in quanto non tutti gli oggetti possono essere acquisiti.
Inoltre, siccome le immagini di input sono non calibrate, il sistema non può stimare la scala della scena. Per poter superare questo ostacolo e presentare ciò che è stato acquisito con le immagini, in modo che sia misurabile, è necessario scalare l’oggetto alla misura effettiva,
usando una misura diretta di distanza presa come riferimento sull’oggetto reale e rapportandola sul modello ricostruito poi, da queste due misure estrarre un fattore di scala che riporti tutto all’unità di misura scelta.
Siccome, come vedremo, l’acquisizione di un oggetto complesso non è sempre attuabile in un’unica soluzione, questo genera la necessità di accurate operazioni di editing e allineamento per trasformare le singole acquisizioni in un unico modello finale.
Questo è ottenibile infatti riportando tutti i modelli ottenuti allo stesso fattore di scala e poi assemblandoli fra loro. Le prossime sezioni presenteranno i passi necessari per la produzione del modello, analizzati presentando l’esperienza pratica di acquisizione del carro La penisola
sommersa.
2.1.2 - Procedura di acquisizione e processing
In base alle caratteristiche del soggetto da cui sarà prodotto il modello tridimensionale, la sua complessità, le sue dimensioni e la location in cui è sito, è necessario compiere un’azione preliminare, identificando i punti di riferimento da inquadrare nelle diverse immagini, in modo da stabilire quanti e quali saranno, al fine del rilievo completo, senza buchi e zone nascoste e procedere con la realizzazione dei vari set fotografici dell’oggetto complessivamente e poi in un secondo tempo, se necessario, degli elementi da approfondire per acquistare dettaglio. Quindi, l'acquisizione di oggetti complessi è solitamente organizzata in svariati set indipendenti, i quali vengono poi combinati in fase di processing. Infatti, una volta eseguito il set fotografico deve essere fatto un lavoro di processazione dei dati.
Tale processo può essere svolto con diversi tool, alcuni dei quali di natura commerciali, altri disponibili gratuitamente per la comunità. Partendo da un set di punti è possibile ricostruire quale era la posizione nello spazio delle camere associate a ciascuna immagine e poi, trasformare ciascun punto di corrispondenza, in un punto tridimensionale nello spazio, quale rappresentazione di quel punto dell’oggetto. Questi punti se superano determinati requisiti di qualità vengono salvati come point cloud e poi usati per una ricostruzione di mesh.
Questo processo deve essere eseguito per ogni set fotografico effettuato.
Durante le varie fasi di processamento del dato, è spesso necessario effettuare operazioni pulizia atte a rimuovere il dato poco accurato stimato dai sistemi di ricostruzione.
Se più di un dataset fotografico è stato acquisito, le diverse nuvole di punti ottenute dalle immagini devono essere allineate per ricomporre l'oggetto di interesse. Una volta ottenuta la nuvola di punti totale è possibile generare un'unica mesh e procedere alla ricostruzione del modello finale.
2.2 - Acquisizione del dato metrico- approccio metodologico
L’acquisizione delle foto è un passo fondamentale per poter ottenere un buon modello tridimensionale finale. È essenziale iniziare con una buona sequenza di immagini, specialmente nel caso in cui si debba acquisire un oggetto molto complesso, come il carro scelto per questo lavoro di tesi.
La giusta tecnica si fonda su dei criteri metodologici ben precisi.
È innanzitutto necessario fare una panoramica generale per ottenere una struttura di base, realizzare pertanto un set fotografico che comprenda l’intero soggetto da ricostruire. In generale, per poter essere in grado di generare un punto 3D dalle immagini, esso deve essere inquadrato da almeno tre distinti punti di vista, in modo da poterli referenziare nell’insieme. Le foto devono essere possibilmente scattate da distanze paragonabili, cercando di inquadrare l’intero soggetto o buona parte di esso, tracciando ad esempio ad arco intorno a esso, mantenendolo nel frame in ogni momento, facendo piccoli passi per ottenere così più immagini, viste da lati leggermente diversi. Durante l’acquisizione, è necessario considerare che anche il background può partecipare alla stima dei parametri di camera.
esempio di giusta acquisizione da immagini
Un’altra esigenza indispensabile è l’utilizzo del giusto tipo di illuminazione, dal momento che tutte le informazioni necessarie per la ricostruzione del modello tridimensionale traggono origine dalle fotografie, è indispensabile che l’oggetto ripreso, appaia simile da tutti i punti di vista, pertanto, alcuni effetti di luce e ombra possono influire sul risultato finale. Pertanto, un'illuminazione perfettamente diffusa, senza tutti gli artefatti dovuti all’interazione diretta della luce come le ombre o i culmini di riflessione, genera di solito un dato più completo e un colore più omogeneo. Acquisire oggetti con luce elettrica oppure all’aperto può quindi comportare un grosso problema.
2.2.1 - Acquisizione – Esperienza diretta
Per questo progetto sono state effettuate circa 8000 foto che non sono state tutte utilizzate, in quanto in generale ne possono bastare circa 300 per ogni ricostruzione. Tuttavia è consigliabile acquisire una grande quantità di immagini, in modo da non rischiare di non essere in grado di coprire porzioni dell'oggetto. Questo è maggiormente vero nel caso del progetto in esame, dal momento che un carro del carnevale è come abbiamo visto un’opera d’arte effimera, che dura solo per una stagione e sarebbe stato a breve distrutto per fare posto all’interno dell’hangar alla nuova costruzione, non consentendo una seconda possibilità per ripeterle.
Alcune delle acquisizioni preliminari non sono state utilizzate, in quanto alcuni dei criteri sopra esposti non sono stati rispettati, generando quindi risultati non soddisfacenti.
Le foto, in una prima serie, sono state scattate, obbligatoriamente, all’interno dell’hangar, riprendendo il carro, che ha un’altezza di circa 14 metri, dal basso verso l’alto e in mancanza di un’adeguata illuminazione, non avendo la distanza che permettesse di muoversi attorno a esso e, pertanto, senza la giusta profondità di campo tale da inquadrare tutta la scena. Il primo set constava di circa mille foto.
Foto del carro ripreso dal basso Galleria fotografica
La seconda serie di foto è stata effettuata, in quota di circa 12 metri, ruotando intorno al carro, all’interno di un “bidone” trasportato da un carroponte, installato all’interno dell’hangar e utilizzato solitamente dai costruttori per gli ultimi ritocchi alla lavorazione, dove sono state scattate un altro migliaio di foto, questa volta, dall’alto verso il basso e ad altezza correlata. Ma anche in questo caso il risultato non è stato dei migliori sempre per i motivi sopra esposti.
Fotogra ando dentro il “bidone”
Foto del carro ripreso dall’alto
Dopo vari, inefficaci tentativi è stato inevitabile condurre fuori dall’hangar il carro, in modo da poterlo fotografare interamente, cercando di soddisfare le giuste condizioni.
La scelta, compatibilmente con le tempistiche di Uberto Bonetti, è caduta su una giornata nuvolosa, con una luce, quindi, adatta allo scopo. Sfortunatamente, una volta trasportato il carro fuori dall’hangar, il tempo è cambiato ed è uscito il sole.
Non essendo ormai possibile rinunciare si è proseguito nell'acquisizione. Alcuni particolari, come è facile indovinare, essendo contro luce, non sono riusciti a essere fotografati e i dettagli sono stati ricostruiti in modo poco accurato. Sono state realizzate diverse serie di fotografie con diversi tipi di illuminazione che si sono succeduti nell’arco della giornata, l’ultima quasi al tramonto.
Il risultato è stato comunque notevolmente migliore dei precedenti, anche se la maggiore distanza è andata a scapito dei particolari, i quali erano stati però precedente acquisiti e con varie ricostruzioni e sovrapposizioni sono stati reintegrati.
Foto primo set fotografico, contro sole. foto serie finale con nuvole
Una volta effettuate le varie ricostruzioni, come vedremo nel paragrafo seguente, sono state rilevate alcune mancanze in punti rimasti oscuri.
La decisione è stata quindi di effettuare ulteriori set fotografici .
Il lavoro è stato facilitato dalla fase di smontaggio del carro, da parte dei F.lli Bonetti, in tempi anticipati rispetto alla normale operazione di distruzione, in quanto il loro carro è stato
scelto e acquistato per sfilare al 6° Carnaval Acuatico a San Carlos in Nicaragua e sarebbe dovuto partire a breve con un container per raggiungere la destinazione in tempo per la sfilata del 29 novembre 2014.
Uberto Bonetti a San Carlos in Nicaragua con il manifesto della sfilata
Con la possibilità quindi di avere a disposizione, cosa difficilmente possibile, i dettagli da realizzare da vicino separatamente, è iniziata la nuova serie di fotografie dedicata alla base del carro, spoglio degli elementi sopra collocati, ai vari personaggi politici e in particolare alla testa del Nettuno, guadagnando così notevoli dettagli. Sono state fatte una serie di operazione fotografiche ad hoc per i singoli pezzi che sono poi stati integrati sulla struttura di base.
2.2.2 - Materiale e Metodi - Ricostruzioni
Una volta realizzate le foto sono state create le ricostruzioni con utilizzo di Microsoft
Photosynth, un software per la presentazione fotografica sul web e in 3D, realizzato da
Microsoft Corporation. Questa applicazione web, analizzando una regolare raccolta di
fotografie o immagini, è in grado di stimare i parametri di camera associati a ciascuna immagine, e ottenere una ricostruzione a bassa densità della scena. L'oggetto creato, ribattezzato synth, è visualizzabile direttamente sul sito.
La tecnologia Photosynth lavora in due fasi:
- Nella prima, ciascuna immagine del dataset viene analizzata al fine di estrarre delle features, le quali sono punti di interesse che possano essere individuati anche in altre immagini. Nel particolare caso di Photosynth, tali punti di interesse sono detti SIFT. Questi feature points hanno il particolare vantaggio di essere robusti alla rotazione e alla scala. Questo vuol dire che punti comuni della stessa scena, inquadrati da angolazioni o distanze diverse, saranno descritti nello stesso modo da quete features.
In seguito, le features di ciascuna delle immagini sono confrontate alla ricerca di matches, cioè di possibili connessioni di features simili tra le immagini.
- Nella seconda fase, i match trovati tra le immagini (solitamente in numero di svariate centinaia di migliaia) sono analizzati per stimare i parametri di camera di ciascuna delle immagini del dataset fotografico. In pratica, vengono stimate le posizioni relative delle camere le quali permettano ai match di coincidere, generando quindi un punto 3D nello spazio stimato. Alla fine di questo processo, quindi, la posizione e orientamento di tutte le immagini è stimata, e insieme a questa viene generata una rappresentazione non densa della scena, formata dai punti creati da tutti i match validati durante la stima delle camere.
Attraverso Photosynth è possibile visualizzare tale ricostruzione, ottenendo un feedback sulla qualità e completezza della stessa. Photosynth è attualmente strutturato come un web service : l'utente carica le foto sul server del servizio, e una ricostruzione viene generata e messa a disposizione attraverso un link che può essere condiviso o lasciato privato.
Le figure presentate nelle prossime pagine mostrano i risultati di ricostruzione di alcuni
dataset. In totale, sono state effettuate 45 ricostruzioni per il modello finale, qualcuna non
Prima ricostruzione carro ripreso dal basso
Serie di foto scelte per la Prima ricostruzione Carroripreso dal basso
Prima ricostruzione Carro ripreso dall’alto
Serie di foto scelte per la seconda ricostruzione carro ripreso dall’alto
Risultato su Photosynth della seconda ricostruzione del carro ripreso dall’alto all’interno dell’Hangar
serie di foto scelte per la ricostruzione del carro intero all’aperto
due serie per la testa del Nettuno
Due serie di foto scelte per la testa del Nettuno
Alcune ricostruzioni dei personaggi dei politici sopra il carro
Grillo Berlusconi
Alfano Renzi
Nel caso la ricostruzione fornita da Photosynth sia considerata adeguata, è necessario completare la procedura di ricostruzione per ottenere una ricostruzione densa. Questa fase genera una nuvola di punti ad alta densità computando nuovamente i punti comuni tra le immagini, ma partendo questa volta dal fatto che i parametri di camera sono già stati correttamente stimati.
Nell'ambito di questo progetto, è stato utilizzato Photosynth Toolkit, uno strumento freeware il quale utilizza CMVS, un algoritmo di dense reconstruction proposto da Furukawa et al.
Photosynth toolkit prepara il dato per la ricostruzione scaricandolo direttamente dal sito di Photosynth, e quindi effettua la ricostruzione della nuvola di punti densa. Per gestire la
complessità della ricostruzione, le immagini sono suddivise in cluster, e le ricostruzioni dell'oggetto sono completate per sottoporzioni.
2.2.3 - I RISULTATI - Ricostruzioni dense ottenute con Photosynth importate in MeshLab
Prime ricostru ioni dense nuvole di punti del carro dal basso e dall’alto dentro l’Hangar
Ricostru ioni dense nuvole di punti del carro all’aperto
Ricostruzione densa, nuvola di punti Grillo Ricostruzione densa, nuvola di punti Brunetta
Come si può vedere da alcune fra le ricostruzioni fatte, con Photosynth, ogni progetto è formato da un numero diverso di mesh layers, tanti quanti ogni ricostruzione ne ha generati.
2.3 - Creazione e pulizia nuvola di punti
Come detto, da un punto di vista metodologico, è stata effettuata prima una ricostruzione globale e dopo tante ricostruzioni locali.
Su ciascuna delle ricostruzioni ottenute, la prima operazione da svolgere è stata il cleaning, indispensabile particolarmente per questa tecnica non particolarmente accurata, per rimuovere eventuali punti spuri generati dal sistema. E' possibile infatti acquisire rumore dell’ambiente circostante attraverso l’acquisizione di foto. Nell'ambito di questo progetto, le acquisizioni effettuate nell'hangar presentavano una forte componente di rumore, dovuto principalmente alle condizioni di illuminazione e alla grande quantità di oggetti intorno al carro. Le differenti condizioni metereologiche nell'acquisizione all'aperto hanno generato rumore anche nel caso della seconda acquisizione. varie In ogni caso, il cleaning è un’operazione sempre necessaria anche su modelli più semplici e acquisiti in situazioni più idonee.
Per le operazioni editing, sono disponibili diversi software: in questo progetto è stato utilizzato MeshLab, un programma italiano open source, il cui sviluppo ha avuto inizio a metà del decennio scorso presso l'istituto ISTI-CNR di Pisa, tuttora in espansione, un programma che, con i suoi numerosi filtri, permette di creare o modificare modelli tridimensionali agendo anche su singole mesh che compongono il modello, molto importante perché può essere usato anche per la ricostruzione geometrica di una nuvola di punti acquisiti, tramite software di fotogrammetria. In MeshLab sono presenti più di trecento funzionalità atte a pulire, gestire, visualizzare, modificare, renderizzare e convertire questo tipo di geometrie. È consigliabile effettuare l’operazione di cleaning con mesh indipendenti prima di allinearle e fonderle insieme, in quanto viene così notevolmente facilitata, avendo maggiore possibilità di azione. È possibile eseguirla utilizzando uno dei diversi tipi di selezione presenti in MeshLab, nel caso di una nuvola di punti, la selezione per punti.
2.3.1 - I RISULTATI - mesh ottenute con l’operazione di cleaning
operazioni di cleaning sul modello complessivo
Mesh ottenuta dalle varie mesh ripulite del carro in pleinair
operazioni di cleaning sul particolare della testa del Nettuno
2.4 - Allineamento e scalatura Nuvole di punti
Come già precedentemente espresso, le differenti porzioni acquisite devono essere allineate: in pratica, le singole acquisizioni devono essere sovrapposte una con l’altra in modo da ricostruire la forma dell’oggetto.
Per coprire l'intera superficie abbiamo bisogno di tutte le acquisizioni, e per eseguire l'allineamento è necessario che si siano delle sovrapposizioni tra le stesse.
Nel caso particolare delle acquisizioni da immagini, l'allineamento deve tenere conto anche che ogni acquisizione viene prodotta con un valore di scala arbitrario, in quanto l'informazione di scala della scena non è stimabile da un set di immagini non calibrate.