Shadow removal

Nel corso degli ultimi anni sono state numerose le ricerche che, a partire da obiettivi distinti, si sono occupate del problema dell’individuazione delle ombre su una singola fotografia [6][7], oppure su di una texture, al fine di rimuoverla o comunque di mitigarne l’effetto. Applicativi orientati allo sviluppo di asset nel campo delle applicazioni videoludiche presentano questo tipo di funzioni: basti pensare alla funzione remove shading presente in CrazyBump, oppure ai comandi analoghi implementati in Shader Map e, più di recente, all’abbondante set di prodotti sviluppati dalla software house Allegorithmic per il physically-based texturing.

Fig. 3 – A) Texture del colore apparente. B) Texture del colore diffuso ottenuta mediante il filtro remove shading di CrazyBump. C) Simulazione della BRDF del ritratto marmoreo di Matidia Minore (da Villa Adriana).

Nell’ambito dei Beni Culturali un esempio fondamentale di rimozione delle ombre, ancora efficace a diversi anni di distanza, è quello fornito da Paul Debevec [8] con lo studio della riflettanza del Partenone. In quel caso i presupposti erano ben più ambiziosi rispetto alla sola attenuazione delle ombre, poiché si cercava di stabilire il rapporto fra luce e materia attraverso la cattura delle condizioni di illuminazione mediante l’impiego di immagini HDR (probe) e di determinare e definire la riflettanza del marmo.

Uno dei tratti essenziali della tecnica sviluppata da Debevec era la riproposizione delle condizioni di illuminazione catturate mediante HDRI sul modello 3D del Partenone, acquisito in quel caso attraverso una campagna di rilevamento laser scanner. L’illuminazione indiretta veniva quindi salvata nello spazio parametro del modello, cioè nel sistema di coordinate (u,v) associate al modello poligonale. Quello studio, al tempo pioneristico, ha in buona parte ispirato Juhanni Karlsson e Jukka-Pekka Lyytinen della casa di effetti visivi finlandese Talvi Digital, che ha

sviluppato una tecnica di shadow removal per materiali lambertiani basata sull’uso di software commerciale, evitando però l’impiego di applicazioni di semplice editing bitmap come ad esempio CrazyBump. Il motivo di questa scelta sta nel fatto che il controllo della correzione cromatica attraverso tali soluzioni precostituite non può essere affrontato con il rigore permesso dalla pipeline sul colore basata sull’uso di una tavolozza di calibrazione e relativo software finalizzato a stabilire specifici profili colore. Le esigenze produttive di Talvi Digital costituiscono di fatto una sorta di punto di contatto fra le tecniche accurate e speditive adottate nell’ambito del rilievo a scala urbana dei portici di Bologna [4] e l’uso della riproposizione della illuminazione ambientale nello spazio (u,v) del modello 3D eseguito da Debevec [8]. Con il vantaggio, rispetto a quest’ultimo studio, che oggi sono disponibili e ampiamente diffuse tecniche di modellazione image-based basate su SfM che automatizzano e velocizzano il problema del fitting immagine-modello.

Le sperimentazioni condotte sul Mausoleo di Teodorico di Ravenna, e anche su altri edifici o loro parti, introducono ulteriori variazioni rispetto a quest’ultima tecnica sviluppata nell’ambito produttivo del Visual FX, in particolare per quanto riguarda il trattamento dei modelli ad alto dettaglio (high-poly) al fine di una loro migliore parametrizzazione.

Fig. 4 – Fasi di modellazione SfM del Mausoleo di Teodorico a Ravenna.

La tecnica impiegata può essere così sintetizzata: l’oggetto da fotografare viene suddiviso in tante aree quante sono le differenti condizioni di illuminazione approssimabili ad omogenee; per ognuna di queste vengono eseguiti due scatti campione con il ColorChecker Classic: nel primo scatto si posiziona il pannello colorato nella zona più idonea a fornire indicazioni sull’illuminazione media, cioè presente nella maggioranza del set di foto; nel secondo scatto si posiziona il ColorChecker in una delle aree più scure in modo da eseguire una duplice correzione radiometrica. La prima avrà validità nella maggior parte dell’area dell’oggetto fotografato, la seconda invece servirà per correggere radiometricamente solo le zone più oscure. Evidentemente per eseguire il modello attraverso l’applicativo SfM si adotterà il set con la prima correzione, e solo in una successiva fase del flusso di lavoro si impiegheranno le altre foto, che generalmente appariranno come eccessivamente chiare.

Fig. 5 – A sinistra: effetto di doppia ombra. A destra: colore apparente applicato come luminosità in gamma lineare. Una volta eseguito il modello e generata la texture del colore apparente è necessario eseguire un secondo texturing basato sulle sole immagini della seconda correzione radiometrica, che saranno impiegate al fine della sola mappatura del modello. Si ottengono così due mappe, applicate sulla base del medesimo sistema di riferimento (u,v): il problema da risolvere è quello di come miscelare le due immagini mantenendo le zone “migliori” ottenute con la prima e con la seconda correzione. In sostanza è necessario creare un canale di trasparenza (un alpha channel o una maschera) che nasconda la zona indesiderata di una delle due immagini; così facendo, grazie ad una semplice sovrapposizione fra layer, effettuabile in un qualsiasi programma di modifica bitmap, è possibile ottenere una texture che approssima meglio il colore diffuso. Per realizzare un canale di trasparenza e determinare il passaggio attraverso una sfumatura di un’immagine nell’altra, si ricorre al modello digitale 3D ed a un comune motore di rendering in grado di eseguire il calcolo della illuminazione diffusa, attraverso HDRI oppure ricostruendo in 3D la scena completa, introducendo i dati ambientali della campagna fotografica (ora, data, posizione, orientamento, ecc.).

Il flusso di lavoro è sintetizzato nello schema in figura 6 dove sono illustrati i passaggi necessari a mitigare l’effetto ‘doppia ombra’ attraverso l’impiego di un doppio processo.

Il modello ad alta densità poligonale viene ottimizzato e parametrizzato impiegando tecniche di remeshing, mentre l’applicativo Agisoft Photoscan è impiegato per la parametrizzazione.

Le due distinte correzioni radiometriche dei fotogrammi (esterno e arcate) generano due set di fotogrammi che sono poi ri-proiettati separatamente sul modello all’interno dell’applicativo di fotogrammetria automatica, ottenendo le due texture precedentemente descritte: una valida per le zone in ombra, l’altra per le zone più luminose. Per miscelare le due bitmap in modo da ottenere una texture quanto più vicina al colore diffuso viene ricostruita la condizione di illuminazione al momento dello scatto, poi memorizzata in un’immagine nello spazio (u,v) attraverso la

funzione denominata baking o render-to-texture. L’immagine in scala di grigi che sintetizza la componente diffusa dovuta all’illuminazione ambientale potrà a questo punto essere impiegata come canale di trasparenza per sovrapporre le due texture.

Fig. 6 – Passaggi della procedura di shadow removal: A) Texture ottenuta con la prima correzione radiometrica. B) Seconda correzione radiometrica. C) Canale di trasparenza dell’immagine B ottenuto invertendo la soluzione dell’illuminazione indiretta salvata nello spazio (u,v). D) Prodotto finale.

Fig. 7 – A destra: la texture del colore apparente. A sinistra: il risultato della procedura di shadow removal. La seconda texture presenta zone notevolmente meno scure nella parti di occlusione rispetto a quella originale, pertanto la texture del colore apparente si è avvicinata alla texture del colore diffuso, garantendo al modello la possibilità di essere sottoposto a diverse condizioni di illuminazione rispetto a quella di partenza.

In figura 7 è mostrato il confronto fra le immagini di rendering del modello con la texture prima e dopo il processo appena illustrato: sono di particolare interesse i risultati ottenuti nelle aree più scure, come ad esempio sotto gli archi.

5. Conclusioni

La tecnica illustrata ha la finalità di convertire in modo semi-automatico le texture del colore apparente in quelle del colore diffuso per superfici approssimabili a lambertiane. L’impiego di mappe in scala di grigi dell’illuminazione indiretta fornisce la possibilità di effettuare una miscelazione graduale delle texture ottenute per duplice correzione radiometrica, mantenendo quelle caratteristiche di controllo cromatico impiegate da altri autori e validate da numerose ed estensive applicazioni [4]. La tecnica originariamente sviluppata da Talvi Digital è quindi una soluzione speditiva e praticabile mediante l’uso in sinergia di applicativi provenienti da vari settori: editing fotografico, SfM, reverse modelling e modellatori per l’entertainment. È possibile pervenire ai medesimi risultati indipendentemente dallo specifico programma ed è quindi una strategia generale finalizzata a mitigare l’effetto “doppia ombra” tipico delle immagini di rendering basate su dati da SfM. Questa soluzione è tuttavia ben lungi da fornire un risultato esaustivo per la descrizione completa della BRDF di materiali eterogenei (in particolare i materiali conduttori ed gli altamente dielettrici) che necessitano di una segmentazione e di una analisi fisica più approfondita.

Bibliografia

[1] L. Cipriani, F. Fantini, S. Bertacchi, “Affidabilità ed ottimizzazione del texturing del colore apparente dei modelli da sensori attivi e passivi: casi studio nel settore dei Beni Culturali”, pp. 23-35 in M. Rossi, V. Marchiafava (a cura di), Colore e Colorimetria. Contributi Multidisciplinari. Atti della Decima Conferenza del Colore, Università degli Studi di Genova, Genova, 11-12 settembre 2014, Vol. X A, 2014.

[2] R. Migliari, G.M. Valenti, “La rappresentazione delle ombre e del chiaroscuro”, cap.6, pp. 601-602, in R. Migliari (a cura di), Geometria descrittiva, Volume II – Tecniche e applicazioni. Città Studi Edizioni, Novara, 2009.

[3] F. Lotti, M. Selva, G. Trumpy, “Valutazioni Comparative di Programmi di Ottimizzazione del Colore”, pp. 151-158, in A. Rizzi (a cura di), Colore e Colorimetria. Contributi Multidisciplinari, vol. IV, Atti della Quarta Conferenza Nazionale del Gruppo del Colore, Centro Editoriale Toscano, Firenze, 2008.

[4] F. I. Apollonio, M. Gaiani, F. Fallavolita, M. Ballabeni, A. Guidazzoli, M. C. Liguori, A. Baglivo, M. Felicori, L. Virgolin, “Un sistema informativo in divenire per la candidatura dei portici di Bologna a sito UNESCO”, pp. 39-48, in UID, Patrimoni e Siti UNESCO. Memoria, Misura e Armonia. 35° Convegno Nazionale dei Docenti della Rappresentazione, Gangemi editore, Roma, 2013.

[5] R. Scopigno, “Gestione efficiente dei dati prodotti dai sistemi di scansione tridimensionale”. In S. Campana, R. Francovich, (a cura di), Laser scanner e GPS. Paesaggi archeologici e tecnologie digitali. All’insegna del giglio, Firenze, pp. 1-36, 2006.

C. Fredembach, G. Finlayson, “Simple Shadow Removal”, in IEEE Conference on CVPR Proceedings, vol. 1, pp. 832-835, 2006.

[6] S. Kumar, A. Kumar, “Shadow detection and removal in color images using Matlab”, in «International Journal of Engineering Science and Technology», vol. 2, n. 9, pp. 4482-4486, 2010. [7] P. Debevec et al. “Estimating surface reflectance properties of a complex scene under captured