2.1. Informatica per la semiotica
2.1.3 Strumenti con competenze semantiche
2.1.3.3 Strumenti per l’analisi automatica delle immagini
Finora abbiamo parlato di strumenti e metodi semantici per l’analisi di testi verbali presenti sul Web. Tuttavia, esistono alcune risorse informatiche in grado di analizzare in modo automatico anche il contenuto dei testi visivi largamente diffusi in rete.
Le tecniche di Image Analysis per la classificazione di archivi audiovisivi permettono ad esempio di catagorizzare in modo automatico le immagini (Content
Based Retrieval System) e di descriverne il contenuto mediante modelli matematici e
implementazioni informatiche che cercano, per quanto possibile, di seguire i principi del sistema visivo umano. Ma quali sono i criteri o gli elementi che permettono a uno strumento informatico di analizzare il contenuto di un’immagine?
Montagnuolo (2005) spiega che questi strumenti rappresentano le informazioni contenute nelle immagini secondo tre diversi livelli di astrazione.
Il primo comprende le caratteristiche di base dell’immagine, come colore, trama e forme geometriche elementari. Il colore, che è percepito dalle persone grazie ad aspetti fisici, neurofisiologici e psicologici, è rappresentato dai sistemi informatici per mezzo di modelli matematici che trattano i colori come vettori appartenenti a uno spazio n-dimensionale, ad esempio lo spazio RGB (Red, Green, Blue). Grazie a questa rappresentazione delle tinte cromatiche sotto forma di vettori, si stabilisce la differenza tra i colori sulla base della distanza tra i loro punti più rappresentativi. La trama è invece usata dalle tecniche di Pattern Recognition per individuare le zone delle immagini caratterizzate da specifici “disegni” come i fili d’erba di un prato o la sabbia di una spiaggia (ivi). La texture è infatti fondamentale per distinguere in modo automatico tra diversi tipi di oggetti, basti pensare a immagini cromaticamente simili ma semanticamente diverse tra loro come il cielo e il mare. Le forme infine sono individuate grazie ad alcune loro caratteristiche come l’area, la direzione degli assi, gli angoli e così via. Anche in questo caso le forme sono rappresentate mediante un vettore, in modo da calcolare il loro grado di somiglianza. Grazie alla rilevazione
97 automatica di questi elementi di base, si possono fare ricerche nei database di testi visivi chiedendo ad esempio al motore di ricerca di trovare “tutte le immagini con dominante di colore rosso” o “tutte le immagini dove compare almeno un cerchio”.
Il secondo livello di astrazione, continua Montagnuolo (2005), permette una descrizione più dettagliata degli elementi del primo, fornendo la rappresentazione di oggetti più complessi mediante la loro aggregazione e disposizione nello spazio. In questo caso si potranno fare ricerche più raffinate come ad esempio “trova le immagini contenenti cerchi azzurri”.
Il terzo livello, infine, comprende il significato delle scene rappresentate e permette di analizzare semanticamente il contenuto delle immagini, per interpretarle automaticamente e incorporare i descrittori testuali. Con quest’ultimo tipo di analisi semantica dell’immagine è possibile ottenere una prima interpretazione di un’intera scena e riconoscere automaticamente certi oggetti o soggetti. Di conseguenza sarà possibile fare ricerche come “trova le immagini del Presidente della Repubblica italiano” o “trova le immagini della rivoluzione araba”.
Gli strumenti informatici in grado di rappresentare le immagini grazie alla rilevazione dei tre livelli appena presentati possono essere molto utili per organizzare e realizzare analisi preliminari del corpus. Le informazioni estratte dall’analisi automatica, infatti, possono essere usate come filtro nella ricerca e permettono di recuperare oggetti specifici all’interno di ampi database di testi visivi.
Come esempio propongo ora la ricerca semiotica su un grande corpus di testi pubblicitari in formato elettronico cui ho fatto cenno nell’introduzione, che avrebbe tratto diversi vantaggi dall’applicazione di strumenti di analisi automatica come quelli appena descritti.
2.1.3.3.1 Prospettive possibili per l’analisi semiotica: un caso di studio
Vediamo quindi un caso di ricerca semiotica che avrebbe potuto trarre vantaggi notevoli da un dialogo più florido con l’informatica. Il lavoro di ricerca in questione è presentato in Cosenza, Colombari, Gasparri (2016), ma cercherò di parlarne in breve anche qui per mostrare quali problemi di ricerca ancora aperti potrebbe risolvere il
98 ricorso parziale all’analisi automatica e semantica di corpora di testi digitali, in questo caso visivi.
L’indagine, che ha richiesto oltre un anno di lavoro, consisteva nell’analisi sistematica, la catalogazione e la categorizzazione di circa 8000 campagne pubblicitarie (annunci stampa, affissioni, spot e banner), messe a disposizione sotto forma di testi digitali da Nielsen Italia. Obiettivo di questo lavoro era descrivere, nel modo più oggettivo e neutrale possibile, i modi in cui la pubblicità italiana rappresenta gli esseri umani: espressioni facciali, posture, abbigliamento, stereotipi sociali, professionali e di genere che incarnano, ma anche le storie a cui prendono parte, che presuppongono o alle quali rimandano implicitamente. Nello specifico, l’analisi ha permesso di fare luce sui principali stereotipi di genere attraverso cui la pubblicità italiana rappresenta gli esseri umani e di verificare le principali differenze nei modi in cui sono rappresentati gli uomini e le donne.
Pur avendo a nostra disposizione un database digitale già pronto, il primo problema che abbiamo dovuto affrontare è stato adattare una metodologia essenzialmente qualitativa, come quella che proviene dagli studi di semiotica della pubblicità, a un corpus composto da migliaia di testi pubblicitari, per descrivere in modo analitico i formanti figurativi55 riconoscibili. Questo tipo di analisi corrisponde a
ciò che Pozzato chiama “descrizione densa” (2013, p. 95) e implica già in sé fare una prima ipotesi sugli stereotipi che tali formanti esprimono. Si tratta poi di verificare queste prime ipotesi sugli altri testi del corpus e dar conto in termini percentuali di quante volte lo stesso stereotipo si ripete. Perciò abbiamo:
(1) selezionato le pubblicità che includevano figure umane, escludendo quelle in cui erano assenti;
(2) svolto una descrizione densa degli esseri umani rappresentati nei vari testi, facendo caso ad esempio alle espressioni facciali, alla posizione dei corpi,
55 Secondo Greimas e Courtés (1979, voce “formante”) per formante si intende “una parte della catena del piano dell’espressione, corrispondente a un’unità del piano del contenuto e che – al momento della semiosi – le consente di costruirsi in segno”. Di conseguenza in semiotica, con formante figurativo si intendono le articolazioni del significante visivo-planare, cioè le unità discrete che formano gli oggetti riconoscibili, e quindi leggibili, nelle figure della rappresentazione (cfr. Greimas 1984; Marmo 2015).
99 all’abbigliamento, alle relazioni fra gli uni e gli altri e al contesto in cui sono inseriti;
(3) fatto un’analisi semiotica e semantica dei testi verbali che accompagnano ciascun visual56;
(4) formulato, annotato e archiviato in un database Excel57 una prima ipotesi su
ogni stereotipo di genere che ciascun testo pubblicitario esprimeva;
(5) organizzato in categorie gli stereotipi su cui man mano facevamo ipotesi e inserito ciascuna pubblicità in una delle categorie identificate.
Un lavoro di queste dimensioni ha richiesto ovviamente tempi molto lunghi e l’impegno combinato di più persone, ma ciò sarebbe stato sicuramente più semplice se avessimo fatto appello ad alcuni strumenti informatici capaci di analizzare e in un certo senso “interpretare” le immagini in questione. Se ad esempio avessimo avuto a disposizione uno strumento capace di riconoscere in modo automatico le figure umane nei testi pubblicitari del nostro corpus, non avremmo dovuto osservare meticolosamente uno per uno tutti gli 8000 testi, per escludere quelli che non contenevano figure umane.
Anche per quel che riguarda gli spot, e quindi gli audiovisivi, esistono sistemi di
Video Retrieval che possono essere usati in modo simile. Questi permettono di pre-
elaborare i dati video per identificarne l’organizzazione temporale-narrativa, allo scopo di garantire un recupero veloce e preciso dell’informazione visiva all’interno di grandi archivi multimediali (Montagnuolo 2005).
In alternativa, durante la ricerca sarebbe stato molto utile ricorrere a ciò che è considerato uno dei pilastri del Web semantico: i metadati. Incorporare metadati alle immagini e ai video della nostra banca dati avrebbe permesso di specificare, per ogni testo, un contesto semantico in formato adatto all’interrogazione, l’interpretazione e
56 Con il termine visual si intende l’immagine che appare negli annunci stampa e nelle affissioni, considerate indipendentemente dai testi verbali che la accompagnano (headline,
baseline, payoff e bodycopy).
57 Nel file Excel fornito da Nielsen Italia, per ogni pubblicità un campo specificava l’azienda, uno la marca e un terzo conteneva un link alla pubblicità, collegato in remoto al database di Nielsen Italia. A questi campi abbiamo poi aggiunto quelli contenenti i vari tratti semantici, marcati come presenti o assenti.
100 l’elaborazione automatica. Nel nostro caso i metadati sui testi pubblicitari avrebbero dovuto riguardare informazioni come il marchio, la categoria di prodotto, il genere delle persone che eventualmente appaiono, o la loro assenza. Ora, bisogna ammettere che da un lato l’inserimento manuale dei metadati richiede a sua volta tempo di lavoro umano. Dall’altro però, dopo un’osservazione veloce dei testi per estrarre le semplici informazioni che servono alla metadatazione, gli studiosi possono interrogare in modo intelligente le basi di dati e svolgere analisi semiotiche più complete delle immagini e dei video selezionati automaticamente in base a criteri legati agli obiettivi di ricerca. Grazie a questi espedienti, sarebbe stato possibile fare interrogazioni intelligenti alla base di dati per passare più velocemente a indidviduare le categorie di stereotipi e avere poi il tempo, di conseguenza, di fare un lavoro di analisi semiotica più approfondito su ciascuno di essi – o di analisi comparativa tra pubblicità – che avrebbe messo in luce in modo più dettagliato come ciascun testo rappresenta donne e uomini.