Advene (Annotate Dvd, Exchange on the NEt) è un prototipo open-source83 che offre una piattaforma per l’integrazione, la visualizzazione e lo scambio di metadati84 su documenti
80 Anche con gli altri software è necessario avere un’idea preventiva del tipo di analisi che si va a effettuare
(e quindi della quantità e della tipologia di informazioni che si vogliono annotare), ma in questo caso occorre proprio analizzare il film sulla carta (o almeno studiarne una strutturazione il più possibile completa) e continuare a tenere degli appunti con le proprie annotazioni (affiancando quindi il software al quaderno). Purtroppo in DCP non si ha una visione complessiva del film e dell’incrocio delle sue categorie, poiché si possono aprire soltanto un tot di categorie per volta e anche a livello di incroci si possono prendere in considerazione soltanto 4/5 parametri.
81 È ciò che abbiamo dovuto fare per l’analisi di Toto le héros, la cui complessa struttura narrativa e
temporale ci ha fatto optare per un’analisi “a mano” delle diverse voci e dei diversi piani temporali e narrativi che hanno in carico la gestione del racconto.
82 Advene è un progetto del laboratorio LIRIS (Lyon Research Center for Images and Intelligent Information
Systems - UMR 5205 CNRS) dell’Università Claude Bernard Lyon 1 avviato nel 2002 da Olivier Aubert, Pierre-Antoine Champin e Yannick Prié, che ha lo scopo di fornire un modello e un formato per condividere le annotazioni di documenti audiovisivi digitali (film, lezioni, conferenze, ecc…) insieme a degli strumenti per editare e visualizzare gli ipervideo generati sia dalle annotazioni che dai documenti audiovisivi. Il progetto intende anche studiare i modi in cui le comunità di utenti (insegnanti, amatori, studenti, ecc…) utilizzano questi strumenti per pubblicare le proprie “letture critiche” dei film, e si propone di individuare nuove interfacce per la personalizzazione e la visualizzazione dei commenti e delle analisi interattive relative ai contenuti audiovisivi. Il software è scaricabile gratuitamente dal sito: http://liris.cnrs.fr/advene/. Sul sito sono inoltre presenti una serie di articoli che ne spiegano il funzionamento, le applicazioni e le prospettive, cui facciamo riferimento per illustrare la struttura dell’applicazione (cfr. AUBERT Olivier, PRIÉ Yannick,
Advene: active reading through hypervideo, Proceedings of ACM Hypertext'05, Sep 2005, pp. 235-244).
83 Open source indica un software i cui detentori dei diritti ne favoriscono il libero studio e l’apporto di
modifiche da parte di altri programmatori indipendenti.
84 I metadati sono informazioni (dati) che descrivono un insieme di dati. In questo tipo di strumenti
(strumenti dedicati all’annotazione di audiovisivi) servono come base per la navigazione, l’active reading e la generazione di nuovi documenti. Siccome il flusso audiovisivo non è dotato a priori di indici oggettivi (come le lettere e le parole in un testo), occorre definire delle unità cui ancorarsi per la descrizione e
audiovisivi, permettendo agli utenti di definire da soli, in funzione dei compiti da svolgere, le strutture dei metadati e la maniera in cui visualizzarli. Ciò è possibile soltanto integrando il contenuto audiovisivo con le possibilità offerte dall’ipertesto, e cioè utilizzando un tipo di annotazioni in grado di esplicitare le strutture del flusso audiovisivo su cui costruire documenti ipertestuali. Occorrono quindi dei document models, cioè dei modelli che permettano di localizzare quei frammenti rilevanti per un certo tipo di analisi e poi di qualificarli (ossia attribuire loro una semantica e collocarli all’interno della struttura del document model); successivamente questi modelli possono essere impiegati nell’interfaccia grafico e messi in collegamento con il flusso audiovisivo.85 Scopo principale del software è quello di offrire all’utente la possibilità di mettere in pratica il concetto di “lettura attiva” tramite la creazione di “ipervideo”: l’utente può annotare documenti audiovisivi e inscrivere le proprie annotazioni sul film stesso, gestire diversi tipi di visualizzazioni dei documenti annotati e infine scambiare le annotazioni e i loro modi di visualizzazione indipendentemente dal documento originale. L’obiettivo del progetto è infatti di favorire l’emergere di nuove pratiche ipermediali nell’uso dei documenti audiovisivi, permettendo agli utenti di sperimentare rapidamente nuove idee di visualizzazione basate su metadati preesistenti o creati ad hoc per questo fine.86 L’interfaccia grafico di Advene permette di interagire con il flusso ed è suddiviso in alcune aree che possono essere personalizzate dall’utente (spostate, ingrandite, rimpicciolite, ecc.): un’area mostra il filmato e il player VLC per la navigazione,87 un’altra area è dedicata all’annotazione e alla gestione dei dati, vi è poi uno spazio di lavoro costituito da timeline che mostrano i dati delle annotazioni e delle analisi, e un’ultima finestra che mostra nel dettaglio un elemento prescelto:
l’analisi: per esempio in un DVD, i capitoli, i sottotitoli e la colonna sonora multilingue sono esempi di metadati che permettono di interpretare e di utilizzare il documento audiovisivo.
85 AUBERT Olivier, CHAMPIN Pierre-Antoine, PRIÉ Yannick, The Advene Model for Hypervideo Document Engineering, LIRIS FRE 2672 CNRS report, Lyon 1 University, January 2004. Si tratta cioè di
avere descrizioni strutturate sia per il materiale audiovisivo sia per gli strumenti che permettono di leggere, visualizzare ed editare quelle descrizioni.
86 L’obiettivo dichiarato dagli sviluppatori è quello di fornire uno strumento a community di persone che
scambiano discorsi intorno ai documenti audiovisivi utilizzando il formato DVD; si tratta in particolare di favorire pratiche diverse dalla semplice visione e dal consumo, poiché il cosiddetto active reading coinvolge insieme alla navigazione e all’annotazione anche la condivisione e il riutilizzo, rendendo questo software uno strumento efficace in qualunque ambito scientifico e accademico in cui si utilizzano documenti audiovisivi.
87 VLC media player è un lettore multimediale libero, multipiattaforma e open-source, che supporta
nativamente la maggior parte dei codec audio e video (compreso il formato dei DVD e alcuni protocolli per lo streaming)
Immagine 27 – Un esempio di interfaccia di Advene (ogni spazio/settore è modificabile dall’utente)88
Il principio su cui si basa Advene offre all’utente la possibilità di integrare i metadati (quelle informazioni che definiscono la tipologia delle annotazioni) alla specificazione del modo in cui visualizzarli e ai risultati connessi, all’interno di un documento chiamato package,89 che
successivamente può essere condiviso in vari modi (inviato per mail, pubblicato su un sito web, ecc.) e quindi riutilizzato da altre persone. Questo riutilizzo può consistere semplicemente nell’accesso ai contenuti del package, ma si possono anche apportare modifiche e aggiungere nuovi dati e nuove visualizzazioni dei dati.90 Su Advene si possono caricare film direttamente in formato DVD91 e il software ha una struttura aperta e personalizzabile che ruota attorno ad alcuni concetti chiave: gli schemi (schemas), le annotazioni (annotation types e annotations), le relazioni (relation
88 In questa sede si è scelto di mostrare soltanto un’immagine dell’interfaccia di Advene poiché mostreremo
altre schermate più specifiche nel quinto capitolo, in cui presenteremo e analizzeremo la nostra pratica con il software attraverso un caso di studio specifico.
89 Il package è un insieme di elementi raggruppati ed è utilizzato sia come archivio che come unità di
condivisione.
90 In particolare occorre sottolineare come, per la condivisione dei dati, sia necessario che entrambi gli utenti
possiedano la stessa edizione del DVD, onde evitare décalage temporali tra la struttura delle annotazioni e il flusso audiovisivo di ogni utente.
91 Un formato ormai largamente diffuso tra diversi tipi di utenti, quindi facilmente reperibile e utilizzabile.
types e relations), le ricerche (queries) e le visualizzazioni (views), elementi strutturali che insieme
vanno a costituire il package o raccolta. Prendendo spunto dallo schema che avevamo proposto per illustrare la struttura del DCP (vedi Immagine 22), potremmo schematizzare la struttura teorica di Advene in questo modo:
Schema 1: Segmentazione Schema 2: Stratificazione/Immagine
Annotation type 1: Inquadrature/Piani Annotation type 1: Mov Mdp Annotations: DETT, PP, MP… Annotations: pan, carrello…
Annotation type 2: Illuminazione
Annotations: luce naturale, artificiale,… Annotation type 2: Raccordi
inquadrature
Annotations: taglio, tendina, iris…
Immagine 28
Lo schema è un raggruppamento di categorie, una sorta di macrocategoria che indica l’approccio o il punto di vista con il quale si intende analizzare un film, e cioè una collezione di annotation types (i parametri di analisi) e annotations (dei contenuti singoli che corrispondono al paradigma di scelta), relations types (categoria di relazioni) e relations (le singole relazioni tra due elementi). In questo caso la nozione di “stratificazione” è troppo ampia, poiché comprende troppe categorie di analisi, quindi le abbiamo affiancato la categoria “Immagine” relativa all’analisi di alcuni elementi appartenenti alla descrizione dell’immagine.92 Ma, come si vede, lo schema potrebbe anche corrispondere direttamente alla categoria specifica di analisi (Inquadrature/Immagine):
Schema 1: Inquadrature Schema 2: Immagine
Annotation type: Piani Annotation type: Movimenti Mdp
Annotation: DETT, PP, MP… Annotation: pan, carrello…
Immagine 29
92 Si potrebbe al limite nominare un package intero come “Stratificazione” e proporre così uno studio dei
Come si nota, secondo questa schematizzazione, alle colonne presenti in DCP corrispondono gli
annotation types di Advene, e alle voci le annotations. Gli schemi di Advene sono personalizzabili
(a differenza delle macrocategorie di DCP), condivisibili e aperti (uno schema può importare
annotation types di altri schemi, ad esempio il tipo “inquadratura” può appartenere sia a uno
schema “riprese” che a uno schema “montaggio”).93 Le annotazioni sono definite da un nome e da un contenuto specifico che può essere un plain text (cioè una descrizione testuale), degli attributi numerici, dei grafici, oppure un simple-structured content (cioè una coppia “attributo:valore”): un’annotazione di tipo “Episodio” potrà contenere un attributo corrispondente al titolo dell’episodio, invece un’annotazione del tipo “Importante” potrà avere come contenuto un disegno SVG94 che mette in evidenza una zona dell’immagine. La strutturazione “nome attributo=valore” (ad esempio, “ambienti=interno”, da digitare senza spazi altrimenti risulta falsata la ricerca per parole-chiave) viene inoltre automaticamente ripetuta in ogni annotazione appartenente allo stessa tipologia, cosicché ogni volta che si inserisce un nuovo “nome attributo=valore”, questa chiave di analisi viene aggiunta anche nelle altre annotazioni dello stesso tipo. Si può decidere se utilizzare tanti tipi semplici (annotazioni singole per ogni personaggio, movimento di macchina, ecc…) oppure pochi tipi complessi (annotazioni ampie come “personaggio”, “movimenti di mdp” contenenti all’interno un paradigma di scelta — i nomi dei personaggi, le diverse tipologie di movimenti di macchina); in ogni caso è sempre possibile, in un secondo momento, trasformare un tipo semplice in tipi semanticamente ricchi.95 Un’altra funzionalità offerta dalle annotazioni
consiste nel poter scegliere quale contenuto testuale o grafico può mostrare ogni annotazione, e cioè ad esempio decidere che sui mattoncini delle inquadrature sia visualizzabile il numero di inquadratura o la scala dei piani, oppure sui mattoncini dei personaggi visualizzare il nome del personaggio o un grafico che mostra la quantità di personaggi o l’andamento del sonoro; ovviamente cliccandoci sopra si possono comunque visualizzare tutte le altre annotazioni e le
93 Si potrebbero per esempio battezzare due schemi con i titoli “Narrazione” e “Tempo” e al loro interno
inserire tipi e quantità di annotation types secondo le proprie esigenze. Dentro “Narrazione” potrebbero essere contenute annotation types come “livelli di racconto”, “livelli di realtà”, “voce narrante”, ecc.; mentre dentro “Tempo” potrebbero essere contenuti tipi di annotazioni come “livelli temporali”, “durata relativa”, “velocità”, ecc…, e al loro interno il paradigma di scelta (le annotations).
94 SVG sta per Scalable Vector Graphics e indica una tecnologia in grado di visualizzare oggetti di grafica vettoriale; serve per disegnare elementi grafici sopra il fotogramma, ad esempio per mettere in evidenza geometrie o dettagli dell’immagine.
95 È meglio privilegiare tanti tipi semplici se hanno contenuti diversi; se invece vi sono tanti attributi diversi
che fanno parte di uno stesso tipo allora è meglio utilizzare poche annotation type con all’interno molti contenuti (ad esempio per l’annotation type “Inquadratura” prevedere all’interno molte annotazioni del tipo “scala dei piani”, “movimenti di macchina”, “angolazione”, permette di raggruppare informazioni senza sovraccaricare troppo il software e in particolare la timeline view). Se però si desiderasse approfondire lo studio dei movimenti di macchina, allora forse sarebbe più indicato battezzare tanti annotation type quanti sono i movimenti di macchina presi in considerazione.
relazioni appartenenti a quel mattoncino. Per creare le annotazioni vi sono diversi modi: lo si può fare direttamente sulle timeline, si possono importare da altre applicazioni oppure si può utilizzare una visualizzazione particolare che è quella degli “appunti”, che permette di seguire il film e prendere appunti contemporaneamente; poi, in automatico, questi appunti vengono associati a un codice temporale (un time stamp) e successivamente trasformati in annotazioni (come accade anche in Lignes de temps) o anche esportati in formato .txt. All’interno delle timeline si possono disegnare degli istogrammi per visualizzare l’onda sonora ma anche, ad esempio, il numero di personaggi in scena e altri elementi quantificabili (in modo da avere una micro visualizzazione della frequenza di un dato elemento in ogni segmento e in tutto il film); ogni timeline può essere navigata con il comando “play” situato all’inizio di ogni riga: questa funzione permette di navigare il film soltanto attraverso i mattoncini di una specifica timeline, vedendoli in successione come se il film fosse stato rimontato soltanto con i segmenti che contengono una certa informazione (ed è possibile anche vederli in loop). Se mentre si sta lavorando vi sono elementi del film dei quali non siamo sicuri e sui quali occorre ritornare, si può attivare la funzione degli Active bookmarks, i segnalibri, e una volta inseriti al punto giusto registrarli con un nome o un’espressione che spiega il motivo della loro presenza (ad esempio anche semplicemente la nota “da definire”). Per quanto riguarda le “relazioni”, si tratta di concetti che l’utente decide di stabilire tra annotazioni diverse ma simili; occorre stabilirne il tipo e il contenuto (se si vuole aggiungere più informazioni): ad esempio si può stabilire che l’annotazione “Sequenza 1” è in relazione con l’annotazione “Sequenza 24” e definire il tipo di relazione che intercorre tra i due segmenti (potrà essere una relazione diegetica legata all’ordine del racconto oppure una relazione evocativa: la Sequenza 1 presenta un evento che ritorna nella Sequenza 24, oppure la Sequenza 1 contiene un accenno a un fatto che scopriremo soltanto nella Sequenza 24). Nel momento in cui si vuole creare una relazione, basta trascinare un mattoncino sopra un altro e Advene chiede cosa fare; a quel punto si stabilisce di “creare una relazione” e se ne definisce la tipologia. Graficamente una relazione è marcata da una linea che collega i mattoncini interessati da quel collegamento; le relazioni, destrutturando il tempo del flusso, permettono di definire corrispondenze che altrimenti non potrebbero essere registrate attraverso una semplice visualizzazione temporale (ad esempio l’informazione che a un piano ne segue un altro a livello diegetico, ma non cronologico) e possono essere mostrate durante la navigazione sotto forma di finestre pop-up96 che spiegano all’utente che quell’inquadratura rinvia ad un’altra oppure ritorna successivamente ed è possibile cliccare all’interno del pop-up per passare
96 I pop-up sono finestre che si aprono a un determinato momento (ma senza bloccare il flusso audiovisivo)
per mostrare delle informazioni aggiuntive. Si possono ad esempio utilizzare per la gestione dei salti temporali, facendole apparire laddove una scena o un’inquadratura è già stata vista oppure ad indicare che una scena ne anticipa o ne segue un’altra (a quel punto cliccando sul pop-up si può passare alla scena cronologicamente successiva).
all’inquadratura interessata. Le relazioni possono essere racchiuse anche all’interno del contenuto di un’annotazione (ad esempio tramite una semplice descrizione testuale: il personaggio Paul è in relazione con il personaggio John poiché alla fine si scoprirà che sono padre e figlio) ma è meglio reificarle come relazioni vere e proprie in modo da trasformarle in strumenti di manipolazione del documento (in questo modo, la relazione può essere sovrimpressa alle immagini, costituirsi in finestra pop-up, ecc…).
Le ricerche funzionano in modo simile alle “righe aggregate” che abbiamo illustrato in DCP e servono per filtrare e selezionare un subset di elementi appartenenti a uno o più package secondo alcuni parametri di scelta. Le queries sono quindi un modo utile per avere accesso a una rilevante raccolta di elementi del package e possono anche essere salvate con un nome identificativo: infatti ogni package contiene una list of queries considerate importanti per le annotazioni che fanno parte di quegli schemi contenuti nella raccolta. Si possono ricercare uno o più parametri all’interno di un film e decidere se cercarli in tutte le annotazioni o soltanto in una;97 mentre in DCP si possono
cercare al massimo quattro parametri simultaneamente (con una quinta colonna “jolly” a scelta che si affianca ai quattro parametri, ma ricordiamo che DCP mostra soltanto le occorrenze degli incroci dei quattro parametri prescelti, mentre la quinta colonna viene mostrata integralmente), la ricerca in Advene è molto più libera e più ricca perché funziona come un browser che cerca per parole- chiave, esattamente come accade per le ricerche testuali di Google, conteggiando in automatico anche la quantità di elementi trovati. Non vi sono quindi limiti al numero di parole che si possono cercare, ma occorre tener presente che se tra due parole c’è uno spazio o un “and”, Advene le cerca separatamente, mentre se si inserisce un “+” il software ricerca i risultati aggregati (proprio come accade con le ricerche testuali in rete). Quello che si ottiene è una lista di elementi che contengono una o più parole, insieme o separate, e divise secondo le categorie di appartenenza. Ad esempio cercando la parola “archivio” tra i risultati si possono ottenere tipologie di annotazioni diverse cui saranno associati colori diversi proprio ad indicare la diversa categoria di appartenenza:
a) le annotazioni di tipo “dialoghi” che contengono la parola “archivio” (giallo) b) le annotazioni di tipo “sottotitoli” che contengono la parola “archivio” (rosso)
c) le annotazioni di tipo “cartelli” o “titoli” che contengono la parola “archivio” (verde) d) le annotazioni di tipo “natura del materiale” che contengono la parola “archivio” (blu) e) le note personali di appunti che contengono la parola “archivio” (viola)
f) le relazioni tra annotazioni che riportano la parola “archivio” (grigio)
97 In Lignes de temps non si potevano invece fare ricerche statistiche su diverse timeline
Nelle ricerche avanzate si possono incrociare più parametri rispetto alle ricerche standard, seguendo la struttura dell’ECA paradigm: ECA sta per Event-Condition-Action, un tipo di filtro che permette di specificare una regola particolare contenente un Evento, una Condizione e un conseguente set di Azioni da riprodurre; ad esempio si può chiedere che al verificarsi di un evento (quando arriva l’inizio di un’annotazione) se l’annotazione è di tipo “Shot”, allora si può mostrare il contenuto dell’annotazione sul video (il numero di inquadratura) e far apparire una finestra popup che propone all’utente di saltare alla prossima inquadratura.98 È possibile inoltre etichettare le annotazioni con
un nome (tag) e un colore e svolgere ricerche per tag, un’opzione che aiuta a precisare ulteriormente le analisi. Una volta ottenuti i risultati si passa alla parte più importante, ossia alla scelta del modo di visualizzazione dei risultati, una funzionalità che serve a rendere la ricerca ancor più efficace e che contraddistingue Advene rispetto agli altri software.
Le views di Advene sono il risultato dell’applicazione delle ricerche al documento audiovisivo annotato; esse producono nuovi documenti multimediali utilizzando informazioni contenute nel flusso audiovisivo, nella struttura delle annotazioni o in entrambi, e possono anche dare accesso al flusso. Advene permette di visualizzare le informazioni in tre modi.99 Le ad hoc
views sono predefinite e danno la possibilità di osservare i risultati della ricerca sottoforma di timeline navigabile, di trascrizione testuale che mostra annotazioni dello stesso tipo in una finestra
di testo e mentre il film scorre evidenzia l’annotazione (la trascrizione è cliccabile e conduce direttamente allo spezzone di film desiderato), di albero che mostra una gerarchia (tree view) oppure sotto forma di messa in evidenza dei risultati (highlight annotations) tramite un colore che evidenzia i mattoncini in cui è presente quel risultato;100 si possono anche utilizzare i risultati per creare nuove annotazioni, esportare tabelle con Excel, montare i risultati in parallelo (simile al bout-
à-bout di Lignes de temps) e creare commenti da pubblicare sul web insieme a delle immagini di
riferimento del film (documento HTML). Le static views sono invece personalizzabili e permettono di creare documenti XHTML,101 cioè ipertesti da pubblicare e condividere sul web (sono pagine