Il tema della relazione tra le forme visive e la musica ricorre in epoca romantica – in particolare nel Gesamtkunstwerk di Wagner – e all'interno del movimento Simbolista, ad esempio nell'opera di Skrjabin e nelle composizioni di Debussy.55 La produzione di questi autori si situa in panorama che vede il diffuso interesse teorico alla rifondazione delle pratiche artistiche basata sul dialogo tra le forme dell’arte. La musica fa da perno per la progettazione, o ideazione, di opere complesse nelle quali la presenza di quelli che oggi chiameremmo 'i linguaggi dell'arte' si fonda non sui principi della percezione o delle corrispondenze
Audio-Vision, in Dieter D., Naumann S., 2012, pp. 200-235.
55 Per una panoramica storica sul tema nella storia delle arti Cfr : Daniel D., Naumann S., (a cura di), 2012; Dieter D., Naumann S., (a cura di), 2010; Lund C., Holger Lund, 2009; Brougher K., Strick J., 2005; Duplaix, S., 2004; Gazzano M. M., Comporre audio-visioni. Suono e musica sulle due sponde dell’Atlantico alle origini delle arti elettroniche, in Balzola A., Monteverdi A. M., (a cura di), 2004, pp. 146-160; Lischi S., Le avanguardie artistiche e il cinema sperimentale, in ibid., pp. 54-72.
sensoriali, come accadrà in epoche successive, bensì sul coinvolgimento emotivo e spirituale.
Questo tipo di ricerche trova ampia proliferazione all'interno delle avanguardie, sono alla base ad esempio degli scritti sul colore di Kandinsky,56 di alcune esperienze del Futurismo italiano e russo. Nella maggioranza di queste esperienze l'intento è di instaurare tra suono e immagine un rapporto di corrispondenza, sul modello delle correspondences di Baudelaire, che consiste nell'associare a specifici note, colori o tonalità e viceversa. In questo quadro la teoria dei colori di Kandinsky rappresenta forse l'esempio più noto legato alle arti visive. In ambito musicale le ricerche legate a rapporti di corrispondenza univoca tra colore e note e la messa a punto di una teoria armonica del colore prendono piede già intorno al XVII secolo e vengono generalmente definite Musica Cromatica.57 Uno dei più noti esempi è costituito dalle ricerche del matematico gesuita Louis-Bertrand Castell che, intorno ai primi decenni del Settecento, mette a punto uno dei primi sistemi musico cromatici basato sulla corrispondenza univoca e dettagliata tra toni del suono e del colore. A differenza degli studi precedenti, egli procede attraverso un approccio analitico: il suo scopo è quello di creare una visualizzazione del suono riconosciuta e accreditata presso la comunità scientifica.58 Per verificare la sua teoria, il matematico realizza nel 1739 un Clavicin Oculaire59 - piano cromatico, uno strumento musicale modificato in grado di emettere estemporaneamente luci colorate e suoni. Questo apparecchio è il primo prototipo di un ricco percorso di sperimentazione sul pianoforte come dispositivo sono-cromatico, condotta principalmente da musicisti e artisti visivi, che prosegue fino agli inizi del Ventesimo secolo. I successivi piani cromatici60 e la storia dei vari prototipi, progettati da musicisti e matematici, introducono un elemento di rilievo nel nostro excursus storico, costituito dallo studio di dispositivi
56 Kandinsky W., 1912, ed. it., 1989.
57 Cfr. Jewanski J., Color-Tone Analogies: A Systematic Presentation of the Principles of Correspondence, in Dietz D., Naumann S., 2009, pp. 239-247.
58 Castell L.B., Optiques des coleurs, 1740.
59 Jewanski J, Color-Tone Analogies: A Systematic Presentation of the Principles of Correspondence, in Dieter D., Naumann S., 2009, pp. 242.
60 Cfr. Jewanski J, Color Organs: from the Clavicin Oculaire to Autonomous Light Kinetics, in Dieter D., Naumann S., 2009, p. 77.
specifici - messi a punto e progettati dagli autori – per la sintesi congiunta di forme visive e sonore. L'aspetto tecnico e tecnologico, che nell'arco del tempo prenderà la forma di ricerca mediale, è caratterizzante di molta parte di queste sperimentazioni, non solo quelle sorte in campo musicale.61 Accanto all'esempio dei piani cromatici, è il cinema a costituire la prima arte 'tecnologizzata' entro la quale diversi autori legati principalmente alle correnti di cinema puro e cinema astratto - tra i quali ricordiamo solo i principali: Germaine Dulac, Vicking Eggeling, Hans Richter, Walter Ruttman - instaurano corrispondenze tra forme visiva in movimento e musica.62 Il cinema ha incrementato enormemente le possibilità di organizzazione ritmica dell’immagine, in particolare radicalizzando il legame tra strutture spaziali e temporali alla base del ritmo visivo.63 In seguito, un'area nella quale viene ampiamente approfondita la ricerca sulla musicalità dell'immagine in movimento è quello che lo storico americano William Moritz ha definito Visual Music, legando con questa definizione il lavoro di alcuni autori di riferimento dell'animazione astratta tra gli anni Trenta e Cinquanta - quali Oscar Fishinger,64 Mary Ellen Bute e Norman McLaren65 - e della sperimentazione audiovisiva della seconda metà del secolo, principalmente di area statunitense – con autori quali Len Lye, Stan Brakhage, Jordan Belson e i fratelli John e James Whitney.
Troviamo molti di questi autori impegnati anche sul versante della sperimentazione mediale, in particolare rispetto alla ricerca di originali metodi di sintesi optofonica.66 Questo tipo di tecniche introducono il concetto di sintesi in questo tipo di ricerche, sviluppato nella sintesi elettronica tra gli anni Cinquanta e Settanta, grazie all'affermarsi dei primi sintetizzatori elettronici sia audio che video. In particolare, la realizzazione dei primi sintetizzatori video analogici e i primi
61 Morritz W., The Dream of Color Music, And Machines That Made it Possible, “Animation World Magazine,” n. 2.1, aprile 1997.
62 Cfr. Le Grice M., 1997; Mitry J., 1971; Quaresima L., 1994; Schwierin M., Naumann S., Abstract Film, in Dietz, Naumann, 2011 pp. 19-32.
63 Kepes G., 1990. 64 Moritz W., 2004.
65 Cfr. McWilliams D.,1991.
66 Sulla sintesi optofonica o sintesi ottica del suono vedi la ricerca svolta dall’artista americano Derek Holzer, durante una residenza al Tesla media arts laboratory di Berlino, ottobre dicembre 2007. L’artista ha effettuato uno studio sulla storia di questa tecnica, da lui stesso impiegata nel live Toneweels, ideato in collaborazione con la video artista Sara Kolster, http://www.umatic.nl/tonewheels_historical.html, ultimo accesso 20 aprile 2013.
sistemi di processazione dell'immagine è imprescindibile dal lavoro sui dispositivi portato avanti dai primi video artisti statunitensi quali Stephen Beck, Alvin Lucier, Nam June Paik, Dan Sandin, Eric Siegel, Skip Sweeney, Steina e Woody Vasulka. 67 Nello stesso periodo, i contesti dell'happening, della musica sperimentale contemporanea, dell’Expanded Cinema e della video arte sono terreno fertile per la moltiplicazione di nuove e complesse modalità di interazione tra immagini e suoni, aggiungendo a questo connubio, come già ricordato nel primo capitolo, la relazione con lo spazio e la dimensione della liveness.68 Oltre alle esperienze già nominate nel corso del primo capitolo, esempi significativi sono anche i progetti su scala architettonica come Movie-Drome di Stan VanDerBeek (1965) e i padiglioni realizzati nell'ambito di grandi eventi ed expo internazionali come il pioneristico Philips Pavillon di Le Courbusier, Iannis Xenakis e Edgar Varèse (1958) o il Pepsi-Cola Pavilion per l’Expo di Osaka del 1970.69 Questo tipo di eventi sono rilevanti anche perché marcano un progressivo sconfinamento delle pratiche di contaminazione tra i linguaggi acustico-visivi, dalle nicchie della ricerca musicale e artistica a quelle della cultura di massa e dell'intrattenimento. Come già ricordato, un discorso simile riguarda gli spettacoli di Warhol, come pure le messe in scene di luci e proiezioni liquide dei The Joshua Light Show, che tra gli anni Sessanta e Settanta accompagnano i concerti di celebri gruppi rock del periodo, quali Greateful Dead, Jefferson Airplane e The Who. Dal rock psichedelico della seconda metà degli anni Sessanta, l'associazione di immagini, proiezioni ed effetti visivi all'interno di concerti o eventi di aggregazione collettiva, alla fine degli anni Settanta si sposta alla nascente scena della musica dance, soprattutto nella costa est degli Stati Uniti. Questi eventi sono precursori dello sviluppo delle pratiche di vj'ing: si tratta di spettacoli di proiezioni che rappresentano un corrispondente visivo del dj'ing e consistono nel mixing di campioni di immagini in movimento in real time - emerse a partire dalla fine degli anni Novanta e che rappresentano tutt'ora una delle pratiche audiovisive più
67 De Witt T., The Video Synthesizer, in Vasulka W.& S. (a cura di),1992; Tamblyn C., 1991, pp. 303-310; Furlong L., 1983.
68 Calabretto R., La dimensione musicale della videoarte, in Saba Gonzo C., (a cura di), 2007, pp. 144-177.
69 Petit J., (a cura di), 1958; Packer R., The Pepsi Pavilion: Laboratory for Social Experimentation, in Shaw J., Weibel P., (a cura di), 2003.
diffuse.70
In questa prospettiva, che segna il passaggio dalle sfere dell'arte a quelle dei media di massa, gli anni Ottanta, accanto ad autori estremamente attenti alla questione sonora e musicale nella video arte, come Robert Cahen, Nam June Paik e Bill Viola, sono segnati dall’affermarsi del fenomeno del videoclip. Determinato dalla combinazione tra musica pop e medium televisivo, il videoclip innesca una messa in discussione delle gerarchie culturali: all'interno di questo panorama troviamo, infatti, sia lavori di puro intrattenimento, soggetti alle leggi di mercato dell'industria musicale, che opere autoriali, come quelli di David Hall, Zbigneiew Rybczynski e Pipillotti Rist.71 Se gli anni Ottanta sono segnati dal fenomeno MTV e dalla televisione, i Novanta vedono nella scena club e nell’elettronica d'ascolto i circuiti che dettano linee guida e tendenze estese anche nel decennio successivo e determinanti, come più volte ricordato, per molte esperienze di media art contemporanea. Si affermano, sia negli ambiti della media art che in quelli più strettamente legati alla musica elettronica e dance, pratiche audiovisive di tipo performativo, nelle quali la relazione tra musica e fonti visive tra le più disparate – proiezioni multischermo, luci, laser, pellicola e dispositivi ottici di sapore pre-cinematografico – torna ad essere, come già nel caso delle sperimentazioni dell’Expanded Cinema, il cardine di eventi spesso effimeri e collettivi.
Uno dei contributi teorici di riferimento sul tema delle commistioni tra sonoro e visivo è il saggio L'audiovisione. Il suono e l'immagine nel cinema di Michael Chion.72 La maggior parte dei discorsi e le conclusioni contenute nel saggio restano interne al perimetro dell'esperienza cinematografica, difficili da applicare alle pratiche di audiovisivo espanso, fatta eccezione per alcune osservazioni delle quali ci occuperemo poco più avanti. Inoltre le sue argomentazioni manifestano la traccia di una tradizione, comune sia alle teorie dell'arte che a teorie scientifiche accreditate fino a qualche decennio fa, che ha analizzato la visione e l'udito come funzioni processate da canali sensori separati.
70 Dekker A., 2003.
71 Amaducci A., Arcagni A., 2007; 72 Chion M., 2009.
Chris Salter segnala nelle teorie del fisiologo tedesco Joannes Peter Muller (1826) i discorsi che hanno dato origine alla scienza moderna della divisione tra i due 'canali' percettivi e la differenziazione delle qualità del visivo rispetto al sonoro; d'altro canto, continua Salter, testi quali The Audible Past: The Cultural Origins of Sound Reproduction, di Jonathan Sterne, hanno contribuito a far perdurare questa concezione anche nell'ambito culturale.73
Anche Chion articola una dettagliata differenziazione dei due canali, in particolare rispetto alla dimensione o temporale, ed evidenzia come la visione sia un processo percettivo volontario: è possibile scegliere di non vedere semplicemente chiudendo gli occhi, mentre non abbiamo un corrispettivo auricolare delle palpebre e possiamo quindi isolare i canali uditivi unicamente in maniera artificiosa. Pur essendo molte le differenze sia qualitative che quantitative tra visione e udito, non si può allo stesso tempo escludere, come sottolinea lo studioso e sound designer Gerhard Dauer, che i nostri organi percettivi e le esperienze che ne derivano siano tutt'altro che isolate tra loro: si tratta di domini la cui separazione è più che altro dovuta ad un'astrazione radicata nella cultura e nelle società occidentali, mentre, dalla possibilità della loro interazione è dipesa molta parte dell'evoluzione della specie umana e percezione ordinaria dell'ambiente.74
Tuttavia, Chion riconosce l’esistenza di particolari condizioni di interazione tra le sfere percettive del visivo e del sonoro. Questo rappresenta forse l'elemento della sua teoria dell'audiovisione più coerente in una prospettiva di analisi sulle pratiche di sconfinamento tra linguaggi contemporanei. Inoltre, Chion si sofferma sul ritmo, elemento del funzionamento percettivo ed esperienziale audiovisivo di particolare interesse nelle opere audiovisive di flicker. Quando uno stimolo ritmico raggiunge la nostra percezione, scrive Chion, attraverso la vista o l'udito, il ritmo raggiunge un’area comune del nostro cervello connessa con le aree motorie, ed è solo a questo livello che esso viene decodificato ritmicamente. Questo processo rientra all’interno di quelli che lo studioso definisce fenomeni
73 Sterne J., 2003.
74 Stein B. e coll., “Corssmodal Spatial Interactions in Subcortical and Cortical Circuits,” in Crossmodal Space and Crossmodal Attention, Driver J. e Spence C. (a cura di), 2004, 25-50, cit. in Dauer G., Audiovisual Perception, in Dietz D., Naumann S., (a cura di), 2010, p. 330.
transensoriali, fenomeni di ibridazione tra le informazioni, provocate dal fatto che alcuni tipi di percezione, come ad esempio il ritmo, non sono legati ad un'unica facoltà percettiva, la cui decodifica richiede l’uso di aree del cervello condivise da più sensi.75 Questa interpretazione trova una corrispondenza nelle affermazioni più recenti nell'ambito delle neuroscienze rispetto alle commistioni percettive che oltrepassano la separazione tra canali sensori.76 Il flicker è definibile, infatti, come fenomeno cross-modale, cioè una stimolazione che per la sua particolare natura permette di determinare tra pulsazione visiva e suono quelle che Barry Stein, Mark Wallace e Terrence Standford hanno definito multisensory integration:
L’integrazione multisensoriale sta ad indicare che la percezione legata al dominio di un senso influenza la percezione di un altro, a partire da quel momento l’interpretazione delle due componenti viene integrata nel modo più coerente possibile. Il collegamento tra visivo e sonoro non è determinato unicamente – come si a lungo è creduto – da una costruzione di tipo mentale; è stato dimostrato che stimoli sensoriali diversi convergono già a livello neuronale, in quelli che vengono definiti neuroni multisensoriali (multisensory neurons).77
A differenza della sinestesia, fenomeno percettivo di corrispondenza diretta tra stimoli sensoriali alla quale molta della tradizione artistica, dalla Musica Visiva alle correspondénce di Baudelaire hanno fatto riferimento, la multisensory integration è un fenomeno adattivo, dipende cioè dal contesto e si verifica solo in particolari circostanze, come nel caso in cui le informazioni provenienti da un
75 Chion M., 2009, p. 135.
76 Stein B., Mark T. Wallace, Terrence R. Standford, “Merging Sensory Signals in the Brain: The Development of Multisensory Integration in Superior Collicus,” cit. in Salter C., Question of Thresholds: Immersion, Absorption, and Dissolution in the Environments of Audio-Vision, in Dieter D., Naumann S., 2012, pp. 200-235.
77 “Multisensory integration thus means that perception in the realm of one sense is influenced by perception in another, since the two components are integrated into an interpretation which is as consistent as possible. The linkage of visual and auditory stimuli does not result solely – as was long assumed – from mental construction; it has been shown that various sensory stimuli already converge on the neuronal level in so-called multisensory neurons.” Stayn B., Wallace M. T., Stanford T. R., “Merging Sensory Signals in the Brain: The Development of Multisensory Integration in Superior Collicus,” in The New Cognitive Neurosciences, 2nd ed., Gazzaniga M. S., MIT Press, 2000, pp. 55-71.
senso sono poco decifrabili. In tal caso avviene un'attivazione di altri canali percettivi – non necessariamente infatti l'integrazione avviene tra visione e udito – ad integrare o correggere lo stimolo ambiguo. In particolare, per quanto riguarda l'interazione audio-visiva, l'integrazione necessita di poche ma imprescindibili condizioni per potersi attivare, in particolare un una concordanza spazio-temporale.78 Solo particolari tipologie di esperienze quindi sono in grado di indurre la comunicazione a livello neuronale e l'integrazione tra più sensi. Il ritmo è uno degli stimoli cross-modali in grado di provocare questo tipo di fenomeni. Chris Salter riporta ad esempio uno studio, condotto nel 2001 da Ladan Shams, psicologo presso l'UCLA di Los Angeles e Shinsuke Shimojo, neurobiologo della Caltech di Pasadena, dedicato alle alterazioni che il suono è in grado di determinare sugli aspetti temporali della visione e in particolare al fenomeno dell''illusory flash effect,' descritto come segue: quando un flash è accompagnato da un segnale sonoro multiplo, il singolo flash è a sua volta percepito come moltiplicato.'79 Viceversa, la localizzazione spaziale del suono può essere radicalmente alterata dalla stimolazione visiva, secondo un fenomeno definito ventriloquist effect.80
Non è un caso, quindi, che il flicker e il ritmo della luce stroboscopica ricorrano in molte opere che indagano le commistioni di tipo audio-visivo. Come sottolineato da Salter, spesso i lunghi percorsi di sperimentazione artistica, cinematografica e musicale hanno anticipato o intuito di qualche centinaia di anni alcune delle più recenti conclusioni nel campo delle scienze, che a loro volta stanno trovando spazio nelle teorie dell'arte grazie ancora una volta alle ricerche di artisti e compositori, tra le quali senza dubbio vanno incluse quelle dello stesso Salter, studioso, musicista e media artist.
78 Dauer G., Audiovisual Perception, in Dieter D., Naumann S., 2010, pp. 329-338. 79 Shams L., Shimojo S., 2011, pp. 505-509.