Il profilo storico della nozione di multimodalità

Elisabetta Adami (2017, 455), tracciando il profilo storico della nozione di multimodalità, evidenzia come la nozione di modo e multimodalità ha catalizzato l’interesse degli studiosi determinando la creazione di un ambito di studi autonomo già a partire dall’inizio del XXI secolo. Gunther Kress and Theo van Leeuwen in Multimodal Discourse: The Modes and Media

of Contemporary Communication del 2001 hanno delineato la nozione di mode a partire dalla

distinzione indicata da Michael Halliday (1978) fra oralità e scrittura, estendendola a tutti gli altri modi di rappresentazione. I due autori si sono in questo modo allontanati dalla tradizione categoriale di matrice prettamente linguistica per aprirsi a una prospettiva olistica, affiancando alle tre metafunzioni principali quelle dell’oralità, del suono e della musica (van Leeuwen, 1999), dei gesti e del movimento (Martinec, 2004), del colore (Kress and van Leeuwen, 2002), delle immagini in movimento (Burn, 2013), del layout (Kress, 2010) e del tatto Bezemer and Kress (2014). Il crescente interesse nei confronti della multimodalità ha determinato secondo Adami (2017, 455) un’apertura delle prospettive teoriche, due delle quali in particolare legate a nozioni introdotte da Halliday «his social semiotic take (i.e., on his idea that language is a resource shaped to express and establish social roles and values; see the discussion in the next section), the other from his systemic functional grammar framework (i.e., on his idea that language is a network of systems that offer options to perform socially driven functions)».

Secondo Elisabetta Adami il fenomeno della multimodalità può essere inquadrato secondo diverse prospettive teoriche:

Within the field of “multimodal studies” (O’Halloran and Smith, 2011), the phenomenon of multimodality is approached through different theoretical perspectives (Jewitt, 2009a; O’Halloran, 2011), all hinging on four key assumptions (Jewitt, 2014a), namely that (1) all communication is multimodal; (2) analyses focused solely or primarily on language cannot adequately account for meaning; (3) each mode has specific affordances arising from its materiality and from its social histories, which shape its resources to fulfill given communicative needs; and (4) modes concur together, each with a specialized role, to meaning-making; hence relations among modes are key to understand every instance of communication. (Adami 2017, 2)

128

In questo senso, secondo Adami, anche Hodge and Kress (1988: vii) condividono l’opinione di Halliday nell’attribuire un ruolo di primo piano alla dimensione sociale per la comprensione delle strutture e dei processi linguistici, ma, analogamente a Petőfi vedono

the limitation to verbal language […] as a major inconvenience […] Meaning resides so strongly and pervasively in other systems of meaning, in a multiplicity of visual, aural, behavioural and other codes, that a concentration on words alone is not enough. (Hodge, Kress 1988: vii). Therefore, “no single code can be successfully studied or fully understood in isolation” (1988: vii), and thus social semiotics is conceived as “a theory of all sign systems as socially constituted, and treated as social practices” (1988: vii–viii). (Adami 2017, 458-459)

L’essere umano dispone delle abilità cognitive che gli consentono di esperire in modo olistico la realtà comunicativa multimodale, nonostante questo, come evidenziano Bateman et al. (2017, 7) e come abbiamo visto nella prima parte di questa ricerca, l’attenzione della ricerca scientifica in passato si concentrava preferibilmente sui singoli aspetti di questa comunicazione invece di considerarli nella loro totalità.

Il modello di Bateman et al. (2017, 21; Fig. 21) riproduce l’approccio pre-teorico alla ricerca multimodale, nel quale le singole sezioni di ricerca risultano ancora isolate dalle altre. Come ribadito dall’autore ed evidenziato anche in Jewitt et al. (2016), occorrerebbe invece mettere al centro della ricerca proprio la sinergia fra i diversi modi che consentono la costruzione del significato.104 _{E infatti è in questa direzione che si muove la ricerca in ambito multimodale}

degli ultimi anni che, introducendo il concetto di multimodal turn,105 giunge alla descrizione degli ambiti e dei metodi della multimodalità e alla formulazione di un framework di riferimento.

Nella comunicazione multimodale emergono dunque nuovi “campi di esplorazione”, nuovi modi di costruire il testo, le cui ripercussioni sul piano cognitivo determinano quella che Gerd Antos (2014, 10) qualche anno fa definiva una “svolta digitale dal comunicare al percepire”, in cui il concetto di comunicazione e quello di percezione risultano sovrapposti.106 Tuttavia non siamo in grado di prevedere le diverse combinazioni di modi con i quali saremo confrontati ed è per questo che l’approccio teorico dedicato a cui si fa cenno in Bateman et al (2017, 11) sembra irrinunciabile.

104 _{«These (sub)disciplines focus on the means of meaning making that fall within their ‘remit’; they do not}

systematically investigate synergies between the modes that fall inside and outside that remit.» (Jewitt et al. 2016, 2)

105 _{La definizione è in uso non esclusivamente in ambito accademico ed è legata a quelli di super-media e di media} convergence, cioè di media capaci di integrare la funzionalità di media diversi cfr. Bolter, Grusin 2000; Jenkins

2008; Grant, Wilkinson 2009; Hassler-Forest, Nicklas 2015.

106 _{«Neue textuelle Inszenierungsformen und deren Einfluss auf das Rezeptionsprozess, in dem sich in Wandel vom}

129

Interdependence is a difficult issue because the use of different modes together can have an influence on what each is contributing. This means that we need to be dence very careful that we can separate out in our analyses suggestions of what any particular mode is contributing ‘on its own’ and suggestions that only arise because of the combination with other modes. Modes presented together then need to be interpreted with respect to one another and so cannot be considered independently (cf. Baldry and Thibault 2006: 18 on ‘resource integration’ and composite products; and Kress 2010: 157 on ‘orchestrations’); in this book, we often adopt ‘multimodal ensembles’ from Bezemer and Kress (2016: 28–30) as a relatively neutral term. (Bateman et al 2017, 11)

L’approccio pre-teorico alla ricerca multimodale secondo il modello di Bateman et al. (2017, 21).

Il dato fermo è che dalla combinazioni di media diversi presenti in questi ‘multimodal ensembles’ (Bezemer, Kress 2016, 28-30) sembra emergere molto di più della semplice somma delle parti: ci troviamo di fronte a una situazione di moltiplicazione dei significati e spetta appunto alla ricerca chiarire quale sia la natura di questo di più (Lemke 1998).

Il presente contributo si inserisce in questa prospettiva di ricerca con l’ambizione di mettere a fuoco le ripercussioni che i fattori extralinguistici presenti all’interno dei comunicati multimodali digitali producono sull’assetto linguistico funzionale del testo. Il corpus di esempi raccolto nella sezione 5 di questo lavoro propone l’analisi di alcuni casi in cui è possibile individuare gli effetti della multimodalità e della crossmodalità sull’organizzazione semantica, pragmatica e sintattico funzionale del testo.

130