I modi

Il crescente interesse nei confronti della linguistica multimodale ha fatto sì che negli ultimi anni i testi ibridi ne siano ormai il primo focus e che la ricerca abbia iniziato a impegnarsi nella realizzazione di un “inventario” delle complesse peculiarità funzionali dei diversi modi che partecipano alla comunicazione multimodale (Jewitt 2014; Norris, Maier 2014; Stöckl 2016; Bateman et al. 2017). Una sintesi delle diverse modalità messe in atto nell’uso comunicativo pone infatti anche il problema della loro tipologizzazione. La prima difficoltà con la quale deve confrontarsi la ricerca multimodale secondo Bateman et al. (2017, 11) risiede proprio nella definizione dei mode, fino ad ora infatti nella letteratura scientifica manca un accordo a questo riguardo. In Bateman et al. vengono dunque proposte le diverse definizioni della nozione di

mode, le citiamo qui integralmente:

“Mode is used to refer to a regularised organised set of resources for meaning-making, including, image, gesture, movement, music speech and sound-effect. Modes are broadly understood to be the effect of the work of culture in shaping material into resources for representation.” (Jewitt and Kress 2003: 1-2)

“the use of two or more of the five senses for the exchange of information” (Granström et al. 2002: 1).

“[Communicative mode is a] heuristic unit that can be defined in various ways. We can say that layout is a mode, whichwould include furniture, pictures on awall,walls, rooms, houses, streets, and so on. But we can also say that furniture is a mode. The precise definition of mode should be useful to the analysis. A mode has no clear boundaries.” (Norris 2004a: 11)

“[Mode is] a socially shaped and culturally given resource for making meaning. Image, writing, layout, gesture, speech, moving image, soundtrack are examples of modes used in representation and communication.” (Kress 2010: 79)

“we can identify three main modes apart from the coded verbal language. Probably the most important, given the attention it gets in scholarly circles, is the visual mode made up of still and moving images. Another set of meanings reach us through our ears: music, diegetic and extradiegetic sound, paralinguistic features of voice. The third is made up of the very structure of the ad, which subsumes or informs all other levels, denotes and connotes meaning, that is, lecturetype ads, montage, mini-dramas.” (Pennock-Speck and del Saz-Rubio 2013: 13-14)

“image, writing, gesture, gaze, speech, posture” (Jewitt 2014b: 1)

133

Gesture and gaze, image and writing seem plausible candidates, but what about colour or layout? And is photography a separate mode? What about facial expression and body posture? Are action and movement modes? You will find different answers to these questions not only between different research publications but also within.” (Jewitt et al. 2016: 12)

“[i]n short, it is at this stage impossible to give either a satisfactory definition of ‘mode’, or compile an exhaustive list of modes.” (Forceville 2006: 382)

Forceville (2014, 1) suggerisce un primo approccio di base al problema, sostanzialmente basato sui cinque sensi e sulla dimensione scritta, parlata e musicale del linguaggio; un approccio che potremmo definire ‘pragmatico’.

I will not attempt my own definition here but be practical and consider as modes: (1) written language; (2) spoken language; (3) visuals; (4) music; (5) sound; (6) gestures; (7) olfaction; (8) touch. To this list all the boundary problems adhere that are typical of any categorization (why not split up the visual mode into color, size, orientation, and a host of others? where does sound end and music begin? shouldn’t gestures be subdivided into facial expressions, arm/hand movements, and bodily postures?). However, these problems are not crucial, as long as it is acknowledged, first, that many categories allow for subdivisions and, second, that they tend to have fuzzy borders. Still, most categories have prototypical members, and it is via these that we can distinguish categories from one another (Lakoff 1987). (Forceville, 2014, 1)

Tutte le categorie suggerite nelle citazioni qui riportate propongono uno scenario dai contorni indefiniti, un arcipelago di definizioni all’interno del quale ogni progetto di ricerca dovrà ritagliare il proprio percorso tenendo conto innanzitutto di quali abilità vengano coinvolte nelle interazioni. È proprio facendo appello alle abilità coinvolte, alle preconoscenze degli interlocutori, alla loro conoscenza del mondo (Geeraerts, Cuyckens 2007, 5; Hatakeyama, Petőfi and Sözer 1985, 70) che i testi multimodali radicano la loro struttura di inferenze, garantendo così una resa trasparente del significato.

Il modello che propone Hartmut Stöckl (2016, 7), mantenendo un chiaro riferimento al modello semiotico di Morris, individua in modo distinto gli aspetti percettivi dei segni in riferimento ai cinque sensi (piano psicologico),108 la loro codificazione strutturata (piano semiotico) e le rispettive realizzazioni tecnico-materiali (piano mediale) (Fig. 23).

134

Modello Ein Konzept von Zeichenmodalität di Hartmut Stöckl 2016, 7 © Grafica: Jana Plaeging.

Bevor die Funktionsweisen zentraler Zeichenmodalitäten miteinander verglichen werden, entwickle ich hier zunächst kurz ein Konzept von Zeichenmodalität (s. Abb. 1). In erster Linie wird der Begriff in seinem psychologischen Sinn als Zeichentyp verstanden, der durch die jeweilige Sinnesmodalität oder den Wahrnehmungskanal begründet ist, in denen die Zeichen prozessiert werden. Auf diesem Verständnis fugt auch die ursprüngliche Prägung des Begriffs ‚Multimodalität‘ (van Leeuwen 2011, 549). Koch (1971, 219 ff.) schlägt diesbezüglich fünf große Zeichentypen vor: visuell, auditiv, taktil, olfaktorisch und gustativ (s. auch die Überlegungen von Eco 1977, 174 ff.). Obgleich diese Einteilung valide ist, reduziert sie das Konzept der Zeichenmodalitäten, vergröbert stark und erweist sich als nicht trennscharf. (Stöckl 2016, 6)

In questo modello la mutimodalità risulta secondo Stöckl fortemente semplificata e condizionata in riferimento ai cinque sensi. Nel caso della lingua per esempio sono due le modalità coinvolte: visiva per lo scritto, auditiva per il parlato, nonostante entrambe si basino su un codice visuale. tuttavia come evidenzia il linguista: la modalità dei segni sembra un concetto approssimativo che comprende aspetti della codificazione e della modalità dei segni.

So ist gesprochene Sprache auditiv, geschriebene hingegen visuell – soll man Sprache deshalb als zwei Modalitäten (Rede und Schrift) auffassen, obwohl ihnen beiden die gleiche Lexik und Grammatik zugrunde liegt? Oder: Bild und Schrift sind klar getrennte Modalitäten, rangieren aber beide als visuelle Zeichentypen. Diese Probleme deuten darauf hin, dass ‚Zeichenmodalit‘ ein breiter gefasstes Konzept ist, das Aspekte der Kodiertheit und der Medialität von Zeichen einschließt. (Stöckl 2016, 6)

135

Il testo multimodale va visto secondo Stöckl (2016, 5) come un’unità coesa e coerente capace di integrare in modo strutturale e funzionale le diverse modalità e che è possibile descrivere facendo ricorso a un ‘modello a strati’, Mehr-Ebenen-Modell, una prospettiva di lettura analoga a quella che procede per ‘slices’ of material proposta da Bateman et al. (2017, 214). La natura di un testo multimodale è caratterizzata dal fatto che in esso siano presenti contemporaneamente due modalità semiotiche allo stesso tempo, integrate strutturalmente e funzionalmente (Stöckl 2016, 4). Il concetto di “mode” non risulta tuttavia ancora chiaramente individuato

Zwei Herangehensweisen lassen sich diesbezüglich unterscheiden. Die eine vermeidet dezidiert eine klare Unterscheidung von Zeichenmodalitäten, indem sie argumentiert, dass „a mode is what a community takes to be a mode and demonstrates that in its practices“ (Kress 2014, 65). Die andere unterscheidet prototypische Modalitäten (wie Rede, Schrift, Bild, Ton, Gestik, Mimik etc.), die uns als Alltagskategorien vertraut sind, konzediert deren potentielle Überlappungen und mangelnde Trennscharfe, bietet aber auch keine kategoriale Definition. Diese Lücke nehme ich als ersten Anknüpfungspunkt und werde zeigen, wie sich ‚Zeichenmodalität‘ „im Kraftfeld der Konzepte Medium, Kode und Sinneswahrnehmung“ (Klug/Stöckl 2015, 244) klaren lasst. (Stöckl 2016, 4)

La domanda che emerge in questa prospettiva è se sia possibile individuare un “mode” che sia prevalente. L’immagine o il testo verbale non sono sufficienti a restituire il processo di costruzione del significato nella sua interezza, al tempo stesso però le immagini fanno di più che costruire solo lo scenario, non sono solo “visual flags” ma contribuiscono alla realizzazione del significato del messaggio stesso. Un primo dato importante è quello della scena, fondamentale per l’argomentazione. In seconda battuta occorre domandarsi se lingua e immagine siano in equilibrio, quali relazioni di opposizione o complementarità esistano, se la complementarità sia implicita cioè non vi siano connettori, o invece esplicita con connettori espressi. Il terzo punto riguarda la proiezione di categorie prettamente linguistiche ai comunicati multimodali.

Der dritte Anknüpfungspunkt betrifft die oft aber nie systematisch angestellten Projektionen textlinguistischer Konzepte (wie z. B. Genre – vgl. van Leeuwen 2005a/b; Bateman 2008 oder Kohäsion – vgl. Royce 1998 und Kohärenz – vgl. Stöckl 2012a, 251 ff.) auf multimodale Kommunikate. Die Texthaftigkeit multimodaler Artefakte steht außer Frage (wie auch die von Bildern und Musik für sich genommen), jedoch muss es darauf ankommen, multimodale Textualität zu fassen, indem man ein systematisches Mehr-Ebenen-Modell des multimodalen Text entwickelt, das wichtige Konzepte zueinander in Beziehung setzt. Ein solches Modell will ich in diesem Beitrag auch grob skizzieren, wobei das Augenmerk auf der inhärenten Typen- und Sortenzugehörigkeit multimodaler Texte liegt. (Stöckl 2016, 5)

136

Appunto in questa prospettiva – in particolare in quella indicata nei piani 4 e 5 del modello di Stöckl del 2016 (Fig. 24) – si colloca l’analisi empirica di questa ricerca. Essa si propone di evidenziare alcune particolarità linguistico funzionali dei comunicati multimodali digitali adottando il linguaggio formale descrittivo della Testologia Semiotica di János S. Petőfi. Come vedremo nella sezione 5 di questo lavoro, dedicata all’analisi del corpus di esempi selezionati, gli elementi extralinguistici presenti nella comunicazione online svolgono infatti un ruolo determinante nella costruzione del significato, incidendo in alcuni casi sulla struttura grammaticale della frase.

Modello Multimodale Textsortenanalyse di Hartmut Stöckl 2016, 24 © Grafica: Jana Plaeging.