TEORIA DELL’ INFORMAZIONE

TEORIA DELL’ INFORMAZIONE

Telecomunicazioni vuol dire trasmissione a distanza di informazioni.

Ma cosa è l’informazione?

Informare è un’espressione che viene dal latino e vuol dire ”dare forma a qualcosa”.

Modellare cioè, una cosa che prima era informe.

L’opinione che avevamo cioè, su un argomento, era prima indeterminata, confusa, l’informazione, invece, le dà forma.

Oggi, più precisamente, intendiamo per informazione qualunque cosa che sia in grado di eliminare un’incertezza.

Sono informazioni le notizie riportate dai giornali e delle quali, naturalmente, il lettore non era prima al corrente.

In questo modo il giornale comunica al cittadino delle notizie che contribuiscono ad eliminare incertezze ad esempio sulla stabilità della lira, sulla politica, sul governo, sulla disoccupazione, ecc.

La corrente elettrica trasmessa da un filo telefonico racchiude l’informazione che un utente vuol comunicare a chi lo ascolta.

Un’immagine televisiva racchiude una grande quantità d’informazioni di vario tipo: forme, colori, movimenti, suoni, dati, ecc.

Oggi, nel campo delle telecomunicazioni, è necessario dare alle informazioni un’unità di misura per effettuare confronti sulla quantità di informazione al fine di ottimizzare la sua velocità di trasmissione.

Come si misura l’informazione? Come si può scegliere la sua unità di misura?

Per rispondere a queste domande bisogna ritornare alla definizione di informazione e cioè qualsiasi cosa che possa eliminare un’incertezza.

Si trasmette maggiore informazione quando si elimina una maggiore incertezza.

Ma quando si ha una maggiore incertezza e quando una minore?

Si ha una maggiore incertezza quando si possono verificare un maggior numero di eventi diversi e si ha una minore incertezza se gli eventi possibili sono di meno.

Dunque si ha maggiore informazione se si comunica un evento molto improbabile e minore informazione se si comunica un evento che poteva realizzarsi con facilità.

La minima informazione dunque è la scelta fra due sole possibilità e assume il nome di BIT che è una sintesi delle due parole inglesi BINARY DIGIT che vuol dire cifra binaria.

Dunque si definisce BIT l'unità di informazione intesa come la scelta effettuata fra due

soli eventi, simboleggiati di norma, dalle cifre binarie 0 e 1.

Nasce il problema, una volta determinata l'unità di informazione, di misurare la quantità di informazione racchiusa nella scelta fra un numero di possibilità maggiori di due.

La quantità di informazione racchiusa nella scelta di uno fra tanti simboli, è data dal numero di BIT necessari per rappresentare, con le loro varie combinazioni, tutti i simboli dati.

Supponiamo che si debba scegliere fra otto simboli: i numeri da zero a sette.

Ebbene, quanti BIT sono necessari per rappresentare otto numeri diversi? Sappiamo che la risposta e’ tre.

Questo in quanto 2

= 8 e quindi: 3 = log

8

La quantità di informazione, misurata in bit, in questo caso 3, è dunque l'esponente da dare a due, per ottenere il numero di combinazioni, in questo caso otto, fra le quali si effettua la scelta.

In generale, allora, la quantità Q di informazione racchiusa nella scelta di una fra M possibilità equiprobabili è:

Q = log

M

Se invece gli eventi che possono verificarsi non sono equiprobabili, allora l'informazione connessa alla scelta di uno fra M simboli o eventi è diversa a seconda del simbolo scelto o dell'evento verificatosi in quanto diversamente probabile.

In tal caso si parla di informazione media statistica, assume il nome di ENTROPIA e si indica con la lettera H.

Questo concetto è applicato negli alfabeti delle varie lingue: inglese, francese, tedesco, italiano, ecc. dove i vari caratteri, A, B, C, D, ... sono diversamente probabili, e questa probabilità è diversa nelle varie lingue.

i i

M

i

p p

H

1 _⋅

log

−

=

La p

rappresenta la probabilità, che è diversa caso per caso, che venga scelto il carattere i-esimo fra M caratteri diversi e non equiprobabili.

Si dimostra invece che se i caratteri diventano equiprobabili, l'ENTROPIA assume il valore massimo possibile, e l'informazione Q, contenuta nella scelta di un carattere fra M equiprobabili, è di nuovo:

Q = log

M

Nella trasmissione dei dati e nelle telecomunicazioni di tipo numerico, bisogna studiare tre

concetti base: la quantità di informazione racchiusa in un'immagine, un dato, un suono,

un testo, un disegno ecc.; la larghezza di banda relativa al canale; la velocità di

trasmissione dei dati nel canale di comunicazione prescelto, ad esempio fibra ottica, cavo coassiale, doppino telefonico, ecc.

Questi tre concetti sono strettamente correlati fra loro.

ESEMPIO: VELOCITA' DI TRASMISSIONE DEL SEGNALE TELEVISIVO

Un'immagine televisiva dello Standard PAL è formata da 625 righe di cui alcune però non direttamente visibili.

Arrotondiamo per semplicità a 600.

Quante sono le colonne?

Se supponiamo che ogni pixel sia di forma quadrata, essendo il rapporto base / altezza dello schermo uguale a 4/3, risultano:

800 3 600

4 ⋅ =

= colonne

In complesso risultano quindi in ogni immagine televisiva, circa:

pixel 000

. 480 800

600 ⋅ =

Ma la frequenza di quadro è 25 Hz, per cui si devono trasmettere ogni secondo le informazioni relative a:

pixel 000 . 000 . 12 25 000 .

480 ⋅ =

Se ogni pixel è individuato solo come o bianco o nero, senza tenere conto neppure dei grigi, bisogna trasmettere tanti BIT al secondo quanti sono i pixel necessari al secondo e quindi la VELOCITÀ DI TRASMISSIONE è:

sec / 12Mbit v =

Ma se noi, saggiamente, ipotizziamo non solo varie intensità di grigi, ma anche vari colori, ad esempio per ogni pixel 256 varie tinte e saturazioni diverse di colore, allora, essendo 2

= 256, sono necessari 8 bit per rappresentare 256 livelli di ogni pixel e quindi la

VELOCITÀ DI TRASMISSIONE diventa:

sec / 96

8

12 Mbit

v = ⋅ =

Ciò corrisponde ad una LARGHEZZA DI BANDA minima del canale di 96 MHz che però fortunatamente non è necessaria perché l'occhio umano non è in grado, alla distanza alla quale va osservato lo schermo televisivo, di apprezzare una risoluzione così minuziosa, e la banda, come è noto, praticamente si restringe a 7 o 8 MHz nelle trasmissioni TV via etere modulate in VSB, e 27 MHz in quelle, più precise e dettagliate e modulate in FM, via satellite.

STUDIO SUI SEGNALI DIGITALI

I dati che un computer elabora sono di tipo numerico e quindi sono dei bit che si presentano sotto forma di impulsi di tipo rettangolare di tensione ad esempio come in figura:

Ora, se questa sequenza di bit in uscita da un computer, deve essere trasmessa per via telefonica, tramite MODEM, si presenta come l'onda quadra indicata in figura:

la quale comprende, in base allo sviluppo in serie di Fourier, un valore costante A

, più infinite armoniche di ampiezza decrescente e frequenza crescente di cui la fondamentale indicata in figura, ha la stessa frequenza dell'onda quadra:

f T 1

0

=

Mentre lo spettro ha la forma nota dallo sviluppo in serie di Fourier:

Ma qualunque canale di trasmissione ha una larghezza di banda, e il sistema telefonico nazionale, ad esempio, la cosiddetta LINEA COMMUTATA, ha una banda passante lorda di 4 KHz, e netta di 300 Hz - 3.400 Hz per cui tutte le frequenze superiori a 3.400 Hz vengono tagliate via.

Non può transitare, di norma, neppure la componente continua, tagliata via dai traslatori differenziali e dai circuiti di alimentazione delle centrali.

Se però, ad esempio, la prima armonica del segnale dato ha frequenza uguale o inferiore a 3,4 KHz, allora questa può transitare lungo la linea telefonica, ma senza le sue armoniche.

L'onda quadra di partenza, in questo esempio, deve essere praticamente trasformata in una sinusoide che però racchiude la stessa informazione.

In ricezione è possibile infatti, in linea di principio, rigenerare il segnale usando un

comparatore di livello regolato su metà del valore massimo e testando il segnale ricevuto a

metà del tempo di bit.

Se il segnale in ricezione risulta di valore maggiore, allora il comparatore lo interpreta come uno, se risulta di valore inferiore, allora viene interpretato come zero e si ricostruisce il segnale di partenza.

Con questo metodo praticamente è possibile, partendo da dati numerici, far transitare sulle linee telefoniche soltanto segnali analogici, quali sono le sinusoidi, e riprodurre in ricezione il segnale digitale di partenza senza bisogno di utilizzare tutte le armoniche dell'onda quadra, ma solo, per esempio, la prima armonica.

Abbiamo finora ipotizzato per semplicità di comprensione che il segnale da trasmettere sia costituito da un'onda quadra, cioè una sequenza alternata di uno e zero, ma naturalmente ciò non ha senso pratico in quanto un segnale di questo tipo è determinato a priori e quindi non contiene alcuna informazione.

Il segnale numerico da trasmettere in realtà è sempre costituito da una sequenza di uno o zero disposti in maniera aleatoria perché informazione vuol dire proprio comunicare qualcosa di non conosciuto a priori, ad esempio come in figura:

Questo tipo di segnali aleatori, codificati con la sigla NRZ (not return to zero) hanno il

seguente spettro di frequenza:

Ora, si è visto che non è necessario trasmettere il segnale con la sua esatta forma rettangolare, ma che è sufficiente trasmettere la fondamentale di un’onda quadra e tralasciare il resto delle armoniche, anche perché lo spettro sopra indicato ha, teoricamente larghezza infinita, mentre il canale ha una banda limitata B.

E' sufficiente allora che la frequenza f

fondamentale sia contenute entro la banda passante del canale di trasmissione.

Ciò perché tutte le combinazioni aleatorie di bit del segnale dato, presentano uno spettro

di frequenza inferiore a f

..

Ora, qual è la velocità di trasmissione dei bit?

Consideriamo, per semplicità il caso dell'onda quadra di partenza, e osserviamo che in un periodo dell'onda quadra del segnale a massima frequenza di ripetizione f

vengono trasmessi DUE BIT visto che la durata di un bit è eguale a mezzo periodo:

Poiché per velocità di trasmissione di informazione si intende il numero di bit che vengono trasmessi nell'unità di tempo, nel nostro caso si ha:

v = T 2

Ma se:

f

= T 1

è la massima frequenza che può transitare nel canale, allora la massima velocità teorica di modulazione è:

B T f

v

= 2 = 2 ⋅

= 2 ⋅

Essendo B la banda passante del canale, risulta che la massima velocità teorica possibile di modulazione, secondo questa formula, detta CRITERIO DI NYQUIST, è uguale al doppio della banda passante del canale.

Per velocità di modulazione si intende la velocità con cui si trasmettono i simboli, o i caratteri al secondo e si misura in BAUD.

Si chiama BAUDRATE la velocità suddetta.

Da quanto detto risulterebbe che la massima velocità teorica di modulazione per un MODEM inserito nella linea telefonica, con banda passante netta, di 3,4 KHz - 300 Hz = 3,1KHz sarebbe di:

BAUD b B

v = 2 ⋅ = 2 ⋅ 3 . 100 = 6 . 200

Sappiamo invece che già oggi si sono raggiunte velocità di trasmissione dei dati nei MODEM, collegati alla rete telefonica nazionale, dell'ordine di 33.600 Bit/sec.

Come è possibile ciò?

Finora si è sempre considerato di trasmettere simboli o caratteri scelti fra due soli e quindi dei bit veri e propri, ma è possibile trasmettere dei simboli diversi non scelti fra due tipi diversi, ma fra molti.

Questo metodo assume il nome di CODIFICA MULTILIVELLO, anche se non sempre vengono trasmessi livelli diversi di tensione, ma spesso semplicemente un numero di caratteri, diversi tra loro, maggiore di due.

L'informazione connessa alla scelta fra due soli livelli è di un bit, ma se la scelta avviene fra M livelli diversi ed equiprobabili, l'informazione è, come si è visto prima:

Q = log

M

La massima velocità di modulazione, cioè di trasmissione di simboli al secondo, in un canale di banda passante B è, secondo il criterio di Nyquist:

v

= 2 B

Ma, se ogni simbolo pervenuto a destinazione è scelto fra M, allora l'informazione ottenuta a destinazione, nello stesso periodo di tempo è:

v = 2 B log

M

Questa v si chiama VELOCITÀ DI TRASMISSIONE o BITRATE , si misura in Bit al secondo e, come si vede, è maggiore o, tutt'al più uguale alla VELOCITÀ

DI MODULAZIONE v

o BAUDRATE che, invece, si misura in simboli al secondo.

Precisamente , se i livelli o i simboli sono più di due, il BITRATE risulta maggiore del BAUDRATE e, se i livelli sono eguali a M, la formula che lega queste due grandezze è:

v = v

log

M

Supponiamo, ad esempio, di usare un codice in cui si trasmettono quattro livelli diversi di tensione invece di due, in questo caso per ogni livello in arrivo l'informazione sarà di due bit e non di uno solo.

Infatti per distinguere quattro combinazioni sono necessari due bit, e poiché il tempo di arrivo di un livello di tensione è sempre lo stesso, perché determinato dallo stesso CRITERIO DI NYQUIST, otterremo che, mentre la VELOCITÀ DI MODULAZIONE rimane la stessa, la VELOCITÀ DI TRASMISSIONE invece raddoppia.

In questo modo, aumentando il numero dei livelli di tensione, è possibile aumentare la quantità di informazione che perviene a destinazione nello stesso tempo.

Verrebbe naturale di pensare, allora, che non esista un limite alla velocità di trasmissione dell’informazione, in quanto si possono aumentare indefinitamente i livelli di tensione del segnale nel canale di trasmissione.

Ciò però è impossibile, infatti, essendo la tensione massima applicabile nel cavo telefonico fissa per motivi di funzionamento, di isolamento e di sicurezza, allora aumentare il numero dei livelli, a parità di tensione massima, comporta che il singolo livello diventi sempre più piccolo, finché in ricezione non sia più distinguibile dal rumore, sempre presente, come indicato nel disegno seguente in cui si fa un esempio di codifica a due, a quattro e a otto livelli.

Esiste dunque un limite all'aumento dei livelli dettato, analiticamente da una formula, detta

di SHANNON:

+

⋅

= N

B S

C log

1

In questa formula, C è detta CAPACITÀ DI CANALE, si misura in BIT AL SECONDO, ed indica la massima velocità teorica di trasmissione dei bit oltre la quale in ricezione essi vengono confusi con il rumore; B indica la larghezza di banda del canale in esame; S è la potenza del segnale; N è la potenza del rumore; S/N è il RAPPORTO SEGNALE / RUMORE.

Questo limite non è assoluto, ma statistico, nel senso che man mano che si aumentano i livelli, avvicinandosi alla capacità limite del canale, il numero di bit errati che giungono a destinazione aumenta sempre più fino a diventare in numero inaccettabile.

Si definisce BER (Bit Error Rate) il rapporto fra i bit pervenuti errati e i bit trasmessi.

Questo BER nel caso di trasmissioni di tipo telefonico o televisivo può essere accettabile fino ad un massimo di 10

(un bit errato su mille trasmessi), mentre nel caso di trasmissioni di dati del computer non si può superare il valore di 10

(un bit errato su dieci milioni di bit trasmessi)

E' pertanto evidente che in certi casi si può aumentare la velocità di trasmissione dell'informazione, ma in altri casi ciò non è consentito.

INTERFERENZA INTERSIMBOLICA

E’ quel fenomeno che si manifesta alla ricezione dei dati numerici quando, a causa dell’alta velocità di trasmissione dei bit e della limitazione della banda passante, si commette un errore nella interpretazione del dato.

Si studia in questo caso il diagramma ad occhio che si manifesta considerando tutti i

possibili segnali deformati che quel tipo di linea può far transitare e confrontandoli con la

forma d’onda di partenza secondo gli schemi seguenti.

CODIFICA DI SORGENTE – CODIFICA DI CANALE – CODIFICA DI LINEA

In un sistema di trasmissione dati si effettuano, di norma, tre tipi di codifiche nella fase di trasmissione e tre corrispondenti decodifiche in fase di ricezione secondo lo schema seguente:

CODIFICA DI SORGENTE

La sorgente rappresenta l’informazione da trasmettere che può essere di vario tipo.

Se, ad esempio, è costituita da un testo dattiloscritto, allora colui che deve trasmetterlo, deve digitarlo alla tastiera del computer effettuando una prima CODIFICA DI SORGENTE convertendola da testo alfanumerico ad una sequenza di byte costituiti da otto bit ciascuno per mezzo del codice ASCII.

Un altro codice di sorgente è il codice BAUDOT a cinque simboli usato nel campo delle telescriventi ed il codice MORSE usato in campo telegrafico già da quasi un secolo.

In ognuno di questi casi sopra indicati l’informazione, costituita originariamente da un testo, viene convertita tramite una codifica di sorgente, in una sequenza di bit.

In questa fase è conveniente scegliere un tipo di codice che renda quanto più piccolo possibile il numero di bit corrispondenti al testo da trasmettere al fine di rendere più veloce possibile la trasmissione.

CODIFICA DI CANALE

Una volta costituito l’insieme dei bit da trasmettere, si passa ad una fase successiva in cui bisogna garantire che i bit da trasmettere arrivino a destinazione senza errori durante l’attraversamento del mezzo trasmissivo.

Questo si realizza per mezzo della CODIFICA DI CANALE con l’aggiunta di bit ridondanti, cioè in più, che non contengono informazione, ma che consentono, una volta giunti a destinazione, di verificare se ci sono stati errori.

Si hanno così i codici ad individuazione di errore e, se si vuole anche correggerli, i codici a correzione di errore.

I codici ad individuazione di errore, come ad esempio i codici ciclici, una volta individuata la presenza di un bit errato all’interno di un blocco di bit trasmessi, non potendo individuarlo esattamente, provvedono alla ritrasmissione di tutto il blocco.

E’ evidente che in presenza di molti errori, allora, la trasmissione è parecchio rallentata.

Nei codici ciclici la sequenza di bit da trasmettere viene considerata come un polinomio e viene divisa per un altro particolare polinomio, detto generatore, noto sia al trasmettitore che al ricevitore, dopo avere aggiunto in coda al dato di partenza un numero di zeri eguale al numero di bit del polinomio generatore.

Mentre poi il risultato di questa divisione viene ignorato, il resto viene sostituito agli zeri aggiunti e trasmesso quale elemento ridondante, insieme al dato informativo.

In ricezione si effettua per prima cosa la divisione tra il polinomio ricevuto, comprensivo del resto ridondante, ed il polinomio generatore; se il resto è zero, allora vuol dire che il dato ricevuto è identico a quello trasmesso, in caso contrario, si è avuto un errore che viene corretto ritrasmettendo il dato errato.

I codici a correzione di errori, invece, consentono, una volta individuata la presenza di un errore in un blocco di bit, anche di correggerlo

Sono questi, ad esempio i CODICI A RIDONDANZA DI BLOCCO.

Si procede come segue.

La sequenza di bit da trasmettere viene suddivisa in caratteri ad esempio di sette bit ciascuno, che vengono poi posti a costituire uno schema come nella figura in basso.

Si contano poi i bit 1 per ogni carattere, se sono in numero dispari, si aggiunge un bit di parità 1, se invece sono pari, si aggiunge un bit di parità 0.

Si procede poi analogamente per le colonne aggiungendo un bit di parità per ogni colonna, compresa quella venutasi a formare e costituita dai bit di parità.

Si trasmettono poi i nuovi caratteri, così arricchiti dei bit di parità, in forma sequenziale al destinatario che, ricevutili, li riordina ricostituendo la matrice di partenza.

A questo punto vengono effettuati i controlli di parità per ogni riga e per ogni colonna, se i bit risultano in numero pari, il ricevitore elimina tutti i bit ridondanti di riga, di colonna e di blocco aggiunti e rimette in ordine sequenziale i bit rimanenti, che contengono l’informazione, inviandoli al decodificatore.

Se invece uno dei bit trasmessi è pervenuto errato, allora i bit della colonna e della riga cui

esso appartiene risulteranno dispari invece che pari.

La decodifica di canale, individuato il bit errato dall’incrocio della riga e della colonna con bit in numero dispari, procederà allora alla sua correzione automatica in quanto vi sono due sole possibilità nel sistema binario e cioè o zero o uno.

CODIFICA DI LINEA

Questo tipo di codifica è necessaria per adattare il segnale al tipo di linea in cui deve transitare.

Nelle centrali numeriche e nei computer i dati transitano in codice NRZ.

In questo, all’uno logico corrisponde il livello alto e allo zero logico il livello basso.

Ora, nelle linee di trasmissione, siano esse il doppino telefonico che arriva a casa dell’utente, siano i cavi coassiali o le fibre ottiche, non è possibile usare questo codice, perché non consente la rigenerazione della portante e perché, comprendendo una componente continua, non è in grado di attraversare i traslatori differenziali delle centrali di commutazione.

Può allora essere utile il codice RZ , con una transizione a metà periodo, in grado, al contrario dell’ NRZ , di rigenerare la portante, ma ancora comprendente una componente continua.

Quando il mezzo trasmissivo prevede lungo il suo percorso dei trasformatori che non consentono il passaggio della componente continua, allora bisogna modificare la forma del segnale , in modo tale che esso non comprenda la componente continua.

Uno dei codici più usato in questo caso è il codice AMI a tre livelli in cui al bit zero corrisponde sempre il livello 0, al bit uno invece corrispondono alternativamente i livelli +1 e -1 come nella figura alla pagina seguente, in modo che il valor medio del segnale sia sempre zero.

Nel caso, inoltre che, come spesso avviene, in ricezione si debba rigenerare il clock di partenza ma si è in presenza di lunghe sequenze di zeri si usa , spesso, il codice HDB3 , anch’esso a tre livelli.

In questo, molto usato nel campo della telefonia numerica, e del quale si fa solo un cenno perchè alquanto complesso, oltre a far corrispondere alternativamente +1 e –1 al bit uno di partenza, come nel codice AMI , se sono presenti più di tre zeri consecutivi, il quarto bit zero viene rappresentato da un +1 o –1 (detto violazione) in

modo da garantire la possibilità, in ricezione, di ricostruire il clock di partenza.