Giacinto Gelli
Probabilità e informazione
a b e f g
N APOLI 2015
Giacinto Gelli [email protected]
L’autore consente la riproduzione anche parziale del testo agli studenti del corso. Non è con- sentito modificare il testo, diffonderlo, pubblicarlo anche con mezzi telematici senza il consenso scritto dell’autore.
Prima versione (1.0): settembre 2001.
Seconda versione (2.0): febbraio 2002.
Terza versione (3.0): ottobre 2002.
Quarta versione (3.1): marzo 2003.
Quinta versione (3.2): settembre 2003.
Sesta versione (3.3): marzo 2004.
Settima versione (3.4): marzo 2015.
In memoria di Anna e Gilberto.
Prefazione
Poiché non è dal lavoro che nasce la civiltà:
essa nasce dal tempo libero e dal giuoco.
Alexandre Koyré, “I filosofi e la macchina”
Questo libro costituisce un tentativo di fornire un’introduzione snella, ma rigorosa, ai concet- ti fondamentali di probabilità ed informazione per gli allievi dei corsi di laurea dell’Ingegneria dell’Informazione.
Il libro è organizzato in 10 capitoli ed alcune appendici; nei capitoli 1 e 2 si espongono le basi della teoria della probabilità; i capitoli 3, 4 e 5 sono dedicati allo studio della teoria di una variabile aleatoria; i capitoli 6 e 7 si occupano della teoria di due variabili aleatorie; il capitolo 8 generalizza molti dei concetti esposti nei capitoli precedenti al caso di n > 2 variabili aleatorie e discute brevemente i teoremi limite (legge dei grandi numeri e teorema limite fondamentale); nel capitolo 9 sono introdotte le distribuzioni condizionali; infine, il capitolo 10 è dedicato all’introduzione dei concetti fondamentali della teoria dell’informazione (entropia, codifica di sorgente, primo teorema di Shannon, codici di Huffmann). Gli argomenti marcati con il simbolo⋆possono essere saltati ad una prima lettura, senza pregiudicare la comprensione del resto. Il libro è corredato da numerosi esempi svolti e da oltre 200 esercizi proposti, suddivisi per capitolo; gli esercizi contrassegnati con il simbolo⋆sono di maggiore difficoltà.
Per un’adeguata comprensione del testo sono richieste conoscenze di base di calcolo combina- torio, di analisi reale (teoria delle funzioni di una e più variabili, derivazione ed integrazione delle funzioni di una e più variabili, successioni e serie) e di algebra lineare e geometria (vettori, matrici, determinanti). È necessaria anche una conoscenza operativa dell’impulso di Dirac, le cui proprietà fondamentali sono comunque richiamate nell’appendice D.
Il libro è disponibile su Internet in formato pdf nella sezione “Materiale Didattico” (corso di Teoria dei Segnali) alla seguente URL:
http://www.docenti.unina.it/giacinto.gelli
ed è stato composto dall’autore utilizzando LATEX2e. Commenti, segnalazioni di errori e suggeri- menti possono essere indirizzati [email protected].
ii
Si ringraziano gli studenti della Facoltà di Ingegneria (ora Scuola Politecnica e delle Scienze di Base) dell’Università “Federico II” di Napoli per il loro incoraggiamento, la loro inesauribile curiosità, e in particolare per le osservazioni che hanno consentito di correggere molti degli errori presenti nelle precedenti versioni.
Giacinto Gelli, marzo 2015
iii
Principali notazioni
A, B, C insiemi
A, B, C classi (collezioni di insiemi)
∅ insieme vuoto
ω∈ A ωappartiene ad A
ω6∈A ωnon appartiene ad A
A⊆B Aè un sottoinsieme di B
A⊂B Aè un sottoinsieme proprio di B A∪B, A+B unione di A e B
A∩B, AB intersezione di A e B
A−B differenza tra A e B
A complemento di A
A×B prodotto cartesiano di A e B
, uguale per definizione
N insieme dei numeri naturali{1, 2, . . . ,}
N0= N ∪ {0} insieme dei numeri naturali, zero incluso{0, 1, 2, . . .} Z insieme dei numeri interi relativi{. . . ,−2,−1, 0, 1, 2, . . .}
R insieme dei numeri reali
R= R ∪ {−∞, ∞} insieme ampliato dei numeri reali [a, b] intervallo a≤x≤b
[a, b[ intervallo a≤x<b ]a, b] intervallo a<x≤b ]a, b[ intervallo a<x<b ] −∞, b[ intervallo x<b ] −∞, b] intervallo x≤b ]a, ∞[ intervallo x>a [a, ∞[ intervallo x≥a
(a, b) indica indifferentemente un qualunque intervallo di estremi a e b
Ω spazio campione
S σ-campo costruito su uno spazio campione Ω P(Ω) collezione delle parti di Ω
P(A) probabilità dell’evento A
P(A|B) probabilità condizionata dell’evento A dato l’evento B X, Y, Z variabili aleatorie
x, y, z vettori A, B, C matrici
det(A) determinante della matrice A
A−1 inversa della matrice A
AT trasposta della matrice A
iv
Indice
1 Probabilità elementare 1
1.1 Introduzione . . . 1
1.2 Richiami di teoria degli insiemi . . . 3
1.3 Probabilità: definizioni preliminari . . . 6
1.4 Probabilità assiomatica . . . 8
1.4.1 Campi e σ-campi . . . . 8
1.4.2 Assiomi di Kolmogorov . . . 9
1.4.3 Proprietà elementari della probabilità . . . 10
1.4.4 Spazi di probabilità . . . 12
1.4.5 Proprietà di continuità della probabilità⋆ . . . 12
1.5 Altri approcci alla teoria della probabilità . . . 13
1.5.1 Approccio frequentista . . . 14
1.5.2 Approccio classico . . . 14
1.5.3 Vantaggi (e svantaggi) dell’approccio assiomatico . . . 15
1.6 Esempi di costruzione di spazi di probabilità . . . 16
1.6.1 Spazi di probabilità discreti . . . 16
1.6.2 Spazi di probabilità continui⋆ . . . 18
1.7 Esercizi proposti . . . 24
2 Probabilità condizionale e indipendenza 27 2.1 Introduzione . . . 27
2.2 Probabilità condizionale . . . 28
2.2.1 Interpretazioni della probabilità condizionale . . . 29
2.2.2 Legge della probabilità composta . . . 30
2.2.3 Regola della catena . . . 31
2.2.4 Teorema della probabilità totale e teorema di Bayes . . . 32
2.3 Indipendenza tra eventi . . . 35
2.3.1 Indipendenza di tre o più eventi . . . 36
2.3.2 Indipendenza condizionale tra eventi . . . 37
2.4 Esperimenti combinati . . . 37
2.4.1 Esperimenti indipendenti . . . 39
2.5 Elementi di un sistema di comunicazione . . . 41
2.5.1 Sorgente di informazione . . . 42
2.5.2 Canale di comunicazione e canale binario simmetrico (BSC) . . . 42
2.5.3 Sorgenti e canali senza memoria⋆ . . . 46
2.6 Esercizi proposti . . . 48
vi INDICE
3 Variabili aleatorie 51
3.1 Introduzione . . . 51
3.1.1 Definizione formale di variabile aleatoria . . . 54
3.2 Funzione di distribuzione cumulativa (CDF) . . . 54
3.2.1 Proprietà della CDF . . . 56
3.2.2 Variabili aleatorie discrete, continue, miste . . . 58
3.2.3 Percentile e mediana⋆. . . 59
3.3 Funzione densità di probabilità (pdf) . . . 61
3.3.1 Proprietà della pdf . . . 62
3.4 Funzione distribuzione di probabilità (DF) . . . 64
3.4.1 Proprietà della DF . . . 65
3.5 Variabili aleatorie notevoli . . . 66
3.5.1 Variabile aleatoria di Bernoulli . . . 66
3.5.2 Variabile aleatoria binomiale e problema delle prove ripetute . . . 67
3.5.3 Variabile aleatoria binomiale negativa . . . 70
3.5.4 Variabile aleatoria geometrica . . . 71
3.5.5 Variabile aleatoria di Poisson . . . 71
3.5.6 Variabile aleatoria uniforme . . . 72
3.5.7 Variabile aleatoria gaussiana o normale . . . 72
3.5.8 Variabile aleatoria esponenziale . . . 75
3.5.9 Variabile aleatoria di Laplace (esponenziale bilatera) . . . 76
3.5.10 Variabile aleatoria di Rayleigh . . . 76
3.5.11 Variabile aleatoria di tipo “mixture” . . . 76
3.5.12 Relazioni tra variabile aleatoria binomiale e gaussiana: i teoremi di de Moivre-Laplace⋆ 77 3.6 Esercizi proposti . . . 81
4 Trasformazioni di una variabile aleatoria 85 4.1 Introduzione . . . 85
4.1.1 Condizioni da imporre alla funzione g(x)⋆ . . . 86
4.2 Caratterizzazione statistica di Y=g(X) . . . 87
4.2.1 Calcolo della CDF di Y=g(X) . . . 87
4.2.2 Calcolo della DF di Y=g(X) . . . 92
4.2.3 Calcolo della pdf di Y=g(X). . . 93
4.3 Problema inverso: determinazione di g(x). . . 96
4.3.1 Generazione di una variabile aleatoria con CDF assegnata . . . 98
4.3.2 Generazione automatica di numeri casuali . . . 102
4.3.3 Algoritmo “middle-square” (Von Neumann) . . . 102
4.3.4 Algoritmo lineare congruente . . . 103
4.3.5 Test statistici sui generatori⋆ . . . 105
4.4 Esercizi proposti . . . 107
5 Caratterizzazione sintetica di una variabile aleatoria 109 5.1 Introduzione . . . 109
5.2 Media di una variabile aleatoria . . . 110
5.2.1 Teorema fondamentale della media . . . 113
5.2.2 Proprietà della media . . . 113
5.3 Varianza e valor quadratico medio di una variabile aleatoria . . . 114
5.3.1 Proprietà della varianza . . . 116
5.4 Momenti di una variabile aleatoria . . . 118
5.4.1 Relazione tra momenti e momenti centrali . . . 119
5.5 Disuguaglianze notevoli . . . 121
5.6 Esercizi proposti . . . 124
