Richiami di probabilit` a
Tiziano Razzolini Universit`a di Siena.
mail: razzolini4@unisi.it 12 novembre 2018
Variabili casuali
I risultati sono gli esiti potenziali, mutualmente esclusivi, di un processo casuale
Es: numero da lancio di un dado
Es: numero di volte il computer si blocca durante la scrittura di un documento
La probabilit`a di un risultato `e la proporzione di volte in cui il risultato si verifica nel lungo periodo.
L’insieme di tutti i risultati possibili `e lo spazio campionario L’evento `e un sottospazio dello spazio campionario
Es: numero minore di 3 da lancio di un dado{1,2}
Es: il computer si blocca meno di due volte {0,1}
Variabili casuali
Una variabile casuale `e un indicatore sintetico di un risultato casuale.
Es: numero di volte il computer si blocca durante la scrittura di un documento
Es: numero di volte la somma del numero di due dadi `e pari a 5.
Le variabili casuali possono essere:
I variabili casuali discrete se assumono valori discreti.
Es: 1, 2, 3, 4, 5, 6
I variabili causali continue se assumono un numero infinito di valori
Variabili casuali discrete
La distribuzione di probabilit`a di una variabile discreta assegna ad ogni risultato della variabile casuale la probabilit`a di ottenere tale valore.
Esempio 1: no blocchi al computer
Risultato numero di blocchi
0 1 2 3 4
Distribuzione di probabilit`a 0,80 0,10 0,06 0,03 0,01 Distribuzione di probabilit`a cumulata 0,80 0,90 0,96 0,99 1,00
Esempio 2: no numero estratto con lancio di un dado
Numero da lancio dado
1 2 3 4 5 6
Distribuzione di probabilit`a 16 16 16 16 16 16
Distribuzione di probabilit`a cumulata 16 26 36 46 56 1
Variabili discrete
La probabilit`a di un evento si ottiene dalla funzione di probabilit`a dei risultati
Esempio: La probabilit`a di ottenere 3 o 4 blocchi `e pari a:
Prob(M =3 o M =4) =0, 03+0, 01=0, 04
La funzione di ripartizione: La distribuzione di probabilit`a cumulata
`e pari alla probabilit`a che una variabile casuale assuma valori inferiori ad un determinato valore.
Esempio: La probabilit`a che da un lancio di un dado si abbia un numero inferiore a 6 `e pari a 56
Distribuzione di Bernoulli
Considerate una variabile casuale binaria. As esempio: genere della prima persona che uno incontra.
G =
(1 con probabilit`a p 0 con probabilit`a 1−p
Variabili continue
Nel caso di una variabile continua la probabilit`a `e rappresentata dalla funzione di densit`a di probabilit`a, fY(y).
Variabili continue
La funzione di ripartizione di una variabile continua `e la probabilit`a che la variabile casuale sia inferiore ad un certo valore.
Pr(Y ≤a) =Ra
−∞fY(y)dy
Valore atteso e media
Il valore atteso o (media) o aspettativa `e il valore medio di una variabile casuale ottenuto su un elevato numero di realizzazioni; il valore medio `e indicato con E(Y) e/o µY.
Sia Y una variabile casuale che assume k valori y1, y2, . . . , yk con probabilit`a rispettivamente pari a p1, p2, . . . , pk il valore atteso `e:
E(Y) =y1p1+y2p2+ · · · +ykpk =∑ki=1piyi
Esempio: Immaginiamo un prestito di 100 $ ad un tasso di interesse r pari al 10%.La probabilit`a di restituzione `e p=0, 99, la probabilit`a di non restituzione `e 1−p =0, 01. Il valore atteso `e E(Y) =110$×0, 99+0$×0, 01=108, 90$
Esempio: Il valore atteso di un lancio di un dado `e:
E(Y) = 161+ 162+ 163+164+165+166=3, 5
Valore atteso e media di un v.c. Bernoulli
I valore atteso di una variabile casuale distribuita come una Bernoulli `e: E(Y) =1×p+0× (1−p) =p
Valore atteso e media di un v.c. continua I valore atteso di una variabile casuale continua:
E(Y) =µY =R
yfY(y)dy
Varianza e deviazione standard
La varianza di una v.c. Y , indicata con σY2, `e il valore atteso del quadrato della deviazione di Y dalla sua media µY La deviazione standard `e il quadrato σY della varianza.
La varianza di una v.c. discreta `e:
σY2 =VAR(Y) =E[(Y −µY)2] =∑ki=1(yi−µy)2pi La varianza di una v.c. continua `e:
σY2 =VAR(Y) =E[(Y −µy)2] =R (y−µy)2fY(y)dy
Varianza e deviazione standard
Esempio: La varianza del numero M di blocchi `e:
σY2 =VAR(Y) =
= (0−0, 35)20, 80+ (1−0, 35)20, 10+ (2−0, 35)20, 06+ (3− 0, 35)20, 03+ (4−0, 35)20, 01=0, 6475
σY =p(0.6475) '0, 80
Esempio: La varianza di una v.c. Bernoulli `e pari a : VAR(G) =σY2 = (0−p)2(1−p) + (1−p)2p=p(1−p) σY =p(0−p)2(1−p) + (1−p)2p =pp(1−p)
Media e varianza di una funzione lineare di variabili casuali Se una v.c. Y `e una funzione lineare di una v.c. X,Y =a+bX , si ha:
µY =a+bµX e σY2 =b2σX2
Altri momenti della distribuzioni
Oltre al valore atteso e alla varianza esistono altri indicatori sulla forma della distribuzione:
I L’asimmetria della distribuzione di una v.c. Y `e:
Asimmetria= E[(Y−µY)3]
σY3 =f(E(Y), E(Y2), E(Y3)) I La Curtosi indica quanta massa c’`e nelle code della
distribuzione
Curtosi = E[(Y−µY)4]
σY4 ==f(E(Y), E(Y2), E(Y3), E(Y4))
Variabili casuali doppie Distribuzione congiunta
Con pioggia Senza pioggia Totale
(X=0) (X=1)
Percorrenza lunga (Y=0) 0, 15 0, 07 0, 22
Percorrenza breve (Y=1) 0, 15 0, 63 0, 78
Totale 0, 30 0, 70 1
La distribuzione di probabilit`a congiunta di due variabili casuali X e Y assegna una probabilit`a a ciascuna realizzazione simultanea di x e y .
Esempio:
Pr(X =0, Y =0) =0, 15,Pr(X =1, Y =0) =0, 07, Pr(X =0, Y =1) =0, 15, Pr(X =1, Y =1) =0, 63
Variabili casuali doppie
Distribuzione marginale
La distribuzione marginale di Y non `e altro che la distribuzione di probabilit`a di Y ; nel contesto di distribuzione congiunte di variabili discrete, con la variabile X che assume l valori diversi x1, x2, . . . , xl
`e:
Pr(Y =y) =
∑
l i=1Pr(X =xi, Y =y) Lo stesso vale per la distribuzione marginale di X:
Pr(X =x) =
∑
s i=1Pr(Y =yi, X =x)
Variabili casuali doppie
Distribuzione condizionata
La distribuzione condizionata della v.c. Y dato un valore assunto dalla v.c. X `e:
Pr(Y =y|X =x) = Pr(X =x, Y =y) Pr(X =x) Esempio:
La probabilit`a di un percorso breve data la presenza di pioggia `e Pr(Y =0|X =0) = Pr(PrY=(X0,X=0=)0) =0, 15/0, 30 =0, 50
Esempio:
Distribuzione congiunta
M=0 M=1 M=2 M=3 M=4 Totale
Computer vecchio A=0 0,35 0,065 0,05 0,025 0,01 0,50 Computer nuovo A=1 0,45 0,035 0,01 0,005 0,00 0,50
Totale 0,80 0,10 0,06 0,03 0,01 1,00
Distribuzione condizionata di M data A
M=0 M=1 M=2 M=3 M=4 Totale
Pr(M|A=0) 0,70 0,13 0,10 0,05 0,02 1,00 Pr(Ml|A=1) 0,90 0,07 0,02 0,01 0,00 1,00 Pr(M =0|A=0) =Pr(M=0, A=0)/Pr(A=0) =0, 35/0, 50=0, 7 Pr(M =0|A=1) =Pr(M=0, A=1)/Pr(A=1) =0, 45/0, 50=0, 9
Aspettativa condizionata di Y data X
L’aspettativa o media condizionata di Y data X `e la media della distribuzione condizionata di Y data a X . Tale aspettativa `e:
E(Y|X =x) =
∑
k i=1yiPr(Y =yi|X =x)
Esempio: E(M|A=1) =
0, 90×0+0, 07×1+0, 02×2+0, 01×3+0, 00×4=0, 14
La legge delle aspettative iterate
La media di Y `e la media ponderata delle aspettative condizionate di Y data X i cui pesi sono dati dalla distribuzione delle probabilit`a di X .
E(Y) =
∑
l i=1E(Y|X =xi)Pr(X =xi) E(Y) =E[E(Y|X)]
Esempio:
E(M) =E(M|A=0) ×Pr(A=0) +E(M|A=1) ×Pr(A=1)
=0, 56×0, 50+0, 14×0, 50=0, 35
Se E(Y|X) =0⇒E(Y) =E[E(Y|X)] =0
La varianza condizionata
La varianza condizionata di Y data X `e la varianza della distribuzione condizionata di Y data X :
var(Y|X =x) =
∑
k i=1[yi −E(Y|X =x)]2Pr(Y =yi|X =x)
Esempio:
Var(M|A=1) = (0−0, 14)20, 90+ (1−0, 14)20, 07+ (2− 0, 14)20, 02+ (3−0, 14)20, 01+ (4−0, 14)20, 00'0, 22 Var(M|A=0) = (0−0, 56)20, 70+ (1−0, 56)20, 13+ (2− 0, 56)20, 10+ (3−0, 56)20, 05+ (4−0, 56)20, 02'0, 99
Indipendenza
Le variabili casuali sono X ed Y sono indipendenti o distribuite indipendentemente se la loro distribuzione congiunta `e il prodotto delle loro distribuzioni marginali.
Pr(X =x, Y =y) =Pr(X =x)Pr(Y =y)
Covarianza e correlazione
La covarianza tra due variabili casuali `e il valore atteso cov(X, Y) =E[(X −µX)(Y −µY)] =
=∑ki=1∑jl=1(xj −µX)(yi−µY)Pr(X =xj, Y =yi)
La correlazione tra X e Y `e la covarianza tra X e Y divise le deviazioni standard delle due variabili:
Corr(X, Y) = √Cov(X,Y)
var(X)var(Y) = σσXY
XσY
La correlazione ha valori limitati: −1≤Corr(X, Y) ≤1 Due variabili X ed Y sono incorrelate se corr(X, Y) =0
Correlazione e media condizionata
Se E(Y|X) =µY ⇒cov(Y, X) =0 e corr(Y, X) =0 cov(Y, X) =E[(Y −µY)(X −µx)]=
=E[YX−Y µX −X µY +µXµY] =
=E[YX] −µXE[Y] −µYE[X] +µXµY =
=E[YX] −µXµY −µYµX +µXµY =E[YX] −µYµX
E[E(Y|X)X] =µYE[X] =µYµX poich`e E[Y|X] =µY e quindi cov(X, Y) =µYµX −µYµX =0
Quindi E[Y|X] =µY ⇒cov(X, Y) =0 ma non `e vero il contrario cio`e che cov(X, Y) =0⇒E[Y|X] =µY
Media e Varianza di somme di variabili casuali Le seguenti eguaglianze valgono:
I E[a+bX +cY] =a+bµX +c µY
I Var[a+bY] =b2σY2
I Var(aX +bY) =a2σX2 +2abσXY +b2σY2
I E[Y2] =σY2 +µ2Y ⇒var(Y) =σY2 =E[(Y −E(Y))2] =
=E[Y2−2YE(Y) +E(Y)2] =
=E[Y2] −2µYE(Y) + (E(Y))2 =
=E[Y2] −µ2Y
I cov(a+bX +cV, Y) =bσXY +c σVY I E(XY) =σXY +µXµY
I |corr(X,Y)| ≤1 e|σXY| ≤qσX2σY2
Applicazioni ai portafogli di titoli
Immaginiamo di avere un portafoglio composto da due titoli con rendimento medio r1 e r2. w1 e w2 sono la proporzione dei due titoli nel portafoglio. σ12 e σ22 le varianze dei rendimenti. σ12`e la covarianza tra i due rendimenti (pari a ρ12σ1σ2).
Il rendimento atteso del portafoglio `e:
rp =w1r1+w2r2
La varianza del rendimento del portafoglio `e:
σp2 =w12σ12+w22σ22+2w1w2ρ12σ1σ2
Queste formule sono alla base del principio di diversificazione del portafoglio. Tra due portafogli con lo stesso rendimento rp un investitore seglier`a quello con minore varianza. La varianza del portafoglio puo’ essere ridotta scegliendo titoli con covarianza negativa (σ12=ρ12σ1σ2 <0).
Applicazioni ai portafogli di titoli
Un portafoglio di n titoli Ri puo’ essere espresso con matrici.
Il vettore R contiene il rendimento di tutti i titoli. Il vettore M contiene i rendimenti attesi (l’i-esimo elelemento `e E(Ri) =µi). Il vettore Ω contiene tutti i pesi dei titoli nel portafoglio. I pesi devono sommare a uno, i0Ω=1. La matrice Σ contiene le varianze e covarianze dei titoli.
R=
r1
r2 ... rn
M=
µ1
µ2 ... µn
Ω=
w1
w2 ... wn
Σ=Var(R) =E((R−M)(R−M)T) =
σ12 σ12 . . . σ1n
σ12 σ22 . . . σ2n
... ... . .. . . . σn1 σ2n . . . σn2
Applicazioni ai portafogli di titoli
Il rendimento atteso del portafoglio e la sua varianza sono:
E(ΩTR) =ΩTM= [w1, w2, . . . , wn]
µ1
µ2
... µn
=∑ni=1wiµi
Var(ΩTR) =E((ΩT(R−M))(ΩT(R−M))T) =
=E(ΩT(R−M)(R−M)TΩ) =ΩTE((R−M)(R−M)T)Ω=
=ΩTE((R−M)(R−M)T)Ω=ΩTVar(R)Ω=ΩTΣΩ=
=σp2 =∑ni=1∑nj=1wiwjσij = ∑ni=1wi2σi2+2∑ni=1∑nj=i+1wiwjσij Σ `e definita positiva,i.e. ΩTΣΩ=0 se e solo se Ω=0
Distribuzione normale
Distribuzione normale con media µ e varianza σ
µ‐1,96σ µ µ‐1,96σ
95%
Distribuzione normale
La funzione di densit`a di probabilit`a di una normale con media µY
e varianza σY2 `e:
φY(y) =fY(y) = 1 σy
√ 2πexp
"
y−µY
σy
2#
La funzione di ripartizione `e: ΦY(y) =FY(y) =R
fY(y)dy
Distribuzione normale: Standardizzazione
Per calcolare la funzione di ripartizione di una v.c. Y distribuita come una normale con media µY e varianza σY2, i.e.
Y ∼N(µY, σY2) occorre standardizzare la variabile Y sottraendone la media e divididendo per la deviazione standard: Z = Y−µY
σY Si ha infatti che: Pr(Y <c1) =Pr(Z <d1)dove d1 = (c1−µY)/σY Esempio:
Ipotizziamo di voler calcolare la probabilit`a che la variabile casuale Y ≤2 con la variabile Y ∼N(1, 4). Z = Y√−41 . Quindi:
Pr(Y ≤2) = Y2−1 ≤ 12 = Φ(0.5) =0, 691
Distribuzione normale: Standardizzazione Siano c1 e c2 tali che c1<c2 e d1 = c1−µY
σY e d2= c2−µY
σY . Valgono quindi:
I Pr(Y ≤c2) =Pr(Z ≤d2) =Φ(d2) I Pr(Y ≥c1) =Pr(Z ≥d1) =1−Φ(d1)
I Pr(c1 ≤Y ≤c2) =Pr(d1 ≤Z ≤d2) =Φ(d2) −Φ(d1)
Distribuzione multivariata
Piu’ variabili possono avere una distribuzione congiunta di tipo normale.
Esempio: Distribuzione bivariata
La funzione di densit`a di una normale bivariata `e:
gX,Y(x, y) = 1
2πσXσY
√
1−ρ2XY
×exp
n 1
−2(1−ρ2XY)×
×
x−
µx
σX
2
−2ρXY
x−
µX
σX
y−
µY
σY
+y−µY
σY
2
ρXY `e l’indice di correlazione tra X e Y . Se ρXY =0 ⇒ gX,Y(x, y) =fX(x)fY(y).
Cio’ vuol dire che se X e Y sono congiuntamente distribuite come una normale bivariata , se sono incorrelate allora sono
indipendenti.In genere questa propriet`a non vale per tutti i tipi di distribuzione congiunta.
La distribuzione marginale di entrambe `e una normale.
Distribuzione normale multivariata
Se X ed Y sono distribuite come una normale bivariata con medie µX e µY e covarianza σXY la loro somma con a e b costanti `e distribuita come una normale.
aX+bY ∼N(aµX +bµY, a2σX2 +b2σY2 +2abσXY) Distribuzione normale condizionata
Se X ed Y sono distribuite come una normale bivariata con medie µX e µY e covarianza σXY; la distribuzione condizionata di Y rispetto a X `e:
Y|X ∼N(µY|X, σY|X)con media µY =µy+ (σXY
σX2 (X −µX)) e varianza σY2|X = 1−ρ2XY
σY2
La media della distribuzione condizionata a X =x dipende da x ma non la varianza.
Distribuzione chi-quadrato
Siano Z1, Z2, . . . , Zn n variabili casuali i.i.d. come normali standard. La variabile casuale:
W = ∑ni Zi2
si distribuisce come una Chi-quadrato con n gradi di libert`a, W ∼ χ2n. Poich`e conosciamo i momenti della distribuzione normale si ha:
E(Zi2) =1
E(Zi4) =3, E(W) =∑ni=1E(Zi2) =n
Var(W) =∑ni=1Var(Zi2) =n[(E(Zi4) − [E(Zi2)]2] =3n−n =2n
Distribuzione t di Student
La distribuzione t di Student si ottiene dal rapporto tra una v.c.
distribuita come una normale standard e una variabile χ2m(r) con r gradi di libert`a, distribuite indipendentemente.
I Z ∼N(0, 1) I W ∼χ2r
I Z e W sono distribuite indipendentemente.
t = √Z W/r
t si distribuisce come una t di Student con r gradi di libert`a, tr. t∞ `e la distribuzione normale standard.
Distribuzione F
La distribuzione F si ottiene dal rapporto di due v.c. W1 e W2, rispettivamente con n1 e n2 gradi di libert`a, distribuite
indipendentemente.
F = W1/n1 W2/n2
F ∼F(n1, n2)
Per n2 →∞ la distribuzione Fn1,n2 diventa uguale alla distribuzione
χ2n1 n1
Campionamento casuale
Attraverso il campionamento casuale vengono estratte n osservazioni dall’intera popolazione.
Esempio:Y1, Y2, . . . , Yn
Y1, Y2, . . . , Yn sono estratti i.i.d.; la distribuzione marginale `e la stessa per ogni Yi, i =1, . . . , n e Yi `e distribuita
indipendentemente da Yj con j 6=i
Distribuzione campionaria della media
La media campionaria ¯Y `e una v.c. costruita con le n osservazioni estratte casualmente:
Y¯ = 1
n (Y1+Y2+ · · · +Yn) = 1 n
∑
n i=1Yi
La media campionaria ¯Y calcolata su un campione casuale sar`a in genere diversa da un altra media campionaria calcolata su un altro campione casuale. La v.c. ¯Y avr`a quindi una sua distribuzione campionaria che associer`a una determinata probabilit`a ad ogni valore ottenuto da uno dei diversi campioni possibili Y1, Y2, . . . , Yn
.
Media di ¯Y
Se Y1, Y2, . . . , Yn sono i.i.d. con media µY e varianza σY2 la media di ¯Y `e:
E(Y¯) = 1 n
∑
n i=1Yi = 1
nnµY =µY
Esempio: E[Y1+Y2] = 122µY =µY
Varianza di ¯Y
La varianza di ¯Y si ottiene utilizzando
Var(aX+bY) =a2σX2 +2abσXY +b2σY2 ponendo a =1 e b=1.
La generalizzazione per n variabili i.i.d. `e:
Var(Y¯) =σY2¯ =var 1 n
∑
n i=1Yi
!
=
= 1 n2
∑
n i=1Var(Yi) + 1 n2
∑
n i=1∑
n j=1,j6=iCov(Yi, Yj) = σ
2 Y
n La deviazione standard `e: .
std.dev.(Y¯) =σY¯ = √σY n
Distribuzione campionaria di ¯Y
Se le v.c. casuali Y1, Y2, . . . , Yn sono i.i.d. e si distribuiscono normalmente come N(µY, σY2)allora ¯Y si distribuisce normalmente con media `e µY e varianza σnY2.
Y¯ ∼N(µY,σY2 n )
Distribuzione esatta
La distribuzione campionaria che assegna in maniera esatta per ogni n una probabilit`a ad ogni valore di ¯Y `e detta distribuzione esatta o distribuzione in campioni finiti di ¯Y . Tale distinzione `e importante quando la distribuzione della v.c. `e complicata o non nota.
Distribuzione asintotica
All’aumentare della numerosit`a campionaria `e possibile fornire un’approssimazione della distribuzione della v.c.. Tale
approssimazione per valori di n→∞ `e detta distribuzione asintotica Gi`a per valori di n=30 tali approsimazioni sono accurate.
Al crescere della dimensione campionaria valgono:
I legge dei grandi numeri I teorema del limite centrale
Legge dei grandi numeri
La legge dei grandi numeri afferma che al crescere di n, ¯Y si avvicina a µY con probabilit`a sempre piu’ vicina a 1.
Convergenza in probabilit`a e consistenza
La media campionaria ¯Y converge in probabilit`a a µY se per ogni costante c >0, la probabilit`a che ¯Y sia inclusa in un intorno arbitrariamente piccolo µY −c, µY +c diventa sempre piu’ vicina all’unit`a. Alternativamente si puo’ dire che per n→∞ ¯Y `e consistente per µY: ¯Y −→p µ
La legge dei grandi numeri sostiene che una media campionaria Y costruita su n v.c. Y¯ i i =1, .., n identicamente e
indipendentemente distribuite con media E(Yi) e varianza finita, i.e. var(Yi) <∞ (presenza di outlier improbabile) converge in probabilit`a a µY, ¯Y −→p µY.
Distribuzione campionaria
Esempio: Consideriamo una media campionaria ¯Y costruita su un campione di 2 osservazioni. ¯Y `e in questo caso la frazione di individui estratti con valori pari a 1 (esempio: percorrenza breve). I valori che ¯Y puo’ assumere sono 3:
I 0 se entrambe le realizzazioni sono pari a 0 con probabilit`a (1−p)2 (i.i.d. !!!)
I 1/2 se una realizzazione `e pari a 1 e l’altra a 0 e quindi Y¯ = (1+0)/2 con probabilit`a 2(p)(1−p)
I 1 se entrambe le realizzazioni sono pari a 1 con probabilit`a p2 Se p=0, 78 si ha
Pr(Y¯ =0) =0, 222=0, 0484, Pr(Y¯ =1/2) =
2(0, 22)(0, 78) =0, 3432, Pr(Y¯ =1) = (0, 78)2 =0, 6084
Teorema del limite centrale
Se Y1, Y2, . . . , Yn si distribuiscono i.i.d. con media µY e varianza σY2 con varianza finita, i.e. σY2 <∞ se n→∞ la distribuzione di
(Y¯−µY)
σY¯ ( con σY2¯ =σY2/n) `e approssimata da una distribuzione normale. Si puo’ anche dire che ¯Y si distribuisce asintoticamente come una normale.