L2. Test di reiezione delle ipotesi

Trattamento e Analisi statistica dei dati sperimentali

Modulo IV: Inferenza Statistica

L2. Test di reiezione delle ipotesi

Prof. Carlo Meneghini

dip. di Scienze Università Roma Tre

e-mail: carlo.meneghini@uniroma3.it

Il problema

Ritengo che un farmaco A sia più efficiente di acqua e zucchero nel prevenire l’influenza, V/F?

Farmaco Placebo

Influenzati 12 16

Sani 35 25

Si ritiene che la dieta X sia più efficace della dieta Y per ridurre la massa grassa dei pazienti obesi, V/F?

Dieta X Dieta Y

Variazione BMI -1.7±0.4 -1.3±0.2

Dati sperimentali e incertezza

Le differenze tra risultati sperimentali e tra dati e valori attesi possono essere:

A) dovute al caso B) reali

I test di reiezione delle ipotesi

utilizzano modelli statistici per scegliere tra A e B valutando il rischio di sbagliare.

I dati sperimentali sono sempre affetti da incertezza, come

confrontare risultati sperimentali e valori di riferimento?

Esempio

Problema:

La concentrazione di proteina A in una varietà di patata è C

=32 µ g/kg con una variabilità σ =5 µ g/kg. Mi portano una patata che sembra contenere una quantità di proteina maggiore: C

=38 µ g/kg. Sarà vero (quindi scopro una nuova varietà?) o è una differenza dovuta al caso?

1) Ipotizzo che la differenza sia dovuta al caso (ipotesi nulla, H

) e che quindi il valore osservato C

provenga dalla popolazione con valore atteso µ =C

, quindi

H

: µ =C

Esempio

2) In base ai dati individuo un modello statistico che descrive la distribuzione attesa dei valori sperimentali (Statistica Test)

In questo caso assumo una distribuzione Normale per la variabile: C=Concentrazione di proteina A. Uso come valore atteso µ =C

e dev.st. σ che sono i parametri della

popolazione di riferimento.

In questo modello il valore C

si trova a destra di C

, poco più distante di C

+ σ

C

σ

C

∆ = |C

-C

| = 6 µ g/kg

∆

Esempio

3) stabilisco l'ipotesi alternativa H

: C

proviene da una popolazione con valore atteso diverso da C

H

: µ ≠ C

, quindi la differenza osservata non è dovuta al caso ma deriva da un motivo reale (fisico, chimico, biologico, etc…).

Nota: L’ipotesi nulla è sempre un’ipotesi "conservativa": l'effetto

che osservo è dovuto al caso.

Nota: Se non c'è motivo per cui la differenza debba essere positiva o negativa devo considerare entrambe le possibilità. Vedremo casi in cui si sceglie una delle due possibilità

C

σ

C

∆

H

H

Esempio

4) Utilizzando la distribuzione della Statistica Test valuto la probabilità che, se fosse valida l'ipotesi Ho, io possa ottenere per effetto del caso una differenza pari o

maggiore di quella osservata questa probabilità è detta p-value e corrisponde all'area della code in figura.

∆

∆

p-value= ∆ ∪ ∆

Esempio

5) Se la probabilità di osservare per caso una tale differenza è sufficientemente piccola, è lecito assumere che l'ipotesi nulla sia falsa e accettare quindi l'ipotesi alternativa. Il p-value stima il rischio che si rigetti l'ipotesi H

pur essendo vera.

=2(1-DISTRIB.NORM(38;32;5;1))

p-value = 0.16

C

=32 µ g/kg, σ =5 µ g/kg C

=38 µ g/kg

∆ = 38-32 = 6 µ g/kg

H _o : µ =C _o H ₁ : µ ≠ C _o

Dati Ipotesi

Generalmente il rischio accettabile per rigettare

l'ipotesi nulla è minore del 5%

P-value < 0.05

Conclusione

p-value = 0.16

C

=32 µ g/kg, σ =5 µ g/kg C

=38 µ g/kg

∆ = 38-32 = 6 µ g/kg

H _o : µ =C _o H ₁ : µ ≠ C _o

Dati Ipotesi

Problema: La concentrazione di proteina A in una varietà di patata è C

=32 µ g/kg con una variabilità σ =5 µ g/kg. Mi portano una patata che sembra contenere una quantità di proteina maggiore: C

=38 µ g/kg. La patata ha una concentrazione sensibilmente diversa dalla media?

Risposta: Se fosse vera l'ipotesi H

potrei ottenere per caso differenze rispetto al valore atteso (C

) anche più grandi di quella che ho osservato nel 16% dei casi (p-

value= 0.16). Per questo non è possibile rigettare l'ipotesi nulla.

Quindi: il test statistico non permette di stabilire che la nuova patata faccia parte di una varietà più ricca di proteina A.

Risposta: Se fosse vera l'ipotesi H

potrei ottenere per caso differenze rispetto al valore atteso (C

) anche più grandi di quella che ho osservato nel 16% dei casi (p-

value= 0.16). Per questo non è possibile rigettare l'ipotesi nulla.

Quindi: il test statistico non permette di stabilire che la nuova patata

faccia parte di una varietà più ricca di proteina A.

Il test di reiezione delle ipotesi:

a che serve?

Un test di ipotesi permette di confrontare quantitativamente dati sperimentali e valori attesi.

• Fornisce un criterio quantitativo per stabilire se tali differenze possono essere attribuite a differenze reali (reiezione

dell'ipotesi nulla),

• valuta il rischio (probabilità) di sbagliare assumendo che le

differenze siano reali e non dovute al caso (p-value).

Come funziona?

Si propone un'ipotesi nulla H

e una alternativa H

: H

: le differenze osservate sono dovute al caso

H

: le differenze osservate non sono dovute al caso ma indicano una differenza dovuta a cause reali.

• In base all'ipotesi H

individuo una Statistica Test che consente di valutare la probabilità che di osservare per caso differenze grandi almeno come quelle effettivamente osservate.

• Più è piccola questa probabilità più è probabile che l'ipotesi H

sia sbagliata.

• Il test di ipotesi valutare il rischio di sbagliare (p-value) rigettando l'ipotesi nulla H

Nota: se il p-value è grande non posso dire che H

è verificata, potrebbe comunque essere sbagliata ma i dati non sono abbastanza accurati per dimostrarlo, quindi dico

che questa è compatibile con i dati (non ne sto dimostrando la validità).

Esempi

Problema 1: Si vuole stabilire se l'uso delle reti a strascico ha impatto sulla popolazione dei delfini:

Ipotesi nulla: la densità di delfini nelle zone in cui si pesca a strascico D1 è uguale alla densità di delfini in zone dove ciò non accade Do

H

: D

= D

Ipotesi alternativa: la densità di delfini nelle zone in cui si pesca a strascico D1 minore della densità di delfini in zone dove ciò non accade Do

H

: D

< D

Nota: in questo caso ho ragione di credere che la pesca riduca la popolazione dei delfini, quindi l'ipotesi alternativa implica solo una riduzione di densità.

Problema 2: In un test clinico si vuole stabilire se un vaccino di nuova generazione è migliore rispetto a quello vecchio:

Ipotesi nulla: i due vaccini hanno la stessa efficienza, quindi l'incidenza della malattia (p=probabilità di ammalarsi) è la stessa per i pazienti trattati con il vaccino vecchio o

nuovo: H

: p

= p

Ipotesi alternativa: il vaccino nuovo ha una efficienza migliore di quello vecchio:

H

: p

> p

Note

• Se si rifiuta l’ipotesi nulla H

, si accetta l’ipotesi alternativa H

• Il p-value stima il rischio di sbagliare: rifiutare H

quando è vera(errore di tipo I)

• Non è corretto dire che si verifica H

o che H

è vera se il p-value è elevato, possiamo solo affermare che essa è compatibile con i dati.

• l’ipotesi nulla H

si riferisce sempre a un valore specifico del parametro della popolazione e contiene sempre un segno di eguale relativo al valore specificato del parametro della popolazione, ad esempio H

: =

• L’ipotesi alternativa contiene sempre un segno diverso da (due code) oppure maggiore di, oppure minore da rispetto elativo al valore

specificato del parametro della popolazione: ad esempio H

: ≠ (test a due code)

H

: (test a una coda)

H

: (test a una coda)

Livello di significatività del Test, α

Indichiamo con α il rischio accettato (massima probabilità) di errore di tipo I In base ad α e al modello (ipotesi H

) si calcolano i valori critici della

variabile che individuano la regione di rifiuto

Se il valore osservato cade nella regione di rifiuto si rigetta l'ipotesi Ho

Se il valore osservato cade nella regione di accettazione l'ipotesi Ho è

compatibile con i dati.

Errori

β α

α:

rrore di prima specie (livello di significatività):

Probabilità di rifiutare H

β: Errore di seconda specie: probabilità di non rigettare H

pur essendo falsa

1- α

confidenza (decisione corretta): non rifiutare H

quando essa è vera

1- β

potenza del test (decisione corretta): rifiutare H

quando essa è falsa (accettare correttamente H

)

Situazione Reale Decisione H

Vera, H

falsa

H

Falsa, H

Vera

Non rifiuto Ho = 1 =

Rifiuto Ho = = 1

α

Nota

∩

∩

β P(H

)

α P(H

)

β

Spesso l'ipotesi alternativa è un evento raro (malattia, patologia, etc…)

quindi anche se β è maggiore di α la probabilità di rifiutare per sbaglio H

è

minore della probabilità di rifiutare

per sbaglio H

Errori N=1000

N( β )= N(H

)

= 30

P(H

) = 0.9 P(H

) = 0.1 α =0.05 β =0.25

N(H

)=NP(H

)=900 N(H

)=NP(H

)=100

N( α )= N(H

)

=45

N(1- α )=855 N(1- β )= 70

P( α )= ⋂H

)

Probabilità di commettere un errore I P( β )= ⋂H

)

Probabilità di commettere un errore II

Errori

=?

Se rifiuto H

, quale è la probabilità che si sia falsa?

= ^# ( _{$ % & ' % &} )

# $ = P )+ R ) (

Bayes

= ^{* ' % &} )

Situazione Reale Decisione H

Vera, H

falsa

, H

Falsa, H

Vera

,

Non rifiuto Ho = 1 =

Rifiuto Ho = = 1

Esempio

Opzione I: valuto il rischio di errore I, p-value

t

=22 h,

=3 h N = 9

. =20 h = t

/

= /

9 = 1 3 t

=22 h,

=3 h N = 9

. =20 h = t

/

= /

9 = 1 3

H _o : µ =t _o H ₁ : µ ≠ t _o H _o : µ =t _o H ₁ : µ ≠ t _o

Dati Dati

Ipotesi Ipotesi

α =2*(DISTRIB.NORM(20;22;1;1))=0.046 α =2*(DISTRIB.NORM(20;22;1;1))=0.046

La probabilità che la durata delle batterie sia di almeno 2

La probabilità che la durata delle batterie sia di almeno 2

C. Meneghini

t

t

t

1- α /2 = 0.975

α /2 = 0.025

t_o=22 h, σ=3 h N = 9

. =20 h =

t

/₀₁ = /

9= 1 3 t_o=22 h, σ=3 h N = 9

. =20 h =

t

/₀₁ = /

9= 1 3

H

:

=t

H

:

t

H

:

=t

H

:

t

Dati

Dati Ipotesi Ipotesi

Esempio

Opzione II: confronto il risultato con un valore limite

scelto in base ad un rischio accettato α

C. Meneghini

t_lim(-) t

t

1- α /2 = 0.975

α /2 = 0.025

t_o=22 h, σ=3 h N = 9

. =20 h = t_oss /0₁ = /

9= 1 3 t_o=22 h, σ=3 h N = 9

. =20 h = t_oss /0₁ = /

9= 1 3

H

:

=t

H

:

t

H

:

=t

H

:

t

Dati

Dati Ipotesi Ipotesi

Esempio

Opzione II: confronto il risultato con un valore limite scelto in base ad un rischio accettato α

Se il valore osservato cade nella regione di rifiuto posso rifiutare l'ipotesi nulla con un

rischio (di errore di tipo I) inferiore ad α Se il valore osservato cade nella regione di rifiuto posso rifiutare l'ipotesi nulla con un

rischio (di errore di tipo I) inferiore ad α

t_oss = 20 h, il valore osservato cade è nella zona di rifiuto quindi la durata delle batterie è significativamente diverso dal valore nominale ( α =0.05)

t_oss = 20 h, il valore osservato cade è nella zona di rifiuto quindi la durata delle

batterie è significativamente diverso dal valore nominale ( α =0.05)

Esempio

z

=INV.NORM.ST.N( α /2; µ ;1) = -1.96 z

=INV.NORM(1- α /2; µ ;1) = 1.96

4 ₅₅ = . ₅₅ . / _{0 &66}

p-value=2*DISTRIB.NORM.ST.N(-ass(Zoss);1) p-value = 0.046

R.: La durata delle batterie è significativamente diversa dalle specifiche (p=0.046)

R.: La durata delle batterie è significativamente diversa dalle specifiche (p=0.046)

R.: La durata delle batterie è significativamente diversa dalle specifiche (a=0.05)

R.: La durata delle batterie è significativamente diversa dalle specifiche (a=0.05)

Zoss = -2 Zoss = -2

α = 0.05

Esempio

Opzione bis: Uso la distribuzione standardizzata per poi usare un p-value scegliere un valore limite

t_o=22 h, σ=3 h N = 9

. =20 h = t_oss /0₁ = /

9= 1 3 t_o=22 h, σ=3 h N = 9

. =20 h = t_oss /0₁ = /

9= 1 3

H

:

=t

H

:

t

H

:

=t

H

:

t

Dati

Dati Ipotesi Ipotesi

Distribuzione Normale

7 z = 1

2: ; ^{< >}

% 5 . 2

~ ) 2 ( Z < − P

% 1 . 0

~ ) 3 ( Z >

P

% 16

~ ) 1 ( Z < −

P C

= (-2 , 2 )

C

= (-3 , 3 )

P(-1 < Z < 1)~68%

P(-2 < Z < 2)~95%

P(-3 < Z < 3)~99.8%

Distribuzione Normale

7 z = 1

2:; ^<>= 7 x = 1

/ 2:; ^{@ A>B==}

= C D/

P( µ -1 σ < X < µ +1 σ )~68%

P( µ -2 σ < X < µ +2 σ )~95%

P( µ -3 σ < X< µ +3 σ )~99.8%

P(-1 < Z < 1)~68%

P(-2 < Z < 2)~95%

P(-3 < Z < 3)~99.8%

E = C /

P(Z) P(X)

Esempio

P(Z<0) P(Z<-2)

P(1<Z<2)

F 7 E GE^>

H

F 7 E GE

H

F 7 E GE^>

H

F 7 E GE

H

Potenza del test

x

(+)

γ =1- β = probabilità di rifiutare l'ipotesi nulla quando questa è falsa

γ =1- β dipende da H ₁ , da α , dalla numerosità del campione

Potenza del test: effetto della numerosità del campione

/

= / K

/

= /

4K