Lezione 24

Lezione 24

VERIFICA DI IPOTESI

Oltre che per la costruzione degli intervalli di confidenza, i dati campionari sono anche utilizzati per verificare se una qualche congettura su una caratteristica della popolazione può essere ritenuta verosimile o meno, sulla base dei risultati ottenuti.

Per esempio, si potrebbe voler verificare se un certo dado è equilibrato e in questa situazione una indicazione sulla verosimiglianza di questa ipotesi si potrebbe ottenere effettuando numerosi lanci del dado in esame.

In generale un’ipotesi statistica è una supposizione su una qualche caratteristica ignota di una popolazione. Per esempio si potrebbe voler verificare se

- un macchinario produce una proporzione adeguata di pezzi con le caratteristiche prestabilite,

- un dado o una moneta sono equilibrati,

- un farmaco è efficace nella cura di una malattia, - due variabili sono indipendenti in senso assoluto

- la distribuzione di una variabile Z nella popolazione può essere approssimata da un certo modello teorico.

La procedura utilizzata per la verifica di queste ipotesi costituisce il cosiddetto test statistico.

Considerando, per esempio, la verifica dell’ipotesi che una determinata moneta è equilibrata, si potrebbe effettuarne un numero sufficientemente elevato di lanci.

Si riterrà plausibile l’ipotesi se il numero di teste non risulta molto diverso dal numero di croci, ma un risultato di questo tipo non ci garantisce che la moneta sia effettivamente equilibrata, così come una netta prevalenza di una faccia sull’altra non ci garantisce che la moneta sia effettivamente truccata.

Nella procedura di verifica di una qualsiasi ipotesi non si può mai stabilire con certezza se un'ipotesi è vera o falsa, dato che uno stesso risultato può derivare da una moneta equilibrata o da una moneta truccata.

Se si lancia una moneta qualsiasi per 100 volte, il numero di teste varia comunque da un minimo di 0 fino a un massimo di 100, anche se alcuni risultati sono più probabili di altri.

Se la moneta è equilibrata i risultati più probabili sono quelli in cui il numero di teste è prossimo al numero di croci, ma è possibile ottenere un numero di teste pari a 0 o pari a 100, anche se la probabilità sarebbe piccolissima e, in entrambi i casi, pari a (0.5)¹⁰⁰.

In maniera analoga, se la moneta è truccata in modo che la faccia testa è 10 volte la probabilità della faccia croce, sarebbe possibile ottenere uno stesso numero di teste e di croci, ma anche 100 volte la faccia croce.

Un qualsiasi criterio di decisione circa l’accettazione o il rifiuto di un’ipotesi statistica comporta sempre il rischio di commettere due diversi tipi di errore che consistono:

- nel rifiutare l’ipotesi quando è vera - nell’accettarla quando è falsa.

Per semplicità verrà considerato solo il primo tipo di errore.

La congettura che si vuole verificare è chiamata ipotesi nulla e viene indicata con la notazione “H0:”.

Nel caso della moneta, indicata con  la probabilità della faccia testa, l’ipotesi che la moneta sia bilanciata assume la forma seguente

H0:  =0.5

In generale, considerato un certo parametro  di una variabile Z, l’ipotesi che tale parametro assuma il valore 0 consiste nel verificare l’ipotesi

H0:  = 0

Nell’esempio della moneta si ritiene verosimile l’ipotesi nulla se il numero di teste e di croci ottenute nei diversi lanci non è troppo diverso e questa considerazione può essere generalizzata per una ipotesi su un qualsiasi parametro.

Il procedimento alla base di una verifica di ipotesi consiste nel confrontare il valore t0 assunto dallo stimatore T del parametro  sul campione estratto e nel ritenere l’ipotesi nulla H0:=0 tanto più verosimile quanto più la stima campionaria t0 risulta prossima a 0.

L’ipotesi nulla H0 sembra quindi tanto più verosimile quanto più la stima campionaria ottenuta è un risultato probabile sotto H0. Se la stima campionaria è invece distante da 0 si rifiuta l’ipotesi.

Occorre quindi determinare se un certo risultato campionario rientri fra quelli più probabili sotto ipotesi nulla o fra quelli meno probabili.

La probabilità associata alle diverse stime del parametro viene calcolata sulla base della distribuzione di probabilità di T sotto ipotesi nulla, ossia considerata assumendo come vera l’ipotesi nulla che 0 è il vero valore di .

Una volta determinata tale distribuzione, l’insieme dei possibili risultati campionari viene suddiviso fra quelli più probabili sotto H0, che danno origine alla regione di accettazione di H0, e quelli meno probabili sotto la stessa ipotesi, che danno origine alla regione di rifiuto o regione critica.

Nell’esempio della moneta, se la numerosità campionaria 𝑛 è abbastanza elevata, sotto ipotesi nulla la distribuzione di 𝑃̂ "proporzione di teste " è approssimata da una distribuzione

𝑁 [𝜋₀,𝜋₀ × (1 − 𝜋₀)

𝑛 ] = 𝑁 (0.5,0.5 × (1 − 0.5)

𝑛 )

per cui i risultati più probabili di 𝑃̂ sotto H0 sono compresi in un intervallo centrato su 0.5: valori della proporzione campionaria prossimi a 0.5 portano quindi a ritenere verosimile l’ipotesi che la moneta è equilibrata.

Fissato il valore della probabilità  che si desidera associare alla regione di rifiuto, il complemento a 1 di tale probabilità, 1−, indica la probabilità associata alla regione di accettazione.

Nell’esempio della moneta, la distribuzione di probabilità dello stimatore, sotto ipotesi nulla, assume la forma riportata nella figura seguente in cui la regione di accettazione è evidenziata in verde, mentre la regione di rifiuto è evidenziata in rosso

La regione di accettazione dell’ipotesi =0.5 è interna ai due quantili di ordine

/2 e 1−/2 della distribuzione 𝑁 (0.5,0.5×(1−0.5)

𝑛 ), mentre la regione di rifiuto corrisponde alle due code della distribuzione.

Va osservato che il procedimento appena descritto potrebbe essere semplificato facendo riferimento alla normale standardizzata, così che i valori che delimitano la regione di accettazione e di rifiuto corrispondano ai quantili della normale standardizzata (riportati nella tavola B). Invece di usare la distribuzione

𝑃̂~𝑁 [𝜋₀,𝜋₀× (1 − 𝜋₀)

𝑛 ] = 𝑁 (0.5,0.5 × (1 − 0.5)

𝑛 )

si può quindi usare la distribuzione

𝑃̂ − 𝜋₀

√𝜋⁰× (1 − 𝜋₀) 𝑛

= 𝑃̂ − 0.5

√0.5 × (1 − 0.5) 𝑛

~𝑁[0,1]

In questo caso il grafico assume la forma

per cui l’intervallo di accettazione è centrato su 0, mentre i valori che delimitano la regione di accettazione e di rifiuto corrispondono ai quantili di ordine /2 e 1−/2 della normale standard.

Gli estremi dell’intervallo di accettazione dell’ipotesi nulla sono detti valori soglia o valori critici.

Quando il valore t di T cade nella regione critica si conclude affermando che il valore della statistica T è significativo e l’ipotesi nulla viene rifiutata.

Come si nota dal grafico precedente, è possibile che il valore della stima assuma un valore compreso nella regione di rifiuto anche se l’ipotesi nulla è vera e la probabilità di un risultato di questo tipo corrisponde proprio ad  che rappresenta quindi la probabilità dell’errore che consiste nel rifiutare l’ipotesi nulla quando è vera

Il valore  corrisponde quindi alla probabilità di ottenere, quando è vera H0, un risultato compreso nella regione di rifiuto e, per questo motivo, viene detto errore di prima specie o livello di significatività del test.

La regola di decisione utilizzata porterà al rifiuto di un’ipotesi vera con una probabilità pari ad , per cui il suo valore viene fissato in modo da essere “quasi sicuri” di non respingere H0 quando è vera.

Questa probabilità di errore non potrà essere eliminata del tutto in quanto al diminuire di  aumenta l’ampiezza dell’intervallo di accettazione fino a ottenere intervalli di accettazione così ampi da non portare al rifiuto di H0 anche in presenza di risultati molto improbabili sotto quell’ipotesi.

I valori di  più comunemente utilizzati sono 0.10, 0.05 e 0.01.

Va infine sottolineato il fatto che se t0 risulta compreso nell’intervallo di accettazione dell’ipotesi nulla, questo non significa che l’ipotesi H0 è necessariamente vera.

Nell’esempio della moneta, ottenendo un numero di teste pari a 501 su 1000 lanci non si rifiuterebbe l’ipotesi H0: =0.5 che la moneta sia equilibrata, ma neppure le ipotesi del tipo H0: =0.501 oppure H0: =0.502.

Dato un certo risultato campionario, esistono più valori del parametro che non verrebbero rifiutati sotto ipotesi nulla e tutti questi valori costituiscono, in realtà, l’intervallo di confidenza del parametro.

Quando la stima campionaria cade nell’intervallo di accettazione dell’ipotesi nulla, si conclude quindi l’indagine affermando che “non si ha motivo di rifiutare H0 al livello  prefissato”.

VERIFICA DI IPOTESI SUL PARAMETRO  La verifica dell’ipotesi

H0:  = 0

viene effettuata in modo diverso in base alla distribuzione della media campionaria, per cui i casi che verranno esaminati sono i medesimi considerati a proposito della costruzione dell’intervallo di confidenza di 

1) La variabile Z ha una distribuzione normale di varianza nota Come si è detto in precedenza, questa situazione è poco realistica, ma se

𝑍~𝑁(𝜇, 𝜎²nota)

di conseguenza la distribuzione della media di un campione casuale di numerosità 𝑛 estratto con ripetizione risulta

𝑋̄~𝑁 (𝜇,𝜎² 𝑛 )

Sotto l’ipotesi nulla H0:  = 0 la distribuzione assume la forma

𝑋̄~𝑁 (𝜇₀,𝜎² 𝑛 )

per cui l’intervallo di accettazione di H0 è centrato su 0 e, una volta scelto il livello di significatività , è delimitato dai due quantili che isolano rispettivamente a sinistra e a destra della distribuzione un’area pari ad /2, mentre gli intervalli a sinistra del valore critico inferiore e a destra del valore critico superiore costituiscono invece la regione di rifiuto dell'ipotesi.

Si è però detto che la verifica dell'ipotesi nulla può essere effettuata in modo più semplice utilizzando la variabile standardizzata, che nel caso in esame è

𝑋̄ − 𝜇₀

𝜎 √𝑛⁄ ~𝑁(0, 1)

In questo modo la regione di accettazione è costituita dai valori compresi fra i quantili di ordine /2 e 1−/2 della N(0, 1), perché questo insieme di risultati è più probabile sotto ipotesi nulla.

Data la simmetria della distribuzione rispetto allo zero è però sufficiente confrontare il risultato della seguente statistica test

|𝑋̄ − 𝜇₀ 𝜎 √𝑛⁄ |

con il quantile di ordine 1−/2 della N(0, 1).

Se la statistica test risulta maggiore del quantile 𝑧_{1−𝛼 2⁄} il suo valore è significativo e l'ipotesi nulla viene rifiutata al livello di significatività , in caso contrario l'ipotesi è compatibile con i risultati campionari e non vi sono motivi per rifiutarla

Se |𝑋̄ − 𝜇₀

𝜎 √𝑛⁄ | ≤ 𝑧_{1−𝛼 2⁄} non si ha motivo di rifiutare l^′ipotesi nulla Se |𝑋̄ − 𝜇₀

𝜎 √𝑛⁄ | > 𝑧_{1−𝛼 2⁄} si rifiuta l^′ipotesi nulla

ESEMPIO

Su un campione di 9 elementi estratto da una popolazione normale di varianza nota pari a 144 si è ottenuta una media campionaria pari a 8.5. Si vuole verificare l’ipotesi che  sia pari a 10 al livello =0.1.

L’ipotesi nulla è

H0:  = 10

e, sulla base dei risultati campionari, la statistica test risulta pari a

|𝑋̄ − 𝜇₀

𝜎 √𝑛⁄ | = |8.5 − 10

√144/9| = 0.375

e va confrontata con il quantile z0.95=1.645, per cui non si ha motivo di rifiutare l’ipotesi al livello di significatività del 10%.

Una qualsiasi verifica di ipotesi può essere effettuata in modo più accurato mediante il calcolo del p-valore associato al valore assunto dalla statistica test.

Il p-valore corrisponde la probabilità che la statistica test assuma un valore ‘più estremo’ di quello osservato. Quanto più il risultato ottenuto è piccolo, tanto meno verosimile appare l’ipotesi nulla.

Nel caso considerato, quindi, il p-valore corrisponde alla probabilità che la statistica test assuma un valore maggiore di quello osservato.

In generale, considerato il valore |t| assunto dalla statistica test T che si distribuisce come una N(0, 1), il p-valore è la somma dell’area isolata alla destra di |t| più l’area alla sinistra di -|t|.

Posto t > 0, il p-valore corrispondente è quindi pari a

1 − Φ(𝑡) + Φ(−𝑡) = 1 − Φ(𝑡) + 1 − Φ(𝑡) = 2[1 − Φ(𝑡)]

Nelle due figure seguenti sono riportati due possibili valori t (per t > 0) della statistica test T e il p-valore corrispondente è indicato dall’area colorata in arancione. Dal confronto con il livello di significatività  prefissato, si vede come nel primo caso non si rifiuta l’ipotesi nulla, mentre nel secondo si rifiuta.

ESEMPIO

Sulla base dei dati dell’esempio precedente, si calcoli il p-valore associato alla statistica test.

Il valore della statistica era pari a 0.38, per cui il p-valore associato risulta

2[1 − Φ(0.38)] = 2 × (1 − 0.6480) = 0.704

Si può quindi concludere che il risultato della statistica test non porta al rifiuto dell’ipotesi nulla per nessun livello di significatività minore di 0.704 e, quindi, per nessuno dei valori di  più comunemente usati.

2) La variabile Z ha una distribuzione normale di varianza non nota e la numerosità campionaria è piccola (minore o uguale a 30)

Quando la varianza della popolazione non è nota e viene stimata mediante la varianza campionaria corretta, la funzione

𝑋̄ − 𝜇

𝑆_𝑐⁄√𝑛~ 𝑡_𝑛−1

si distribuisce come una t di Student con 𝑛 − 1 gradi di libertà per cui, sotto ipotesi nulla, la statistica test

|𝑋̄ − 𝜇₀ 𝑆_𝑐⁄√𝑛|

va confrontata con il quantile di ordine 1−/2 della distribuzione 𝑡_𝑛−1.

Se |𝑋̄ − 𝜇₀

𝑆_𝑐⁄√𝑛| ≤ 𝑡_{𝑛−1,1−𝛼 2⁄} non si ha motivo di rifiutare l^′ipotesi nulla Se |𝑋̄ − 𝜇₀

𝑆_𝑐⁄√𝑛| > 𝑡_{𝑛−1,1−𝛼 2⁄} si rifiuta l^′ipotesi nulla

ESEMPIO

Su un campione casuale di 10 elementi estratto da una popolazione normale sono stati rilevati i seguenti valori

3.1 3.1 4.2 4.6 5.0 5.2 5.3 6.0 6.5 7.0

Verificare l’ipotesi che la media della popolazione sia pari a 6 al livello di significatività =0.01.

Dai dati campionari risulta 𝑥̄ = 5 𝑠² = 1.54 𝑠_𝑐² =10

9 × 𝑠² = 1.71̄

La statistica test risulta quindi

| 5 − 6

√1.71̄/10| ≈ 2.4175 < 𝑡_9,0.995 = 3.250

per cui non si ha motivo di rifiutare l’ipotesi nulla al livello di significatività 0.01 prefissato.

3) La variabile Z ha una distribuzione normale di varianza non nota e la numerosità campionaria è elevata (maggiore di 30)

In questo caso la numerosità campionaria è abbastanza elevata da poter utilizzare il teorema limite fondamentale, per cui la distribuzione della funzione

𝑋̄ − 𝜇

𝑆_𝑐⁄√𝑛~ 𝑁(0, 1)

può essere approssimata da una normale standard e la statistica test

|𝑋̄ − 𝜇₀ 𝑆_𝑐⁄√𝑛|

va confrontata con il quantile di ordine 1−/2della normale standard.

Se |𝑋̄ − 𝜇₀

𝑆_𝑐⁄√𝑛| ≤ 𝑧_{1−𝛼 2⁄} non si ha motivo di rifiutare l^′ipotesi nulla Se |𝑋̄ − 𝜇₀

𝑆_𝑐⁄√𝑛| > 𝑧_{1−𝛼 2⁄} si rifiuta l^′ipotesi nulla

ESEMPIO

Su un campione casuale di 50 elementi proveniente da una popolazione normale si è ottenuto 𝑥̄ = 3.75 e 𝑠_𝑐 = 1.8.

Verificare l'ipotesi H0: =3 al livello di significatività  = 0.05 utilizzando il p-valore

La statistica test risulta pari a

|3.75 − 3

1.8 √50⁄ | ≈ 2.9463

Il p-valore risulta quindi uguale a

2[1 − Φ(2.95)] = 2 × (1 − 0.9984) = 0.0032

per cui l’ipotesi nulla deve essere rifiutata per un livello  = 0.05 (e per qualsiasi livello  superiore a 0.0032).

4) La variabile Z ha una distribuzione non nota e la numerosità campionaria è elevata

Non si ha nessuna informazione circa la distribuzione della variabile Z ma il campione è grande per cui, sulla base del teorema limite fondamentale, si utilizza la medesima funzione del caso precedente

𝑋̄ − 𝜇

𝑆_𝑐⁄√𝑛~ 𝑁(0, 1)

considerata sotto ipotesi nulla.

Se |𝑋̄ − 𝜇₀

𝑆_𝑐⁄√𝑛| ≤ 𝑧_{1−𝛼 2⁄} non si ha motivo di rifiutare l^′ipotesi nulla Se |𝑋̄ − 𝜇₀

𝑆_𝑐⁄√𝑛| > 𝑧_{1−𝛼 2⁄} si rifiuta l^′ipotesi nulla

ESEMPIO

Su un campione casuale di 50 elementi si sono ottenuti i seguenti risultati:

𝑥̄ = 0.35 e 𝑠² = 0.98. Si vuole verificare l’ipotesi H0: =0 mediante il calcolo del p-valore considerando gli usuali livelli di significatività

Occorre innanzitutto calcolare la varianza campionaria corretta 𝑆_𝑐² =50

490.98 = 1

La statistica test risulta

| 0.35

√1/50| ≈ 2.4749

per cui il p-valore è

2[1 − Φ(2.47)] = 2 × (1 − 0.9932) = 0.0136

L’ipotesi nulla deve essere rifiutata per i livelli di significatività  = 0.10 e

 = 0.05, ma non si rifiuta per  = 0.01.

VERIFICA DI IPOTESI SU 

Anche nel caso di una verifica di ipotesi su una proporzione ci si riferirà al solo caso in cui la numerosità campionaria è sufficientemente elevata da poter utilizzare il teorema limite fondamentale. In questo caso la distribuzione asintotica dello stimatore 𝑃̂ risulta

𝑃̂~𝑁 (𝜋,𝜋(1 − 𝜋)

𝑛 )

e sotto l’ipotesi nulla

H0:  = 0

assume quindi la forma

𝑃̂~𝑁 (𝜋₀,𝜋₀(1 − 𝜋₀)

𝑛 )

Effettuando l’operazione di standardizzazione risulta

𝑃̂ − 𝜋₀

√𝜋⁰(1 − 𝜋₀) 𝑛

~𝑁(0, 1)

per cui la verifica dell’ipotesi nulla si basa sulla statistica test

|| 𝑃̂ − 𝜋₀

√𝜋⁰(1 − 𝜋₀) 𝑛

||

che va confrontata con il quantile di ordine 1−/2 della normale standard.

Se || 𝑃̂ − 𝜋₀

√𝜋⁰(1 − 𝜋₀) 𝑛

|| ≤ 𝑧1−𝛼 2⁄ non si ha motivo di rifiutare H₀

Se || 𝑃̂ − 𝜋₀

√𝜋⁰(1 − 𝜋₀) 𝑛

|| > 𝑧1−𝛼/2 si rifiuta H₀

ESEMPIO

Si vuole verificare al livello di significatività dell’1% l’ipotesi che il tasso di articoli difettosi prodotti da un macchinario sia pari al 3% sapendo che su un campione casuale di 5000 articoli 180 sono risultati difettosi. Calcolare anche il p-valore corrispondente.

La statistica test risulta

||0.036 − 0.03

√0.03 × 0.97 5000

|| ≈ 2.4871 < 𝑧0.995 = 2.576

e l’ipotesi viene quindi ritenuta compatibile al livello  = 0.01.

Il p-valore risulta

2[1 − 𝛷(2.49)] = 2 × (1 − 0.9936) = 0.0128

per cui l’ipotesi non si rifiuta per =0.01, ma si rifiuterebbe per =0.05.