1
Intervallo di confidenza
Cosa vuol dire Intervallo di confidenza al 95%?
Un intervallo di confidenza γ% (con γ < 1) indica una regione intorno al valore osservato dove α=1-γ rappresenta la probabilità che per caso l’intervallo non contenga il valore vero della popolazione da cui proviene il dato o il campione. Dove per caso include tutti gli effetti stocastici che rendono la misura incerta:
dall’aleatorietà nel processo di misura alla variabilità intrinseca del misurando, alle inesatte conoscenze delle condizioni ambientali, etc…
In pratica, indicando con ∆ l’ampiezza dell’intervallo di confidenza, α=1-γ rappresenta il rischio di aver commesso un errore maggiore di ∆/2 in positivo o negativo, nella stima del valore atteso della popolazione da cui proviene il dato.
Esempio 1: confronto con valori di riferimento.
I valori limite di concentrazione di As nell’acqua potabile devono essere inferiori a CAs=10 µg/L (WTO). Si misura il contenuto di As nell’acqua minerale della marca X prendendo campioni da 7 bottiglie a caso. Otteniamo un valore medio Cm=8.5 (µg/L). In questi test la variabilità delle misure (molto maggiore dell’incertezza sulla singola misura) suggerisce una deviazione standard σ=1.5 (µg/L), quindi l’incertezza sul valore medio è:
0.57 (µg/L), ovvero: Cm=8.5±0.57 (µg/L). Per semplicità stiamo immaginato la deviazione standard nota. In casi in cui si abbia una deviazione standard campionaria l’intervallo di confidenza si calcola usando la distribuzione t-Student.
L’intervallo di confidenza al 95% per il contenuto di As nella partita di bottiglie controllata corrisponde a 7.4-9.1 (µg/L). Significa che la probabilità che la concentrazione di As nelle bottiglie (la popolazione delle bottiglie analizzate) sia in realtà maggiore di 9.1 (µg/L) ma per caso abbiamo osservato un valore minore, è stimata minore di 2.5% (anche la probabilità che la concentrazione di As sia minore di 7.4 (µg/L) ma per caso ne abbiamo misurato di più è di 2.5%).
Quindi il rischio di errore affermando che la partita di acqua rientra nei limiti di legge è inferiore a 2.5%.
Esempio 2: screening e controllo qualità.
Una macchina produce pezzi meccanici con diametro Do=25.5 mm. I test per il controllo di qualità prelevano N=5 pezzi a caso per valutare eventuali difformità, con una deviazione standard (nota) σ=0.1 mm . Un eventuale malfunzionamento della macchina produce pezzi con diametri maggiori o minori. Definisci un intervallo di confidenza oltre il quale segnalare un malfunzionamento.
Supponiamo di scegliere i pezzi tra quelli buoni il valore atteso per Dm è proprio Do e la distribuzione dei valori attesi ha deviazione standard σDm=0.1/N1/2 = 0.05 mm. Ora, comunque scelgiamo un campione il diametro medio Dm sarà inferiore a Do, con probabilità P(Dm<Do)=50% e maggiore di Do, con probabilità P(Dm>Do)=50%. In pratica abbiamo il 100% di probabilità di ottenere un diametro diverso da quello nominale! Ora il problema è quello di non creare allarmismi ma limitare il rischio di errore nel segnalare un malfunzionamento della macchina.
2 La distribuzione Dm ha deviazione standard σDm= 0.05 mm ma solo il 68% dei test mi darà un valore all’interno di un intervallo di confidenza compreso tra Do=25.50±0.05 (∆/2= σDm). Quindi nel 32% dei casi (praticamente una volta ogni tre) verrebbe segnalato un errore anche se la macchina funzionasse sempre correttamente. E’
chiaro che sarebbe una situazione imbarazzante per il controllore. Definiamo quindi il rischio massimo che ci si può assumere, ad esempio 5%, in base questo calcoliamo l’intervallo di confidenza al 95% e 24.9±25.09 mm con ∆/2=0.088 mm.
Distribuzione standardizzata. Nella pratica è spesso comodo definire gli intervalli di confidenza in termini di unità di deviazioni standard: una, due, tre deviazioni standard. Questo è legato alle proprietà della distribuzione di Gauss quando il valore atteso è µ=0 e la deviazione standard è σ=1, detta anche Distribuzione Normale Standard. Una variabile che segue la distribuzione normale standard è di solito indicata on la lettera z e la distribuzione presenta punti notevoli ben noti a chi si occupi di analisi dati: la probabilità che la variabile Z assuma un valore in un intervallo tra –1<z<1 è circa 64%: P(–1<z<1)=0.64, P(–2<z<2)=0.95 e P(–3<z<3)=0.98.
Data una variabile aleatoria che segue una distribuzione normale possiamo trasformarla in modo da ottenere una variabile di tipo Z: se la variabile X segue una distribuzione normale con valore atteso µ e deviazione standard σ , allora la variabile Z i cui valori sono definiti:
segue una distribuzione normale standard, abbiamo indicato con σx. Ne segue che x = z σx + µ quindi i valori critici degli intervalli di confidenza diventano 1 σ, 2 σ, 3 σ come mostrato in tabella.
Variabile Z X
Valore atteso 0 µ
Dev. standard 1 σ
Intervalli di confidenza
~64% -1 < z < 1 µ− σ < z < µ+ σx
~95% -2 < z < 2 µ−2σ < z < µ + 2σx
~98% -3 < z < 3 µ−3σ < z < µ+ 3σx
σ µ
= x− z
3 Nell’esempio precedente abbiamo visto che allargare l’intervallo di confidenza ci permette di ridurre il rischio di errore nell’assegnare un valore reale (significativo) ad un effetto dovuto al caso. Ma quanto è lecito allargare l’intervallo di confidenza? Evidentemente con un intervallo eccessivamente ampio si riduce si il rischio di errore ma si rischia anche di non accorgersi di un effetto reale. Per stabilire questo è necessario definire l’entità dell’effetto che si vuole rivelare.
4
Testi di ipotesi
Riconoscere le differenze.
Immaginiamo di essere in cucina. Abbiamo il barattolo del sale (S) ma vorremmo dello zucchero. Vicino c’è un secondo contenitore (B) con una polvere in tutto simile, granulosa e di colore bianco. Evidentemente non posso dire se è sale o zucchero. Probabilmente la assaggio. Questa è la situazione che ci si presenta al momento di applicare un test statistico, più propriamente un test di reiezione delle ipotesi. Il contenitore B contiene una polvere molto simile a S, quindi non posso dire se S e B contengono cose differenti.
S ? B
E’ evidente che se non posso dire che S è diverso da B non posso neanche dire che S è uguale a B, potrebbe essere Zucchero. In pratica la vista e il tatto non mi permettono di distinguere i due oggetti, ma questo non implica che siano uguali. Se però li assaggio e B è dolce posso dire che sono certamente diversi. Nella scienza e in statistica le cose sono spesso cosi: due cubetti uno da 1cm di lato e uno da 2 cm di lato sono diversi ad occhio, ma se differiscono di 50 µm probabilmente non lo vedo ad occhio ed è necessario uno strumento più preciso, ad esempio un calibro. Ma anche se il calibro ci dice che sono uguali, potremmo notare differenze usando un microscopio, etc… Siamo quindi in una condizione di asimmetria in cui non riconoscere una differenza non implica necessariamente che due cose sono uguali. Al contrario è più facile verificare una differenza, avendo a disposizione la sonda giusta.
In statistica la situazione è analoga: i risultati di una misura sono affetti da incertezza più o meno grande (a differenza della soluzione delle espressioni in matematica) per quanto mi sforzi difficilmente riuscirò a dimostrare che due misure siano esattamente uguali, che un risultato sia esattamente uguale a quello che ci si aspetta. D’altronde lo scopo di un esperimento (a parte forse la misura di g nei laboratori del liceo), in molti casi, non è quello di confermare un risultato ma, al contrario, rivelare un effetto anomalo: faccio le analisi del sangue per capire se c’è qualche cosa che non va rispetto ai valori di riferimento, controllo i risultati di un trattamento per vedere se funziona meglio rispetto ad un altro, etc….
Ma le misure sono affette da incertezza per la natura stocastica dei fenomeni e dei processi di misura stessi.
Posso veramente dire che due valori sono diversi? Oppure rischio di prendere per vero un effetto che è dovuto al caso? Quale è il rischio di sbagliare affermando che due valor sono diversi?
La statistica ci aiuta non solo a individuare delle differenze, ma ci permette di quantificare il rischio di errore valutando la probabilità che queste derivino da effetti stocastici.
I test statistici di reiezione delle ipotesi servono a questo si vuole confrontare un risultato sperimentale xexp con un valore di riferimento µ. Per questo si procede per passi:
1. si fa l’ipotesi che il campione provenga da una popolazione che abbia valore atteso uguale al valore di riferimento, questa è l’ipotesi nulla:
µ
= µexp
o: H
2. si definisce un’ipotesi alternativa, qui abbiamo due possibilità:
a) se non abbiamo regione di ipotizzare una differenza in un più o in meno l’ipotesi alternativa è che i dati provengono da un campione di una popolazione con un valore atteso diverso:
µ
≠ µexp
1 : H
5 questo test è detto a “due code” dal momento che valuta la differenza da due lati della distribuzione
b) se abbiamo regione di ritenere che la differenza sia certamente maggiore (o certamente minore) del valore atteso nell’ipotesi nulla, allora l’ipotesi alternativa è che i dati provengono da un campione di una popolazione con un valore atteso maggiore (oppure minore):
µ
>
+ µ
exp 1 :
H oppure H1−:µexp <µ
In questo caso il test è detto a “una coda” dal momento che valuta la differenza da un solo lato della distribuzione
3. utilizzando un modello opportuno di distribuzione di probabilità, si calcola la probabilità di osservare per caso una differenza ∆=x-µ tra il valore sperimentale e il valore atteso grande almeno quanto quella osservata.
a) Nel caso di un test a una coda: se l’ipotesi alternativa èH1+si calcola la probabilità che per caso si possa ottenere una differenza maggiore di quella osservata dal lato di x>µ: p=P(x−µ>xexp−µ). Altrimenti, se l’ipotesi alternativa è H1− la differenza si calcola dal lato x<µ si calcola la probabilità che per caso si possa ottenere una differenza : p=P(x−µ<xexp−µ)
b) Nel caso di un test a due code: si calcola la probabilità che la differenza in modulo sia maggiore della differenza osservata:
|) x
|
| x (|
P
p= −µ > exp−µ
4. La p rappresenta il rischio che la differenza osservata sia dovuta al caso: più p è piccola più il rischio che la differenza osservata sia dovuta al caso è piccola e quindi maggiore è la confidenza nel fatto che possa essere un effetto reale. Se invece la p è grande non possiamo rigettare l’ipotesi nulla. Questo non significa che la possiamo accettare: potrebbe essere che i dati a disposizione semplicemente non sono sufficienti per rivelare una differenza. In questo caso si dice che la differenza non è significativa.
Vediamo ora, tra i test statistici, quelli che ci permettono di verificare differenze tra valori puntuali osservati e attesi o tra valori ottenuti da osservazioni diverse, per variabili che seguono una distribuzione normale.
Z-test
Dobbiamo distinguere due casi: il confronto tra risultato sperimentale xexp (eventualmente ottenuto come media su un campione di N misure) e un valore di riferimento µ oppure tra due risultati sperimentali x1 e x2 (eventualmente ottenuti come media su campioni di N misure). In entrambi in casi le variabili devono seguire una distribuzione normale e la deviazione standard σ della distribuzione è nota a priori.
Nel caso A:
In base all’ipotesi nulla Ho:µexp =µ la variabile
σ µ
= exp−
exp
z x
Segue una distribuzione normale standard. Se il valore sperimentale è la media di un campione di dimensione N la funzione di test è:
6 N
zexp xexp σ
µ
= −
Per il test a due code si calcola la probabilità di osservare per caso un valore della z distante da z=0 più del valore sperimentale zexp: p=P(|z| > |zexp|), per un test ad una coda: p=P(z > zexp) e, in base al risultato si accetta o si rifiuta l’ipotesi nulla. La funzione EXCEL: DISTRIB.NORM.ST(zexp) calcola
∫
∞
−
=
=
zexp exp) p(z)dz z
( F
p notare che
zexp deve essere negativo perché l’integrale si riferisca ad una coda della distribuzione. Quindi:
• per un test ad una coda: p= DISTRIB.NORM.ST(-|zexp|)
• per un test a due code: p=2 DISTRIB.NORM.ST(-|zexp|) Nel caso B:
L’ipotesi nulla è che X1 e X2 siano dati che provengono dalla stessa popolazione, quindi con medesimo valore atteso. Quindi la differenza ∆=x1-x2 ha valore atteso nullo, quindi: Ho:∆=0 mentre l’ipotesi alternativa è
0 :
H1 ∆≠ nel caso di test a due code e H1:∆>0 (oppure H1:∆<0) nel caso di test ad una coda. La variabile ti test è:
2 2 2 1
2 1 exp
x z x
σ + σ
= −
Si applica quindi la stessa funzione vista sopra.
TESTZ(dati;µ;σ)
La funzione EXCEL: =TESTZ(dati;µ;σ) fornisce direttamente il valore di p per un test z ad una coda confrontando la in valore medio della matrice dati con il valor atteso µ assumendo la deviazione standard σ. In questo caso è necessario usare una matrice dati, un singolo valore non funziona.
DISTRIB.NORM.ST(zexp) P(z<zexp) P1c= DISTRIB.NORM.ST(-|zexp|) P2c= 2 * DISTRIB.NORM.ST(-|zexp|) TESTZ(dati;µ;σ) P(z<zexp) P1c=testz(dati;µ;σ)
P1c=2* testz(dati;µ;σ)
