1 Sulla struttura empirica dei test
L’idea generale su cui si basa ogni test è composta di alcuni elementi simili e semplici. Ci riferiamo però ad elementi non strutturati secondo una teoria, ma aventi carattere pratico ed empirico.
Il primo elemento è una distribuzione, diciamo una densità per sempli…care, che viene ipotizzata. Essa corrisponde, nelle applicazioni, alla situazione di riferimento del passato:
un metodo di cura standard, la situazione standard di una produzione, ecc. Non tutti i test speci…cano univocamente ed in tutti i dettagli questa distribuzione: o perché non speci…cano il valore ci certi parametri (es. la varianza, in un test di Student), o perché viene solo speci…cato un insieme a cui essi appartengono e non un singolo valore (si pensi all’ipotesi nulla del tipo 0). Ora però, per semplicità, immaginiamo che la distribuzione di riferimento, quella che descrive l’ipotesi nulla H0, sia completamente speci…cata da una densità f0(x) (as esempio una N m0; 20 .
Il secondo elemento è un campione speriementale x1; :::xN. Si vuole capire se esso è compatibile con f0, se può essere un campione estratto da f0, oppure se è incompatibile e quindi l’ipotesi H0 vada ri…utata. Se disponiamo di un programma statistico che riesce a generare campioni di numerosità N estratti da f0, possiamo generarne un po’e guardare ad occhio se notiamo delle di¤erenze col campione x1; :::xN, ma ci si rende conto con un po’di esempi che il discorso così è troppo vago.
Apriamo una parentesi utile per il seguito: si può ad esempio porre l’attenzione su un singolo valore del campione, ad esempio x1, e cercare di capire se esso sia anomalo o meno rispetto ad f0. Qui nasce un primo elemento di calcolo: il grado di anomalia di un singolo valore sperimentale x rispetto ad una densità f0. Per densità particolarmente semplici, il valore f0(x ) può fungere da grado di anomalia. Ma alla …ne, per avere una ricetta più condivisa, si prende la probabilità della coda de…nita da x . Ad esempio, se x è a destra della media, si prende P (X x ), ovveroR1
x f0(x) dx (dove X è una variabile con densità f0). A volte, per densità simmetriche, per semplicità diciamo simmetriche rispetto all’origine, si prende P (jXj x ). Si noti che la semplice distanza euclidea di x da m è un pessimo indicatore, perché non tiene conto della probabilità con cui i valori possono presentarsi.
Ma torniamo al discorso principale: abbiamo un campione speriementale x1; :::xN e vogliamo capire se esso è compatibile con f0. C’è troppa informazione nel campione nel suo complesso e non sappiamo come usarla (ben vengano alternative che riescano ad usare tale complessità). Allora sempli…chiamo: calcoliamo un riassuno u, ad esempio x o s2. Ha senso confrontare u con f0? Direttamente no. Ma u non è altro che un singolo valore sperimentale di una v.a. U costruita a partire dal concetto di campione teorico X1; :::XN nello stesso modo in cui u è costruito a partire da x1; :::xN (cioè abbiamo U = g (X1; :::XN) per una certa g, ed analogamente u = g (x1; :::xN)). Quindi basta misurare il grado di anomalia di u rispetto ad U , ovvero Pf0(U u) oppure Pf0(U u) a seconda dei casi (o se si preferisce Pf0(jUj > u) quando ci sono condizioni di simmetria che lo suggeriscano).
Qui con Pf0 indichiamo la probabilità associata all’ipotesi nulla. Nel seguito abbreviamo le notazioni e le possibilità scrivendo sempre P (U u). Se il numero P (U u) è molto piccolo, signi…ca che u è molto raro rispetto ad f0, quindi ri…uteremo H0.
Il valore p := P (U u) è detto valore-p oppure soglia di accettazione, del test in questione.
In questa forma, riassumiamo, i test sono concetti semplicissimi: si ha una densità di riferimento f0, un campione sperimentale x1; :::xN, un suo riassunto u, e si calcola p = Pf0(U u) (o simili). A seconda della piccolezza di p, si decide se ri…utare o meno H0.
Una nota a margine: la scelta di u può essere dettata, oltre che da opportunità matem- atiche, dal fatto che esso corrisponde alla variazione rispetto a f0 che pensiamo di scoprire.
Se vogliamo capire se una nuova terapia abbassa il numero di giorni richiesti dalla cura, non serve fare un test su u = s2: quand’anche scoprissimo che è aumentato rispetto a f0, non trarremmo concusioni utili per la nostra indagine, salvo dire che la nuova terapia è diversa da quella originaria.
Torniamo al problema di eseguire un test. E’indispensabile saper calcolare Pf0(U u), quindi conoscere la distribuzione di U data f0. Per questa ragione, i test classici, dell’era precendente allo sviluppo di strumenti di calcolo molto veloci, cercavano di costruire delle grandezze U semplici ed universali, di legge nota, ad es. gaussiana, chi-quadro, di Student ecc., che potessero essere tabulate (a prezzo di ingenti calcoli, però fatti una volta per tutte).
Invece oggi giorno basta usare il metodo di Monte Carlo. Esso richiede solo una cosa: poter generare campioni ad altissima numerosità da f0. Se questo è possibile (e lo è molto in generale, ma non approfondiamo questo aspetto), basta ripetere un grandissimo numero n di volte il seguente procedimento: si genera un campione di numerosità N estratto da f0 e se ne calcola u. Si ottiene così un campione u1; :::; un estratto da U , dove U è intesa con legge relativa ad f0. Poi basta calcolare la percetuale di elementi di u1; :::; un che stanno alla destra di u, e quella è una stima di p = P (U u). Non serve alcuna universalità o semplicità di U , solo la possibilità di generare grandi campioni da f0.
Ovviamente questa scorciatoia numerica, utilissima, non cancella l’interesse per i risul- tati teorici della statistica. Ad esempio, così com’è stata espressa, richiede che H0 sia espressa tramite una dichiarazione univoca di f0. Non è sempre così, come abbiamo già os- servato. Restano quindi forndamentali vari ragionamenti relativi ai test unilaterali basati sul rapporto di verosimiglianza crescente, oppure i ragionamenti relativi al test di Stu- dent, per fare due esempi. E’però vero che le idee espresse sopra sono molto semplici ed uni…canti, ed allargano enormemente lo spettro di situazioni suscettibili di test statistici (almeno empirici).
Problem 1 Capire come si collegano i concetti rigorosi della teoria dei test (regioni di ri…uto, livello ) con le procedure sopra espresse.
2 Alcuni esercizi preliminari
Exercise 2 Per una X N (2; 9), calcolare P (X < 0) e P (X > 6). Trovare poi tale che P (X < ) = 0:05.
-5 0 5 10
0.2 0.4 0.6 0.8 1.0
x y
P (X < 0) = 1 P (Z 0:66) = 1 0:745 = 0:255
P (X > 6) = 1 P (X 6) = 1 P (Z 1:33) = 1 0:908 = 0:092 P (X < ) = 0:05
P Z < 2
3 = 0:05
2
3 = 0:05
2
3 = q0:05
= m + q0:05
= 2 3 1:64 = 2: 92
q0:05= q0:95= 1:64
Exercise 3 Per una T T (20), calcolare P (T < 1). Dare un intervallo in cui cade P (T < 1:1). Trovare tale che P (T < ) = 0:05.
-5 -4 -3 -2 -1 0 1 2 3 4 5 0.2
0.4 0.6 0.8 1.0
x y
P (T < 1) = 1 P (T < 1)
= 1 0:85 = 0:15:
P (T < 1:1) = 1 P (T < 1:1)
2 [1 0:9; 1 0:85] = [0:1; 0:15]
P (T < ) = 0:05
= t0:05;20= t0:95;20= 1:724 (si noti la somiglianza col quantile gaussiano).
Exercise 4 Sia X N (5; 4). Calcolare P (X < 3), P (X > 8), trovare tale che P (X < ) = 0:05. Ra¢ gurare i tre problemi.
Sol: Z = X 52 N (0; 1). Quindi P (X < 3) = P Z < 3 5
2 = P (Z < 1) = 1 P (Z < 1) = 1 0:84134 = 0:158 66 P (X > 8) = P (Z > 1:5) = 1 P (Z 1:5) = 1 0:93319 = 0:066 81
0:05 = P (X < ) = P Z < 5 2 quindi
5
2 = q0:05= q0:95= 1:64
= 5 2 1:64 = 1: 72:
Vanno aggiunti i gra…ci della densità gaussiana N (5; 4) con le regioni tratteggiate di cui si deve calcolare l’area oppure il problema inverso del calcolo di .
Exercise 5 Sia X T (15). Trovare tale che P (X < ) = 0:05. Trovare un intervallo in cui cada P (X > 2:5).
Sol:
= t15;0:05= t15;0:95= 1:7531
P (X > 2:5) = 1 P (X 2:5) = 1 FT (15)(2:5) = 1 con 2 (0:975; 0:99), quindi
0:01 < P (X > 2:5) < 0:025:
3 Esercizi sui test da un punto di vista empirico
Exercise 6 La guarigione da una certa malattia richiede un tempo T aleatorio; la cura standard ha tempo medio 7 giorni. Una nuova cura vorrebbe promettere meno giorni, in media. La si testa su 20 individui, si ottiene un campione x1; :::x20 con parametri
x = 5:1; s2 = (1:9)2 = 3: 61:
Valutare se la nuova cura è davvero innovativa oppure i suoi dati sono compatibili con la terapia standard. Supponiamo per semplicità che T sia gaussiano.
L’esercizio è posto volutamente in forma vaga. Decliniamolo in una serie di domande più mirate.
Exercise 7 Quanti…care quanto sia anomalo il valore 10:6 rispetto all’ipotesi di partenza arricchita del valore = 2 (scelto sulla base dal campione).
Pm=7; =2(T 10:6) = :::
(svolgere per esercizio).
Exercise 8 Quanti…care quanto sia anomalo il valore x = 5:1 rispetto ad una N (7; 2)?
Ricordiamo che X N 7;204 = N (7; 0:2) :I gra…ci non normalizzati delle N (7; 2) e N (7; 0:2) sono
-5 0 5 10 15 20
0.5 1.0
x y
-5 0 5 10 15 20
0.5 1.0
x y
Dobbiamo ora calcolare
P7;0:2 X 5:1 =
(completre per esercizio). In numero che stiamo calcolando è la soglia di accettazione del test (valore-p).
3.1 Un altro esercizio simile
Problem 9 Il tempo medio di guarigione con farmaci tradizionali è di 14 giorni; per 17 pazienti trattati con un nuovo farmaco, vale P17
i=1xi = 197, P17
i=1x2i = 2596. I dati relativi al nuovo farmaco, mostrano una diminuzione signi…cativa del valor medio o sono compatibili con l’ipotesi nulla m 14? Rispondere seguendo la linea tracciata dalle seguenti domande.
Domanda 1: calcolare i valori empirici x ed s di media e deviazione standard.
Sol: x = 19717 = 11: 588
s2= 161 2596 17 19717 2 = 19: 570 s =p
19: 570 = 4: 423 8.
Domanda 2: prendendo per semplicità come deviazione vera del tempo di guarigione relativo al farmaco tradizionale il numero s appena calcolato, ed ipotizzando la gaussianità di tale tempo, quanto è improbabile che un singolo paziente guarisca in 11.588 giorni?
Sol: Detto T il tempo di guarigione, nel caso dei farmaci tradizionali (cioè gaussiani a media 14) e con = 4: 423 8, esso è una N (14; 19: 57). Dobbiamo calcolare
P (T 11:588) = P Z 11:588 14
4: 423 8 = P (Z 0:545 23)
= 1 P (Z 0:545 23) = 1 0:7054 = 0:294 6:
Accade mediamente 3 volte su 10, quindi non c’è nulla di strano.
Domanda 3: nelle stesse ipotesi, quanto è improbabile il valore x per la media em- pirica? [Si chiede di calcolare la soglia di accettazione del test unilaterale per la media, con varianza nota.] Più precisamente, si fornisca un intervallo i cui cade la soglia di ac- cettazione.
Sol: la v.a. X, di cui x è una realizzazione sperimentale, nel caso dei farmaci tradizionali (cioè gaussiani a media 14) e con = 4: 423 8, è una N 14;19: 5717 . Ora dobbiamo calcolare
P X 11:588 = P Z 11:588 14
4: 423 8
p17 = P (Z 2:2481)
= 1 P (Z 2:2481) = 1 0:987 = 0:013:
E’ un valore piuttosto basso, che conferma in buona misura la sensazione che il nuovo farmaco abbia e¤etto. Volendo un intervallo, esso è
[1 0:98778; 1 0:98745] = [0:012 22; 0:012 55] :
Domanda 4: manteniamo l’ipotesi di gaussianità ma rimuoviamo l’ipotesi di conoscere la deviazione vera del tempo di guarigione relativo al farmaco tradizionale. Trovare un in- tervallo in cui cade la soglia di accettazione di un test unilaterale per la grandezzax 14s p
17.
Sol: la v.a. T := X 14S p
17, di cui x 14s p
17 è una realizzazione sperimentale, nel caso dei farmaci tradizionali (cioè gaussiani a media 14) è una T (16). Dobbiamo calcolare
P T 11:588 14 4: 423 8
p17 = P (T 2:2481) = 1 P (T 2:2481) :
Questo valore sta nell’intervallo
[1 0:99; 1 0:975] = [0:01; 0:025] :
E’sempre un valore piccolo ma non come prima. Però è più rigoroso, perché non richiede l’ipotesi ingiusti…cata che la dei farmaci tradizionali fosse pari alla s del nuovo farmaco.
Domanda 5: relativamente ad entrambi i test, fornire due valori di per i quali il test avrebbe prodotto il ri…uto oppure no.
Sol: 0.05: ri…uto: 0.01: non ri…uto.
Domanda 6: il nuovo farmaco è approvato e dopo largo uso si stimano accuratamente i valori m = 11:6 e = 4:4 dei suoi parametri. Una ditta concorrente cerca di riprodurre il farmaco e ci riesce dal punto di vista della media, ma ad occhio sembra che la variabilità sia aumentata. Supponiamo che da un campione di 20 individui risulti x = 11:8, s = 5:2. Si metta in discussione e si trovi un intervallo i cui cade la soglia di accettazione di un test unilaterale relativo all’ipotesi nulla 4:4. Si ipotizzi sempre la gaussianità del tempo di guarigione. Che esito avrebbe avuto un test di livello 0:05?
Sol: la v.a. S2 n 12 , di cui s2 n 12 è una realizzazione sperimentale, nel caso del nuovo farmaco (gaussiano con deviazione ) è una 2(19). Dobbiamo calcolare
P S2n 1
2 5:22 19
4:42 = P 2 26: 537 = 1 P 2 < 26: 537 (26:5 sta tra 25.3 e 27.2) che sta in
[1 0:9; 1 0:85] = [0:1; 0:15] :
E’un valore piuttosto modesto per ri…utare con sicurezza l’ipotesi nulla.
Il valore = 0:05 è inferiore alla soglia di accettazione, quindi il test con tale non avrebbe prodotto il ri…uto.
