Elementi di Psicometria con Laboratorio di SPSS 1
14-Introduzione all’analisi della potenza statistica (vers. 1.2a, 11 dicembre 2015)
Germano Rossi1
germano.rossi@unimib.it
1Dipartimento di Psicologia, Università di Milano-Bicocca
2015-16
Analisi della potenza
È il capitolo 14 del libro di testo Studiare fino a p.265
Leggere a p. 265 “La verifica d’ipotesi sulla media di una popolazione”
Saltare “proporzione” a p. 270, “correlazione” a p.272
Leggere “differenza fra le medie” a p. 273, “medie appaiate” a p.278, “come stimare” a p.279
Leggere “interpretazione” a p. 281
Introduzione
Ogni volta che si inizia a fare una ricerca ci si trova ad affrontare diversi problemi: uno di questi è l’ampiezza del campione Devo raccogliere almeno 100 soggetti? o ne bastano 30?
La ragione di questa domanda è duplice
Più piccolo è il campione, meno tempo (e fatica) è necessario per raccogliere i dati
Più grande è il campione, più probabilità abbiamo di ottenere risultati significativi
A questa domanda ci sono diverse risposte comuni (si ricordi che la statistica ipotizza un campione casuale)
1 Almeno 30 per ogni gruppo formato dalle variabili indipendenti
2 Un campione il più grande possibile
3 Non si sa esattamente quanto dev’essere grande
Grandezza di un campione
La prima risposta fa riferimento alla teoria campionaria, per cui con campioni di 30 o più osservazioni, la distribuzione
campionaria tende a distribuirsi normalmente anche se la variabile non è normale
La seconda risposta dipende dall’idea che se il campione è molto grande sia più facile trovare un risultato significativo
L’ultima risposta non è accettabile, salvo:
1 quando non si conosce assolutamente nulla sull’argomento di ricerca
2 si hanno molte variabili indipendenti e molte dipendenti
3 si è interessati più ad una ricerca esplorativa che ad una ricerca inferenziale vera e propria
Grandezza di un campione
La grandezza del campione dovrebbe quella che permette di rispondere alle ipotesi di ricerca, considerando che:
il risultato dipende dalla dimensione dell’effetto che si studia (un effetto “grande” verrà rilevato anche con poche osservazioni, mentre uno “piccolo” necessita di più casi)
dal rischio di sbagliare la nostra decisione (cioè dall’errore di I e di II tipo che utilizziamo); un α elevato produrrà più rifiuti di H0e uno più piccolo più rifiuti di H1
Relazioni fra errori e ipotesi
Realtà
H0- Vera H0 - Falsa H1- Falsa H1 - Vera Risultato
ricerca
Accetto H0; rifiuto H1 Corretta Errore II tipo
1 − α β
Rifiuto H0; accetto H1 Errore I tipo Corretta
α 1 − β
Se α è la probabilità di rifiutare H0quando è vera, 1 − α sarà la probabilità di accettare H0quando è vera
Analogamente se β è la probabilità di accettare H0quando è falsa, 1 − βsarà la probabilità di rifiutare H0quando è falsa
1 − βè chiamatapotenza di un teste corrisponde alla probabilità di rilevare una relazione veramente esistente nella realtà
Analisi della potenza
Lapotenza statistica di un test è la sua capacità di rifiutare un ipotesi nulla falsa, perché noi, in genere, verifichiamo un’ipotesi nulla rispetto ad una “gamma” di ipotesi alternative (ad es.
H1: µ1 6= µ2)
Come ricercatori, facciamo molti sforzi per organizzare e fare una ricerca che ci dia conoscenze “sicure” e “affidabili”. Ma i nostri sforzi sono vani se non riusciamo a trovare i risultati che ci aspettiamo, o meglio, se non riusciamo a falsificare con maggior sicurezza la nostra ipotesi.
Per molti anni, i ricercatori si sono focalizzati sul rischio di rifiutare H0quando è vera (atteggiamento conservatore)
Di recente ha acquisito importanza anche l’errore opposto.
Riassumiamo un momento le procedure di verifica d’ipotesi
Verifica d’ipotesi
All’inizio di una ricerca, partiamo generalmente da un’ipotesi che è espressa a parole. Ad es. “A causa delle nuove tecnologie di comunicazione veloce (e-mail, sms, chat, cellulari) gli studenti passano meno tempo a stabilire relazioni personali dirette fra di loro”.
Siccome qualcuno ha raccolto dati sul tempo trascorso in relazioni personali negli anni precedenti (M=6 ore alla settimana; s=2), posso raccogliere un nuovo campione da confrontare con il precedente
Possiamo trasformare la nostra ipotesi verbale in ipotesi statistica:
H0: µ = 6.0 H1 : µ < 6.0
Verifica d’ipotesi
Ricordiamo che noi verifichiamo l’ipotesi nulla confrontandola con un’ipotesi alternativa.
L’ipotesi nulla è ciò che è noto o che si assume in base alla teoria o alle ricerche precedenti.
Nel nostro esempio, la ricerca precedente, ci ha detto che gli studenti universitari hanno speso circa 6 ore della settimana in contatti faccia-a-faccia (più o meno 2 ore).
Così, la nostra ipotesi è che µ = 6.0.
L’errore α ci protegge dal prendere una decisione errata basata su un campione “particolarmente anomalo” estratto dalla
popolazione corretta
La potenza di un test (1 − β) ci dice la probabilità di aver accettato correttamente l’ipotesi alternativa
Concetti chiave della potenza
Ricordiamo che lapotenza statistica di un test è la sua capacità di rifiutare un ipotesi nulla falsa e che è legata al test statistico usato.
Ci sono 3 variabili legate alla potenza di un test:
1 Il livello di significatività cioè α:
più è severo (vicino a 0), più è difficile rifiutare l’ipotesi nulla (anche quando è falsa).
all’aumentare di α aumenta la potenza del test. Tuttavia non possiamo usare α molto grandi
un buon criterio (non troppo basso, né troppo alto) è α = 0.05 (per ricerche esplorative possiamo usare valori leggermente maggiori)
Concetti chiave della potenza
2 L’ampiezza del campione cioè N
quando un campione è grande, è meno probabile fare errori di campionamento
e trovare dati che portino a stime inaffidabili dei parametri della popolazione.
L’errore standard è sempre basato su N e diminuisce all’aumentare di N .
Quindi all’aumentare di N , aumenta la potenza
3 La dimensione dell’effetto nella popolazione cioè d o r;
la dimensione dell’effetto è misurabile in modo “grezzo” (lad o g del t-test)
o in modo “standardizzato” (la φ del chi-quadro), cioè tramite una correlazione
Concetti chiave della potenza
3 La dimensione dell’effetto nella popolazione cioè d o r;
ovvero quanto grande è il risultato che abbiamo ottenuto;
ricordiamo che d o r ha senso solo se H0è falsa;
quindi possiamo considerare d o r come una misura di quanto è falsa l’ipotesi nulla;
tanto più d o r è grande, tanto più H0è falsa, tanto più aumenta la potenza
4 Possiamo considerare la potenza statistica (cioè 1 − β) come un quarto elemento
Essendo legati fra loro matematicamente; si può calcolare il valore del quarto conoscendo il valore degli altri tre
Concetti chiave della potenza
Riassumendo:
Potenza (1 − β) aumenta diminuisce quando α aumenta diminuisce quando N aumenta diminuisce quando d o r aumenta diminuisce La formula che lega i quattro indici è abbastanza complessa per cui sono state predisposte delle tavole (Tavola D a p. 476) che utilizzano α e una combinazione di d ed N chiamata δ:
δ = df (N ) dove f () indica “funzione di”
ed esistono dei software appositi (ad es. G*Power, http://www.gpower.hhu.de/en.htmlche è free)
Uso dell’analisi di potenza
L’analisi di potenza viene usata, generalmente, per due obiettivi
1 a posterioriper determinare lapotenza di un test: dal momento che la ricerca viene effettuata su un certo campione (di ampiezza N) e usando un certo livello α, e dai risultati ottenuti possiamo calcolare d, ne consegue la possibilità di stimare la potenza di un test, cioè la probabilità di aver fatto la scelta giusta;
2 a prioriper determinare lanumerosità del campione: se vogliamo fare una ricerca che abbia una determinata potenza, una volta stabilito un determinato α e ipotizzato un determinato d, quale dev’essere l’ampiezza del campione?
Calcolare la potenza a priori
Ipotizziamo di voler fare una ricerca su un campione patologico (ad es. pazienti di un servizio mentale)
Possiamo fare una ricerca veloce (in termini di tempo) su un piccolo campione
oppure una ricerca che duri più tempo per poter raccogliere un campione più grande
certamente non vogliamo fare una ricerca che non abbia abbastanza “potenza” e che possa essere criticata
Decidiamo quindi una potenza minima che vogliamo raggiungere, un effect size che ci aspettiamo e calcoliamoquantodev’essere ampio il campione da raccogliere.
Calcolare la potenza a posteriori
Abbiamo raccolto un certo campione su cui abbiamo misurato una certa variabile
Abbiamo stabilito un livello α = .05
L’analisi dei dati, ci ha fornito i valori da utilizzare per il calcolo dell’effect size
A questo punto abbiamo due strade (sia per l’approccio a priori sia per quello a posteriori):
1 fare un calcolo a mano e usare le tavole (slide??)
in questo caso ci serve solo di sapere qual è la funzione da applicare ad N per trovare δ, e poi cercare il valore corrispondente alla potenza sulla tavola D o E del libro
La funzione f (N ) cambia in base alla tecnica statistica utilizzata 2 usare il software G*Power (slide 21)
Potenza per la Media di una popolazione (a mano)
La funzione è f (N ) =
√ N
l’ipotesi alternativa coincide con il valore della media del campione calcoliamo
d = (µ1− µ0)/σ troviamo δ = d ×
√ N
Ipotizziamo di conoscere µ e σ della popolazione: µ = 84 e σ = 12; di aver calcolato i seguenti valori su un campione di N = 60: M = 76.92; s = 15.05.
Le nostre ipotesi saranno: H0: µ = 84 H1: µ 6= 76, 92 d = (84 − 76, 92)/12 = 0.59 δ = 0.59√
60 = 4.570
Se cerchiamo sulla tavola D un δ = 4.57 (4.5) troviamo una potenza statistica di 0.99 Per α = .05 bidirezionale
Potenza per la Differenza delle medie (a mano)
La funzione è f (N ) =r n 2 Se N1= N2, allora n = N1 Se N16= N2, allora
n = 2 × N1× N2 N1+ N2
l’ipotesi alternativa coincide con il valore della media del campione usiamo l’effect size di t (cioè g)
troviamo
δ = gr n 2
Differenza delle medie (a mano)
Facciamo riferimento alle slide 19-20 del cap. 11 per la variabile Estr_pers
Avevamo: N=158 maschi e N=181 femmine, con t = −3.940 Calcoliamo l’effect size
g = tr N1+ N2
N 1 × N 2 = 3.94r 158 + 181
158 × 181 = 0.4289713 quindi
n =2 × 158 × 181
158 + 181 = 168.7198 troviamo
δ = dr n
2 = 0.4289713
r168.7198 2 = 3.94 Dalla Tavola D, troviamo un potenza di 0.97
Stimare la numerosità (a mano)
per la differenza di due medie (campioni indipendenti) la funzione da usare è:
n = 2 δ d
2
sulla Tavola E (p. 477), per un test a due code con α = 0.05 e una potenza statistica di 0.90, δ = 3.24
Facciamo ancora riferimento alle slide 19-20 del cap. 11 per la variabile Estr_pers
Vorremmo ottenere un d = .50 e perciò
n = 2 3.24 .50
2
= 84 corrispondente ad un campione totale di 168
Calcolare la potenza di un test con G*Power
Facciamo riferimento alle slide 19-20 del cap. 11 per la variabile Estr_pers
Avevamo: N=158 maschi e N=181 femmine, con t = −3.940 Abbiamo stabilito un livello α = .05, e calcoliamo l’effect size
g = tr N1+ N2
N 1 × N 2 = 3.94r 158 + 181
158 × 181 = 0.4289713 In G*Power, scegliamoTest family = t-tests, Statistical test = Means: Difference between two independent means (two groups),Type of power analysis = post hoc: Compute
achieved power
Inseriamo inEffect size d = .43, in α err prob 0.05, in Sample size group 1 158 e in Sample size group 2 181
Clicchiamo Calculate
Videata con G*Power
La potenza è 0.967
Numerosità del campione con G*Power
In G*Power, scegliamoTest family = t-tests, Statistical test = Means:
Difference between two independent means (two groups),Type of power analysis = A priori: ...
InseriamoEffect size d = .50, α err prob = 0.05, Power = .60, Allocation ratio N2/N1 = 1
ClicchiamoCalculate: ci servono due campioni di 41 casi ciascuno
Numerosità del campione con G*Power
Cambiandoratio N2/N1, indichiamo di voler/poter usare campioni di diversa numerosità
Interpretazione
Un risultato non significativo non è necessariamente vero: se accettiamo per vera H0, questo non significa che sia “realmente”
vera. Se la potenza di un esperimento è bassa (ad es. .50), beta sarà alto (1 − .50 = .50); quindi avremo il 95% di probabilità (1 − .05) che H0 sia vera, ma il 50% che sia falsa
Significatività con piccoli campioni: Nel caso del test t, t è parte dig; se t è molto alto, anche g lo sarà, se g è alto anche la potenza sarà alta (e beta sarà basso). Quindi un risultato t molto alto è molto più importante se ottenuto su piccoli campioni che su grandi campioni.
Grandi campioni e significatività: con grandi campioni è più facile ottenere un t grande e quindi significativo; bisogna quindi considerared (o g) per sapere l’effettiva sicurezza da dare al risultato raggiunto
