IL PROPENSITY SCORE ADJUSTMENT E LA SUA STIMA DAL CAMPIONE
7.3 RISULTATI E COMMENTO
Le procedure di simulazione effettuate sono 24; derivano dalla combinazione delle sei diverse ipotesi di Cov(x,y) con le ipotesi Mar Linear e Mar Convex,
ripetute ognuna due volte, una con l’applicazione del solo stimatore “tipo” H-T e l’altra con il contributo del metodo Bootstrap.
Analizziamo la tabella 7.4:
Tabella 7.1: “medie ricavate dal secondo caso simulato” Media
Popolazione Campionaria Media Stimatore Media
conv_ht_0.9 9,9747 9,9730 10,0439 conv_boot_0.9 9,9943 9,9809 10,0691 lin_ht_0.9 9,9842 10,3555 10,0092 lin_boot_0.9 10,0142 10,3823 9,8095 conv_ht_0.5 9,9969 10,0071 10,0538 conv_boot_0.5 10,0045 10,0022 10,1820 lin_ht_0.5 9,9990 10,2027 10,0131 lin_boot_0.5 10,0051 10,2096 10,0696 conv_ht_0.1 10,0023 10,0040 10,0211 conv_boot_0.1 10,0093 10,0028 10,0813 lin_ht_0.1 10,0051 10,0359 9,9931 lin_boot_0.1 9,9860 10,0344 10,5893 conv_ht_-0.9 10,0108 10,0191 9,7231 conv_boot_-0.9 9,9914 10,0028 9,7231 lin_ht_-0.9 10,0233 9,6571 10,0027 lin_boot_-0.9 9,9913 9,6190 10,1068 conv_ht_-0.5 9,9920 9,9774 9,9914 conv_boot_-0.5 9,9854 9,9850 9,9638 lin_ht_-0.5 9,9977 9,7963 9,9715 lin_boot_-0.5 10,0104 9,7863 9,8897 conv_ht_-0.1 10,0048 10,0137 10,0620 conv_boot_-0.1 9,9983 10,0006 9,9307 lin_ht_-0.1 10,0104 9,9659 10,0051 lin_boot_-0.1 10,0023 9,9830 9,9515
Questa ci permette di effettuare una prima selezione. Ben 13 delle suddette procedure, infatti, non rispettano la condizione necessaria di rapporto tra media della popolazione e media stimata, rispetto alla media campionaria. La successiva tabella 7.5 ci mostra dunque gli intervalli di confidenza medi e la loro ampiezza in riferimento ai soli 11 casi rimasti:
Tabella 7.2: “intervalli di confidenza del secondo caso simulato” Limite
Inferiore Superiore Ampiezza Limite lin_ht_0.9 9,5361 10,4867 0,9506 lin_boot_0.9 9,4305 10,1884 0,7579 lin_ht_0.5 9,5393 10,4867 0,9474 lin_boot_0.5 9,6734 10,4657 0,7923 lin_ht_0.1 9,5262 10,4599 0,9337 lin_ht_-0.9 9,5381 10,4672 0,9291 lin_boot_-0.9 9,7310 10,4825 0,7515 conv_ht_-0.5 9,5007 10,4821 0,9814 lin_ht_-0.5 9,4997 10,4432 0,9435 lin_boot_-0.5 9,4942 10,2851 0,7909 lin_ht_-0.1 9,5313 10,4788 0,9475
Si tratta di campi di variazione sempre contenuti. Per poter ulteriormente selezionare i casi migliori è necessario analizzare il numero di volte in cui i 500 intervalli di confidenza, simulati per ogni procedura, contengono la media della popolazione.
Tabella 7.3: “inclusione della media della popolazione nell’intervallo di confidenza” Attendibilità lin_ht_0.9 479/500 lin_boot_0.9 83/100 lin_ht_0.5 487/500 lin_boot_0.5 81/100 lin_ht_0.1 488/500 lin_ht_-0.9 481/500 lin_boot_-0.9 95/100 conv_ht_-0.5 483/500 lin_ht_-0.5 487/500 lin_boot_-0.5 86/100 lin_ht_-0.1 481/500
Possiamo ritenere giustificabile eliminare altri 3 casi. Procediamo ora osservando i valori di distorsione e variabilità che le stime contengono, in riferimento ai soli 8 casi che hanno passato le precedenti selezioni.
Tabella 7.4: “distorsione e variabilità nelle migliori ipotesi di Mar Convex, Linear e Cov(x,y)”
Distorsione Variabilità MSE
lin_ht_0.9 0,27% 0,03% 0,30% lin_ht_0.5 0,20% 0,03% 0,24% lin_ht_0.1 0,05% 0,03% 0,08% lin_ht_-0.9 0,05% 0,01% 0,06% lin_boot_-0.9 0,04% 0,00% 0,04% conv_ht_-0.5 0,29% 0,02% 0,32% lin_ht_-0.5 0,08% 0,02% 0,10% lin_ht_-0.1 0,07% 0,03% 0,10%
I casi evidenziati in rosso:
“lin_ht_0.9” “lin_ht_0.5” “conv_ht_-0.5”
verranno immediatamente esclusi dall’analisi poiché registrano le più alte percentuali di errore.
Osservando i rimanenti casi, possiamo affermare che quelli che ci forniscono le migliori stime, cioè quelli con la minore entità di errore (evidenziati in blu), sono:
“lin_ht_-0.9” “lin_boot_-0.9”
Nel primo caso abbiamo 0,05% di distorsione e solo 0,01% di variabilità, per un totale di MSE=0,06%; sono percentuali basse. Tuttavia, aggiungendo il contributo del metodo bootstrap, notiamo che nell’ipotesi di Mar Linear con
Cov(x,y)=-0,9 la situazione migliora; la distorsione tende leggermente a
diminuire, passando allo 0,04%, e la variabilità è pressoché assente. Possiamo così concludere che è questa la combinazione di ipotesi migliore.
7.4 CONCLUSIONE
Nell’indagine svolta non ci limitiamo ad osservare l’andamento della distorsione, ma analizziamo anche le conseguenze che si registrano sulla variabilità. Come abbiamo già sottolineato, per valutare le capacità del PSA è importante esaminarle entrambe.
Un altro aspetto positivo è che, in questo studio, si ipotizza di essere in una situazione di tipo “informazioni da archivio”, per cui non necessitiamo del supporto di altre indagini; evitiamo così di introdurre automaticamente nelle stime la percentuale di errore che già caratterizza i risultati dell’indagine di supporto.
Inoltre l’analisi svolta ci permette di affermare che è possibile superare il limite del PSA già evidenziato precedentemente. Abbiamo visto, infatti, che non sempre la riduzione della distorsione comporta un aumento della variabilità degli stimatori.
Tuttavia il nostro è solo un primo approccio verso la teoria che il PSA possa essere un buon metodo per eliminare l’errore da autoselezione che caratterizza le indagini Web. Necessita di ulteriori conferme analitiche. Sarebbe opportuno vedere cosa comporterebbe l’applicazione del nostro metodo nei lavori di Sunghee Lee e di Annica Isaksson, verificando se nei casi da loro ipotizzati è possibile ottenere ulteriori conferme dell’attendibilità di quanto abbiamo qui sostenuto.
CONCLUSIONE
Gli studi svolti sulle varie metodologie di indagine e sulla continua espansione ed evoluzione di Internet, ci portano a ritenere che l’utilizzo della rete per la realizzazione di sondaggi d’opinione permette di indagare grandi collettivi di unità a costi contenuti. Tuttavia solo una certa proporzione della popolazione ha attualmente accesso ad Internet; ne consegue che l’utilità delle indagini Web per rappresentare la popolazione generale costituisca tema di riflessione. L’insieme della popolazione Web non può rappresentare la popolazione generale. Stimare dal target sottoposto ad intervista considerazioni valide per tutta la popolazione crea, come già detto, conclusioni affette da errori.
I metodi, proposti in questo testo, per superare tale problema ci permettono di fare un passo avanti.
Nel quinto capitolo abbiamo visto che l’applicazione del PSA diminuisce ma non elimina le differenze tra il campione stimato di riferimento e la stima del campione Web. Tale riduzione può verificarsi ma a discapito dell’aumento della varianza.
Nel sesto capitolo siamo riusciti a mostrare che, se le assunzioni fatte nel modello reggono, lo stimatore dei propensity score conduce a stime, in media, non distorte, e fornisce valori della varianza solo leggermente sovrastimati. Comunque qui i propensity scores sono noti; nella realtà questo non è possibile. Nel settimo capitolo abbiamo cercato di simulare situazioni più reali facendo riferimento a propensity scores stimati dal campione. I dati che otteniamo dal caso simulato mostrano che l’applicazione del PSA conduce ad una riduzione della distorsione che non implica l’aumento della variabilità.
Inoltre, nell’indagine svolta in quest’ultimo capitolo ci basiamo su presupposti teorici che ci permettono di superare i limiti riscontrati nei due capitoli
non ci limitiamo ad osservare l’andamento della distorsione, ma
analizziamo anche le conseguenze che si registrano sulla variabilità;
si ipotizza di essere in una situazione di tipo “informazioni da archivio”, per
cui non necessitiamo del supporto di altre indagini; evitiamo così di introdurre automaticamente nelle stime la percentuale di errore che già caratterizza i risultati dell’indagine di supporto.
Tuttavia il nostro è solo un primo approccio verso la teoria che il PSA possa essere un buon metodo per eliminare l’errore da autoselezione che caratterizza le indagini Web. Esso necessita di ulteriori conferme analitiche. Sarebbe opportuno vedere cosa comporterebbe l’applicazione del nostro metodo nei lavori di Sunghee Lee e di Annica Isaksson, verificando se nei casi da loro ipotizzati è possibile ottenere ulteriori conferme dell’attendibilità di quanto abbiamo qui sostenuto.
Il problema dell’autoselezione nelle indagini Web richiede di essere affrontato e attentamente valutato sul piano scientifico con nuove ipotesi di base, nuovi stimatori, nuove sfumature da applicare a quanto finora ottenuto. Senza dubbio il potenziale offerto dalla Rete come canale di comunicazione e di rilevazione è enorme; si aprono continuamente nuove possibilità prima impensabili e quindi, continuando a questo ritmo, ben presto auspicheremo che anche con le indagini Web sarà possibile ragionare correttamente in un’ottica di generalizzazione dei risultati.