STATISTICA: comprende al suo interno le tecniche per ragionare sui dati e le informazioni che rileviamo su un certo fenomeno di svariata natura:
RILEVAZIONE di dati e informazioni (es.: periodica degli indici ISTAT);
ANALISI:
SINTESI: sintetizzo l’informazione passando da una massa più o meno grande a un insieme di grandezza inferiore che ci darà le caratteristiche. Se non sintetizzo i dati non sono utilizzabili, non posso trarne informazioni;
SALTO LOGICO, generalizzo dal particolare al generale passando da una parte della totalità (CAMPIONE) alla totalità. È una operazione soggetta ad errore, analizzo il campione perché non posso guardare la totalità dal punto di vista dei costi e del tempo ma implicitamente penso che il campione sia rappresentativo e non ho garanzie che questo sia effettivamente immagine perfetta seppur in piccolo della totalità;
(STATISTICA DESCRITTIVA, prima parte del corso;
INFERENZA STATISTICA: metodi e tecniche per valutare e tenere sotto controllo l’errore, seconda parte del corso).
STATISTICA studia fenomeni collettivi (popolazione/campione), che si possono manifestare in una molteplicità di modi che possono quindi variare, osservandoli in un collettivo di unità statistiche (individui, insieme di individui, è un termine generico che varia a seconda del contesto: un esempio è la famiglia nell’analisi della banca d’Italia sui bilanci delle famiglie);
se fenomeno costante non c’è bisogno di fare analisi statistiche.
Sulle unità statistiche vado a rilevare caratteristiche mediante un indagine tramite intervista, dati amministrativi, esito di un processo di misurazione diretto.
Ciascuna caratteristica rilevata viene definita VARIABILE perché varia o può variare, vengono studiati fenomeni variabili.
Le variabili vengono indicate con le lettere X Y.
Esempio dati excel: tipica struttura osservazioni per variabili. Dati in forma di distribuzione unitaria o in forma di successione cioè per ciascuna osservazione ho il valore numerico; le variabili
vengono indicate fino a Xn con n che indica le numerosità statistiche (numero di unità statistiche).
TIPOLOGIA DELLE VARIABILI: importante per saper scegliere come analizzare variabili QUANTITATIVE (reddito, età): misurano un ammontare dell’unità statistica;
QUALITATIVE (genere): esprimono una qualità dell’unità statistica.
In base alla SCALA di MISURA, le QUALITATIVE si distinguono:
Prendendo come esempio la differenza principale tra titolo di studio e genere si osserva che titoli di studio hanno un ordinamento intrinseco mentre genere o stato civile non sono ordinabili.
VARIABILI MISURATE SU SCALA ORDINALE: VARIABILI ORDINALI
VARIABILI MISURATE SU SCALA NOMINALE: VARIABILI NOMINALI O SCONNESSE (altri esempi sono la regione, la condizione professionale)
In particolare prendiamo il genere come variabile misurata su scala nominale:
Ha solo due modalità e tipicamente non ordinabili: maschio o femmina= VARIABILI BINARIE (genere, stato di occupazione/disoccupazione).
Nel caso delle variabili ordinali, i codici numerici hanno il significato di mantenere l’ordinamento;
Con le variabili nominali. vengono utilizzati codici numerici per semplicità rispetto a lettere, parole.
Attraverso la scala ordinale per variabili ordinali sono in grado di fare confronti dal più piccolo al più grande ( < > = );
Attraverso la scala nominale per variabili nominali sono in grado di fare confronti solo relativamente a uguale o diverso.
In base alla SCALA di MISURA, le QUANTITATIVE si distinguono:
VARIABILI MISURATE SU SCALA DI RAPPORTO: se lo zero non è convenzionale quindi non dipende da una definizione ma ha un significato intrinseco, universale; possiamo rapportare i valori di queste variabili (numero di componenti, di percettori di reddito).
VARIABILI MISURATE SU SCALA DI INTERVALLO: lo zero è convenzionale, viene deciso cosa indica il valore zero cioè l’origine è arbitraria; non possono essere confrontati direttamente i valori di due variabili ma si possono confrontare le variazioni tra i valori (tempo, temperatura).
DISTINZIONE NON basata su SCALA di MISURA:
VARIABILI DISCRETE possono assumere solo un numero finito di valori o un’infinità di valori cioè assumono valori nel discreto, variabili solitamente di conteggio (n. componenti, percettori reddito) VARIABILI CONTINUE possono assumere qualunque valore nell’insieme dei numeri reali positivi (reddito, altezza).
SINTESI DEI DATI (primo obiettivo dell’analisi) STRUMENTI DI SINTESI:
Costruzione di tabelle;
Calcolo di opportuno indici sintetici;
Rappresentazione grafica dei dati.
STATISTICA UNIVARIATA: considero una sola variabile alla volta, separata una dall'altra COSTRUZIONE DI TABELLE
Specifico tipo di tabella:
DISTRIBUZIONE DI FREQUENZA ASSOLUTA
Per costruire una tabella di distribuzione di frequenza bisogna contare quante volte si presenta ciascuna variabile (X).
Numero che deriva dal conteggio viene chiamato frequenza (assoluta) (n).
La somma delle frequenze assolute deve essere uguale alla numerosità del collettivo, a meno che non ci siano dati mancanti perché non è stato possibile rilevare nessun dato.
DISTRIBUZIONE DI FREQUENZA RELATIVA
Si ottengono dividendo per la singola unità statistica (f); la somma deve dare 1.
PERCENTUALI (p) Moltiplicandole per 100; la somma deve dare 100 fi= ni/n
pi= ni/n x 100
Somma (da i=1 a c) ni=n Somma fi=1
Somma pi=100
STATISTICA UNIVARIATA
SINTESI DEI DATI (primo obiettivo dell’analisi)
Necessariamente bisogna tenere solo le variabili rilevanti ed eliminare quelle trascurabili quindi la finalità di tipo statistico sarà estrarre le caratteristiche fondamentali della collettività perdendo anche informazioni relative alle singole unità statistiche.
La sintesi per essere utile deve essere veramente sintetica, nonostante si perdano informazioni.
STRUMENTI DI SINTESI:
TABELLE
Specifico tipo di tabella:
DISTRIBUZIONE DI FREQUENZA ASSOLUTA
Per costruire una tabella di distribuzione di frequenza bisogna contare quante volte si presenta ciascuna variabile (X).
Numero che deriva dal conteggio viene chiamato frequenza (assoluta) (n).
La somma delle frequenze assolute deve essere uguale alla numerosità del collettivo, a meno che non ci siano dati mancanti perché non è stato possibile rilevare nessun dato.
DISTRIBUZIONE DI FREQUENZA RELATIVA
Si ottengono dividendo per la singola unità statistica (f); la somma deve dare 1.
PERCENTUALI (p) Moltiplicandole per 100; la somma deve dare 100.
𝑓𝑖 =𝑛𝑖 𝑛 𝑝𝑖 = 𝑛𝑖
𝑛 𝑥 100
* 𝑓𝑖 = 1
* 𝑝𝑖 = 100 Somma (da i=1 a c) ni=n
Si possono definire le frequenze CUMULATE, indicate con le lettere maiuscole;
Si cumula cioè si somma una con l’altra rispettivamente le frequenze assolute, relative, percentuali.
Indica quante volte ho osservato la modalità corrispondente o più piccola nel campione osservato indicando una parte massima o inferiore.
Si possono cumulare se le modalità del carattere sono almeno ordinali (tutte le quantitative e qualitative misurate su scala ordinale).
CLASSI
Quando abbiamo variabili quantitative o continue, nella distribuzione di frequenza si individuano classi di ampiezza diversa, sintetizzando. (es per numero di componenti, età, reddito).
Ampiezza diversa perché da un lato se parliamo di reddito abbiamo una motivazione economica differenziando il tenore di vita; avremo quindi classi piccole, più dettagliate per redditi bassi mentre classi più grandi per redditi più alti per essere in grado di ricostruire info originaria e essere dettagliati; dall’altro lato guardando la distribuzione del reddito (asimmetrica) la maggior parte dei soggetti hanno reddito più basso mentre la coda con reddito alto comprende pochi soggetti.
RAPPRESENTAZIONE GRAFICA
Diagramma, descrive un’informazione contenuta in una distribuzione di frequenza.
Due alternative che corrispondono a:
Frequenza assoluta= diagramma a barre (orizzontali o verticali):
ciascuna barra corrisponde a una modalità della variabile;
altezza della barra corrisponde alla frequenza assoluta;
categorie sugli assi, tutti rettangoli hanno la stessa base.
Con frequenze relative o percentuali cambia la scala di valori ma la forma del diagramma è la stessa del diagramma a barre.
Frequenza relativa, percentuale= diagramma a torta torta rappresenta 100%;
fetta torta rappresenta la modalità;
ampiezza fetta rappresenta la frequenza.
es: PIRAMIDE DELLA POPOLAZIONE PER ETA’
diagramma che classifica popolazione per età, sesso, stato civile (2018)
Notiamo che base è piccola perché la popolazione sta invecchiando e nascono pochi bambini.
Ricadute di carattere sociale e economico (pensioni, sanità).
Altra osservazione si ha evidente asimmetria tra maschi e femmine cioè ci sono molte vedove e pochi vedovi. Motivi di carattere biologico, ambientale per cui donne sopravvivono più degli uomini e tipicamente vedovi hanno sopravvivenza più breve vedove.
es: CARTOGRAMMA
rappresentazione basata sulla geografia, frequenza popolazione per regione.
ISTOGRAMMA (es: del reddito, distribuzione asimmetrica)
Se classi hanno ampiezza diversa non si possono confrontare direttamente, per cui classi più grandi vengono divise per un numero maggiore.
DENSITA’ DI FREQUENZA (di)
𝑑𝑖 = 𝑛𝑖
(𝑥𝑖 + 1) − (𝑥𝑖)
Serve a eliminare le frequenze dall’effetto dell’ampiezza di classe per avere quantità confrontabili.
È il rapporto tra ni e l’ampiezza di classe.
Ampiezza di classe: differenza tra estremo superiore e inferiore della classe per cui le classi devono essere chiuse cioè devono avere estremi, facendo una scelta convenzionale o una chiusura arbitraria se non specificato.
Si costruisce con questi dati un ISTOGRAMMA (diverso da diagramma a barre):
Diagramma cartesiano (due assi metrici, ascisse e ordinate)
Valore classe di reddito su asse x e rettangolo che ha altezza la densità di frequenza su asse y.
Differenze tra diagramma a barre e istogramma:
Non tutte le barre hanno la stessa ampiezza;
Nel diagramma a barre le barre sono separate una dall’altra mentre nell’istogramma i rettangoli sono sempre contigui perché rappresentano variabili continue (età, reddito);
Nell’istogramma l’altezza del rettangolo è una densità di frequenza, l’area del rettangolo (base x h) è la frequenza, otteniamo la stessa a seconda che abbiamo usato quella assoluta o relativa.
INDICI DI POSIZIONE
CALCOLO DI INDICI SINTETICI
Si osserva la tendenza centrale di un fenomeno a meno che un fenomeno sia misurato su scala nominale e allora si parlerà di modalità prevalente e non di centralità.
La tendenza principale si chiama MODA (Mo) è la modalità più frequente se non abbiamo classi.
es: Mo= licenza media (scrivo la modalità, la frequenza più alta)
La CLASSE MODALE è la classe con densità di frequenza più alta, se abbiamo classi.
es: Mo= 10-20 (classe più alta)
Per determinare la moda/classe modale si prende la distribuzione di frequenza e si sceglie la frequenza/classe più alta.
Altro indice: MEDIANA (Me) per variabili almeno ordinali, è il valore centrale che divide
esattamente in due parti il collettivo studiato, metà ha un valore più piccolo o uguale e l’altra metà ha un valore più grande o uguale e i valori dovranno essere ordinabili.
Dipende dal numero di osservazioni:
se n dispari avrò un valore intero, metà valore più piccolo o uguale e altra metà valore più grande o uguale. Posizione della mediana= (n+1)/2
es: B D A A B C D C C con A valore più piccolo e D valore più grande) Devo ordinare: A A B B C C C D D
Prendere il valore centrale: C (posizione nel mezzo) Me=C
Se n pari, posizione della mediana= due mediane= n/2 e (n/2)+1 es: B D A A B C D C
Ordino: A A B B C C D D
Avrò due valori centrali, due mediane: B C
Se abbiamo carattere quantitativo si può fare la semi-somma dei due valori nelle posizioni n/2 e n/2)+1.
La mediana è un indice robusto/resistente, non risente di ciò che accade sulla coda, sugli estremi della distribuzione. Viene usata per caratteri qualitativi ordinabili (es. titolo di studio, classi di reddito) ma anche per caratteri quantitativi anche se è più naturale utilizzare la media aritmetica per questi ultimi.
Procedimento dati in distribuzione di frequenza:
modalità ordinate dalla più piccola alla più grande
prendo in considerazione le ultime due colonne, F_i e P_i (frequenze cumulate relative)
scorro finchè non trovo prima modalità con frequenza > 50% = mediana (o se variabili organizzate in classi ottengo la classe mediana, valore della mediana attraverso approssimazione).
Classe mediana da cui valore della mediana attraverso approssimazione con istogramma di frequenza relativa:
altezza rappresenta densità di frequenza (di) = frequenza relativa (f_i) / ampiezza della classe;
area rappresenta frequenza =1; dobbiamo trovare quel valore che divide l’area in due.
𝐴 = 0,5 − (𝐹𝑖 − 1) Fi-1 frequenza cumulata fino a quel punto, alla classe mediana
Devo calcolare base del rettangolo conoscendo area e altezza per cui:
𝑀𝑒 − 𝑥𝑖 = 𝐴 xi estremo inferiore della classe mediana 𝑑𝑖
𝑀𝑒 = 𝑥𝑖 + 𝐴 𝑑𝑖
MEDIA ARITMETICA
M (X) oppure X soprassegnata=
=6
7 ∑ 𝑥𝑖
= 1
𝑛* 𝑥𝑖 𝑛𝑖
Non è un indice robusto, risente di ciò che accade sulle code della distribuzione.
Media tende verso l’alto rispetto alla mediana.
Media alpha-trimmed: taglio alpha% delle osservazioni a estremi (code di solito vengono tagliate).
PROPRIETA’:
INTERNALITA’:
Xmin =< M(X) =< Xmax BARICENTRATURA:
SCARTO Xi – M(X) positivo se > media aritmetica e negativo se < media aritmetica
* 𝑋𝑖 − 𝑀(𝑋) = 0 EQUIVARIANZA: media di Y si trasforma nello stesso modo di X M(X)
Y = a + bX cambiamenti di scala (bX)
traslazione, aggiungo una costante a tutti i valori della variabile (a) relazione che lega media di X con media di Y
M(Y) = a + bM(X) La media aritmetica MINIMIZZA somma degli scarti al quadrato È minimo se c = M(X)
con c quantità qualsiasi.
*(𝑋𝑖 − 𝑐);
MEDIA ARITMETICA PONDERATA
Supponiamo di avere due quantità per ciascuna osservazione:
valore osservato della variabile e peso da attribuire a quel valore ( Xi, Wi ) M(X)p= ∑ <= >=
∑ >=
MEDIA GEOMETRICA: (per variazioni relative)
Prodotto dei valori osservarti sotto radice pari al numero dei valori osservati Valore ottenuto da media geometrica più piccolo rispetto a media aritmetica.
Co (1+r1) (1+r2)……(1+rk)
Co ∏(1 + 𝑟𝑖) = Co ∏(1 + 𝑟 𝑚𝑒𝑑𝑖𝑜) Da cui ottengo:
C(1 + 𝑟𝑖) = (1 + 𝑟 𝑚𝑒𝑑𝑖𝑜)D
1 + r medio = E∏(1 + 𝑟𝑖)F
Es: calcolo tasso medio di rendimento 1,50% = 1,015
2,00% = 1,02 7,20% = 1,072 9,00% = 1,09 7,40% = 1,074 4,50% = 1,045 Procedimento:
Prodotto dei termini r medio = E1,3577I − 1
=0,0523 =5,23% che sarebbe =5,27% se calcolato con media aritmetica.
Abbiamo valutato la TENDENZA CENTRALE di una distribuzione (indici di posizione)
Estendiamo la classe degli indici per valutare altre caratteristiche di una variabile in un collettivo.
DISPERSIONE/VARIABILITA’/ETEROGENEITA’ cioè se e in che modo unità differiscono una dall’altra.
INDICI (caratteri quantitativi):
CAMPO DI VARIAZIONE/RANGE: R = Xmax – Xmin
Bisogna ordinare valori dal più piccolo al più grande e scegliere due valori, il max e il min;
Dipende da solo due valori e non è semplice da utilizzare quindi utilizzeremo altri indicI SCARTO/DIFFERENZA INTERQUARTILE:
SI= Q3 – Q1 Quartile: dividono in 4 l’insieme dei valori osservati
se abbiamo il 50% avremmo la mediana; cambiando la percentuale:
Q1 PRIMO QUARTILE: lascia 25% dei valori minore o uguale (a sinistra) e restante 75% maggiore o uguale (a destra) al primo quartile;
Q3 TERZO QUARTILE: 75% a sinistra minore o uguale (a sinistra) e restante 25% maggiore o uguale (a destra) al terzo quartile.
Q2 MEDIANA
Decili: dividono in 10
GRAFICO: BOXPLOT (diagramma a scatola e baffi)
Parte centrale, scatola: estremo inferiore è il primo quartile della distribuzione, estremo superiore è il terzo quartile della distribuzione
La scatola nel suo complesso contiene il 50% centrale delle osservazioni tra l’estremo inferiore e l’estremo superiore.
Linea orizzontale dentro la scatola corrisponde alla mediana, sempre indicata e tendenzialmente verso il basso se distribuzione asimmetrica mentre posizione centrale se distribuzione simmetrica.
La crocetta dentro la scatola indica la media, più grande della mediana (distribuzione asimmetrica, coda molto lunga con valori grandi che porta la media verso l’alto)
Baffi si diramano dalla scatola, dal valore più piccolo al valore più grande ma in realtà se baffo corto, linea continua fino al min; se baffo lungo, coda lunga in distribuzione asimmetrica si fa un
baffo proporzionale a ampiezza della scatola cioè scarto interquartile, ci fermiamo e poi continuiamo con puntini fino al max.
Tendenzialmente lunghezza baffo è k (costante) volte lo scarto interquartile Asse x: categorie che definiscono i vari boxplot se confrontati (es: titoli di studio) Asse y: es: reddito
Reddito per titoli di studio:
Scatola tende verso l’alto, spostamento dei redditi verso l’alto al salire del titolo di studio, tendenza ad aumentare della media, tendenza a aumento della larghezza rappresenta un aumento della variabilità.
SCARTO/DISPERSIONE
DISPERSIONE significa quanto un’osservazione è vicina o lontana rispetto a un punto preso;
SCARTI ne ho tanti quanti le osservazioni
In generale la variabilità la voglio misurare su tutto il collettivo.
Significa he devo fare una sintesi degli scarti, tendenza generale delle osservazioni a differire dal punto che viene preso come riferimento.
Posso fare una media ma ∑ 𝑋𝑖 − 𝑀(𝑋) = 𝑋𝑖 − 𝑀(𝑋) = 0 quindi non è possibile.
Considero gli scarti in valore assoluto, con segno positivo perchè mi interessa sapere se sia vicina o lontana, non se a destra o sinistra.
Un modo alternativo a valore assoluto che si usa è il quadrato degli scarti, somma di quantità maggiori o uguali a zero.
DEVIANZA:
*(𝑋𝑖 − 𝑀(𝑋); Non sarà mai negativo;
Sarà uguale a zero quando tutti gli addendi (scarti) sono uguali a zero ma se tutti gli scarti sono uguali a zero vuol dire che media generale è uguale e zero e quindi non ci sarà variabilità.
Altrimenti la varianza è necessariamente positiva.
Non la useremo perché risente del numero di osservazioni, tanto più grande numero di osservazioni tanto più grande sarà la devianza ma non significa che c’è più variabilità.
Utilizzeremo indice derivato da devianza: VARIANZA s;
VAR(X)
= 67∑(𝑋𝑖 − 𝑀(𝑋)); DIMOSTRAZIONE:
=6
7∑(𝑋𝑖;+ 𝑀(𝑋);− 2 𝑋𝑖 𝑀(𝑋)
=6
7(∑ 𝑋𝑖;+ ∑ 𝑀(𝑋);− 2 ∑ 𝑋𝑖 𝑀(𝑋)
=6
7∑ 𝑋𝑖;+6
7𝑛 𝑀(𝑋);−;
7𝑀(𝑋) ∑ <=
K(<)
=6
7∑ 𝑋𝑖;+ 𝑀(𝑋);− 2 𝑀(𝑋);
=6
7∑ 𝑋𝑖;− 𝑀(𝑋); VARIANZA = media dei quadrati – quadrato della media
Dalla varianza si ricava ulteriore indice: SCARTO QUADRATICO MEDIO/DEVIAZIONE STANDARD s
=L67∑(𝑋𝑖 − 𝑀(𝑋));
ES.:
Distribuzione di frequenza numero dei componenti
COMPONENTI n
1 2191
2 2545
3 1566
4 1352
5 371
6 111
7 11
8 4
M(X)= 6
7∑ 𝑋𝑖 𝑛𝑖 =6M;6N6O;M;PQPO⋯SMQ
S6P6 = 2,46 s; = 6
7∑V𝑋𝑖 − 𝑀(𝑋)W;= ((6X;,QY)ZM;6N6O(;X;,QY)ZM;PQPO⋯O(SXQ)ZMQ)
S6P6 = 1,5956
s=E1,5956 = 1,26
Oppure uso formula della dimostrazione:
s;=6
7∑ 𝑋𝑖;𝑛𝑖 − 𝑀(𝑋);= (6ZM;6N6O;ZM;PQPO⋯OSZMQ)
S6P6 - 2,46;= 1,5956 s = E1,5956 = 1,26
PROPRIETA’ DELLA VARIANZA
1)Legata alla media aritmetica, quantità che rende minima somma degli scarti al quadrato;
2)Legata alla trasformazione lineare Y = a + b X , M(Y) = a + b M(X)
Effetto della traslazione, trasportare verso l’alto se aggiungo quantità positiva o verso il basso se quantità negativa ma non ha nessun effetto su variabilità.
Per cui traslazione non ha nessun effetto su varianza. VAR(Y) = 𝑏; 𝑉𝐴𝑅(𝑋) DIMOSTRAZIONE:
VAR(Y) = 6
7∑(𝑌𝑖 − 𝑀(𝑌);
= 6
7∑(𝑎 + 𝑏𝑋𝑖 − 𝑎 − 𝑏𝑀(𝑋));
=6
7∑(𝑏𝑋𝑖 − 𝑏𝑀(𝑋));
=𝑏; 67∑(𝑌𝑖 − 𝑀(𝑌);
=𝑏;𝑉𝐴𝑅(𝑋)
VARIANZA è invariante per traslazione mentre varianza risente del cambiamento di scala sy= |b| sx
Indici visti fino a questa lezione sono indici ASSOLUTI; vediamo un indice che non lo è:
COEFFICIENTE DI VARIAZIONE:
𝐶𝑉 =|<|s
(x100) Rapporto tra deviazione standard e valore assoluto della media (INDICE ADIMENSIONALE).
CONCENTRAZIONE
Bisogna ordinare i valori in ordine CRESCENTE:
X1 <= X2 <= X3 <= … <= Xi <= … <= Xk <= … <= Xn
% 6
7 ;
7 c
7 =
7= 𝐹𝑖 D
7 7
7= 1 X1 X1+X2 X1+X2+X3 …
𝑄𝑖 = 𝐴𝑖 È la % di reddito detenuta dai primi i soggetti 𝐴𝑛
𝐴𝑖 = * 𝑋𝑙
= fg6
𝐴𝑛 = * 𝑋𝑖
= fg6
A)EQUIDISTRIBUZIONE: Xi = X
Situazione in cui tutti hanno lo stesso ammontare del carattere Fi = Qi DIMOSTRAZIONE:
𝐴𝑖 = * 𝑋𝑖 = * 𝑋 = 𝑖 𝑋
= fg6
= fg6
𝐴𝑛 = 𝑛 𝑋
