Modelli empirici

1

MODELLI EMPIRICI

MODELLI EMPIRICI

Corso di Laurea in Ingegneria Civile

Facoltà di Ingegneria, Università di Padova

Docente: Dott. L. Corain

E-mail: [email protected] Home page: www.gest.unipd.it/~livio/Corso_Civile.html

2

MODELLI EMPIRICI

SOMMARIO

¾

Introduzione ai modelli empirici

¾

Regressione

ƒ

lineare semplice

ƒ

polinomiale

ƒ

con regressori qualitativi

¾

Regressione lineare multipla e superfici di

risposta

¾

Trasformazione dei dati nella regressione

3

MODELLI EMPIRICI

ƒ Molti problemi in ingegneria e scienze coinvolgono l’esplorazione delle relazioni tra due o più variabili e la modellazione del possibile legame esistente tra queste. ƒ Il modello e l’analisi di regressione rappresenta una

tecnica statistica molto utile per questi tipi di problemi. ƒ In generale, si suppone che vi sia una sola variabile

dipendente o risposta Y, dipendente da k variabili

indipendenti (esplicative/regressori)x1,x2,…,xk.

ƒ Frequentemente si usano i metodi di regressione per analizzare i dati di studi osservazionali o esperimenti

non pianificati, utili anche quando negli esperimenti

programmati qualcosa è andato storto.

ƒ Il modello di regressione può essere applicato anche come analisi aggiuntiva al quella ANOVA a dataset provenienti da esperimenti programmati.

ƒ L’analisi di regressione è utilizzata anche per capire quali specifiche variabili, tra un insieme di diverse variabili indipendenti, sono legate alla variabile dipendente e per esplorare le forme di queste relazioni.

ƒ L’analisi di regressione viene molto spesso utilizzata al fine di ottenere delle previsioni.

ƒ Le prestazioni dei metodi di analisi di regressione, in pratica dipendono dalla forma del processo di generazione dei dati, e come questo si relazione all’approccio di regressione utilizzato.

ƒ Dal momento che la vera forma del processo di generazione dei dati non è noto, l'analisi di regressione dipende in qualche misura dal fare assunzioni su questo processo.

3

MODELLI EMPIRICI

ƒ Nell’analisi di regressione l'obiettivo della stima sono i parametri β che caratterizzano una funzione delle variabili indipendenti chiamata funzione di regressione:

Y = f(X;β) + ε. – Variabile dipendente/risposta: Y. – Variabili indipendenti/esplicative: X. – Parametri ignoti identificati da β. – Termine di errore casuale: ε.

ƒ L'utente dell’analisi di regressione deve fare un'ipotesi ragionevole sulla funzione f(X;β).

ƒ A volte la forma di questa funzione può essere nota, altre volte si deve applicare un processo trial and error, altre volte infine la forma è ignota perché troppo complessa e si decide di adottare una funzione semplificata che possibilmente la rappresenti.

6

MODELLI EMPIRICI

Le assunzioni classiche per l'analisi di regressione sono:

– Il campione deve essere rappresentativo della popolazione verso la quale si vuol fare inferenza.

– L’errore è assunto essere una variabile casuale con media condizionata alle variabili esplicative pari a zero. – Le variabili indipendenti sono prive di errore

(deterministiche). Se così non fosse, la modellazione dove prendere in considerazione le tecniche per i modelli con errori nelle variabili.

– Gli errori sono incorrelati, cioè la matrice di varianze/covarianze degli errori è diagonale e ogni elemento non nullo è la varianza dell’errore.

– La varianza dell’errore è costante rispetto alle osservazioni (omoschedasticità). Se così non fosse, si dovrebbero utilizzare la tecnica dei minimi quadrati pesati o altri metodi idonei a queste condizioni.

7

MODELLI EMPIRICI

ƒ Per esempio, in un processo chimico, si supponga che la purezza dell’ossigeno prodotto sia legata al livello di idrocarburi d’esercizio del processo.

ƒ L’analisi di regressione può essere usata per costruire un modello per prevedere le rese in termini di purezza per uno specificato livello di idrocarburi.

Diagramma di dispersione della purezza dell’ossigeno rispetto al livello di idrocarburi.

5

MODELLI EMPIRICI

ƒ Sulla base del diagramma di dispersione, è ragionevole supporre che la media della variabile casuale Y sia legata alla x dalla seguente relazione lineare:

dove la pendenza e l’intercetta della retta si chiamano

coefficienti di regressione.

ƒ Il modello di regressione lineare sempliceè dato da

dove il termine di errore casuale ε è assunto IID (indipendente ed identicamente distribuito) con media zero e varianza (costante) σ2_.

10

MODELLI EMPIRICI

ƒ Possiamo pensare al modello di regressione come ad un modello empirico.

ƒ Dalle assunzioni sul termine casuale ε è possibile ricavare media e varianza della variabile risposta Y: cioè vi è una distribuzione di valori Y per ogni dato x e la varianza di questa distribuzione è la stessa ad ogni x: ƒ Il vero modello di regressione è il luogo geometrico di

tutti valori medi condizionati di Y per ogni dato x:

dove β1 può essere interpretato come la variazione del

valore medio di Y per un variazione unitaria di x.

11

MODELLI EMPIRICI

Ipotetica vera distribuzione di Y per un dato x per i dati sulla della purezza dell’ossigeno rispetto al livello di idrocarburi.

ƒ Il caso della regressione lineare semplice considera un singolo regressore o predittore x e una variabile

dipendente o risposta Y. Supponiamo di avere n

coppie di osservazioni (x₁,y₁), (x₂,y₂),…, (x_n,y_n).

ƒ Il metodo dei minimi quadrati viene utilizzato per

stimare i parametri, β₀ e β₁ minimizzando la somma dei quadrati delle deviazioni verticali.

Deviazioni dei dati dal modello di regressione stimato.

7

MODELLI EMPIRICI

ƒ Consideriamo il modello di regressione lineare semplice in riferimento alle n osservazioni del campione

con ε_i~IID(0,σ2_{) e definiamo una funzione obiettivo L}

come la somma degli scarti al quadrato delle osservazioni dal vero modello di regressione:

ƒ Gli stimatori (detti ai minimi quadrati) dei due

parametri β₀e β₁devono soddisfare le due equazioni 0 1

ˆ ˆ

β e β

14

MODELLI EMPIRICI

ƒ Semplificando le due espressioni si ottengono le cosiddette equazioni normali ai minimi quadrati

le cui soluzioni forniscono gli stimatori ai minimi quadrati dove e .

15

MODELLI EMPIRICI

ƒ Gli stimatori ai minimi quadrati dei due parametri β₀e β₁ sono non distorti

con varianza pari a

Si può dimostrare che sono anche stimatori

consistenti, ovvero asintoticamente la probabilità che

assumano il vero valore del parametro è pari ad uno.

ƒ La retta di regressione stimata (o prevista) è quindi

si noti che ogni coppia di osservazioni soddisfa la relazione

dove il termine viene definito residuo. ƒ L’i-esimo residuo e_i rappresenta l’errore relativo al

valore previsto dal modello rispetto all’osservazione y_i. ƒ In seguito vedremo che i residui verranno utilizzati

come per ottenere delle elaborazioni dette analisi dei residui che mirano a valutare dal punto di vista descrittivo l’adeguatezza del modello stimato rispetto alle assunzioni (normalità, indipendenza ed eteroschedasticità) del modello di regressione lineare.

9

MODELLI EMPIRICI

ƒ Riprendendo l’esempio della purezza dell’ossigeno rispetto al livello di idrocarburi, le stime ai minimi quadrati del coefficiente angolare e dell’intercetta sono

ƒ Il modello di regressione stimato risulta quindi Diagramma di dispersione della purezza dell’ossigeno rispetto al livello di idrocarburi e modello di regressione ŷ = 74.20 + 14.97x. 18 MODELLI EMPIRICI

19

MODELLI EMPIRICI

La somma dei quadrati degli errori SS_Eè pari a

Si può dimostrare che il valore atteso della somma dei quadrati degli errori è tale che E(SS_E) = (n – 2)σ2_.

Quindi, una stimatore non distortodi σ2 _è

dove SS_Epuò essere facilmente calcolato come

REGRESSIONE LINEARE SEMPLICE

ƒ Assumendo che il termine di errore casuale ε abbia distribuzione normale, ovvero ε_i~NID(0,σ2_{), è possibile}

considerare due statistiche test finalizzare a fare inferenza sui due parametri β₀e β₁, formalmente

dove un importate caso è quello del cosiddetto test di significatività della regressione: H0: β1=0 vs. H1: β1≠0

ƒ Le statistiche test appropriate sono:

che hanno distribuzione nulla t di Student con n-2 gdl, ovvero l’ipotesi nulla sarà rigettata se .

11

MODELLI EMPIRICI

ƒ Il mancato rifiuto dell’ipotesi nulla H₀: β₁=0 vs. H₁: β₁≠0 è equivalente a concludere che non vi è una relazione lineare tra x e Y.

Possibili casi in cui l’ipotesi H₀: β1= 0

non è rigettata.

Possibili casi in cui l’ipotesi H₀: β₁= 0 viene è rigettata.

22

MODELLI EMPIRICI

23

MODELLI EMPIRICI

ƒ Una procedura alternativa (ma equivalente) per sottoporre a verifica la significatività della regressione (H₀: β1=0 vs. H1: β1≠0) può essere sviluppata grazie

all’approccio dell’Analisi della Varianza (applicato alla regressione), mediante l’espressione:

⇔

ƒ Se l’ipotesi nulla H₀: β₁=0 è vera, la statistica test

segue una distribuzione F_1,n-2 e l’ipotesi sarà rifiutata, a livello di significatività α, se F₀> F_α;1,n-2.

ƒ I risultati delle verifica di ipotesi sulla significatività della regressione via Analisi della Varianza vengono usualmente rappresentati in forma tabellare:

dove le quantità MS_R e MS_E sono chiamate quadrati medi della regressione e dell’errore.

ƒ SS_Re SS_E rappresentano rispettivamente la parte della variabilità totale della risposta Y spiegata dalla regressione e la parte imputabile al termine di errore.

13

MODELLI EMPIRICI

è chiamata coefficiente di determinazione - R2 _{ed è} spesso utilizzata per giudicare l’adeguatezza del modello di regressione.

ƒ Il range dei valori possibili dell’R2_{sono 0 ≤ R}2_{≤ 1.}

ƒ Spesso ci riferiamo all’R2 _{come la quantità della}

variabilità nei dati spiegata o interpretata dal modello di regressione.

ƒ Per il modello di regressione della purezza dell’ossigeno rispetto al livello di idrocarburi,

R2_{= SS}

R/SST = 152.13/173.38 = 0.877

ƒ Quindi, il modello interpreta l’87.7% della variabilità presente nei dati.

ƒ La quantità

26

MODELLI EMPIRICI

27

MODELLI EMPIRICI

REGRESSIONE LINEARE SEMPLICE

ƒ Sotto l’assunzione ε_i~NID(0,σ2_{), ovvero di normalità del}

termine di errore (o equivalentemente delle osservazioni Y_i), oltre a condurre dei test di significatività sui parametri, è possibile costruire degli intervalli di confidenza all’(1-α)100% per il coefficiente angolare β1e per l’intercetta β0:

15

MODELLI EMPIRICI

30

MODELLI EMPIRICI

REGRESSIONE LINEARE SEMPLICE

ƒ Oltre agli intervalli di confidenza per parametri β₁e β₀, è possibile costruire intervalli di confidenza anche per

‰ la previsione media µ_Y|x

0:

31

MODELLI EMPIRICI

REGRESSIONE LINEARE SEMPLICE

Diagramma di dispersione della purezza dell’ossigeno rispetto al livello di idrocarburi, retta di regressione stimata e limiti di confidenza al 95% di µ_Y|x0.

17

MODELLI EMPIRICI

34

MODELLI EMPIRICI

REGRESSIONE LINEARE SEMPLICE

Diagramma di dispersione della purezza dell’ossigeno rispetto al livello di idrocarburi, retta di regressione stimata, limiti di confidenza al 95% di µ_Y|x0(linee interne) e limiti di previsione al 95% (linee esterne).

35

MODELLI EMPIRICI

ƒ Adottare un modello di regressione richiede alcune assunzioni: ε_i~NID(0,σ2_),

¾ gli errori devono essere variabili aleatorie incorrelate con media zero;

¾ gli errori devono avere varianza costante;

¾ gli errori devono essere distribuiti normalmente. ƒ L'analista deve sempre considerare la validità di queste

assunzioni e condurre analisi per esaminare l'adeguatezza del modello.

ƒ I residui del modello di regressione sono definiti come e_i=y_i−ŷ_i, dove y_i è il valore osservato e ŷ_i è il corrispondente valore stimato dal modello di regressione.

Possibili pattern dei grafici dei residui.

(a) soddisfacente, (b) imbuto,

(c) double bow, (d) non lineare.

REGRESSIONE LINEARE SEMPLICE

L'analisi dei residui è spesso utile nel valutare l'ipotesi che gli errori sono hanno distribuzione normale, con varianza costante, e nel determinare se sarebbe utile considerare nel modello ulteriori termini.

19

MODELLI EMPIRICI

Normal probability

plot dei residui Residui vs. valori previsti ŷ

38

MODELLI EMPIRICI

ƒ La regressione polinomiale è una forma di regressione lineare in cui la relazione tra la variabile indipendente x e la variabile dipendente Y viene modellata da un polinomio.

ƒ La regressione polinomiale adatta una relazione non lineare tra il valore di x e la corrispondente media condizionata di Y, indicata con E(Y|X).

ƒ Anche se la regressione polinomiale adatta ai dati un modello non lineare, il problema di stima statistica è lineare, nel senso che la funzione di regressione E(Y|x) è lineare nei parametri ignoti che sono stimati dai dati.

ƒ Quindi, la regressione polinomiale è considerata un caso particolare di regressione lineare multipla.

39

MODELLI EMPIRICI

• Modello lineare semplice:

Y_i= β₀+ β₁x_i+ε_i, i =1,...,n. • Modello quadratico: Y_i= β₀+ β₁x_i+ β₂x_i2₊ε i, i =1,...,n. • Modello cubico: Y_i= β0+ β1xi+ β2xi2+ β3xi3+εi, i =1,...,n. • Modello polinomiale di ordine p:

Y_i= β₀+ β₁x_i+ β₂x_i2_+…+ β

pxip+εi, i =1,...,n. Un approccio alternativo è la regressione non parametrica in cui la funzione link non prende una forma predeterminata, ma viene costruita in base alle informazioni ricavate dai dati.

REGRESSIONE CON REGRESSORI QUALITATIVI

ƒ In un modello di regressione si possono introdurre anche delle variabili esplicative di tipo qualitativo (es. tipo di prodotto, fornitore, ecc.), che possono essere definite su due o più livelli (modalità, categorie).

ƒ A questo scopo, data una variabile qualitativa su a livelli, è necessario applicare la seguente procedura:

o un livello (ad es. il primo) viene scelto come riferimento (baseline);

o si costruiscono a−1 variabili (di comodo o dummy) D₂,...,D_a, secondo una delle due codifiche:

1. D_ij=1, se in corrispondenza dell’i-esima osserva-zione (i=1,...,n) si osserva il livello j-esimo della variabile qualitativa; altrimenti D_ij=0;

2. D_ij=1, se in corrispondenza dell’i-esima osserva-zione (i=1,...,n) si osserva il livello j-esimo; D_ij=−1 se si osserva il livello 1 (baseline), altrimenti D=0.

21

MODELLI EMPIRICI

ƒ Si noti che la variabile di comodo per la categoria di riferimento non viene considerata in quanto si verrebbe a determinare una dipendenza lineare tra le colonne della matrice dei regressori con conseguente impossibilità di invertire la matrice X′X.

ƒ Il coefficiente di una variabile dummy deve essere sempre interpretato in relazione alla categoria di riferimento, vale a dire la categoria che riceve il valore 0. ƒ Le variabili dummy possono interagire con regressori

sia quantitativi sia qualitativi.

ƒ Se un modello contiene più variabili esplicative di tipo qualitativo con diverse categorie, l'introduzione delle dummy per tutte le combinazioni possono ‘consumare’ un gran numero di gradi di libertà, specialmente se la dimensione del campione è relativamente piccolo.

42

MODELLI EMPIRICI

ƒ Un modello spesso usato è il modello di regressione

lineare multiplacon due variabili indipendenti:

ƒ Il modello descrive un piano nello spazio tridimensionale (y,x₁,x₂).

ƒ In generale, quando la variabile di risposta y può essere legata a k variabili esplicative è possibile specificare il seguente modello lineare:

ƒ Regressione polinomiale o con variabili qualitative sono casi particolari di regressione lineare multipla.

ƒ Questo approccio può essere applicato a dati provenienti sia da studi osservazionali sia sperimentali (dopo l’analisi ANOVA, se uno o più fattori sono di tipo numerico).

43

MODELLI EMPIRICI

ƒ Il dati si presentano nell’usuale forma di dataset:

ƒ Il modello di regressione lineare multipla, per la singola osservazione y_i, si presenta nella forma

con ε_i~IID(0,σ2_).

ƒ Riscritto in termini matriciali, risulta .

ƒ y è un vettore (n×1) delle variabili casuali rappresentanti

le osservazioni

ƒ X è una matrice (n×p) dei livelli delle variabili

indipendenti, con p=k+1

ƒ è un vettore (p×1) dei coefficienti di regressione

ƒ è un vettore (n×1) di errori casuali

23

MODELLI EMPIRICI

ƒ Definiamo una funzione obiettivo L come la somma degli scarti al quadrato delle osservazioni dal vero modello di regressione La funzione dei minimi quadrati

ƒ Semplificando si ottiene un sistema di p equazioni dette normali ai minimi quadrati, che è semplice risolvere in forma matriciale.

ƒ L’obiettivo è quello di trovare il vettore degli stimatori ai minimi quadrati del parametro β, tale da minimizzare ƒ Dopo alcuni passaggi si ottiene .βˆ (= X X X y′ )−1 ′

46

MODELLI EMPIRICI

ƒ I valori stimati dal modello di regressione lineare multipla sono definiti come

ƒ In notazione scalare

ƒ La differenza tra osservazioni reali y_i e i corrispondenti valori stimati ŷ_idefinisce il vettore (nx1) dei residui e ƒ Per stimare σ2 _{si considera la somma dei quadrati dei}

residui SS_E

ƒ Si può mostrare che quindi uno sti-matore non distorto di σ2_{è dato da: .}

REGRESSIONE LINEARE MULTIPLA

2

ˆ SS_E (n p)

47

MODELLI EMPIRICI

ƒ Il metodo dei minimi quadrati produce uno stimatore _ del parametro β del modello di regressione lineare che è BLUE (Best Linear Unbiased Estimator), ovvero è non distorto e ottimale nella classe degli stimatori lineari. ƒ Lo stimatore è inoltre consistente (converge

asintotica-mente in probabilità al vero valore).

ƒ Le proprietà della varianza di viene espressa dalla

matrice varianze-covarianze

che è una matrice simmetrica, il cui i-esimo elemento nella diagonale principale è la varianza dello stimatore del coefficiente di regressione individuale e il cui elemento (ij)-esimo è la covarianza tra e

ˆβ

ˆβ

ƒ La multicollinearità è un fenomeno che si può verificare in presenza di alta correlazione tra due o più variabili indipendenti.

ƒ Questo significa che alcune variabili contribuiscono con delle informazioni ridondanti al modello di regressione multipla.

ƒ L’inclusione di due variabili indipendenti strettamente correlate può influenzare negativamente i risultati della regressione e portare a stime dei parametri instabili (errore standard elevati e conseguenti bassi valori osservati dei t-test), tanto che i segni dei parametri potrebbero anche non corrispondere alle aspettative iniziali.

25

MODELLI EMPIRICI

ƒ La presenza di multicollinearità è suggerita da alcuni situazioni:

o segni errato sui parametri stimati;

o grandi variazioni nella stima di un parametro quando una nuova variabile si aggiunge al modello;

o una variabile significativa in precedenza diventa insignificante quando una nuova variabile indipendente è aggiunta;

o la stima della deviazione standard del modello aumenta quando una variabile viene aggiunto al modello;

o valori elevati (>5) dell’indice VIF (Variance Inflation Factor), calcolato per ogni data stima del parametro β_j.

50

MODELLI EMPIRICI

ƒ Sotto l’assunzione che gli errori del modello siano εi~IIN(0,σ2), cioè indipendenti e distribuiti normalmente,

con valore atteso zero e varianza costante, è possibile sviluppare delle procedure di verifica di ipotesi sulla significatività dei parametri del modello.

ƒ Una prima verifica di ipotesi (di tipo globale), mira a determinare se vi sono relazioni lineari tra la variabile di risposta Y ed almeno uno dei regressori:

ƒ Il rifiuto di H₀ implica che almeno uno dei regressori contribuisce al modello, si tratta perciò di una procedura sulla significatività dell’intero modello di regressione.

ƒ La statistica test utilizzata si sviluppa dalla usuale scomposizione della somma dei quadrati:

51

MODELLI EMPIRICI

ƒ Dove le somma dei quadrati totali SS_T, dovuta alla regressione SS_Rè dell’errore SS_Esono

ƒ Sotto l’ipotesi nulla la statistica test di interesse è di tipo F:

ƒ L’ipotesi nulla dovrà essere rifiutata se F_oss> F_{α;k,n−k −1}.

ƒ Il p-value, usualmente riportato nella tabella ANOVA della regressione, rappresenta un metodo alternativo ed equivalente per la verifica di ipotesi.

ƒ Dalla scomposizione della somma dei quadrati, si può calcolare l’indice di determinazione R2_:

che è una misura della parte della variabilità di y spiegata dal modello. Un basso/elevato valore di R2 _non

implica necessariamente però che il modello di regressione sia cattivo/buono.

27

MODELLI EMPIRICI

ƒ Dato che l’indice R2 _{aumenta monotonicamente}

aggiungendo nuovi termini al modello, si preferisce utilizzarlo nella versione di R2

adjaggiustato ( adjusted):

ƒ L’indice R2

adj non aumenta necessariamente quando si aggiungono variabili nel modello, ma se si aggiungono termini superflui il valore decresce.

ƒ Spesso siamo interessati a determinare l’utilità individuale di ciascuna delle variabili indipendenti, nel modello di regressione.

ƒ Si deve decidere cioè se l’incremento nella somma dei quadrati della regressione è sufficiente a giustificare l’uso di una variabile aggiuntiva nel modello.

54

MODELLI EMPIRICI

ƒ Le ipotesi per valutare la significatività di un singolo coefficiente di regressione sono H₀: β_j=0 vs. H₁: β_j≠0.

ƒ Una statistica test (di tipo t di Student) appropriata a testare questa ipotesi è

dove il denominatore è spesso chiamato errore standard. ƒ La maggior parte dei software di calcolo della regressione

fornisce il test t per ogni parametro del modello.

ƒ In alternativa, mediante un test F si può esaminare il contributo alla somma dei quadrati della regressione di una particolare variabile (posto che le altre variabili siano incluse nel modello): si tratta del metodo della somma dei

quadrati aggiuntivi, utile anche a verificare se un dato

sottoinsieme delle variabili contribuisce significativamente al modello.

55

MODELLI EMPIRICI

ƒ Dal modello di regressione si vuole veri-ficare se il sottoinsieme X₁delle variabili di regressione contribuisce significativamente al modello.

ƒ Il modello di regressione può essere riscritto evidenziando X₁e X₂e i relativi coefficienti β₁e β₂:

ƒ Per il modello completo che include sia β₁ sia β₂ si ottiene dove l’errore ha p gradi di libertà, da cui

ƒ Per il modello ridotto, che recepisce il vincolo β₁=0, si ottiene

ƒ Si definisce la somma dei quadrati della regressione dovuta a β₁dato che β₂è già nel modello:

ƒ Ora dato che è indipendente da MS_E, l’ipotesi H₀: β1=0 può essere valutata dalla statistica

ƒ Tale statistica test è chiamata test F parziale e misura l’effetto di un vincolo imposto su di un sotto insieme di variabili indipendenti.

ƒ Usualmente il vincolo è β₁=0, ma con lo stesso approccio si potrebbe considerare anche il caso più generale espresso da un sistema di equazioni lineari del tipo Rβ=r.

29

MODELLI EMPIRICI

ƒ Consideriamo l’esempio della viscosità e supponiamo di volere studiare il contributo della variabile X₂ nel modello.

ƒ Le ipotesi da valutare sono H₀: β₂=0 vs. H₁: β₂=0.

ƒ Ciò richiederà la somma dei quadrati aggiuntiva dovuta a β₂

ƒ Il modello ridotto è

ƒ Per valutare la statistica test adeguata è

ƒ Questa procedura equivale a condurre il test t su β₂.

58

MODELLI EMPIRICI

ƒ Sotto assunzione di normalità degli errori casuali è possibile costruire degli intervalli di confidenza per i coefficienti di regressione e per altre quantità d’interesse nel modello di regressione.

ƒ Un intervallo di confidenza al (1−α)% per il coefficiente di regressione β_jè dato da

dove Cjj è l’elemento in posizione jj della matrice

ƒ Un intervallo di confidenza per la risposta media µ_y|x0 in corrispondenza del punto x₀=(x₀₁,x₀₂,…,x_0k)

dove .

59

MODELLI EMPIRICI

ƒ Infine, un intervallo di confidenza utile per prevedere future osservazioni del valore puntuale della risposta y₀ in corrispondenza del punto x₀=(x₀₁,x₀₂,…,x_0k)

dove .

ƒ Quando si prevedono nuove osservazioni occorre molta cautela nell’eventuale estrapolazione al di fuori della regione contenente le osservazioni originarie.

REGRESSIONE LINEARE MULTIPLA

ƒ Uno degli aspetti più delicati della regressione lineare multipla è la selezione delle variabili esplicative al fine di ottenere un modello finale soddisfacente.

ƒ Infatti, la stima di un modello iniziale che include tutti i k possibili regressori produrrà quasi certamente un risultato in cui alcuni regressori avranno un p-value significativo mentre altri non l’avranno. Si pone quindi la questione della corretta/opportuna selezione del sottoinsieme dei regressori.

ƒ In questo ambito non esiste un algoritmo ottimale che consente in tutte le condizioni di ottenere un modello finale “ottimo”.

ƒ Ci si può affidare ad algoritmi alternativi, tenendo presente che questi non necessariamente produrranno lo stesso risultato.

31

MODELLI EMPIRICI

ƒ Gli algoritmi più utilizzati per la selezione delle variabili esplicative nel modello di regressione lineare multipla si dividono in due categorie: 1. step-wise e 2. best sub-set. ƒ Gli algoritmi step-wise funzionano a passi, secondo una

delle tre modalità:

o Forward stepwise selection: inizia con il modello vuoto

e aggiunge regressori in modo sequenziale;

o Backward stepwise selection: inizia con il modello

completo e toglie regressori in modo sequenziale;

o Stepwise selection: combinazione di selezione forward

e backward.

ƒ La procedura best sub-set si basa sull’idea di stimare tutte le possibili equazioni di regressione utilizzando tutte le possibili combinazioni di variabili indipendenti, quindi si sceglie il modello in termini di migliore adattamento ai dati (R2_{elevato, MS}

Epiccolo e indice Cpdi Mallow appropriato).

62

MODELLI EMPIRICI

ƒ Le analisi diagnostiche del modello di regressione sono delle tecniche che riguardano l’adeguatezza del

modello e che si applicano usualmente a quello che si

considera il modello stimato finale.

ƒ L’analisi grafica dei residui fa parte di queste procedure. Alcuni autori suggeriscono di lavoro non sui residui ordinari quanto su una loro forma modificata, suggerendo che questi forniscono più informazioni.

ƒ Uno tipo di questi residui è detto residui standardizzati caratterizzati da media zero e varianza unitaria che tornano utili nella ricerca degli outlier o valori anomali.

ƒ Il processo di standardizzazione trasforma la scala dei residui, in quanto li divide per la loro deviazione media approssimata.

REGRESSIONE LINEARE MULTIPLA

ˆ , 1,...,

i i

63

MODELLI EMPIRICI

ƒ La varianza dell’i-esimo residuo è , dove la matrice H=X(X′X)−1_X′

trasforma il vettore dei valori osservati in un vettore di valori previsti.

ƒ In generale, residui prossimi al centro dello spazio di X hanno varianza maggiore di quelli relativi a posizioni più distanti. Tenendo conto della non uniformità della varianza quando si trasforma la scala dei residui, conviene considerare i residui studentizzati:

ƒ In molte situazioni la varianza dei residui si stabilizza, particolarmente per grandi insiemi di dati ed in questi casi le differenze tra i residui standardizzati e studentizzati saranno piccole.

ƒ Si riportano sedici osservazioni della viscosità di un polimero (y) e di due variabili di processo-temperatura di reazione (x₁) e portata del catalizzatore (x₂), a cui si vuole adattare un

modello di regressione multipla:

ƒ Impostate le matrici X ed y, si trovano le matrici X’X ed il vettore X’y e la stima ai minimi quadrati di

33

MODELLI EMPIRICI

La tabella sottostante riporta alcuni output ottenuti con Minitab per accostamento del modello di regressione per l’esempio della viscosità.

The regression equation is

Viscosity = 1566 + 7.62 Temp (x1) + 8.58 Feed rat (x2)

Predictor Coef SE Coef T P

Constant 1566.08 61.59 25.43 0.000 Temp (x1) 7.6213 0.6184 12.32 0.000 Feed rat (x2) 8.585 2.439 3.52 0.004 S = 16.3586 R-Sq = 92.7% R-Sq(adj) = 91.6% Analysis of Variance Source DF SS MS F P Regression 2 44157 22079 82.50 0.000 Residual Error 13 3479 268 Total 15 47636 66 MODELLI EMPIRICI

REGRESSIONE LINEARE MULTIPLA

Il grafico 3D sottostante riporta i valori stimati dal modello di regressione (FITS) ovvero il piano di risposta che stima la viscosità in funzione delle combinazioni di temperatura di reazione (x₁) e portata del catalizzatore (x₂).

FITS 2250 2300 100 2350 2400 12 90 10 Temp (x1) 80 8 Feed rat (x2)

67

MODELLI EMPIRICI

Valori previsti, residui ed altri strumenti diagnostici.

Residual Pe rc en t 40 20 0 -20 -40 99 90 50 10 1 Fitted Value Re si du al 2400 2350 2300 2250 20 10 0 -10 -20 Residual Fr eq ue nc y 24 12 0 -12 -24 4.8 3.6 2.4 1.2 0.0 Observation Order Re si du al 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 20 10 0 -10 -20

Normal Probability Plot of the Residuals Residuals Versus the Fitted Values

Histogram of the Residuals Residuals Versus the Order of the Data

Residual Plots for Viscosity

REGRESSIONE LINEARE MULTIPLA

I grafici sulla diagnostica dei residui evidenziano delle problematiche in merito all’assunzione di normalità e di omoschedasticità degli errori (c’è una tendenza della varianza della viscosità osservata ad aumentare con valori crescenti di viscosità).

35

MODELLI EMPIRICI

I grafici dei residui rispetto a x₁(temperatura) e x₂ (portata del catalizzatore) suggeriscono inoltre che la variabilità della viscosità tende ad aumentare al crescere della temperatura. Temp (x1) Re si d u a l 100 95 90 85 80 30 20 10 0 -10 -20

Residuals Versus Temp (x1)

(response is Viscosity) Feed rat (x2) Re si d u a l 13 12 11 10 9 8 30 20 10 0 -10 -20

Residuals Versus Feed rat (x2)

(response is Viscosity)

70

MODELLI EMPIRICI

REGRESSIONE LINEARE MULTIPLA

Consideriamo due esempi di applicazione della regressione lineare multipla a dati provenienti da uno studio sperimentale.

1. In uno studio sulle proprietà meccaniche di alcune miscele bituminose, si vuole stabilire se il modulo di rigidezza è legato al tipo di scheletro (SCHEL: A,B), e alle percentuali di cemento (CEM: 1,2,3) e di bitume (BIT: 2,3,4).

2. In uno studio sulle proprietà di alcuni calcestruzzi (Tipo Calc: normale, con ritardante, con fluidificante) si sono misurati valori di resistenza (lb/in^2) considerando anche la percentuale di acqua (% Acqua: 1, 2, 3%) e la percentuale di cemento (% Cem: 3, 4, 5%).

71

MODELLI EMPIRICI

ESEMPIO 1: Per la miscela con scheletro B è stata adattata ai dati sperimentali una opportuna superficie di risposta.

Estimated Regression Coeff. for Sm(MPa)

Term Coef SE Coef T P

Constant 5584.40 130.49 42.796 0.000 CEM 324.95 71.47 4.547 0.000 BIT 656.37 71.47 9.184 0.000 CEM^2 -6.63 123.79 -0.054 0.957 BIT^2 -500.99 123.79 -4.047 0.000 CEM*BIT -200.53 87.54 -2.291 0.024 S = 553.6 R-Sq = 60.1% R-Sq(adj) = 57.7% Sm (MPa) 4000 5000 1 ₂ CEM Sm (MPa) 6000 4 3 BIT 2 3

Surface Plot of Sm (MPa) vs BIT; CEM

CEM BIT 3.0 2.5 2.0 1.5 1.0 4.0 3.5 3.0 2.5 2.0 Sm (MPa) 4500 - 5000 5000 - 5500 5500 - 6000 > 6000 < 4000 4000 - 4500

Contour Plot of Sm (MPa) vs BIT; CEM

Residual Pe rc en t 2000 1000 0 -1000 -2000 99.9 99 90 50 10 1 0.1 Fitted Value Re si du al 6000 5500 5000 4500 4000 1000 0 -1000 -2000 Residual Fr eq ue nc y 1000 500 0 -500 -1000 -1500 -2000 20 15 10 5 0 Observation Order Re si du al 90 80 70 60 50 40 30 20 10 1 1000 0 -1000 -2000

Normal Probability Plot of the Residuals Residuals Versus the Fitted Values

Histogram of the Residuals Residuals Versus the Order of the Dat

Residual Plots for Sm (MPa)

REGRESSIONE LINEARE MULTIPLA

ESEMPIO 2: per il calcestruzzo di tipo normale è stata adattata ai dati sperimentali una opportuna superficie di risposta.

Estimated Regression Coefficients for Rc [lb/in^2] Term Coef SE Coef T P Constant 4042.5 255.45 15.825 0.000 % Cem -149.9 34.76 -4.313 0.001 % Acqua -714.6 243.34 -2.937 0.011 % Acqua^2 197.4 60.21 3.279 0.005 S = 120.4 R-Sq = 70.8% R-Sq(adj) = 64.6% Analysis of Variance for Rc [lb/in^2]

Source DF Adj SS Adj MS F P Regression 3 493244 164415 11.34 0.000 Residual Error 14 203017 14501 Total 17 696261 Residual Pe rc en t 200 100 0 -100 -200 99 90 50 10 1 Fitted Value Re si du al 3200 3000 2800 2600 200 100 0 -100 -200 Fr eq ue nc y 200 100 0 -100 -200 4 3 2 1 0 Re si du al 18 16 14 12 10 8 6 4 2 200 100 0 -100 -200

Normal Probability Plot of the Residuals Residuals Versus the Fitted Values

Histogram of the Residuals Residuals Versus the Order of the Data

37

MODELLI EMPIRICI

ESEMPIO 2: per il calcestruzzo di tipo normale è stata adattata ai dati sperimentali una opportuna superficie di risposta. Rc 2600 2800 3 4 % Cem 3000 3200 1 5 3 2 _{% Acqua}

Surface Plot of Rc [lb/in^2] vs % Acqua; % Cem

% Cem % A cq u a 5.0 4.5 4.0 3.5 3.0 3.0 2.5 2.0 1.5 1.0 Rc [lb/in^2] 2800 - 2900 2900 - 3000 3000 - 3100 3100 - 3200 > 3200 < 2700 2700 - 2800

Contour Plot of Rc [lb/in^2] vs % Acqua; % Cem

74

MODELLI EMPIRICI

ƒ Quando si considera l’applicazione di un modello lineare, se l’assunto della linearità viene a cadere anche approssimativamente, a volte è possibile trasformare nel modello di regressione sia le variabili indipendenti sia quella dipendente al fine di migliorarne la linearità.

ƒ Un'altra assunzione della regressione lineare è che la variabile dipendente dovrebbe variare almeno approssimativamente secondo una legge normale intorno al suo valore atteso, con la stessa varianza per ogni possibile valore atteso (questa proprietà è nota come omoschedasticità).

ƒ Sebbene la normalità non sia necessaria per ottenere le stime appropriate ai minimi quadrati dei parametri di regressione (teorema di Gauss-Markov) ...

75

MODELLI EMPIRICI

ƒ … intervalli di confidenza e test di ipotesi avranno le proprietà statistiche desiderate solo se la media condizionata rispetto alle variabili esplicative della variabile dipendente sarà almeno approssimativamente normale e con varianza costante.

ƒ Le trasformazioni logaritmo e radice quadrata sono comunemente utilizzate per i dati positivi, e la trasformazione inversa (reciproco) può essere utilizzato per dati non-zero.

ƒ La trasformazione di potenza è una famiglia di trasformazioni parametrizzate da un non negativo valore λ che include il logaritmo, radice quadrata, e il reciproco come casi particolari.

ƒ Per approcciare la questione della trasformazione dei dati in modo sistematico, è possibile utilizzare tecniche di stima statistica per stimare il parametro λ della trasformazione di potenza, in modo da identificare la trasformazione che è approssimativamente la più appropriata ad un dato contesto. Dal momento che la famiglia delle trasformazioni di potenza include anche la trasformazione identica, questo approccio può anche indicare se sarebbe preferibile analizzare i dati senza alcuna trasformazione. Nell'analisi di regressione, questo approccio è conosciuto come la tecnica di Box-Cox.

39

MODELLI EMPIRICI

ƒ La regressione non lineare è una forma di regressione in cui i dati osservati sono modellati da una funzione che è una combinazione lineare dei parametri del modello e dipende da una o più variabili indipendenti. I parametri vengono stimati con algoritmi numerici basati su approssimazioni iterative.

ƒ A volte i modelli non lineari possono essere linearizzati mediante trasformazioni opportune. Consideriamo ad esempio il modello esponenziale (ignorando l’errore): Y_i=β₀eβ₁X_{i. Se applichiamo la trasformazione logaritmica} ad entrambi i membri otteniamo

lnY_i= lnβ₀+β₁X_i

il che suggerisce di stimare i parametri ignoti attraverso una regressione lineare di lnY su X.

78

MODELLI EMPIRICI

ƒ Il processo di stima per un modello non lineare, ma linearizzabile non richiede alcune ottimizzazione iterata. Tuttavia, l'utilizzo di una trasformazione lineare richiede cautela.

1

Y

e

γ

_ε

α

=

+

+

genuinamente non lineare è il cosiddetto modello logistico a due o tre parametri: