Metodo dei minimi quadrati

Metodo dei minimi quadrati

Marcello Fanti

University of Milano and INFN

Verifica di una legge fisica — Esempio

Si vuole verificare una legge oraria s = f (t) — la funzione f (t) viene da ipotesi sul sistema fisico:

un oggetto che cade in un campo di forza uniforme F = mg ⇒ z = z

+ v

t − 1 2 gt

un oggetto sottoposto a una forza elastica F = −k(x − x

) ⇒ x = x

+ A cos(ωt − φ)

⇒ Voglio verificare se la legge del moto ipotizzata `e valida

⇒ Voglio determinarne i parametri

(nel 1

esempio: z

, v

, g ; nel 2

esempio: x

, A, ω, φ) Come procedo?

1 a diversi istanti t

, t

, t

, . . . misuro le posizioni s

± σ

, s

± σ

, s

± σ

, . . .

2 costruisco una tabella di coppie ( t

; s

± σ

) — eventualmente anche i t

possono avere incertezze, quindi le coppie saranno

( t

± σ

; s

± σ

)

3 costruisco un grafico cartesiano dei punti ( t

; s

± σ

) sugli assi t ; s e cerco di farmi un’idea se i punti sperimentali possono essere descritti da una leffe s = f (t) ipotizzata

(in certi casi si pu` o osservare ad occhio che NON ` E COS`I. . . )

4 poi per` o mi serve un criterio pi` u quantitativo e rigoroso che mi permetta di stabilire se la mia ipotesi s = f (t) `e supportata dai dati, o `e esclusa.

t

± σ

s

± σ

t

± σ

s

± σ

t

± σ

s

± σ

... ...

t

± σ

s

± σ

s

s

?

s = s + v t - (g/2) t

Verifica di una legge fisica — Formulazione

In generale:

ipotizzo che due grandezze fisiche misurabili X , Y siano legate da una legge Y = f (X , α

, . . . , α

) X , Y sono gli “osservabili”

la legge Y = f (X , α

, . . . , α

) `e il “modello fisico” e α

, . . . , α

sono i suoi “parametri”

Si prelevano N dati sperimentali misurando gli osservabili in diverse condizioni del sistema fisico

⇒ (x

± σ

; y

± σ

) , (x

± σ

; y

± σ

) , (x

± σ

; y

± σ

) , . . . 1 la legge Y = f (X , α

, . . . , α

) descrive le osservazioni ?

2 come possiamo stimare i valori dei parametri α

, . . . , α

? Assunzioni:

X `e la variabile “indipendente”, scelta dallo sperimentatore per selezionare la condizione del sistema fisico

⇒ `e ragionevole assumere che σ

abbia impatto trascurabile (poi vedremo come “rilassare” questa assunzione. . . )

le varie misure di Y sono fra loro indipendenti, e le loro incertezze sono Gaussiane Quindi, se il modello ipotizzato Y = f (X , α

, . . . , α

) `e corretto:

il valore “vero” (o “aspettato”) di y

per un dato x

`e y

= f (x

; α) (per brevit` a, indichiamo con α ≡ (α

, . . . , α

) la totalit` a dei parametri) la densit` a di probabilit` a di misurare y

entro un intervallino dy

`e:

d Prob (y

)

dy

= G (y

; y

, σ

) = 1

√ 2πσ

e

1 2

yk −f (xk ;α) σk

2

Principio di massima verosimiglianza

La probabilit` a di avere misure y

, . . . , y

indipendenti `e:

d Prob (y

, . . . , y

) =

N

Y

k=1

d Prob (y

) = 1 (2π)

Y

k

1 σ

! e

1 2

P

k

yk −f (xk ;α) σk

2

| {z }

L(α)

· dy

· · · dy

La funzione L(α) `e la funzione di verosimiglianza (in inglese: likelihood function . . . tanto vale saperlo!)

[si ` e voluta enfatizzare la dipendenza dai parametri α, in realt` a L dipende anche dalle misure (x

, y

) , . . . , (x

, y

) ]

Principio di massima verosimiglianza — (“maximum likelihood”)

“Se il modello ipotizzato Y = f (X , α) `e giusto, allora la migliore stima dei valori dei parametri α `e data dai valori che massimizzano la funzione di verosimiglianza L(α)”

Osservazioni

1 il principio ` e intuitivo: massimizza la probabilit` a di ottenere le misure effettivamente osservate — osservare dei valori di y

, . . . , y

molto improbabili, per parametri α dati, sarebbe “inverosimile” (“very unlike”), . . . appunto!

2 se il modello ipotizzato — Y = f (X , α) — `e sbagliato, la stima dei valori di α non ha senso

⇒ come fare a vedere se il modello `e sbagliato? ci ritorneremo . . . 3 tecnicamente, si tratta di un problema di massimizzazione

quasi sempre va risolto con metodi numerici iterativi, al computer

in alcuni casi particolari, esiste la soluzione analitica (es.: fit lineare)

Principio dei minimi quadrati

(`e in realt` a una diretta conseguenza del principio di massima verosimiglianza)

L(α) =

N

Y

k=1

d Prob (y

)

dy

⇒ − 2 ln L(α) =

N

Y

k=1



−2 ln  d Prob (y

) dy



[nel calcolo gestire somme invece che prodotti ` e pi` u comodo . . . il −2 davanti sar` a chiaro a breve . . . ]

massimizzare L(α) ⇐⇒ minimizzare −2 ln L(α)

−2 ln L(α) = N ln(2π) + 2 X

k

ln σ

+ X

k

 y

− f (x

; α) σ



| {z }

χ²

I parametri α entrano solo in χ

⇒ per la migliore stima dei parametri α occorre minimizzare χ

Validit` a del modello

Se il modello ipotizzato Y = f (X ; α) `e corretto,

⇒ la quantit`a y

− f (x

; α)

σ

`e distribuita secondo una Gaussiana unitaria (media=0, dev.standard=1)

⇒ χ

= X

k

 y

− f (x

; α) σ



segue la distribuzione di χ

: f

(ξ; ν)

Poich´e ho N osservazioni, ma ricavo p parametri, i gradi di libert` a sono ν = N − p

⇒ Da χ

(minimizzato) e ν posso ricavare “quanto bene” il modello descrive i dati, nel modo usuale:

1 ipotizzo un modello: Y = f (X ; α) 2 calcolo il χ

dalle misure : χ



= X

k

 y

− f (x

; α) σ



— minimizzato rispetto ai parametri α

3 calcolo la probabilit` a che, dato il modello ipotizzato, le mie misure diano un χ

peggiore di quello effettivamente ottenuto:

p = Prob 

χ

> [χ

]



=

Z

[χ²]^(mis)

d ξ f

(ξ; ν)

4 se p `e al disotto di una soglia prestabilita (per es. p < 0.05) ⇒ scarto il modello ipotizzato (cio`e Y = f (X ; α)) . . . altrimenti lo accetto, e i valori dei parametri α che minimizzano il χ

sono la migliore stima

NOTA: questo criterio mi consente di scartare un’ipotesi, ma NON mi consente di concludere che un’ipotesi `e quella

GIUSTA!

Fit lineare — formulazione

Il modello ipotizzato in questo caso `e lineare: Y = A + B · X

⇒ χ

= X

k

[y

− (A + B · x

)]

σ

Per trovare A, B occorre minimizzare χ

, esiste la soluzione analitica

0 = ∂χ

∂A = 2 X

k

A + Bx

− y

σ

= 2

"

X

k

1 σ

!

A + X

k

x

σ

!

B − X

k

y

σ

!#

0 = ∂χ

∂B = 2 X

k

(A + Bx

− y

)x

σ

= 2

"

X

k

x

σ

!

A + X

k

x

σ

!

B − X

k

x

y

σ

!#

Definiamo i “pesi” w

= 1

σ

e le quantit` a:

S

= X

k

w

; S

= X

k

w

x

; S

= X

k

w

x

; S

= X

k

w

y

; S

= X

k

w

x

y

 S

S

S

S

  A B



=

 S

S



⇒

 A B



= 1

S

S

− (S

)

 S

−S

−S

S

  S

S



Fit lineare — soluzione

Risultato del fit lineare Y = A + BX :

A = S

S

− S

S

∆

B = S

S

− S

S

∆ Ricorda: w

= 1

σ

⇒ nel calcolare S

= X

k

w

(. . . ) le misure pi` u precise hanno un peso maggiore (giusto!)

S

= X

k

w

S

= X

k

w

x

S

= X

k

w

x

S

= X

k

w

y

S

= X

k

w

x

y

∆ = S

S

− (S

)

Senza dimostrazione:

σ

= S

∆ ; σ

= S

∆ NOTA: σ

, σ

≈ 1

w ≈ σ ⇒ misure pi` u imprecise d` anno maggiori incertezze su A, B (ovvio!)

Fit lineare — esempio

Si vuole determinare la costante elastica k di una molla, appendendo diverse masse m

, . . . , m

e misurando le lunghezze `

, . . . , `

della molla.

Legge ipotizzata: F = k(` − `

) ⇒ ` = `

+ g k m

⇒ poniamo X ≡ m , Y ≡ ` ⇒ Y = A + BX con A ≡ `

e B ≡ g

⇒ costruiamo la seguente tabella: k

dati sperimentali calcolo dei S

calcolo del χ

X ≡ massa m (g) Y ≡ lunghezza ` (cm) w wx wy wx

wxy y − (A + Bx )  y − (A + Bx) σ



(σ

trascurabile) (σ

= 0.1 cm)

10 12.9 100 1000 1290 10000 12900

20 13.3 100 2000 1330 40000 26600

30 13.6 100 3000 1360 90000 40800

40 14.2 100 4000 1420 160000 56800

50 14.7 100 5000 1470 250000 73500

60 14.9 100 6000 1490 360000 89400

70 15.4 100 7000 1540 490000 107800

80 16.1 100 8000 1610 640000 128800

90 16.5 100 9000 1650 810000 148500

Somme ⇒ 900 45000 13160 2850000 685100

⇒ si ricava A = (12.36 ± 0.07) cm e B = (0.0452 ± 0.0013) cm/g = (0.452 ± 0.013) m/kg

MA IL MODELLO ` E BUONO ???

Fit lineare — esempio (validit` a del modello)

Per verificare se il modello ipotizzato (F = k(` − `

)) `e coerente con i dati, devo ricorrere al test del χ

: ora che ho stimato A, B posso riempire le ultime 2 colonne della tabella:

dati sperimentali calcolo dei S

calcolo del χ

X ≡ massa m (g) Y ≡ lunghezza ` (cm) w wx wy wx

wxy y − (A + Bx )  y − (A + Bx) σ



(σ

trascurabile) (σ

= 0.1 cm)

10 12.9 100 1000 1290 10000 12900 0.084 0.71

20 13.3 100 2000 1330 40000 26600 0.033 0.11

30 13.6 100 3000 1360 90000 40800 -0.119 1.41

40 14.2 100 4000 1420 160000 56800 0.029 0.09

50 14.7 100 5000 1470 250000 73500 0.078 0.61

60 14.9 100 6000 1490 360000 89400 -0.174 3.02

70 15.4 100 7000 1540 490000 107800 -0.126 1.58

80 16.1 100 8000 1610 640000 128800 0.123 1.51

90 16.5 100 9000 1650 810000 148500 0.071 0.51

Somme ⇒ 900 45000 13160 2850000 685100 9.54

Ho 9 misure, ricavo 2 parametri ⇒ ho ν = 7 gradi di libert` a ⇒ χ ˜

= χ

ν = 1.36

⇒ Prob



χ

> [χ

]

; ν = 7



= 21.7% ⇒ il modello `e accettabile.

Assumendo g = 9.806 m/s

con incertezza trascurabile, k = g

B = 21.69 . . . N/m; inoltre σ

k = σ

B ⇒ σ

= 0.6 N/m

⇒ k = (21.7 ± 0.6) N/m

Osservazione: la 6

misura d` a un grosso contributo (' 3) al χ

, dobbiamo “preoccuparci”? |y − y

|/σ ' 1.7 ⇒ Prob' 8% ⇒ su 9

Fit lineare — caso particolare: errori tutti uguali

In tal caso tutte le σ

sono uguali (⇒ σ

), quindi anche tutti i “pesi” w

= 1

σ

si fattorizzano fuori dalle somme S

: Definiamo le quantit` a:

S

= X

k

x

; S

= X

k

x

; S

= X

k

y

; S

= X

k

x

y

; ∆

= N · S

− (S

)

e otteniamo:

A = S

S

− S

S

∆

; B = N · S

− S

S

∆

Cio`e A, B non dipendono da σ

Attenzione, per` o:

σ

= S

∆

σ

; σ

= N

∆

σ

Cio`e `e sempre vero che σ

, σ

∝ σ

Anche se siete in condizioni di errori tutti uguali, NON DIMENTICATELI:

vi servono per valutare le incertezze su A, B, e anche per verificare la VALIDIT` A del modello (test del χ

)

Estrapolazione dalla retta del fit

Supponiamo che da un insieme di misure (x

; y

± σ

) , (x

; y

± σ

) , . . . , (x

; y

± σ

) avete trovato la retta Y = A + BX in cui conoscete A ± σ

, B ± σ

. Supponiamo che il chi

`e “buono”, cosicch´e la vostra relazione lineare descrive bene i dati.

Ora volete usarla, per esempio per prevedere il valore di y ad un dato x . Ovviamente y

= A + Bx , ma la sua incertezza?

Le quantit` a A, B che avete calcolato hanno incertezze correlate,

x y

x y

x y

Cov[A,B] < 0 Cov[A,B] > 0 Cov[A,B] ~ 0

per cui σ

y^(asp)

= σ

+ x

σ

+ 2x Cov [A; B]

[ricorda: se le incertezze di 2 quantit` a a, b sono correlate, vuol dire che Cov [a; b]

= ρ

σ

σ

; in tal caso se c = a + b la propagazione delle incertezze ` e σ

= σ

+ σ

+ 2Cov [a; b] ≡ σ

+ σ

+ 2ρ

σ

σ

]

La formula per la covarianza di A, B `e Cov [A; B] = − S

∆ (senza dimostrazione . . . )

Fit lineare — incertezze anche su x

Prelevo misure (x

± σ

; y

± σ

), con σ

non trascurabili.

Non posso pi` u assumere y

= f (x

; α), perch´e x

(misurato) 6= x

. Definisco: z

≡ y

− (A + Bx

) — ovviamente z

= 0 e σ

k

= σ

k

+ B

σ

k

quindi χ

= X

k

z

− z

σ

!

= X

k

(y

− (A + Bx

))

σ

k

+ B

σ

k

La minimizzazione analitica non `e pi` u possibile, per il B che compare al denominatore, si deve procedere per iterazioni successive:

0 si trascura σ

e si considera solo σ

⇒ si trova una retta con coefficiente B

;

se trovo B

σ

 σ

l’approssimazione era valida ⇒ siamo a posto 1 usiamo pesi w

= 1

σ

k

+ B

σ

k

e trovo una retta con coefficiente B ± σ

se |B − B

|  σ

OK, abbiamo la retta

2 . . . in caso contrario si deve reiterare dal punto [1] finch´e la condizione [2] non `e soddisfatta

NOTA: mettete i vostri punti su un grafico. Se l’andamento lineare a occhio `e buono, normalmente basta svolgere le

operazioni [0]–[2] senza reiterare.

Fit lineare — caso disperato: non si conoscono σ _x , σ _y

Ricetta: si assume σ

trascurabile e σ

costante, da stimare dai dati stessi,

assumendo che la relazione fra X e Y sia DAVVERO una retta — non sar` a cio`e possibile verificarlo !!!!

σ

=

r P

k

[y

− (A + Bx

)]

N − 2

(notate la somiglianza con la deviazione standard?)

Stiamo cercando di “stirare” le barre di errore in modo da adattarsi alla retta . . . ATTENZIONE: il test del χ

non ha pi` u nessun senso!!!

. . . provare per credere: χ

= X

k

[y

− (A + Bx

)]

σ

= N − 2

. . . ma ν = N − 2 ⇒ ˜ χ

= 1 esattamente (e per forza!)

Linearizzazione di leggi diverse

Esempio: il pendolo legge fisica: T = 2π s

` g

pongo  X ≡ ` Y ≡ T



⇒ Y =  4π

g



X ⇒ faccio il fit lineare ⇒



 



 



A ± σ

`e compatibile con 0?

B ± σ

⇒ g = 4π

B ; σ

g = σ

B

ATTENZIONE: anche se i σ

e i σ

sono tutti uguali, σ

= 2T σ

quindi saranno diversi ⇒ `e necessario il fit “pesato”

Esempio: leggi di potenza legge fisica η = αξ

Esempi: legge di Coulomb: F = k q

r

; legge do Keplero: R

= K T

; . . .

⇒ si passa ai logaritmi naturali:  Y = ln η X = ln ξ



⇒ Y = (ln α) + βX Attenzione: σ

= σ

y ; σ

= σ

x ⇒ anche qui ci aspettiamo di usare un fit “pesato”

Dal fit lineare ricavo (B ± σ

) ≡ (β ± σ

) e (A ± σ

) da cui α = e

e σ

= α · σ

Esempio: legge esponenziale: legge fisica A = A

e

definisco  Y = ln A X = t



⇒ Y = ln A

− βX — anche qui, σ

= σ

A