Reti Neurali (Derivazione) Corso di AA, anno 2017/18, Padova Fabio Aiolli 06 Novembre 2017

(1)

Reti Neurali (Derivazione)

Corso di AA, anno 2017/18, Padova

Fabio Aiolli

06 Novembre 2017

Fabio Aiolli Reti Neurali (Derivazione) 06 Novembre 2017 1 / 6

(2)

Derivate notevoli

y = c, c ∈ R ⇒ y ⁰ = 0

y = c · x , c ∈ R ⇒ y ⁰ = c

y = x ⁿ , n ∈ N ⇒ y ⁰ = nx ⁿ⁻¹

y = e ^x ⇒ y ⁰ = e ^x

(3)

Regole di Derivazione

D(k · f (x )) = k · f ⁰ (x ) D( P

i f i (x )) = P

i f ⁰ (x )

D(f (x ) · g (x )) = f ⁰ (x ) · g (x ) + f (x ) · g ⁰ (x ) D( _{g (x )} ^{f (x )} ) = ^f

⁰

(x )·g (x )−f (x )·g

⁰

(x )

g (x )

²

D( _{g (x )} ¹ ) = − _{g (x )} ^g

⁰

^{(x )}

2

D(g (f (x )) = g ⁰ (f (x )) · f ⁰ (x )

(4)

Gradiente

Definizione di Gradiente

Nel calcolo differenziale vettoriale, il gradiente di una funzione a valori reali f : R ⁿ → R `e una funzione vettoriale ∇f : R ⁿ → R ⁿ (a valori in R ⁿ ).

Il gradiente di una funzione ` e spesso definito come il vettore che ha come

componenti le derivate parziali della funzione, anche se questo vale solo se

si utilizzano coordinate cartesiane ortonormali. Il simbolo ∇ si legge nabla.

(5)

Minimizzazione con discesa di gradiente

Problema di minimizzazione

Sia f (x) : R ⁿ → R una funzione a valori vettoriali, trovare il vettore x ^∗ ∈ R ⁿ che minimizza la funzione f , ovvero:

x ^∗ = arg min

x f (x) Algoritmo di discesa di gradiente

k ← 0, x ₀ ∈ R ⁿ while ∇f (x _k ) 6= 0

Calcolare la direzione di discesa p

_k

:= −∇f (x

_k

) Calcolare il passo di discesa η

_k

x

_k+1

← x

_k

+ η

_k

p

_k

k ← k + 1

(6)

Reti Neurali (Derivazione) Corso di AA, anno 2017/18, Padova Fabio Aiolli 06 Novembre 2017

Reti Neurali (Derivazione)

Corso di AA, anno 2017/18, Padova

Fabio Aiolli

06 Novembre 2017

Derivate notevoli

y = c, c ∈ R ⇒ y 0 = 0

y = c · x , c ∈ R ⇒ y 0 = c

y = x n , n ∈ N ⇒ y 0 = nx n−1

y = e x ⇒ y 0 = e x

Regole di Derivazione

D(k · f (x )) = k · f 0 (x ) D( P

i f i (x )) = P

i f 0 (x )

D(f (x ) · g (x )) = f 0 (x ) · g (x ) + f (x ) · g 0 (x ) D( g (x ) f (x ) ) = f

(x )·g (x )−f (x )·g

(x )

g (x )

D( g (x ) 1 ) = − g (x ) g

(x )

D(g (f (x )) = g 0 (f (x )) · f 0 (x )

Gradiente

Definizione di Gradiente

Nel calcolo differenziale vettoriale, il gradiente di una funzione a valori reali f : R n → R `e una funzione vettoriale ∇f : R n → R n (a valori in R n ).

Il gradiente di una funzione ` e spesso definito come il vettore che ha come

componenti le derivate parziali della funzione, anche se questo vale solo se

si utilizzano coordinate cartesiane ortonormali. Il simbolo ∇ si legge nabla.

Minimizzazione con discesa di gradiente

Problema di minimizzazione

Sia f (x) : R n → R una funzione a valori vettoriali, trovare il vettore x ∗ ∈ R n che minimizza la funzione f , ovvero:

x ∗ = arg min

x f (x) Algoritmo di discesa di gradiente

k ← 0, x 0 ∈ R n while ∇f (x k ) 6= 0

Calcolare la direzione di discesa p

:= −∇f (x

) Calcolare il passo di discesa η

x

← x

+ η

p

k ← k + 1

Minimizzazione con discesa di gradiente

N.B. Non ` e detto che converga ad un minimo globale!

y = c, c ∈ R ⇒ y ⁰ = 0

y = c · x , c ∈ R ⇒ y ⁰ = c

y = x ⁿ , n ∈ N ⇒ y ⁰ = nx ⁿ⁻¹

y = e ^x ⇒ y ⁰ = e ^x

D(k · f (x )) = k · f ⁰ (x ) D( P

i f ⁰ (x )

D(f (x ) · g (x )) = f ⁰ (x ) · g (x ) + f (x ) · g ⁰ (x ) D( _{g (x )} ^{f (x )} ) = ^f

D( _{g (x )} ¹ ) = − _{g (x )} ^g

^{(x )}

D(g (f (x )) = g ⁰ (f (x )) · f ⁰ (x )

Nel calcolo differenziale vettoriale, il gradiente di una funzione a valori reali f : R ⁿ → R `e una funzione vettoriale ∇f : R ⁿ → R ⁿ (a valori in R ⁿ ).

Sia f (x) : R ⁿ → R una funzione a valori vettoriali, trovare il vettore x ^∗ ∈ R ⁿ che minimizza la funzione f , ovvero:

x ^∗ = arg min

k ← 0, x ₀ ∈ R ⁿ while ∇f (x _k ) 6= 0