Con ept Learning - d x,f = tf x,j log df j

6.3.1 Denizioni

Learning indurre funzionigenerali da esempiparti olari ditraining

Con ept learning a quisire ladenizione diuna ategoria generale datoun insieme diesempi positivie

negativi della ategoria stessa

Best Fit hypothesis determinarel'ipotesi

h

^he^meglio ^siâdatta âgli êsempi^di^training

General-to-Spe i introduzione nello spazio delle ipotesiHdiun ordinamento parziale

Find-s/Version Spa e studio dialgoritmi he onvergonoinH all'ipotesih orretta.

Nel Con eptLearning sitratta di

Inferenziare automati amente una funzioneLearning booleanaa partiredall'insieme dei

trai-ning examples

< input, output >

Adesempio,seilTargetCon eptèGiorniin uiilmioami oAldoprati ailsuosportd'a quapreferito,

datoun training setdiinput, il Con eptLearning portaad apprendere a predireil valore diEnjoySport

perungiorno arbitrario,sullabase degli attributi delgiorno stesso.

6.3.3 Con ept Learning ome ri er ainH

Perla rappresentazione della funzione ipotesi

h

^, nell'ipotesi sempli e, ogni ipotesih onsiste nell'unione deivin oli espressi negliattributi ammessi nella singolaistanza. Possibilerappresentazione:

•

^Un ^vettore ^di ⁶ elementi/vin oli he spe i ano i valori dei 6 attributi Sky, AirTemp, Humidity, Wind,Watere Fore ast

•

^Perôgniâttributo, ^l'ipotesi^potràôntenere ⁱ^seguenti ^vâlori:

→

^ogni^valore dell'attributoè a ettabile

Il valoretra quelli onsentiti

→

^nessun^valore ^perquell'attributo

•

^Se ^una ^istanza ^x ^soddisfa ^tutti ⁱ ^vin
oli dell'ipotesi h allora h lassi a x ome esempio positivo:

h(x) = 1

Es. di ipotesi h:

<?, Cold, High, ?, ?, ? >

^. Âldo ^prati
a ^lo ^sport^solo ^nei ^giorni ^freddi ôn ûmidità âlta.

Ipotesih piùgenerale

<?, ?, ?, ?, ?, ? >

^: ^ogni^giorno^è ^buono^per^fare^sport^d'a
qua^Ipotesi^h^più^spe
i
a

< 0, 0, 0, 0, 0, 0 >

^: ^nessun ^giorno^è ^buono ^per^fare^sport ^d'a
qua

Denizioni:

Insieme delle istanze X l'insieme di items sui quali il on etto è denito. (Insieme di tutti i possibili

giorni)

Target Con ept la funzione/ on ept he deve essere appresa. In generale può essere qualunque

funzione booleana denitasu X: : X->[0,1℄

Training ExamplesD : formato da n istanze

x ∈ X

^insieme ^a ⁿ ^valori orrispondenti (x): <x, (x)>.

Se (x)=1 siparla diesempipositivi mentre per (x)=0 siparla diesempinegativi

Insieme H insieme di tutte lepossibiliipotesih andidate alla determinazione dellafunzione target

Obiettivo determinare

h ∈ H

^tale ^he

h(x) = c(x)

^per^tutti ^gli

x ∈ X

Dati:

Istanze X giorni possibili, ias uno dei quali des ritto dagli attributi: Sky (Sunny, Cloudy e Rainy),

AirTemp(Warm, Cold),...

Ipotesi H ias unaipotesih èdes ritta dall'unione divin oli sugliattributi 1,...,6 +<?>e <0>

Con etto Target C EnjoySport: X->0,1

Esempi ditraining D esempipositivie negativi della funzionetarget

Determinare una ipotesi

h ∈ H

^tale^he ^h(x)=
(x)

∀x ∈ X

6.3.4 Con ept Learning as Sear h

Il on ept learning può essere visto ome il ompito ditrovarela funzione h attraverso una ri er a nello

spazio HObiettivodella ri er ainH:trovarelafunzioneh he meglioapprossimi suitraining examples

(best th). È ne essariodunquelo studiodialgoritmi e te ni he diri er a inH.

Siintrodu e nell'insiemeHunordinamento hefa ilitilari er adellafunzioneh. Ogniistanza

lassi- ata omepositivada

h ₁

^è lassi ata omepositivaan heda

h ₂

^,^ioè

h ₂

^più^generale^di

h ₁

^. L'ordinamento è quindi dal più spe i o al più generale. L'ordinamento parziale

≥ g

^proposto ^gode ^della ^proprietà ^di

riessività,diantisimmetria edi transitività.

Consente lari er adell'ipotesipiùspe i a:

1. Inizializza halla ipotesipiùspe i a inH.

2. Perogni istanzapositiva ditraining xe perogniattributo on vin olo

a i

ⁱⁿ^h,^se^il ^vin
olo

a i

^non

è soddisfattoda xallorasostituis i

a _i

ⁱⁿ^h^on ^il^vin
olo ^più^generalesoddisfatto dax È quindipiùspe i a rispettoa tuttele ipotesifornite.

hdiFind-Sèiltarget on ept? Find-Snon igarantis e henonesistanoaltreipotesihinH onsistenti

on idati. Civorrebbe unalgoritmo he dessemaggiori informazioni sullospazioH eh. Per hè predilire

l'ipotesi piùspe i a? Quanto sono onsistenti gli esempi di training? Find-S può essere guidato male

dalrumore(ignorando esempinegativi). Vorremmounalgoritmo hetenesse ontodelrumore neidatiSe

esistono piùipotesih onsistenti on idati?

La risposta stanelVersionSpa eed altrialgoritmi.

6.3.6 Version Spa e

Una ipotesihè onsistente onuninsiemeditrainingexamplesDseesoloseh(x)= (x)perogniesempio

<x, (x)>inD.

Il versionspa eè il sottoinsiemediHformato da tutte leipotesih onsistenti inD

L'algoritmoList-Then-Eliminatefornis eilsetdiipotesi onsistente oniltrainingsetedappartenente

al trainingset.

Version Spa e: lo rappresentiamo on i suoi membri più generali e meno generali. Essi formano due

insiemidi onne,GedS(GeneraleSpe i ) hedelimitanoilversionspa edentrolospazioparzialmente

ordinato delle ipotesi.

AlgoritmodiapprendimentoCandidate-Elimination Cal olailVersionSpa e ontenentetutteleipotesi

di H he sono onsistenti on una sequenza osservata di esempi di training. Parte inizializzando il VS

all'insieme ditutte leipotesiinH,ossiainizializzando Ged S.

G ₀

^{<?,^?, ^?,^?, ^?, ^?>}

S ₀

^{<0, ^0,^0,^0,^0,

0>} L'algoritmo ritornailVS ontenente tutte leipotesi onsistenti ongli esempi esolo quelle.

Converge all'ipotesi h orretta a patto he non i siano errori negli errori di training e esista in H

l'ipotesih. Può onvergere an he adun insieme vuoto.

7 Logi a Fuzzy

Le te ni he di ontrollo fuzzy sono oggi estensivamente utilizzate in molti settori; tra questi si itano

appare hiature di largo onsumo ome lavatri i e tele amere ma an he impianti di depurazione delle

a quee ambiautomati idivetture diprestigio. Allabasediquestoappro ioèingenerelarealizzazione

di un sistema di ontrollo he in orpora e emula, tramite regole, la onos enza di esperti del settore.

Altreappli azioni sviluppatere entementeriguardanoil trattamento didatisensoriali per l'estrazione di

informazioni inpresenza diforti in ertezze nonstrutturate.

Quandousareil ontrollointelligente fuzzy? Quandoitasksonobenposti,sihannomodelliadabilie

onos enzequantitative siutilizzanometodidi ontrollo lassi i. Vi eversa,quandoitasksono omplessi,

modelliin erti e unelevato osto della onos enza quantitativa siappli a inve e il ontrollo intelligente.

All'internoditales elta, sela onos enzaqualitativa èdisponibileedèutilesiusanometodi Rule based

o algoritmi i (fuzzy). Se inve e la onos enza qualitativa non è sfruttabile, si adottano appro i ad

apprendimento (Learning), omelereti neurali.

7.1 Insiemi Fuzzy

Un elemento

x

dell'insiemeuniversale

U

^puòappartenereomenoaduninsieme

A

^. ^L'insieme

A

^è^denito

dalla suaf n. aratteristi a:

µ _A : U → {0, 1}

⁽⁷⁾

µ A = A(x) =

( 1

^se

x ∈ A

0

^altrimenti ⁽⁸⁾

Ho quindisolo valoridis reti: 0 o1.

proposizioni, al olandoil gradodiverità diun'aermazione. Se

U

^è^dis
reto,^si ^può^enumerare^il ^fset.

Ilproblemadiquestoappro ioèdeterminarequalèl'andamentogiusto dellafunzione. Las eltadella

funzione aratteristi a è legata infatti alla soggettività, all'arbitrarietà. La dierenza signi ativa della

logi a fuzzy rispetto alle altre logi he si può notare on il seguente esempio. Se la domanda è: C'è un

panino olsalameinfrigo? è larispostaha valore

0.5

^,^se^lainterpretiamo ome:

probabilità signi a forse

misura signi a he 'èmezzo panino

fuzzy signi a he 'è qual osa (magaripane e salameseparati, oppure unpaninoalpros iutto, ...)

Oraelen hiamo i on ettidibasedegli insiemi fuzzy

A(x)

supporto

x : A(x) > 0

altezza

max(A(x))

^. ^Spesso ^si^normalizza^a ^1.

ardinalità

card(A(x)) = P A(x i )

^. ^Vale^per

U

^dis
reto

α

^-
uts

A α = {x ∈ X : A(x) > α}

^. ^È ûn ôn
etto ûtile ^per ^des
rivere ⁱ ^fuzzy ^set ê ^per omprendere al une proprietà. È un insieme risp. Nella denizione,

α

^è ^variabile, ê îl ^vâlore

A _α

^potrà ^essere

variinsiemi di

x

spezzati, tali per uilaproprietà vale.

7.1.1 Operatori logi i

Per introdurli usiamo un'appro io assiomati o: sono funzioni he soddisfano assiomi desiderabili.

Assiomi peril omplemento

c : [0, 1] → [0, 1]

1. ondizioni al ontorno:

c(0) = 1

c(1) = 0

2. monotona non de res ente:

a < b → c(a) ≥ c(b)

c

^è^una ^funzione ^ontinua ^(non indispensabile) 4. funzione involutiva:

c(c(x)) = x

^(non indispensabile)

Assiomi perl'unione

u : [0, 1] × [0, 1] → [0, 1]

^(altra ^notazione:

∨

^):

1. ondizioni al ontorno:

u(0, 0) = 0

u(0, 1) = u(1, 0) = u(1, 1) = 1

u(a, b) = u(b, a)

3. se

a < a ^′

b < b ^′

^,^allora

u(a, b) < u(a ^′ , b ^′ )

4. proprietà distributiva:

u(u(a, b), c) = u(a, u(b, c))

u

^è ^una^funzione ^ontinua ^(non indispensabile) 6. idempotenza:

u(a, a) = a

^(non indispensabile)

Assiomi perl'intersezione

i : [0, 1] × [0, 1] → [0, 1]

^(altra^notazione:

∧

^):

1. ondizioni al ontorno:

i(1, 1) = 1

i(0, 1) = i(1, 0) = i(0, 0) = 0

i(a, b) = i(b, a)

3. se

a < a ^′

b < b ^′

^,^allora

i(a, b) < i(a ^′ , b ^′ )

4. proprietà distributiva:

i(i(a, b), c) = i(a, i(b, c))

i

^è ^una^funzione ^ontinua ^(non indispensabile) 6. idempotenza:

i(a, a) = a

^(non indispensabile) Le forme piùimpiegate sono:

c(x) u(a, b) i(a, b)

^Nome

u

^ed

i

1 − x max(a, b) min(a, b)

^MaxMin ^(MM)

a + b − ab ab

^PRod ^(PR)

min(1, a + b) 1 − min(1, 2 − a − b)

^BS

c[i(a, b)] = u[c(a), c(b)]

Risulta inoltre he,nel asodiunione

u

M M ⊂ P R ⊂ BS

e, vi eversa, nel asodiintersezione

i

M M ⊃ P R ⊃ BS

da uisidedu e he

M M

^èl'appro io piùdis reto, mentre

BS

^è l'appro iopiùestremista. Tuttele formeindividuanolapiù onveniente,masolo

P R

^ontiene^tutte^le^sfumature,^poi
hé^la^funzione

min(a, b)

è non-interagente. L'appro io

BS

^riuta ^tutto ^al^di^sotto^di^un ^limite.

A ausa dell'idempotenza e della proprietà distributiva he aratterizzano

u

^ed

i

^, ^la ^perdita ^di

infor-mazioni è vista ome unarri himento di informazioni. Siha quindi he

i(a, c(a)) 6= 0

u(a, c(a)) 6= 1

Infatti unaproposizione puòessere altempostesso unpo'veraeunpo'falsa(frase hetroverebbemolti

dubbi nellalogi a lassi a...).

7.1.2 Impli azioni

L'impli azione oin ide on l'in lusione: l'essere sottoinsieme di. Risulta infatti he

B ⇒ A

^se

B ⊂ A

Per esprimerel'in lusione siusanoleseguentiespressioni a piùvalori:

Goedel

B (x) ⊂ A(x) =

( 1

^se

B (x) ≤ A(x) A(x)

^altrimenti

Goguen

B (x) ⊂ A(x) = (1

^se

B(x) = 0 min

1, ^A(x) _B(x)

altrimenti

Lukas

B (x) ⊂ A(x) = min (1, 1 + A(x) − B(x))

Quando

B(x) ≤ A(x)

^,^tutte^le³espressionisonougualia1. Ledierenzesivedonoquando

B(x) > A(x)

Con Goedel è uguale ad

A(x)

^, ôn ^Goguen ^è ûguale â

^A(x) _B(x)

^, ôn ^Lukâs ^è ûguale â

1 + A(x) − B(x)

Prati amente, nell'osservarese

A

^in
lude

B

⁽

A ⊃ B

^), ^risulta ^he, ^nquando

A ≯ B

^on ^Goedel ^si ^segue

l'andamentodi

A

^,ôn^Goguen^si^segue^si^fa^piùô^menoûna^media^tra

A

B

^,^mentre^on^Lukas^a^distanze

minori tra

A

B

ôin
ide ûn ^valore^maggiore ^(quindi ^ho ^valori êlevâti ân
he ^quando

A ≯ B

^nel ^aso^ad

esempio he

A = 0

B = 0.05

^).

Nel documento d x,f = tf x,j log df j (pagine 16-20)

Con ept Learning

h

< input, output >

h

•

•

→

→

•

h(x) = 1

<?, Cold, High, ?, ?, ? >

<?, ?, ?, ?, ?, ? >

< 0, 0, 0, 0, 0, 0 >

x ∈ X

h ∈ H

h(x) = c(x)

x ∈ X

h ∈ H

∀x ∈ X

h 1

h 2

h 2

h 1

≥ g

a i

a i

a i

G 0

S 0

x

U

A

A

µ A : U → {0, 1}

µ A = A(x) =

( 1

x ∈ A

0

U

0.5

A(x)

x : A(x) > 0

max(A(x))

card(A(x)) = P A(x i )

U

α

A α = {x ∈ X : A(x) > α}

α

A α

x

c : [0, 1] → [0, 1]

c(0) = 1

c(1) = 0

a < b → c(a) ≥ c(b)

c

c(c(x)) = x

u : [0, 1] × [0, 1] → [0, 1]

∨

u(0, 0) = 0

u(0, 1) = u(1, 0) = u(1, 1) = 1

u(a, b) = u(b, a)

a < a ′

b < b ′

u(a, b) < u(a ′ , b ′ )

u(u(a, b), c) = u(a, u(b, c))

u

u(a, a) = a

i : [0, 1] × [0, 1] → [0, 1]

∧

i(1, 1) = 1

i(0, 1) = i(1, 0) = i(0, 0) = 0

i(a, b) = i(b, a)

a < a ′

b < b ′

i(a, b) < i(a ′ , b ′ )

i(i(a, b), c) = i(a, i(b, c))

i

i(a, a) = a

c(x) u(a, b) i(a, b)

u

h ₁

h ₂

h ₂

h ₁

a _i

G ₀

S ₀

µ _A : U → {0, 1}

A _α

a < a ^′

b < b ^′

u(a, b) < u(a ^′ , b ^′ )

a < a ^′

b < b ^′

i(a, b) < i(a ^′ , b ^′ )

B(x) = 0 min

1, ^A(x) _B(x)

^A(x) _B(x)