Reti Neurali Artificiali

Le reti neurali artificiali sono ottenute connettendo tra loro i neuroni artificiali descritti nel paragrafo precedente. Il comportamento esibito da tali reti mima alcuni comportamenti peculiari del cervello, tra cui le capacità di memorizzare un oggetto, richiamare dalla memoria tale oggetto partendo da una percezione parziale (come ricordarsi una canzone partendo dalla melodia), generalizzare a partire da esempi e raggruppare oggetti in base alle somiglianze tra essi (classificazione).

Sebbene tali comportamenti possano essere realizzati collegando i neuroni secondo un qualsiasi schema, l’utilizzo di schemi semplici e ordinati consente lo studio delle proprietà di tali modelli computazionali. Lo schema dei collegamenti è infatti spesso il fattore più caratterizzante dei modelli di rete neurale. Di seguito verranno illustrati i modelli principali: le reti di Hopfield, le reti feed- forward, le reti ricorrenti e le reti competitive.

Le reti di Hopfield sono reti completamente connesse: ogni neurone è connesso a ogni altro neurone della rete. Poiché la funzione di attivazione dei neuroni di una rete di Hopfield è di tipo bipolare, una tale rete con n neuroni è descritta dall’insieme delle soglie,

{

θ_i |i=1,K,n

}

e dall’insieme dei pesi sinaptici,

{

w_ij |i, j =1,K,n

}

.

L’uscita del neurone in un certo istante di tempo è detta stato del neurone; l’insieme degli stati dei neuroni che compongono la rete definisce lo stato della rete.

Figura 3.4: Rappresentazione schematica di una rete di Hopfield.

Sono possibili diversi modi di funzionamento della rete: seriale, parallelo, misto. In modo parallelo, tutti i neuroni modificano contemporaneamente il proprio stato; lo stato di ogni neurone, i, al tempo t, è definito da:

    < − − − ≥ − − =

∑

∑

0 ) 1 ( , 1 0 ) 1 ( , 1 ) ( i j ij i j ij i t S w t S w t S θ θ

In modo seriale, solo un neurone per volta modifica il proprio stato. In modo misto, i neuroni cambiano stato a gruppi. Sotto opportune condizioni, è garantito il raggiungimento di uno stato stabile o il “ciclare” tra un numero fissato di stati: per una data configurazione e dato un certo stato iniziale, la rete evolverà verso uno stato stabile. Un opportuno apprendimento può configurare la rete in modo da imporle un certo insieme di stati stabili.

Una rete di Hopfield ha, inoltre, la capacità di raggiungere uno stato stabile a partire da una configurazione iniziale che assomiglia, anche solo parzialmente, a esso: ciò permette di realizzare una memoria associativa, cioè di memorizzare un certo numero di informazioni (gli stati stabili) e di richiamarle a partire da una porzione di tale informazione.

Sono possibili diverse varianti della rete di Hopfield. Esse si differenziano per il modello di neurone adottato o per il funzionamento asincrono dei neuroni, ma le caratteristiche principali rimangono le stesse del modello qui illustrato.

Le reti feed-forward multistrato sono così chiamate perché il flusso di informazioni tra i neuroni procede in modo unidirezionale. Si tratta, quindi, di reti parzialmente connesse nelle quali i neuroni sono organizzati in sottoinsiemi, detti strati (layer). Gli strati sono ordinati e solo i neuroni di due strati consecutivi

sono direttamente connessi. Il primo strato (quello che riceve gli stimoli dall’esterno) viene detto strato di ingresso, mentre l’ultimo strato (quello che fornisce la risposta della rete) viene detto strato di uscita. Gli strati intermedi vengono detti strati nascosti (hidden layer). Si può dimostrare che le reti neurali sigmoidali multistrato con almeno tre strati sono approssimatori universali di funzioni continue: per ogni funzione continua esiste almeno una rete di questo tipo in grado di approssimarla con un’accuratezza prefissata. Se i neuroni dello strato di uscita sono di tipo discreto (per esempio, a soglia), l’uscita della rete potrà assumere un insieme finito di valori discreti; si può così realizzare la classificazione degli ingressi, cioè associare a ciascun ingresso un valore tra le uscite, il quale identifica la sua classe di appartenenza. Un tipico esempio applicativo è la classificazione dei colori di un oggetto.

Figura 3.5: Rappresentazione schematica di una rete feed-forward multistrato.

Tipicamente, i neuroni dello stesso strato hanno la stessa funzione di attivazione mentre strati diversi possono avere funzioni di attivazioni differenti. L’uscita di ciascun neurone, i, del k-esimo strato della rete è definibile come:

        − =

∑

− j k i k j k j i k k i f w S S( ) ( ) (_,) ( 1)

θ

( )

dove lo stimolo per il livello di ingresso, , corrisponde agli esempi forniti alla rete, e f (k) è la funzione di attivazione utilizzata per lo strato k-esimo. Una particolare famiglia di reti feed-forward multistrato è costituita dalle reti a simmetria radiale (Radial Basis Function, RBF). Queste reti sono caratterizzate da neuroni con funzione di attivazione a simmetria radiale (spesso gaussiana).

Poiché è dimostrato che anche un solo strato è in grado di approssimare ogni funzione continua con un dato grado di accuratezza, tali reti vengono in genere strutturate con un singolo strato. La funzione, G, realizzata da una rete RBF è quindi una combinazione lineare di funzioni radiali:

(

)

∑

= i i i i iS s c w s G( ) ; ,σ

dove ci e σi sono i parametri caratteristici dell’i-esimo neurone. I parametri strutturali (centri, c, e fattori di scala, σ_{) determinano la copertura dello spazio di}

ingresso da parte dei neuroni, cioè la regione dello spazio degli ingressi alla quale la rete risponde significativamente. I pesi sinaptici modellano il valore di uscita della rete in risposta agli ingressi.

Le reti ricorrenti sono reti multistrato parzialmente connesse in cui le risposte di uno o più strati possono essere conservate e fornite come ingresso negli istanti successivi. Il comportamento di queste reti è quindi dinamico: l’uscita fornita da una rete a un certo istante non dipende solo dallo stimolo fornito in ingresso all’istante considerato, ma anche dalla storia passata.

La conservazione delle informazioni degli istanti precedenti è affidata a connessioni con ritardo temporale (retroazione). A seconda del numero di tali connessioni (eventualmente con differenti ritardi), è possibile far considerare alla rete gli effetti di istanti precedenti. Per esempio, nella rete schematizzata in Fig. 3.6 sono state inserite connessioni con due diversi ritardi.

Le reti ricorrenti sono chiaramente più complesse delle reti feed-forward multistrato, ma sono capaci di modellare sistemi con comportamento dinamico.

Figura 3.6: Rappresentazione schematica di una rete ricorrente.

Le reti competitive sono modelli neurali che si auto-organizzano in modo da essere in grado di individuare gli aspetti che caratterizzano o differenziano gli esempi di un dato insieme. Esse strutturano i propri neuroni in modo che ciascuno rappresenti un sottoinsieme degli esempi presentati alla rete in apprendimento. Ogni neurone della rete è quindi in competizione con gli altri per rappresentare il maggior numero possibile di esempi simili. Lo spazio in cui sono definiti degli esempi è detto spazio delle caratteristiche e le sue coordinate sono dette caratteristiche. Una opportuna funzione distanza definita su ciascuna coppia di elementi di questo spazio definisce il grado di somiglianza tra gli elementi della coppia. Ogni neurone è definito come un elemento dello spazio delle caratteristiche.

Una volta configurata, la rete risponde a uno stimolo attivando il neurone, i, più vicino allo stimolo stesso (winning neuron), la cui uscita Si (posizione nello spazio delle caratteristiche) rappresenta le caratteristiche medie degli elementi dello spazio delle caratteristiche appartenenti al sottoinsieme (detto cluster) rappresentato dal neurone stesso. Pertanto, la rete raggruppa (clustering) gli esempi in sottoinsiemi in modo che elementi nello stesso sottoinsieme siano molto simili tra loro e che i vari sottoinsiemi abbiano caratteristiche medie molto

differenti. In ambito statistico, questo rappresenta l’approssimazione di una distribuzione.

Queste reti neurali possono essere parzialmente o totalmente connesse. Alcuni modelli sono dotati di parametri aggiuntivi che permettono di descrivere la topologia dell’insieme rappresentato (topology representing network). Tra le reti di questo tipo, le più famose sono le Self Organizing Map (SOM) di Kohonen. I neuroni di una SOM sono posti nei nodi di una griglia, i cui lati descrivono la relazione di somiglianza tra i neuroni stessi e, quindi, tra i cluster che essi rappresentano. Poiché ogni neurone rappresenta un cluster nello spazio delle caratteristiche e ha una posizione sulla griglia, la rete neurale definisce una mappatura delle caratteristiche (feature mapping) tra lo spazio (generalmente multidimensionale) delle caratteristiche e lo spazio (generalmente bidimensionale) della griglia.

Figura 3.7: Rappresentazione schematica di una rete SOM bidimensionale: il neurone posto nel nodo (i,j) ha uscita Si,j.

Nel documento Metodi, modelli e tecnologie avanzate per l'innovazione di sistemi di supporto alle decisioni in scenari ad alta complessità (pagine 69-74)