Le reti neurali ibride

Le reti neurali ibride sono considerate dei modelli complessi e sono state trattate per la prima volta nello studio Neural network forecasting of short, noisy time series di Foster, Collopy e

32 _{D’Annunzio e Favaligna asseriscono che l’overfitting è un particolare fenomeno che può presentarsi nella} fase di apprendimento della rete neurale; ovvero quanto vengono presentati i casi del traning set al fine di minimizzare gli errori di classificazione. Questo fatto fa in modo che la rete si specializzi solamente nel classificare i casi presentati in fase di apprendimento.

Ungar del 1992. Questi inizialmente confrontarono le reti neurali con un semplice modello costruito su una regressione lineare ed in un secondo momento combinarono le due tecniche ottenendo delle stime più soddisfacenti rispetto ai due sistemi (reti neurali e regressione semplice) distinti.

Il più grande lavoro in tema delle reti neurali ibride è però da attribuire a Lee, Han e Kwon i quali, nella ricerca Hybrid neural network models for bankruptcy predictions del 1996, paragonarono l’efficacia dei risultati delle reti neurali con altre procedure statistiche. Essi evidenziarono la forte capacità previsiva dei modelli ibridi paragonando 3 modelli: il primo ottenuto dall’unione di sistemi a reti neurali, il secondo ottenuto mediante l’analisi discriminante multivariate e il terzo era un ID3. Il risultato di questa ricerca mostra che l’ibrido ad offrire dei risultati migliori è stato il SOFM33(MDA)-assisted NN nel quale i modelli ID3 e MDA vengono

utilizzati in una prima fase di classificazione dei dati e per la selezione di altre variabili significative per la costruzione della rete neurale.

In analogia con la ricerca appena vista, lo studio A comparison of corporate failure models in

Australia: Hybrid neural networks, logit models and discriminant analysis di Yim e Mitchell

analizza se i modelli statistici tradizionali possano essere superati in favore di due particolari reti ibride MLP. Questi due modelli ibridi sono stati costruiti secondo dei particolari criteri:

- Si è fatto inizialmente ricorso ai modelli statistici per la selezione delle variabili inputs. - Le variabili inputs rilevate, in termini probabilistici, sono state poi introdotte nella ANN. Yim e Mitchell hanno motivato quindi l’introduzione dei modelli statistici generali, all’interno delle reti neurali, riprendendo il problema dell’overfitting; questo problema di specializzazione della rete si presenta se le variabili in inputs sono elevate. Sostanzialmente in questa ricerca vengono introdotti tre generi di modelli ibridi:

• I modelli Logit e dell’Analisi Discriminante vengono utilizzati nella fase di selezione delle variabili. I modelli facenti parte di questa categoria prendono il nome di ANN-Logit e ANN- DA.

• I modelli Logit e dell’Analisi Discriminante stimano la probabilità di fallimento dell’impresa (Probability of Default) la quale viene poi introdotta come input della rete. Questi modelli vengono nominati ANN-Plogit e ANN-PDA.

• I modelli Logit e dell’Analisi Discriminante vengono utilizzati per la selezione delle variabili e per la stima della Probabilità di Default dell’impresa le quali vengono poi inserite come

inputs della rete. I modelli costruiti con questo processo vengono chiamati ANN-Logit-

Plogit, ANN-Logit-PDA, ANN-DA-PDA e ANN-DA-Plogit.

33 _{SOFM (Self Organizing Feature Map) è una tipologia di rete neurale ottenuta dalla fusione tra un modello} SOM (Self Organizing Map) e LVQ (Linear Vector Quantization). (Fonte: Modelli di analisi e previsione del rischio di insolvenza. Una prospettiva delle metodologie applicate di Nadia D’Annunzio e Greta Falavigna)

I risultati di questa ricerca sono illustrati nelle 2 tabelle sottostanti le quali evidenziano come i modelli ibridi siano migliori in termini previsivi rispetto alle altre procedure statistiche. La tabella 11 si riferisce ai risultati ottenuti applicando i vari modelli ai dati del training set mentre la tabella 12 riporta la precisione di stima dei modelli se applicati a dati diversi da quelli del

training set.

Model

1 year before failure 2 year before failure

Non failed firms correctly classified (%) Failed firms correctly classified (%)

Non failed firms correctly classified (%) Failed firms correctly classified (%) Analisi Discriminante 86 75 86,3 60 Logit 91 80 91,2 55 ANN 94 80 95 65 ANN-DA 98 75 96,2 65 ANN-PDA 96 80 95 75 ANN-DA-PDA 93 75 96,2 65 ANN-Logit 98 70 96,2 65 ANN-Plogit 96 85 95 75 ANN-Logit-Plogit 93 85 97,5 65 ANN-DA-Plogit 93 85 97,5 65 ANN-Logit 91 80 95 65

Tabella 11: Tipologie di modelli ibridi creati e precisione delle stime su dati applicati al training set. Fonte: Yim e Mitchell, 2002.

Secondo la ricerca di Yim e Mitchell quindi i risultati più performanti, come anche esplicitato dalla tabella sopra, sono generati dai modelli ANN-Plogit, ANN-Logit-Plogit e ANN-DA-Plogit se applicati a dati riguardanti il training set. Questi modelli ibridi dominano i sistemi previsivi più elementari. Anche se si utilizza invece un campione di dati non proveniente dal set di

training, i modelli ibridi e in generale le reti neurali offrono dei risultati migliori rispetto a delle

semplici modelli statistici (vedi 𝑡𝑎𝑏𝑒𝑙𝑙𝑎 12).

Da questa ultima ricerca analizzata, Nadia D’Annunzio e Greta Falavigna (2004) affermano che le reti ibride saranno i sistemi di previsione più utilizzati rispetto a tutti gli altri modelli poiché, combinando assieme diverse metodologie di analisi, si riesce a superare i punti deboli di queste, valorizzandone allo stesso tempo i loro pregi. Uno dei limiti però che continuano a presentare le reti neurali resta le difficoltà inerenti l’analisi di significatività, in particolare nella

costruzione degli intervalli di confidenza; cosa che al contrario risulta essere normale nei modelli statistico-econometrici.

Model

1 year before failure Non failed firms

correctly classified (%) Failed firms correctly classified (%) Analisi Discriminante 86 60 Logit 89 60 ANN 94 50 ANN-DA 92 50 Ibrido (ANN-PDA) 94 50 Ibrido (ANN-DA-PDA) 92 60 ANN-Logit 94 50 Ibrido (ANN-Plogit) 89 60 Ibrido (ANN-Logit-Plogit) 89 60 Ibrido (ANN-DA-Plogit) 94 80

Tabella 12: Risultati nel caso in cui non vengano utilizzati dati appartenenti al training set Fonte: Yim e Mitchell, 2002.

Sempre secondo Nadia D’Annunzio e Greta Falavigna la soluzione risulta essere quella di applicare gli algoritmi genetici alle reti neurali; nella ricerca appena richiamata si fa anche una breve descrizione di questa prima procedura da adottare. Si inizia generando casualmente un determinato numero di reti neurali descritte dal relativo vettore dei pesi, in seguito si procede incrociando, in modo casuale, a due a due le varie reti con l’obiettivo di creare una popolazione finita di individui. Alla fine di questo processo rimarranno solamente quei sistemi incrociati che meglio di tutti gli altri riescono a fornire delle soluzioni consistenti in merito alla previsione dell’insolvenza. Questa procedura si presenta di difficile implementazione utilizzando semplicemente un personal computer in quanto ci si deve dotare di una elevata capacità computazionale altrimenti non si giungerebbe ad una soluzione in breve tempo.

La seconda soluzione fornita da D’Annunzio e Greta per la creazione di modelli ibridi è quella che si basa sulla logica fuzzy la quale assegna dei valori numerabili a variabili qualitative34_.

34 _{Si riporta ad esempio la capacità imprenditoriale o in generale si fa riferimento a delle caratteristiche} soggettive del soggetto da affidare o affidato