Gli Alberi Decisionali appartengono a quella branca dell’Intelligenza Artificiale nota con il nome di “Machine Learning” o Apprendimento Automatico, la quale contiene una serie di modelli che negli ultimi tempi, a fronte dei limiti riconosciuti ai sistemi esperti, hanno acquisito importanza.
Come descritto in precedenza, queste tecniche cercano di superare il principale punto debole riscontrato nel processo di attuazione dei sistemi esperti, ossia le distorsioni che possono crearsi nella fase di estrazione e formalizzazione della conoscenza. Infatti essi svolgono un ruolo di supporto all’azione dell’ingegnere della conoscenza e permettono quindi di velocizzare i tempi di messa a punto richiesti dai diversi modelli.
Gli alberi decisionali costituiscono delle tecniche che permettono di classificare un gruppo di oggetti sulla base di alcune caratteristiche osservate sugli stessi. Una volta rilevate le caratteristiche significative ai fini della classificazione, partendo dall’insieme generale degli oggetti, attraverso una serie di passaggi si giunge a comporre dei sottoinsiemi più “puri” rispetto ai sottoinsiemi degli stadi precedenti.
45
Cenni tratti da G. Szego e F. Varetto (1999), Il rischio Creditizio: misura e controllo, ed. Utet, Torino.
Figura 3.2: Albero Decisionale semplificato
48
Come si può notare dalla Figura 3.2, un albero decisionale presenta la struttura di una ramificazione discendente che, partendo dalla “radice” dell’albero, giunge alle “foglie”. Queste ultime costituiscono le classi o i sottoinsiemi specifici che distinguono l’oggetto classificato; esse rappresentano i punti terminali dell’albero e discendono dai diversi “nodi” decisionali che lo compongono.
Perciò, nel caso in cui si voglia classificare un oggetto, il procedimento è molto semplice: si parte dalla radice dell’albero in cui viene effettuato il primo test discriminatorio, in base al risultato conseguito si segue un apposito “ramo” che conduce ad un nodo decisionale (in tutti i nodi decisionali vengono condotti dei test su specifiche caratteristiche allo scopo di discriminare al meglio gli oggetti); a seconda del risultato ottenuto, dal nodo si diparte un ramo che conduce alternativamente ad un ulteriore nodo decisionale oppure ad una foglia; nel caso in cui si giunga ad una foglia il processo ha termine.
Questo procedimento presenta però un problema essenziale, infatti quando gli oggetti sono particolarmente complessi è necessario avvalersi per la classificazione di un elevato numero di rami e foglie, ma ciò costringe ad incrementare notevolmente la complessità degli Alberi Decisionali.
Per di più alberi troppo complessi tendono a generare fenomeni di overfitting46 con conseguente limitazione della capacità di classificazione corretta di nuovi oggetti, non appartenenti al campione di partenza. Allo scopo di evitare tale fenomeno, ma con l’obiettivo di mantenere inalterata la capacità discriminatoria degli alberi decisionali, sono state sviluppate una serie di tecniche tese a semplificarne la struttura in quei casi in cui si rivelasse troppo complessa.
Esistono due procedimenti che possono essere attuati per semplificare la struttura di un albero47:
- la potatura in avanti; con questa tecnica si cerca di valutare l’utilità proveniente dall’utilizzo di una nuova variabile nella classificazione. Nel caso in cui quest’utilità risulti essere troppo bassa può essere conveniente bloccare il procedimento all’interno di quel sotto-albero per non continuare in una classificazione che porterebbe
46
In statistica si parla di overfitting (eccessivo adattamento) quando un modello statistico si adatta al campione osservato usando un numero eccessivo di parametri. Perciò, in presenza di un fenomeno di overfitting, le prestazioni (ovvero la capacità di prevedere) sui dati del campione aumenteranno, mentre le prestazioni sui dati esterni al campione di riferimento peggioreranno.
47
49
solamente a delle foglie impure (foglie che incorporano una certa probabilità di distorsione della classificazione);
- la potatura a ritroso; questa tecnica, a differenza della precedente, parte dall’albero già completo e, successivamente ad una attenta analisi, cerca di eliminare quei sottoinsiemi che contribuiscono in maniera del tutto marginale alla capacità classificatoria dell’albero.
Le due tipologie di potatura si differenziano sostanzialmente per il fatto che mentre la prima opera in fase di costruzione dell’albero domandandosi se sia conveniente o meno effettuare ulteriori suddivisioni, la seconda agisce a costruzione ultimata cercando di capire se sia possibile migliorare la capacità classificatoria eliminando alcuni rami e sotto-alberi già realizzati. La fase di potatura è una fase molto delicata poiché la semplificazione deve essere effettuata mantenendo inalterata la validità dei risultati a cui il modello è giunto.
Un’ulteriore causa di distorsione nei risultati del modello potrebbe essere generata dalla presenza di informazioni non sempre accurate all’interno del campione di riferimento; per questo è necessaria un’attenta analisi dei casi durante la fase di apprendimento del sistema, al fine di evitare contraddizioni in grado di generare rumorosità all’interno dei dati48
.
Un altro svantaggio degli alberi decisionali è rappresentato dal fatto che il modello, nella classificazione delle imprese, fornisce una risposta dicotomica: 0 impresa sana, 1 impresa insolvente. In base a quanto delineato nel Capitolo 2, questo tipo di risposta non rispecchia la pluralità di situazioni in cui un’impresa può trovarsi e, proprio per questo, potrebbe essere più conveniente optare per l’utilizzo di uno score che assuma valori interni all’intervallo (0;1). Forse però il punto di maggiore interesse di questo modello risiede nel fatto che un albero decisionale può essere convertito in un insieme di regole; tali regole non fanno altro che descrivere il percorso che è indispensabile seguire per raggiungere ogni foglia terminale, cercando così di semplificare l’approccio interpretativo.
È da sottolineare come gli alberi decisionali classifichino efficacemente gli oggetti appartenenti al campione di riferimento, ma, in base all’esperienza empirica, qualora ci si accinga a classificare degli oggetti esterni al campione è necessario ricorrere ad un nuovo addestramento del sistema ottenendo così un nuovo albero decisionale. Quindi gli alberi decisionali presentano una certa stabilità sia con riferimento al “training sample” sia con
48 Con il termine “effetto rumore” si intendono gli errori che si possono creare durante la formalizzazione del
50
riferimento agli outliers, questo anche in virtù del fatto che sono metodi non parametrici e non risentono delle limitazioni a cui sono soggetti i tradizionali approcci statistici.
Per concludere è d’obbligo evidenziare come, in relazione alla concessione del credito, gli alberi decisionali siano particolarmente utili non solo nell’individuare i fattori maggiormente significativi ai fini dell’analisi, ma anche nel fornire una visione d’insieme relativamente alla situazione aziendale in cui versa l’impresa.