6 MODELLI DI CHURN PREDICTION NEL RETAIL BANKING
6.2 Modello con fuzzy clustering c-means 1 Business understanding
6.2.4 Applicazione del modello e valutazione dei risultat
Per dimostrare che il fuzzy clustering ottiene migliori performances dei metodi classici sui dati reali del retail banking, sono stati applicati clustering gerarchici e k-means (descritti nel paragrafo 2.4). Applicati a tutti i 5000 clienti, quasi tutti i metodi gerarchici, nonché i ripetuti k-means, hanno fallito sugli stessi outliers. Molti di essi hanno separato solo un cliente nel primo cluster e tutti gli altri 4999 sono stati destinati al secondo cluster. Tutti i metodi sono stati ripetuti sui datasets senza i primi 50 outliers e alcuni di essi hanno ottenuto migliori prestazioni.
La Tabella 6.5 mostra alcuni dei risultati del clustering classico:
Tabella 6.5 (Risultati del clustering classico)
Per ottenere la piena comprensione sulla performance dell’algoritmo, occorre considerare simultaneamente molte misure di valutazione presentate nel paragrafo 3.4. Il recall rate del 100% significa insuccesso nel riconoscimento dei churner, se combinato con specificità inferiore all’1%. Perdere un cliente causa più grandi perdite per la banca rispetto ad investire in campagne di marketing per parecchi clienti classificati incorrettamente come possibili churners. Ciò significa che i costi di falsi negativi sono molto più alti dei costi di falsi positivi. Nella popolazione di clienti reali ci sono molte meno istanze positive che negative, così classificatori generosi che ottengono un alto recall rate e una specificità accettabile sono considerati di successo nel business.
FCM è stato ripetutamente applicato sul dataset completo e sul dataset privo dei primi 50 outliers, con 10 differenti valori del parametro m di fuzzification e differenti semi (seeds) dei clusters iniziali. Esso è stato eseguito leggermente meglio senza outliers, ciò testimonia la robustezza del modello contro la presenza di outliers. Dal punto di vista applicativo essa è una proprietà molto buona di FCM
dal momento che non sarà sempre redditizio per la banca scoprire e rimuovere gli outliers; per non parlare del fatto che questi outliers qualche volta sono i clienti più attivi e redditizi e che quindi necessitano di essere inclusi nella fase di sviluppo del modello. Con crisp k-means ciò non dovrebbe essere possibile, poiché esso è stato eseguito incredibilmente male con questi clienti. Gli autori hanno diviso il dataset in due parti, training set e test set, in tre differenti rapporti. E’ stato scelto il rapporto di 90% di clienti nel training set e il 10% nel test set. In base ai valori delle funzioni di appartenenza, sono stati scoperti i clienti nelle fuzzy transitional condition (FTC).
Per questo proposito gli autori hanno proposto due nuove definizioni: Definizione 1. Sia p il numero di clusters nell’algoritmo FCM e sia:
e
per le entità xi. L’entità xi nella fuzzy transitional condition è detta essere del
primo grado se, per piccoli arbitrari ε > 0, vale che: .
Definizione 2. Sia p il numero di clusters nell’algoritmo FCM e sia:
L’entità xi nella fuzzy transitional condition è detta essere di secondo grado se, per
piccoli arbitrati ε > 0, vale che:
Sottoinsiemi di clienti nel FTC di entrambi i gradi sono stati successivamente analizzati e le informazioni acquisite sul loro valore di appartenenza hanno aiutato a spiegare il loro comportamento. Sono stati sviluppati quattro modelli di
previsione, basati sull’idea principale della distanza del nuovo cliente dai clienti nel training data set. Per il proposito predittivo nel quarto modello è stata introdotta la definizione di somme di distanza di k istanze (DOKI).
Definizione 3. Sia p il numero di clusters nell’algoritmo FCM e X sia il set di n entità con valori di appartenenza assegnati . La somma di distanze di k istanze ad esempio la somma DOKIjk (x) per la nuova entità xn+1 è definita
come la somma dei valori di appartenenza {µj} nel cluster j – th delle k entità più
vicine ad X, secondo la metrica di distanza utilizzata in FCM.
Il calcolo delle somme DOKI richiede il parametro di k input e sono stati applicati molti differenti valori.
La Tabella 6.6 presenta i risultati di FCM sul training set e sul motore di previsione con le somme DOKI applicate su test sets bilanciati e non bilanciati:
Tabella 6.6 (Risultati del modelli di predizione FCM e DOKI)
Il concetto di somme DOKI potrebbe sembrare simile all’approccio dei k vicini più vicini ma le DOKI sommano valori di funzioni di appartenenza e non le distanze pure. Il recall rate per i test sets era ancora più elevato di quello ottenuto con FCM sul training set. Il miglioramento nel recall è stato pagato con un lieve calo in termini di specificità. Come detto precedentemente, è più importante trovare i churners anche a costo di identificare con essi una certa percentuale di clienti fedeli. La minimizzazione dei costi può poi essere raggiunta successivamente attraverso canali di comunicazione intelligenti e multi-livello.
6.2.5 Conclusioni
Da questo studio si è dimostrato che è sempre difficile avere a che fare con dati reali e situazioni di business in cui i metodi classici possono raramente essere applicati nella loro semplice forma teorica. L’idea principale dello studio per dimostrare che la logica fuzzy e i metodi fuzzy di data mining possono trovare la loro applicazione nella realtà del retail banking, è stata completamente soddisfatta. FCM ha ottenuto migliori prestazioni del classico clustering e ha fornito più informazioni nascoste sui clienti, specialmente quelle nelle fuzzy transitional conditions. Sono state introdotte tre nuove definizioni e hanno avuto un impatto sul lavoro complessivo. L’implementazione delle somme DOKI hanno aumentato l’hit rate (recall) dell’8,88% in confronto al puro FCM. In futuro i metodi che richiedono molto preprocessing e soprattutto la rimozione di molti clienti outliers perderanno la battaglia a discapito di metodi più efficienti e robusti. Maggiore accuratezza dovrebbe essere ottenuta attraverso il miglior sfruttamento d’informazione sui clienti nelle fuzzy transitional conditions e non attraverso la rimozione dei clienti. Monitorare i clienti in FTCs e reagendo come essi si avvicinano al profilo dei churners potrebbe essere un buon modo per un churn management più intelligente. Questo richiede analisi su grandi datasets, includendo più variabili transazionali nel modello. Inoltre il modello dovrebbe anche includere i costi degli errori di classificazione. Inoltre differenti segmenti di clienti o clienti che hanno linee di prodotti simili dovrebbero essere modellati separatamente, per trovare empiricamente i migliori parametri di FCM per ciascun segmento o linea di prodotto.