L’inaspettata quanto insolita percentuale di accuratezza nella classificazione, riscontrata in caso di etichetta di classe binaria, ha portato ad introdurre un maggiore livello di complessità nell’analisi.
Si è deciso di mappare l’etichetta di classe Error Number come segue, introducendo un ulteriore dettaglio a proposito della motivazione dell’errore:
• 1 se saldatura corretta;
• 2 se saldatura errata per differenza tra altezza cavo da saldare e quella impostata nei parametri;
• 3 se saldatura errata per differenza tra altezza cavo saldato e quella impostata nei parametri;
• se saldatura errata perché eseguita in un tempo superiore a quello impostato;
• se saldatura errata perché l’altezza della saldatura richiesta eccede il limite massimo;
• 0 se saldatura errata per problemi generici.
I risultati della classificazione con Random Forest e MLP mostrano come all’aumentare delle variabili di output e alla diminuzione dei casi per ogni classe con Error Nr. ≠ 1, diminuisca l’accuratezza della classificazione, pur mantenendosi su percentuali molto elevate.
Entrambe le matrici di confusione mostrano come i classificatori abbiano incontrato difficoltà nel classificare correttamente alcuni valori, in particolare: Error Nr. = 4 e 0 per il Random Forest (Figura 4.31); Error Nr. = 4 per il MLP (Figura 4.32).
Figura 4.31 Matrice di confusione con classificatore Random Forest e output multi - classe, elaborazione personale con scikit-learn.
Figura 4.32 Paragone della performance di Random Forest e MLP, elaborazione personale con scikit-learn.
Il paragone istituito tra i due modelli mostra come gli indici di performance nel caso di un output multi - classe non abbiano più tutti un valore pari a 1 e come la capacità dei classificatori sia diminuita rispetto all’ipotesi di classificatore binario (Tabella 4.6).
Metrica Random Forest MLP
Accuratezza 0,999442 0,9996
Recall Micro average 0,999442 0,9962
Macro average 0,949417 0,964087
Precisione Micro average 0,999442 0,9962
Macro average 0,986069 0,972325
F-measure
Micro average 0,999442 0,9962
Macro average 0,963592 0,965194
AUC
Micro average 0,999999 0,99999
Macro average 0,999983 0,999903
Tabella 4.6 Paragone della performance di Random Forest e MLP con output multi - classe, elaborazione personale.
Nonostante quello che emerga dalle metriche faccia pensare che la rete neurale sia migliore al Random Forest in termini di performance, dall’analisi ROC e AUC emerge che il RF (Figura 4.33) possiede una capacità di generalizzare la classificazione leggermente superiore alla rete neurale (Figura 4.34).
Figura 4.33 ROC curve relativa al modello Random Forest con output multi - classe, elaborazione personale.
Figura 4.34 ROC curve relativa alla rete neurale con output multi - classe, elaborazione personale.
Capitolo 5
Conclusioni e sviluppi futuri
L’avvento delle nuove tecnologie che ad intermittenza, ormai da secoli, rivoluzionano il mondo dell’industria rende necessario ripensare al tema della gestione della Qualità. Gli strumenti ad oggi disponibili consentono di cambiare radicalmente il modo di fare industria e di produrre e comportano cambiamenti anche per il mondo della Qualità, dove la gestione del dato assume un ruolo ancora più importante.
Investire sulla Qualità significa investire su nuove fonti di vantaggi economici. I più importanti vengono dall’automazione di processi che, senza un altrettanto adeguato livello di automazione del Quality Management, risulterebbero inefficaci. Tra gli esempi più rilevanti ci sono i processi di gestione delle deviazioni nella qualità dei prodotti, dove automatizzare significa ridurre il tempo speso dagli addetti per gestire un determinato processo e ridurre o eliminare le perdite economiche legate alla non qualità delle produzioni.
Nonostante i recenti progressi, il ritardo è ancora importante per molte aziende italiane, dove parlare di Quality 4.0 appare ancora una scelta azzardata, ma dove le basi per uno sviluppo in questa direzione si possono chiaramente intravedere.
La realtà produttiva di SEWS-CABIND rappresenta un caso di studio esemplare, dove lo studio qualitativo di uno dei processi produttivi core ha reso possibile constatare lo status quo, per poi identificarne gli auspicabili sviluppi futuri.
È stato dimostrato che attraverso l’adozione di tecniche di Machine Learning e Deep Learning è possibile ottimizzare il processo di controllo qualità effettuato giornalmente in SEWS-CABIND sulla produzione di cablaggi con saldatura ad ultrasuoni.
Entrambi i modelli utilizzati, l’algoritmo di Random Forest e la rete neurale artificiale multistrato di tipo feed-forward, sono stati in grado di classificare correttamente il data set che gli è stato sottoposto nella forma di file log emessi dalle saldatrici Minic III opportunamente rielaborati. Nel contesto di una classificazione di tipo supervisionato è stato dimostrato che i modelli, a partire da un training set epurato delle feature relative alla qualità della saldatura (i.e. Error Nr.; Error Text), hanno prodotto le stesse informazioni sul livello qualitativo presenti nei file di log integrali, dove i valori relativi alle variabili Error Nr e Error Text vengono imputati manualmente dall’operatore al termine di ogni ciclo di saldatura.
Gli algoritmi si sono dimostrati piuttosto performanti dal punto di vista di più metriche:
Accuratezza, Recall, Precisione, F-measure, Coefficiente di correlazione di Matthews, Kappa di Cohen, ROC e AUC curve.
La prima importante osservazione che si deduce è che il ricorso ad algoritmi di Machine Learning e Deep Learning in un business scenario di questo tipo potrebbe tradursi in una gestione del monitoraggio sulle saldature più celere e privo di intervento manuale da parte dell’operatore.
Una possibile estensione del lavoro di analisi fatto potrebbe poi guardare all’implementazione di algoritmi con il compito di fornire direttive sui parametri di impostazione ottimali in base ai quali eseguire le saldature effettive, riducendo di molto le
tempistiche della fase preparatoria, limitando il numero di prove da effettuare e con esse gli scarti prodotti.
E perché non estendere poi il raggio di analisi ad altre macchine attivamente coinvolte nel processo di produzione del cablaggio: le così dette cutting-machines Komax, responsabili della fase di taglio ad alta precisione dei cavi e anch’esse dotate di software ed emissione di file log come output del processo.