Preliminarmente occorre sottolineare che la valutazione nell’ambito della Sicurezza del Paziente deve essere in linea con gli obiettivi formativi previsti. È improbabile che una particolare metodologia di
valutazione sia adeguata per ogni ambito; è invece opportuno considerare l’insieme dei metodi di valutazione ed effettuare una scelta sulla base dei loro punti di forza e dei loro limiti. Ad esempio "valutare le
conoscenze riguardo agli eventi avversi", deve, in questo caso, orientare la scelta su
una modalità di verifica scritta basata su una situazione clinica in evoluzione di un paziente in cura (MEQ-modified essay question) od un test con domande a scelta multipla (MCQ-multiple choice question). La preparazione sui metodi di miglioramento della qualità può essere meglio valutata attraverso un progetto elaborato dagli studenti. Esistono diversi modelli concettuali che tengono conto degli elementi
fondamentali della valutazione per aiutare nella scelta della tipologia più appropriata di verifica di apprendimento. Uno dei più noti è il triangolo di Miller, che suggerisce che le performance di uno studente sono
strutturate in quattro livelli (vedi Figura A.9.3):
Figura A.9.3. Il triangolo di Miller
Fonte: Miller GE. The assessment of clinical skills/competence/ performance. Academic
Medicine,1990 [2].
sa; sa come; mostra come; fa.
Il "mostrare come" è legato al possesso di capacità specifiche appropriato al livello di competenza richiesto allo studente. Queste possono essere esaminate, ad esempio, attraverso modalità di valutazione strutturata delle competenze cliniche e delle abilità tecniche e comunicative (OSCE).
Ancora una volta, guardando la figura 3, si può vedere invece come la conoscenza (“sa”) possa essere valutata ad esempio con
un test MCQ.
Metodologie tipiche di valutazione
all'interno di una Scuola di Medicina possono includere:
Scritte:
saggio;
risposte a scelta multipla (1 risposta esatta su 4/5);
questionari a risposta multipla per valutare la conoscenza in profondità (EMQ - Extended Matching Questions); domande a risposta strutturata breve; valutazione scritta basata su una
situazione in evoluzione relativa ad un paziente in cura (MEQ);
72
lavoro scritto esteso (stesura o analisi di un progetto, poster);
portfolio/logbook/(N.d.T. libretto-diario formativo)*.
Performance in test pratici:
esami con i partecipanti alternando i ruoli di studenti, docenti e pazienti; osservazione diretta delle performance
(ad es. derivanti dall’osservazione prolungata di un caso oppure da un mini-CEX - Mini Clinical Evaluation Exercise); valutazione collegiale e
multidimensionale formulata dai colleghi del contesto di lavoro di un operatore (MSF);
report strutturati (ad es. valutazioni dei tutor allegate alla documentazione dello studente);
presentazioni o discussioni orali (ad es. progetti, discussione di casi);
auto-valutazione; esami orali strutturati.
Tutte queste metodologie presentano punti di forza e limiti che devono essere
considerati quando si sceglie la valutazione più appropriata per un particolare obiettivo di apprendimento all'interno di un
programma formativo sulla Sicurezza del Paziente.
Scritto
Saggio
Tradizionalmente il saggio, nella sua
accezione classica, è usato in alcune realtà: esso ha il grande pregio di permettere agli studenti di dimostrare le loro capacità di pensiero critico, ragionamento e di ricerca di soluzioni ai problemi. Se, da un lato, è invitante assegnare saggi che permettano agli studenti di esprimere i propri pensieri, è un metodo di valutazione che richiede molto tempo per l’esame dei risultati ed è
condizionato dalla variabilità soggettiva dei diversi docenti. La chiave del successo della valutazione dei saggi è però la qualità del feedback agli studenti: una semplice
valutazione senza alcun commento è sempre deludente per gli studenti che vogliono invece conoscere il pensiero
dell’esaminatore riguardo ai loro elaborati. Alcuni argomenti si prestano a valutazioni attraverso saggi ma, a meno che la Scuola non abbia la disponibilità di risorse adeguate per fornire un feedback appropriato, questo metodo non dovrebbe essere scelto.
Domande a risposta multipla (MCQ) e Domande a risposta multipla per valutare la conoscenza in profondità (EMQ)
MCQ ed EMQ sono modalità di valutazione molto interessanti che possono testare gran parte del programma formativo; i test possono essere corretti in automatico e fornire punteggi affidabili a misura delle abilità dello studente. Tuttavia, il loro svantaggio principale nelle valutazioni in tema di Sicurezza del Paziente è che tendono a testare solo la conoscenza. Così, se questo metodo può essere utilizzato per verificare se uno studente conosce le caratteristiche per il successo del lavoro in team, non potrà invece essere usato per la valutazione dell’applicazione pratica ed effettiva di queste conoscenze da parte dello studente. L'EMQ è stato progettato per affrontare la questione delle risposte esatte, ma solo perché indovinate, nei test a scelta multipla. Per un esempio di MCQ, vedi l’Allegato 2 della Seconda parte.
La valutazione scritta basata su domande riguardo una situazione in evoluzione di un paziente in cura (MEQ)/risposte brevi sulle caratteristiche fondamentalidel caso
La MEQ, che prevede risposte brevi sulle caratteristiche fondamentali di un caso, è stata progettata per rispondere in 5-10 minuti e serve a stimolare un’analisi sintetica in specifici ed appropriati scenari. Mettere a disposizione un modello di risposta ed un relativo schema di valutazione aiuta gli esaminatori a mantenersi nei limiti di una certa
standardizzazione valutativa. Diverse MEQ riguardanti un certo numero di tematiche possono essere completati nel tempo necessario per scrivere un breve saggio riguardante una parte del programma formativo. Per un esempio inerente alla professione infermieristica, vedi l’Allegato 2 della Seconda parte.
Portfolio/logbook/(N.d.T. libretto-diario formativo)*
Rappresentano un insieme di metodologie di valutazione che possono essere facilmente collegate ai risultati di apprendimento fondamentali, con un’ampia gamma di possibilità: un registro delle attività professionalizzanti realizzate, la
registrazione dei risultati raggiunti durante una parte del programma, la
documentazione di supporto ai tirocini, la valutazione annuale globale dei piani * adattato da WHO Patient Safety Curriculum Guide: Multiprofessional Edition, 2011
formativi. Un elemento particolarmente utile del portfolio è l'incidente critico. Agli studenti può essere richiesto di analizzare e di descrivere, in modo strutturato, situazioni che hanno osservato, relative ad un
problema legato alla Sicurezza del Paziente. Gli studenti consegnano poi il loro portfolio (logbook/libretto diario) per la valutazione da parte di un tutor competente.
Clinica/pratica assistenziale
Sono ormai moltissime le evidenze che indicano come l’integrazione di più punti di vista di diversi osservatori migliori la precisione della verifica delle competenze. E' molto importante che le valutazioni concernenti la Sicurezza del Paziente siano incluse nelle griglie di valutazione, nella formazione degli esaminatori e nei feedback di ciascuna verifica effettuata nel contesto professionale sanitario. Se gli argomenti in ambito di Sicurezza del Paziente vengono esaminati separatamente, lo studente considererà il suo apprendimento come qualcosa di aggiuntivo, piuttosto che vedere la sicurezza come parte integrante di ogni ambito delle cure e dell’assistenza del paziente.
OSCE - Objective Structured Clinical Examination
L’OSCE, strumento di valutazione oggettiva e strutturata delle competenze cliniche, è un circuito, articolato in “stazioni” in cui gli allievi ruotano, di brevi casi clinici simulati, valutati da diverse tipologie di esaminatori. La Sicurezza del Paziente può essere inserita con almeno un elemento di valutazione all'interno della checklist per ogni prova o scenario simulato. In alternativa, un singolo caso può essere interamente dedicato alla Sicurezza del Paziente, come la
comunicazione di un evento avverso ad un paziente simulato a cui è stato
somministrato il farmaco errato. Le prove in cui si richiede allo studente di esaminare le termografiche, piuttosto che i risultati dei test di laboratorio, delle indagini
radiologiche o di altri esami, sono a volte definite “stazioni statiche”, in quanto non richiedono l’osservazione attiva dello studente. Questo permette, ad esempio, la simulazione di errori di prescrizione e di registrare le reazioni degli studenti. Per un esempio di OSCE vedere l’Allegato 2 della Seconda parte.
Valutazione collegiale e multidimensionale formulata dai colleghi del contesto di lavoro di un operatore (MSF)
Le MSF sono raccolte di valutazioni, provenienti da una serie di operatori del settore sanitario o da colleghi, che inquadrano il profilo dello studente
nell’ambiente della sua formazione. L’ideale sarebbe che le checklist per la Sicurezza del Paziente e la comunicazione efficace fossero incluse nella scheda di valutazione.
Mini-CEX, esercizio breve di valutazione clinica
Un mini-CEX è quella forma di breve esercizio di analisi clinica (10-20 minuti) nella quale il supervisore o l’istruttore osservano uno studente mentre raccoglie l’anamnesi, esegue un esame obiettivo, si esercita nella comunicazione con un paziente reale e ne valuta le abilità (N.d.T. tecniche e non tecniche)* in diversi ambiti di competenza, assegnando punteggi,
successivamente aggregati, a diverse prove. Ancora una volta, è importante garantire che gli elementi di Sicurezza del Paziente e siano inclusi nel modulo di valutazione. E’ particolarmente importante in un mini-CEX avere una buona preparazione dei valutatori e assicurarsi che includano a priori
riferimenti alla Sicurezza del Paziente nelle sessioni di addestramento.
Valutazioni di fine tirocinio clinico/Scale di valutazione complessiva
Questa valutazione ha lo scopo di fornire un’immagine oggettiva circa i progressi di uno studente, effettuata direttamente dal docente o dal supervisore, sulla base della conoscenza personale o previa consultazione con i colleghi. I criteri di valutazione delle competenze relative alla Sicurezza del Paziente devono essere inclusi nella relazione.
Discussione di casi (CBD case-based discussion)
La CBD è una discussione strutturata di casi condotta dal docente / supervisore e avendo come punto focale il ragionamento
professionale-clinico ed il processo
decisionale. Prende in esame i casi reali in cui è stato coinvolto lo studente. Questa è una tecnica, relativamente poco esplorata per la valutazione dell’approccio alle
questioni relative alla Sicurezza del Paziente riferito ai casi reali.
74
L’abbinamento della valutazione ai risultati di apprendimento attesi
E' sempre importante abbinare le valutazioni al raggiungimento degli obiettivi formativi previsti. La maggior parte dei programmi di studio prevedono tali obiettivi ed i relativi risultati attesi, alcuni più dettagliati degli altri. Nella Tabella A.9.2 viene presentato l'elenco completo dei risultati ottenibili nell’apprendimento delle competenze relative alla Sicurezza del Paziente che possono essere facilmente abbinati ad appropriate metodologie di valutazione.
Strumenti e bibliografia
Newble M et al. Guidelines for assessing clinical competence. Teaching and Learning in Medicine, 1994, 6:213–220.
Roberts C et al. Assuring the quality of high stakes undergraduate assessments of clinical competence. Medical Teacher, 2006, 28:535–543. Walton M et al. Developing a national patient safety education framework for Australia. Quality
and Safety in Health Care 2006 15:437-42.
Van Der Vleuten CP. The assessment of professional competence: developments, research and practical implications. Advances in
Health Science Education, 1996, 1:41–67. Discussione di casi
Southgate L et al. The General Medical Council’s performance procedures: peer review of performance in the workplace. Medical
Education, 2001, 35 (Suppl. 1):S9–S19.
Miller GE. The assessment of clinical skills/competence/performance. Academic
Medicine, 1990, 65 (Suppl. 9):S63–S67. Esercizio breve di valutazione clinica
Norcini J. The mini clinical evaluation exercise (mini-CEX). The Clinical Teacher, 2005, 2:25–30. Norcini J. The mini-CEX: a method for assessing clinical skills. Annals of Internal Medicine, 2003, 138:476–481.
Valutazione collegiale e multidimensionale formulata dai colleghi del contesto di lavoro di un operatore
Archer J, Norcini J, Davies H. Use of SPRAT for peer review of paediatricians in training. British
Medical Journal, 2005, 330:1251–1253.
Violato C, Lockyer J, Fidler H. Multisource feedback: a method of assessing surgical practice. British Medical Journal, 2003, 326:546– 548.
Domande a risposta multipla
Case SM, Swanson DB. Constructing written test
questions for the basic and clinical sciences.
Philadelphia, National Board of Medical Examiners, 2001.
Objective Structured Clinical Examination
Newble DI. Techniques for measuring clinical competence: objective structured clinical examinations.Medical Education, 2004, 35:199–
203.
Portfolio
Wilkinson T et al. The use of portfolios for assessment of the competence and performance of doctors in practice. Medical Education, 2002, 36:918–924.
Bibliografia
1. Newble D, Cannon R. A handbook for medical
teachers, 4th ed. Dordrecht, Kluwer Academic
Publishers, 2001.
2. Miller GE. The assessment of clinical skills/competence/performance. Academic
Tabella A.9.2.Schema di obiettivi finali di apprendimento di competenze nel
programma formativo per la Sicurezza del Paziente e relativi modelli di
valutazione.
Competenze Modalità di valutazione Sicurezza del paziente: i sistemi
Comprendere l’interazione complessa tra l’ambiente
sanitario, i professionisti ed il paziente Saggio, valutazione formativa confermata dall’istruttore o dal supervisore che dimostra che lo studente abbia accompagnato il paziente nel percorso assistenziale, seguita da una discussione in piccoli gruppi
Consapevolezza dei meccanismi che riducono il rischio di errore, ad es. checklist, percorsi clinici
Valutazione formativa confermata dall’istruttore o dal supervisore che dimostra che lo studente ha partecipato alle attività. Sicurezza delle cure erogate al paziente: rischio e
prevenzione MCQ/MEQ
Conoscenza delle principali cause di errore e dei rischi
nell’ambiente sanitario Saggio/MEQ
Comprendere in quale misura i limiti personali contribuiscono al rischio
Esame orale/portfolio Promuovere la consapevolezza riguardante i rischi
nell’ambiente di lavoro, attraverso l’identificazione e la segnalazione dei potenziali rischi per i pazienti e lo staff
Portfolio
Sicurezza del paziente: eventi, eventi avversi e quasi eventi (near miss)
Comprendere i danni causati da errori e fallimenti del sistema
Saggio/MEQ Consapevolezza dei principi che stanno alla base della
segnalazione degli eventi avversi, secondo i sistemi locali di segnalazione
MEQ Comprendere i principi di gestione degli eventi avversi e
quasi eventi (near miss)
MEQ Comprendere i problemi fondamentali di salute della
propria comunità
MCQ Consapevolezza delle procedure di segnalazione delle
malattie soggette a notifica
MCQ Comprendere i principi di gestione delle epidemie MEQ
Sicurezza del paziente: controllo delle infezioni
Comprendere i criteri di scelta ragionata di antibiotici e antivirali
MCQ Eseguire in modo corretto il lavaggio delle mani e le
tecniche di asepsi ed antisepsi
OSCE Utilizzo sistematico delle pratiche di controllo e
prevenzione della trasmissione crociata di infezioni
OSCE Conoscere i rischi associati all’esposizione ad indagini e
procedure radiologiche MCQ/MEQ
Conoscere le tecniche di prescrizione appropriata di
indagini e procedure radiologiche MEQ
Sicurezza del paziente: la somministrazione sicura dei farmaci
Conoscere i farmaci più comunemente coinvolti negli errori, la loro prescrizione e somministrazione
MCQ Conoscere le modalità di prescrizione e somministrazione in sicurezza della terapia farmacologica
OSCE Conoscere le procedure per segnalare gli errori, gli eventi ed i quasi eventi (near miss) legati alla somministrazione dei farmaci, secondo le normative presenti a livello locale
Portfolio
Comunicazione
Interazione con il paziente: contesto
Comprendere l’impatto dell’ambiente sulla
comunicazione, ad es. privacy, setting MEQ
Utilizzare una buona comunicazione e conoscere il suo
ruolo nelle relazioni in sanità OSCE
Sviluppare le strategie per gestire il paziente difficile o vulnerabile
OSCE
Interazione con il paziente: rispetto
Trattare i pazienti in modo cortese, con rispetto, mostrando consapevolezza e sensibilità nei confronti delle diverse culture e dei contesti sociali
76
Mantenere la privacy e la confidenzialità
Fornire informazioni chiare ed oneste ai pazienti e rispettare le loro scelte di trattamento
OSCE/mini-CEX
Interazione con il paziente: fornire le informazioni
Comprendere i principi di una buona comunicazione OSCE/mini-CEX Comunicare con pazienti e caregiver in un modo a loro
comprensibile
OSCE Coinvolgere i pazienti nelle discussioni a proposito delle
proprie cure
Portfolio
Interazione con il paziente: incontri con familiari e caregiver
Comprendere l’impatto delle dinamiche familiari sulla
comunicazione Portfolio
Garantire che vengano inclusi nel modo appropriato i familiari/caregiver di riferimento negli incontri e nei processi decisionali
Portfolio Rispettare il ruolo delle famiglie nell’assistenza al paziente MEQ/Portfolio
Interazione con il paziente: comunicare cattive notizie
Comprendere la perdita ed il lutto MEQ
Partecipare alla comunicazione di cattive notizie a pazienti
e caregiver OSCE
Mostrare empatia e compassione OSCE
Interazione con il paziente: divulgazione aperta
Comprendere i principi della divulgazione aperta MEQ Garantire il supporto e la cura dei pazienti dopo un evento avverso
OSCE Mostrare comprensione verso i pazienti dopo un evento
avverso
OSCE
Interazione con il paziente: reclami
Comprendere i fattori che verosimilmente portano ad un reclamo
MEQ/Portfolio Rispondere in modo appropriato ai reclami secondo le
procedure locali
OSCE Adottare comportamenti idonei per prevenire i reclami OSCE
10. Come valutare i programmi formativi sulla
Sicurezza del Paziente
Introduzione
In questa sezione abbiamo riassunto alcuni principi generali riguardo alla valutazione. Dopo la pubblicazione di questo documento, l’OMS prevede di mettere a disposizione strumenti di valutazione standard per questo programma formativo.
La valutazione è parte integrante della nostra vita quotidiana: cosa mangiare, quali vestiti indossare, quanto era interessante quel film. La valutazione è una componente importante di qualsiasi programma
formativo e dovrebbe essere inclusa nelle strategie di implementazione della formazione sulla Sicurezza del Paziente nella vostra Istituzione, ospedale o corso. La valutazione può essere semplice, come avere gli studenti che completano un questionario dopo avere seguito una lezione sulla Sicurezza del Paziente per raccoglierne i pareri, o complessa, come un riesame generale di tutto il programma di studi (che può comportare sondaggi e focus group con gli studenti e con i docenti), l’osservazione delle attività di insegnamento ed altri metodi di verifica.
La valutazione prevede tre tappe principali: lo sviluppo di un piano di valutazione; la raccolta e l’analisi delle informazioni; la diffusione dei risultati agli stakeholder
coinvolti per implementare le opportune azioni di miglioramento.