Le informazioni a proposito della valutazione possono essere fonte di confusione legata all’utilizzo, in alcuni Paesi, dello stesso termine in ambiti diversi. Il modo più semplice per ricordare la differenza è che una valutazione (quella di cui si era parlato nel capitolo precedente) riguarda la misurazione delle performance degli studenti, mentre la valutazione di cui si parla in questo capitolo riguarda l’analisi di come e cosa insegniamo. Nella prima valutazione, i dati sono relativi ad un unico elemento, lo studente, mentre nella
seconda, i dati possono derivare da più fonti (studenti, pazienti, insegnanti ed altri stakeholder).
Prima tappa: Sviluppare un piano di
valutazione
Cosa si deve valutare?
Un primo passo fondamentale nello sviluppo di un piano di valutazione è identificarne l'oggetto: una specifica lezione sulla Sicurezza del Paziente? L'intero programma formativo? Le capacità dei docenti di svilupparlo? Le performance dei docenti? Gli oggetti della valutazione possono essere classificati in generale come politica, programma, prodotto o individuo [1] e tutto ciò può essere applicato in ambito
formativo.
Chi sono gli stakeholder?
Nella maggior parte dei casi sono molti i soggetti coinvolti nella valutazione della formazione sulla Sicurezza del Paziente. Per tale motivo, è importante identificare un destinatario principale che avrà poi un maggiore impatto sulla domanda alla quale rispondere con la vostra valutazione. Il destinatario principale può essere l'Università, i docenti della Scuola, il management dell’ospedale, gli insegnanti, gli studenti o i pazienti ed i cittadini. Se sei un docente, il destinatario principale, ad esempio, potresti essere tu stesso, interessato a conoscere come gli studenti rispondono all’introduzione della formazione sulla Sicurezza del Paziente nel tuo corso.
Qual è l’obiettivo della valutazione?
Identificato il destinatario-stakeholder principale, il passo successivo è decidere cosa si vuole ottenere dalla valutazione. A quale domanda stai cercando risposte? Questa domanda può essere diversa in relazione al tuo ruolo nella formazione sulla Sicurezza del Paziente. La Tabella A.10.1 fornisce esempi di domande che potrebbero essere poste a seconda dello stakeholder principale.
Quale modalità di valutazione è più appropriata?
Le tipologie e le modalità di valutazione possono essere suddivise in: proattive, di Valutazione = performance dello studente
Valutazione = qualità dei corsi/programmi,
78
Tabella A.10.1.Esempi di domande a seconda dello stakeholder
Stakeholder Possibili domande per la valutazione
Management
dell’ospedale/staff clinico
La formazione sulla Sicurezza del Paziente ha determinato una riduzione del numero di eventi avversi, quasi eventi?
Docenti universitari Come potrebbe essere implementato al meglio questo programma formativo nella nostra istituzione?
Insegnanti individuali Sto erogando il programma formativo in modo efficace? Gli studenti sono coinvolti nell’apprendimento riguardo alla Sicurezza del Paziente?
Stanno applicando i principi della Sicurezza del Paziente nella loro pratica?
chiarimento, interattive, di monitoraggio e di impatto [2]. Le tipologie si differenziano a seconda dello scopo principale della
valutazione, della fase di implementazione del programma formativo in cui ci si trova, del tipo di domande che vengono poste e delle modalità di approccio necessarie. La
Tabella A.10.2 fornisce una sintesi di ogni modulo di valutazione.
Seconda tappa: Raccogliere ed analizzare le informazioni
Raccolta
Vi sono numerose fonti di dati e relative
Tabella A.10.2.Tipologie di valutazione
Obiettivo Proattiva Di chiarimento Interattiva Di monitoraggio Di impatto
Orientamento Sintesi Chiarimento Miglioramento Motivazione Motivazione
Aggiustamento finale Di responsabilità Focus principale Contesto del programma formativo Tutti gli elementi
Erogazione Erogazione Erogazione
Risultati Risultati Stadio del programma formativo Nessuno (non ancora implementa-to)
Fase di sviluppo Fase di sviluppo Definito Definito Implementato Implementato Momento rispetto all’implementa-zione
Prima Dopo Dopo Dopo Dopo
Approccio necessario Necessità di valutazione Valutazione Risposta immediata Analisi dei componenti Basato sugli obiettivi Ricerca delle azioni Basato sui bisogni Sviluppo logico Di sviluppo Valutazione
della performance trasferita Libera da ogni scopo Revisione della letteratura
Empowerment Risultato del
processo Accreditamento Revisione di qualità Analisi sistemica Realistica Audit sulla performance Raccolta dati Revisione
dei documenti, database Combinazione tra analisi documentale, intervista ed osservazione Osservazioni in loco Un approccio sistemico richiede la disponibilità di sistemi di gestione delle informazioni Progettazione pre-ordinata della ricerca
Questionari Gruppi
caso-controllo laddove possibile Visite in loco, Focus group, I risultati includono la Interviste l’utilizzo di indicatori e Osservazione
Raccolta dati (continua) tecnica del gruppo nominale pianificazione e le implicazioni per l’organizzazione (può creare miglioramento del “clima organizzativo”) Il grado di strutturazione dei dati dipende dall’approccio utilizzo significativo delle informazioni relative alla performance Testa altri dati quantitativi Ottenere dati riguardo tutti gli outcome, richiede l’utilizzo di tecniche ed evidenze qualitative Può coinvolgere erogatori (docenti) e partecipanti (studenti) Metodo Delphi Tipologie di domande Il programma è necessario? Quali sono i risultati attesi e come è stato progettato il programma per raggiungerli? Cosa cerca di realizzare il programma? Il programma raggiunge il suo target? Il programma è stato implementato come pianificato? L’incontro per l’implementa- zione ha definito obiettivi e standard di riferimento? Come sta andando? Gli obiettivi dichiarati sono stati raggiunti? Qual è la logica che sta alla base del programma? L’erogazione funziona? Come sta andando l’implementa-zione nei vari ambiti? Sono stati soddisfatti i bisogni di studenti, docenti ed altri componenti del programma? Cosa sappiamo sul problema affrontato dal programma?
Quali sono gli elementi che devono essere modificati per ottimizzare i risultati? L’erogazione è coerente con la pianificazione del programma? Com’è l’implementa-zione oggi rispetto a 1 mese/6 mesi/1 anno prima? Quali sono i risultati indesiderati? Il programma è verosimile? Come può essere modificata l’erogazione per farla diventare più efficace? I costi stanno salendo o calando? Come impattano sui risultati del programma le differenze nell’imple-mentazione? Esistono delle “migliori pratiche” riconosciute?
Quali aspetti del programma sono adatti al successivo monitoraggio per la valutazione dell’impatto? Come può essere cambiata l’organizzazio-ne per farla diventare più efficace? Come possiamo ritoccare il programma per farlo diventare più efficiente? Più efficace? Il programma è più efficace per alcuni partecipanti rispetto agli altri? Vi sono altri ambiti del programma che necessitano di particolare attenzione per garantire una sua erogazione più efficace? Il programma ha un rapporto positivo costo-efficacia?
80
metodologie di raccolta da considerare in una valutazione dei programmi formativi sulla Sicurezza del Paziente, come per qualsiasi altro oggetto di valutazione. Quante e quali di queste utilizzare dipenderà da scopo, forma, portata e dimensione della vostra valutazione. Le potenziali fonti di dati ricomprendono:
gli studenti (per una valutazione prospettica, trasversale, retrospettiva, dai ritirati);
l’auto-valutazione (riflessione personale); i colleghi (partner didattici, tutor,
docenti esterni);
gli esperti nella disciplina o nella progettazione didattica;
gli staff impegnati nello sviluppo professionale;
i professionisti già laureati e responsabili delle strutture assistenziali;
documenti e registri (ad es. materiale didattico, registri di valutazione). I dati possono essere raccolti da tali fonti in molti modi: auto-riflessione, questionari, focus group, interviste individuali, osservazione, documenti ed informazioni strutturate.
La riflessione personale
La riflessione personale è un'attività importante per tutti i docenti e ha un peso rilevante nella valutazione. Un metodo efficace per la riflessione comporta:
prendere nota della vostra esperienza di insegnamento (in questo caso, la
formazione sulla Sicurezza del Paziente) e dei feedback ricevuti da altri;
descrivere le vostre reazioni all’auto-valutazione ed ai feedback, e se i risultati vi hanno sorpreso; rivalutare la vostra esperienza nel
contesto dei vostri presupposti di base [3]:
o Erano presupposti validi? Perché o perché no?
Impegnarsi nella riflessione personale consentirà lo sviluppo di nuove prospettive, nuovi presupposti e di un maggiore impegno ad agire in termini di miglioramento del programma formativo e / o
dell’insegnamento.
Questionari
I questionari sono indubbiamente il metodo più comune di raccolta dei dati che fornisce informazioni su conoscenze, opinioni, atteggiamenti e comportamenti delle
persone [4]. Se siete interessati alla ricerca ed alla pubblicazione dei risultati della valutazione, potrebbe essere fondamentale disporre di un questionario già validato ed utilizzato in letteratura. Questo vi farà risparmiare tempo e risorse e vi permetterà di confrontare i risultati con quelli di altri studi che presentano lo stesso strumento. È sempre utile, come primo passo, eseguire una ricerca bibliografica su quanto è presente in letteratura.
Più spesso, però, i docenti, le Scuole o le Università scelgono di sviluppare ed utilizzare propri questionari. Essi possono essere strutturati in domande aperte e/o chiuse e possono assumere una varietà di forme, come le categorie da scegliere con un contrassegno, le scale di valutazione o il testo libero. Una buona progettazione del questionario è parte integrante della raccolta di dati di qualità e vi sono molte pubblicazioni sull'importanza del layout e su come costruire gli item appropriati [5]. È possibile consultare una delle risorse o voci bibliografiche fornite, prima di sviluppare il questionario per la valutazione del
programma formativo sulla Sicurezza del Paziente.
Focus group
I focus group sono utili come metodo esplorativo e come strumento per
evidenziare le prospettive degli studenti o dei docenti/tutor [6]; assai spesso
forniscono informazioni più approfondite dei questionari e permettono una maggiore flessibilità, analisi interattiva di
atteggiamenti nei confronti del programma formativo e di esperienze rispetto al cambiamento dello stesso. Possono essere usati in combinazione con questionari o altri metodi di raccolta dei dati, come mezzo di verifica o triangolazione dei risultati e possono variare in termini di struttura e di svolgimento, dalla conversazione flessibile a quella rigorosamente disciplinata e formale. A seconda delle risorse disponibili e del livello di analisi necessario, è possibile registrare il file audio o video del focus group in aggiunta od in alternativa alla verbalizzazione.
Interviste individuali
Le interviste individuali forniscono l’opportunità di un’esplorazione più approfondita degli atteggiamenti verso il potenziale cambiamento del programma formativo e delle esperienze in merito allo
stesso, una volta che è stato implementato. Come il focus group, le interviste possono essere strutturate, semi-strutturate, o non strutturate. Sebbene forniscano informazioni su una limitata gamma di esperienze
rispetto al focus group, le interviste individuali permettono all'intervistatore di analizzare più a fondo i punti di vista e le esperienze di un particolare individuo. Le interviste vis à vis possono essere un metodo utile per ottenere dati di valutazione dai colleghi, dagli istruttori e supervisori, dai docenti e dai responsabili gestionali.
Osservazione
Per alcune forme di valutazione può essere molto utile l’osservazione partecipante di specifiche attività formative sulla Sicurezza del Paziente per una conoscenza diretta ed approfondita delle modalità in cui è svolta l’attività didattica e la sua efficacia. Le osservazioni dovrebbero prevedere l'utilizzo di una griglia per fornire una struttura di riferimento; l’osservazione partecipante può tuttavia essere relativamente non
strutturata (utilizzando ad esempio un semplice foglio per gli appunti) od altamente strutturata (ad esempio, gli osservatori valutano sulla base di una griglia che contiene una serie di dimensioni
prestabilite e per ognuna di esse vengono riportati i commenti).
Documenti/registri
Come parte della vostra valutazione, si può anche desiderare di esaminare documenti o dati statistici, come pure i materiali didattici utilizzati o i dati raccolti sulle performance degli studenti. Altre
informazioni, come i dati ospedalieri sugli eventi avversi, possono essere utili, a seconda dell’oggetto della valutazione e del quesito a cui si cerca risposta.
Analisi
La raccolta dei dati può essere realizzata con uno o più dei metodi sopra elencati, in entrambi i casi, per la loro analisi occorre tenere presenti tre aspetti [1]:
la rappresentazione dei dati,
l’ordinamento e l'organizzazione delle informazioni raccolte, in modo significativo;
la sintesi dei dati, semplificando e trasformando le informazioni grezze in un formato più facile da analizzare ed utilizzare;
le conclusioni, tratte attraverso la costruzione di concreti significati dai
dati, in relazione agli obiettivi della valutazione.
Terza tappa: Diffondere i risultati ed intraprendere le azioni di miglioramento
Troppo spesso accade che alle conclusioni ed alle raccomandazioni delle valutazioni non seguano adeguate azioni migliorative; il primo passo per evitare ciò è quello di garantire che queste preziose informazioni vengano significativamente diffuse a tutti gli stakeholder. Se la valutazione riguarda la qualità dell'insegnamento sulla Sicurezza del Paziente, allora i risultati (da questionari somministrati agli studenti, da osservazioni tra pari delle sessioni di insegnamento) devono essere comunicati non solo
all'amministrazione, ma anche ai docenti e poi discussi con tutti. Brinko [7] ha fornito un’eccellente revisione delle migliori pratiche del processo di feedback, sia agli studenti che ai colleghi. E’ essenziale che qualsiasi feedback sia ricevuto in modo da incoraggiare il miglioramento e la crescita; se la valutazione si concentra sull’efficacia del programma formativo sulla Sicurezza del Paziente, le conclusioni e le
raccomandazioni per il miglioramento devono essere comunicate a tutto il personale che ha partecipato all'attuazione del programma (all’istituzione, ai docenti, ai professionisti supervisori ed agli studenti). Anche il format della relazione che viene diffuso è importante ai fini di una sua significativa rilevanza. Una comunicazione efficace dei risultati della valutazione, delle conclusioni e delle raccomandazioni è un catalizzatore fondamentale per il
miglioramento dell'insegnamento e della progettazione del programma formativo sulla Sicurezza del Paziente.
Strumenti e bibliografia
Le seguenti risorse possono essere utili per le varie fasi di pianificazione e di attuazione della valutazione:
DiCicco-Bloom B, Crabtree BF. The qualitative research interview. Medical Education, 2006, 40:314–321.
Neuman WL. Social research methods: qualitative
and quantitative approaches, 6th ed. Boston,
Pearson Educational Inc, Allyn and Bacon, 2006. Payne DA. Designing educational project and
program evaluations: a practical overview based on research and experience. Boston, Kluwer
82 University of Wisconsin-Extension. Program
development and evaluation, 2008
(http://www.uwex.edu/ces/pdande/evaluation/; visitato il 17 febbraio 2010).
Wilkes M, Bligh J. Evaluating educational interventions. British Medical Journal, 1999, 318:1269–1272.
Bibliografia
1. Owen J. Program evaluation: forms and
approaches, 3rd ed. Sydney, Allen & Unwin,
2006.
2. Boud D, Keogh R, Walker D. Reflection,
turning experience into learning. London,
Kogan Page Ltd, 1985.
3. Boynton PM, Greenhalgh T. Selecting, designing and developing your questionnaire.
British Medical Journal, 2004, 328:1312–1315.
4. Leung WC. How to design a questionnaire.
Student British Medical Journal, 2001, 9:187–
189.
5. Taylor-Powell E. Questionnaire design: asking
questions with a purpose. University of
Wisconsin- Extension, 1998
(http://learningstore.uwex.edu/pdf/G36582. pdf; visitato il 17 febbraio 2011).
6. Barbour RS. Making sense of focus groups.
Medical Education, 2005, 39:742–750.
7. Brinko K. The practice of giving feedback to improve teaching: what is effective? Journal
11. Strumenti e risorse del web
Ogni argomento ha una serie di strumenti che sono stati selezionati dal World Wide Web e che sono finalizzati ad assistere gli operatori sanitari e gli studenti nel
miglioramento delle cure offerte ai pazienti. Abbiamo incluso solo gli strumenti che sono disponibili gratuitamente su Internet. Tutti i siti sono accessibili a partire da gennaio 2011.
Inclusi nell'elenco vi sono esempi di linee guida, checklist, siti web, banche dati, report e schede informative. Pochissimi strumenti sono stati sottoposti ad un processo di validazione rigoroso. La maggior parte delle misure di qualità riguarda i processi di cura o piccoli gruppi di pazienti in ambienti altamente contestualizzati [1], come ad esempio un reparto, un’unità di riabilitazione od un poliambulatorio. La maggior parte delle iniziative per la Sicurezza del Paziente richiede ai
professionisti sanitari di misurare le tappe del processo di cura. In questo modo, sarete in grado di dire se le modifiche previste sono state in grado di fare la differenza per le cure ed i processi assistenziali dei pazienti e per i loro esiti. Concentrarsi sulla
misurazione e sulla valutazione è un passo necessario ed importante nell’insegnamento di Sicurezza del Paziente; se non si valuta, come si può sapere se vi è stato un
miglioramento? Anche se gli studenti non sono tenuti a misurare i propri risultati prima dell’ingresso nel mondo del lavoro, dovrebbero però sviluppare familiarità con il ciclo PDSA che rappresenta la base delle misurazioni. Molti degli strumenti su Internet contengono il ciclo PDSA.
Bibliografia
1. Pronovost PJ, Miller MR, Wacher RM. Tracking progress in patient safety: an elusive target.
Journal of the American Medical Association,
84