Évaluation « La prévention fondée sur les preuves »

« La prévention fondée sur les preuves »

H. Sancho-Garnier

Nous avons vu, dans les pages précédentes, que les activités de prévention compor- taient des stratégies variées tant de type collectif qu’individuel. Quelles que soient les mesures mises en place, les populations concernées et les cadres d’action, l’étape d’évaluation ne peut être esquivée. Il existe de nombreuses méthodes d’évaluation, mais toutes doivent permettre de s’assurer que les objectifs visés (et donc définis a

L’évaluation est un élément majeur de la décision en santé et, si elle ne doit en aucun cas être un frein à l’innovation, elle en est le meilleur garde-fou. Malheureusement, peu d’actions en prévention ont à ce jour été évaluées et, de ce fait, de nombreuses interventions inefficaces sont répétées en permanence. Évaluer, c’est finalement se poser cinq questions : pourquoi évaluer ?, que doit-on évaluer ?, avec quelles méthodes évaluer ?, qui veut évaluer ?, qui évalue ?

Pourquoi évaluer ?

L’évaluation doit être avant tout considérée comme un instrument de valorisation et de perfectionnement du potentiel des interventions et des individus et surtout pas comme une fin en soi. Malgré tout, c’est souvent cette dernière attitude qui pré- vaut lorsque l’évaluation est perçue sous l’angle de la sanction, du contrôle et de la dépendance à une tutelle. Dans ce cas, son seul objet est de délivrer un « certificat de conformité » associé à un financement. En fait, grâce à l’évaluation, les commu- nautés (de même que les organismes de financement) et les professionnels de santé doivent être assurés que l’argent public est bien dépensé pour des interventions qui permettent d’atteindre les objectifs désirés et que ces objectifs s’accompagnent d’une amélioration de la santé.

Mais l’évaluation non seulement doit permettre de juger des résultats obtenus à

plus ou moins long terme, mais elle est aussi l’outil permanent permettant la bonne

réalisation des programmes. En effet, la prévention ne peut s’inscrire que dans le

long terme, or, de nombreux événements, prévus ou non, peuvent se produire au

cours des interventions. Une adaptation doit être possible qui implique une révision

des pratiques, des décisions nouvelles, au regard des données issues de l’expérience.

Ceci nécessite que les procédures d’évaluation soient conçues en même temps que la stratégie d’intervention, et qu’elles comprennent deux niveaux :

– celui du processus qui permet de juger de la faisabilité, de l’acceptabilité et des coûts ;

– celui des résultats sur les objectifs visés.

Il est donc essentiel de s’assurer :

– que les interventions sont étayées par des preuves solides (par exemple, la preuve que les interventions ont la capacité de réduire l’exposition au risque) ;

– qu’elles ne représentent pas un coût rédhibitoire (balance coût/bénéfice équi- librée) ;

– qu’elles ne sont pas nocives ou associées à un risque accru d’effets secondai- res ;

– et qu’elles peuvent être mises en œuvre d’un point de vue pratique.

Les résultats des travaux devraient également être communiqués en retour aux communautés de manière à les convaincre de l’effet des actions et de la nécessité ou non de les poursuivre.

Que doit-on évaluer ?

La pertinence des objectifs

L’action proposée doit répondre à des besoins, la première évaluation devra donc porter sur l’analyse des besoins et sur l’adaptation du programme proposé à ces besoins. Si, au cours du temps, les besoins évoluent, l’action doit pouvoir aussi évo- luer (par exemple, on peut passer d’une action de lobying pour modifier ou créer une loi, à une action de promotion pour faire appliquer la loi). Cela peut impliquer différents aspects tels que :

– l’évaluation du poids de la maladie dans une population donnée ;

– l’identification « des besoins perçus » par la population (par exemple l’accès à des activités physiques, les restrictions sur les ventes locales d’alcool) ;

– l’identification « des besoins perçus » par les professionnels de santé (par exemple la durée de consultation de sevrage) ;

– l’identification des besoins en information (par exemple la population a-t-elle déjà eu connaissance de messages concernant une bonne alimentation).

Les procédures mises en œuvre

L’action proposée doit permettre d’atteindre les objectifs visés : tant sa méthodologie

que son organisation. Les procédés utilisés doivent donc être décrits précisément afin

de suivre leur réalisation, les adapter si nécessaire, les réutiliser ensuite s’ils se sont avé-

rés efficaces (tableau I). À ce stade, il est possible d’utiliser des méthodes formatives

pour définir les outils et les actions d’un programme d’intervention afin que cette der-

nière soit opérationnelle. Les outils seront testés, qu’il s’agisse de questionnaires, d’en-

tretiens individuels ou de groupes, de brochures, de matériel audio-visuel, etc.

Tableau I - Exemple d’évaluation de processus. Mise en œuvre d’une intervention alimentai- re en soins primaires, d’après Lazovich et al. (1).

But Étude de faisabilité portant sur la participation de médecins de soins primaires à la mise en œuvre d’une intervention ali- mentaire

Méthodes Les médecins d’un cabinet de groupe ont produit un guide d’autoassistance pour promouvoir un changement alimen- taire chez leur patient. Le guide était remis au moment d’une consultation de routine et les bénéficiaires étaient contactés trois mois plus tard afin de savoir s’ils avaient lu et utilisé le guide

Résultats 96 % des patients ont vu le guide, 93 % d’entre eux se rappe- laient avoir lu une partie du guide et la probabilité de le lire augmentait avec le temps passé à discuter de ce guide Conclusions L’implication des médecins montre l’intérêt de l’utilisation

des structures de soins primaires dans l’application d’inter- ventions destinées à changer l’alimentation. Former des équi- pes de santé et renouveler des conseils diététiques systémati- quement aux visites suivantes peuvent augmenter le succès.

Les résultats

Ils comprennent d’une part l’impact à court terme et les effets à long terme sur les expositions au risque ou sur les conséquences de ces expositions (tableaux II, III).

La définition d’objectifs spécifiques, mesurables, atteignables, réalistes et à terme

définis (SMART en anglais) est vitale pour le développement des actions et leur éva-

luation. La mesure d’impact (par exemple le degré de perception d’un message) per-

met un jugement indirect des résultats escomptés. Ainsi, un message non perçu ne

permet pas d’espérer un changement de comportement. L’évaluation du résultat

essaie en général de déterminer l’effet de l’intervention sur la santé soit de manière

indirecte – acquisition de savoir ou savoir-être – soit de manière directe par une

réduction de la prévalence des expositions à risque ou de l’incidence du problème

de santé visé par l’action.

Tableau II - Exemple d’évaluation sur l’impact de l’intervention. Essai contrôlé randomisé d’une intervention menée dans une école primaire afin de réduire les facteurs de risque de l’obésité. D’après Sahota (2).

But Évaluer l’efficacité d’une intervention en milieu scolaire pour réduire l’exposition aux facteurs de risque de l’obésité Méthodes L’intervention a été évaluée à l’aide de mesures de taille et de

poids, d’informations sur l’alimentation (rappel des 24 h), sur les comportements, sur la sédentarité, sur les profils psychologiques (perception de soi, restrictions alimentaires volontaires, perception de son corps), sur les connaissances et les attitudes (groupes de discussion et calcul d’un score pour des groupes d’enfants)

Résultats Les changements dans la consommation de légumes, les habitudes sédentaires et l’estime de soi ont été notés pour les groupes d’intervention et le groupe témoin et également en référence au poids

Conclusions Le programme a produit avec succès des changements au niveau de l’école (par exemple il a amélioré l’environnement favorisant des changements de comportement et modifié « la philosophie » de l’école), mais il a eu peu d’effets sur le com- portement des enfants.

La balance coût/bénéfice

Les considérations économétriques sont toujours délicates dans le domaine de la santé. De surcroît, dans celui de la prévention primaire des enjeux économiques très importants sont mis en cause tant pour les revenus de l’état (taxes) que pour ceux des particuliers (profits, mais aussi emplois). Les ressources à mettre en œuvre pour la réalisation des objectifs sont, en général, relativement modestes, mais les

« manque à gagner » sont eux énormes, pour ne citer par exemple que le tabac ou l’alcool ! Les économies réalisées en termes de santé sont, de plus, peu et mal éva- luées. Les années de vie gagnées lorsqu’il s’agit de personnes en retraite semblent, économiquement parlant, ne pas contrebalancer les pertes des gains apportés par la fabrication et la vente de produits qui ne détériorent la santé que progressivement.

Des travaux d’évaluation plus complets, par exemple tenant compte de l’amé- lioration de l’espérance de vie et donc de la période d’activité, ou des problèmes d’autres natures (absentéisme, productivité, douane, police…) sont indispensables pour convaincre les décideurs qu’in fine la prévention permet de faire faire des éco- nomies au système de santé, voire dans d’autres domaines. Un tel travail d’évalua- tion permettrait d’apporter des arguments de négociation avec les financeurs de la prévention.

Toute intervention nécessite, avant même d’être testée, une réflexion préalable

sur ses avantages et ses inconvénients, afin de n’être entreprise que si les avantages

potentiels sont a priori nettement supérieurs aux effets adverses. Enfin, dans ce

domaine, il faut dans le bilan accepter la primauté de l’intérêt collectif sur l’intérêt

individuel.

Tableau III - Exemple d’évaluation de résultat. La prévention des maladies cardio-vasculaires au niveau d’une communauté influence-t-elle la mortalité liée au cancer ? D’après Puska et al.

(3).

But Examiner les tendances à long terme de la mortalité liée au cancer à la suite du programme d’intervention de Carélie du Nord.

Méthodes La mortalité ajustée à l’âge calculée pour la population mas- culine âgée de 35 à 64 ans en Carélie du Nord pour la pério- de 1969-1991.

Résultats Pendant la période d’étude de 20 ans, la mortalité liée au can- cer a diminué en Carélie du Nord de 45,5 % et de 32,7 % pour l’ensemble de la Finlande.

Conclusions Les résultats renforcent l’hypothèse que les programmes de réduction du risque cardio-vasculaire peuvent produire des changements bénéfiques sur la mortalité liée au cancer mais que de tels changements sont longs à se manifester.

Comment évaluer ?

Deux situations sont à distinguer. La situation expérimentale où l’efficacité de l’action projetée doit être démontrée (une nouvelle méthode de sevrage tabagique par exem- ple) ou comparée à une autre (impact de divers programmes d’éducation). Dans ce cas, la méthode doit apporter « la preuve » que telle action a apporté tel résultat, et que ce résultat n’a pas été obtenu par hasard et est, de ce fait, reproductible. La situa-

tiels précédemment établis et garantir l’optimisation des bénéfices au moindre coût.

Comme nous l’avons défini précédemment, il existe deux niveaux d’évaluation des interventions : celui du processus et celui des résultats. Ces deux niveaux sont complémentaires et, par conséquent, tous les deux indispensables, et sont régis par les mêmes principes de base : « La démarche évaluative est une démarche scienti- fique comparable à toute démarche de recherche : formulation du problème, choix des méthodes adaptées et mise en œuvre, analyse des résultats, conclusions préci- sant les conditions de validation. » L’évaluation se prépare comme l’action et doit être prévue dans le protocole du programme d’action. Ainsi devront être définis a

qui permettront de mesurer les critères de jugement retenus (questionnaires, mesu- res biologiques, statistiques nationales de consommation, d’incidence…), le mode de recueil des informations (interviews, autoquestionnaires, dosages), leur contrô- le, les moments du recueil, le consentement des sujets inclus, le nombre de sujets nécessaires à l’obtention de résultats interprétables.

L’évaluation du processus ne diffère pas fondamentalement en situation expéri- mentale ou en routine.

• Elle doit se faire au fur et à mesure du déroulement du programme permettant

de réajuster les divers éléments de l’action en fonction des conditions rencontrées

sur le terrain.

• Certes, tant la faisabilité (moyens disponibles) que l’acceptabilité (taux de par- ticipation, compréhension des messages, etc.) auront été testées dans une phase pilote ou expérimentale, mais lors de l’application en « grandeur réelle », des pro- blèmes imprévus peuvent toujours apparaître et devront être résolus au fur et à mesure sous peine de voir l’action se désagréger ou se distordre.

• Un comité de pilotage multidisciplinaire indépendant des acteurs du pro- gramme et ayant accès aux données concernant son déroulement, permet une éva- luation interactive permanente. À ce niveau, l’évaluation doit porter sur :

– le contenu du programme proposé qui doit avoir une justification basée sur des travaux antérieurs, des tests préalables, la littérature, etc. ;

– les moyens qui seront utilisés tant en termes de stratégie (plan expérimental ou non, population ciblée, types de programmes) qu’en termes de moyens maté- riels, humains et financiers ;

– le déroulement des actions conformément au protocole établi, la surveillance du suivi doit s’intéresser à la conformité des actions en qualité et en quantité, à l’ad- hésion des populations ciblées, aux éventuels effets secondaires. L’analyse de ces dif- férents éléments facilitera la reproductibilité et, éventuellement, permettra de com- prendre les raisons d’un échec ;

– l’impact sur les cibles en termes de réception et compréhension des messages, de modifications de l’image sociale du risque, de tentatives de passage à l’acte…

• L’évaluation du processus repose sur le recueil de données qualitatives, com- prenant des interviews structurés et non structurés avec les individus et les groupes de discussion, des observations, des rapports de cas et des analyses de documents et de matériel visuel, des analyses d’enregistrement journalier ou d’autres données.

Des mesures quantitatives sont également utilisées, elles comprennent des indica- teurs :

– du travail accompli, des emplois du temps, des dépenses ; – de l’implication du personnel (rang, nombre) ;

– des questions parvenues et des réponses données ; – de la fréquence des contacts et de leur contenu ; – du nombre d’individus recevant l’intervention ; – du coût du programme ;

– de la perception des utilisateurs concernant la qualité de l’intervention.

Certains de ces critères peuvent d’ailleurs être l’objectif principal : augmenter la sensibilisation peut être le but d’une campagne médiatique qui permettra ensui- te d’améliorer le désir de changement de comportement et finalement le taux de sevrage. Soulignons cependant que si des évaluations de ce type sont nécessaires, elles restent insuffisantes pour indiquer un réel changement de comportement qui doit être mesuré spécifiquement. Ainsi, une étude américaine a montré que la contre-publicité exigée pour toute publicité sur le tabac à la télévision, si elle a effectivement eu des effets sur l’opinion, n’a eu aucun effet sur les comportements.

L’évaluation des résultats a pour but de générer de l’information extrapolable

à d’autres populations, en routine. Il peut apparaître trivial de dire qu’une action

de santé, qu’elle soit préventive ou curative, se doit d’être efficace pour être

généralisable.

• En situation expérimentale, pour pouvoir démontrer les effets liés à un pro- gramme de prévention, il est nécessaire de comparer les résultats observés sur le groupe de sujets soumis à l’action à ceux d’un groupe n’y ayant pas été soumis ou soumis à une action de référence (groupe contrôle). Plusieurs méthodes peuvent être utilisées pour constituer ces groupes, celle qui permettra un jugement a priori non biaisé est fondée sur la réalisation, au sein de la population ciblée, est le tirage au sort individuel qui permettra d’attribuer l’éventuel changement observé (dimi- nution d’exposition, diminution d’incidence, etc.) à l’action réalisée. Mais, assez souvent, dans le domaine de la prévention, une telle procédure de tirage au sort n’est pas possible, ou bien ne peut se réaliser au niveau individuel pour des raisons éthiques. Les placebos peuvent s’avérer difficiles à réaliser en particulier pour les essais alimentaires ou l’exercice physique !

D’autres méthodes permettent un jugement mais comportent plus de risques de biais dans l’interprétation des résultats et n’aboutissent donc qu’à des conclusions de présomption plus ou moins forte. Citons ainsi le tirage au sort par groupe (villes, écoles…), les comparaisons avant versus après, les comparaisons du comportement des sujets soumis au programme à celui de la population générale, l’observation au cours du temps des évolutions des consommations tabagiques ou de l’incidence des pathologies liées à cette consommation. On peut également, a posteriori, interroger des sujets fumeurs ou non (voire malades ou non) sur les actions auxquelles ils ont été éventuellement soumis : enquête type cas-témoin.

Les populations soumises à ces actions peuvent être :

– un échantillon extrait de la population générale : en Gambie, par exemple, la vac- cination anti-hépatite B qui devrait avoir pour rôle secondaire de prévenir l’hépato- carcinome, est réalisée sur la totalité de la population de zones géographiques données ; – ou plus souvent des populations à haut risque soit fortement et longuement exposées (fumeurs), soit ayant présenté une première maladie guérie (cancers de la sphère ORL, infarctus) ou enfin, des sujets présentant des anomalies à forte proba- bilité d’évolution (HTA, cancers in situ, marqueurs, etc.).

Les sujets de ce deuxième groupe ont une beaucoup plus forte probabilité de présenter l’événement étudié au cours du suivi, ce qui permet d’inclure un nombre raisonnable d’individus dans l’intervention avec une puissance suffisante pour tes- ter l’hypothèse.

• En situation « de routine », ne devraient être entreprises que des actions ayant été testées par des études expérimentales. Elles doivent être évaluées avec autant de soins, tant en ce qui concerne le processus que les résultats, mais une stratégie de type tirage au sort n’est alors plus nécessaire. L’objectif de l’évaluation sera alors d’assurer un meilleur résultat en termes d’efficience, c’est-à-dire une amélioration de la santé au moindre coût pour la meilleure satisfaction des usagers.

• Les critères de jugement de l’impact et les résultats :

L’évaluation de l’impact porte sur l’effet à court terme de l’intervention. En fonction de ses objectifs ils comprennent :

– les changements en matière de connaissances et d’attitudes ;

– les changements de comportements immédiats ou à court terme ;

– les politiques mises en œuvre ou les changements institutionnels opérés.

La notion de résultat se réfère à la somme des effets à long terme produits par la réalisation de l’intervention (par exemple le maintien à long terme d’un comporte- ment souhaité). Les informations contenues dans une évaluation du résultat devraient inclure les indicateurs appropriés : soit la modification de l’exposition au facteur de risque, soit la modification de la morbidité et de la mortalité d’une maladie.

Dans l’idéal, toutes modifications de santé découlant d’une intervention devraient être évaluées qu’elles soient négatives ou positives, et les possibles effets secondaires devraient être pris en compte de la même manière que les résultats sani- taires les plus importants.

Dans tous les cas, il faut s’assurer a priori de pouvoir disposer de ces informa- tions et qu’elles soient fiables (par exemple, la consommation tabagique peut être vérifiée par le dosage de la cotinine salivaire. L’incidence des cancers ou des maladies cardio-vasculaires n’est bien connue que dans les départements où il existe des registres de population de ces pathologies. Il faut également préciser les moments où l’on veut juger de l’effet de l’action (court, moyen, long terme), ce qui oblige à répéter le recueil des données aux divers temps choisis.

L’une des limites de l’évaluation des résultats est, hors des essais randomisés, l’impossibilité de contrôler des facteurs extérieurs à l’intervention qui pourraient influencer les résultats. Par exemple, des facteurs environnementaux plus larges, tels que les campagnes nationales menées en même temps ou la mise en place d’une politique de taxation, peuvent avoir une influence plus grande sur les comporte- ments que des actions locales. De même, d’autres facteurs comme des grèves de per- sonnel, des conditions météorologiques, des épidémies de grippe, des problèmes de transports, peuvent tous avoir un impact à une période donnée et il est nécessaire de les prendre en compte au moment d’entreprendre l’évaluation.

Qui veut évaluer ?

En plus des chercheurs pour qui la recherche de connaissances validées est le métier, toutes les parties engagées ont intérêt, pour des raisons diverses, à évaluer les actions et souhaitent le faire.

En premier lieu, les institutionnels sont demandeurs de rapports d’évaluation, en contrepartie des financements qu’ils accordent. Ce qui intéresse principalement ces partenaires, c’est de savoir en quoi les prises en charge qu’ils financent apportent une plus-value à la santé des personnes. Il ne faut pas négliger non plus que, pour les institutions, la satisfaction de l’usager est un critère important. Elle l’est pour l’Assurance maladie ou l’État et elle le sera encore davantage pour des financeurs aux intérêts plus proches comme des collectivités territoriales ou des municipalités ou encore des partenaires privés qui agiront au nom d’une clientèle.

Les professionnels ont, eux aussi, dans le cadre de l’amélioration des pratiques,

tout intérêt à engager un travail d’évaluation. Ceci leur permettra de comprendre

comment mieux prendre en charge les personnes en « isolant » les critères signifi-

catifs qui sont porteurs de difficultés. Ce travail de retour sur leur pratique est

également un facteur d’accroissement de leurs connaissances. Le fait pour les

acteurs de prévention de faire une évaluation pluridisciplinaire permet de

comprendre où se tracent les limites des interventions des uns et des autres et donc permettent de mettre en place une meilleure coordination. Toute cette méthodolo- gie, en fin de compte, vise notamment à rendre plus faciles, plus fluides et plus effi- cientes les interventions complexes.

Pour les usagers, l’évaluation est un moment qui leur permet de faire entendre leur insatisfaction. Ils demandent à être de plus en plus présents et écoutés. Ils s’in- forment de plus en plus par eux-mêmes, hélas sur des sources de qualité variée.

L’évaluation permet donc aux professionnels de construire un discours argumenté sur le bien-fondé de leurs propositions, et les usagers commencent à être ainsi par- tie prenante des évaluations.

Enfin, les hommes politiques s’intéressent également à l’évaluation pour la rai- son qu’ils représentent leurs électeurs et qu’ils tiennent donc à ce que ceux-ci soient bien soignés et satisfaits des systèmes en place.

Qui évalue ?

La question de savoir à qui confier l’évaluation est complexe et tout sauf neutre. Ce que nous avons vu précédemment, c’est que les motivations des différents partenai- res au sujet de l’évaluation sont très variées. Celle-ci, comme nous l’avons dit, est un travail en soi, qui demande une rigueur scientifique et donc une méthodologie. Le choix du mode d’évaluation va entre autres dépendre des objectifs, des destinatai- res, des ressources des professionnels, du temps que ces derniers peuvent consacrer à cette tâche.

L’évaluation ne peut être conçue comme un contrôle a posteriori pour lequel il suffirait alors d’appliquer une grille d’analyse déterminant si le dispositif est confor- me ou non. Au contraire, le processus d’évaluation doit être vu comme un accom- pagnement dans lequel l’évaluateur est assez proche d’un travail de formation- action, en ce sens qu’il construit l’évaluation avec les acteurs eux-mêmes.

L’évaluation peut être interne, auquel cas ce sont les acteurs eux-mêmes qui pren- nent en charge ce travail ; ou bien elle peut être externe, ce qui veut dire qu’elle va être pilotée par une personne ou un groupe indépendant de la structure active. Dans le premier cas, elle sera sans doute mieux comprise par les professionnels et peut être mieux adaptée, mais facilement contestable. Dans le second cas, elle sera moins soumise à irrationalité et donc plus crédible vis-à-vis de l’extérieur car son indé- pendance peut être mieux garantie. Le mieux est sûrement d’associer les deux et de façon interactive.

Ce que l’on peut dire c’est que l’évaluateur ne peut être le décideur. Pour être

reconnu, il doit être autonome ; mais pour autant, son travail doit être fidèle aux

préoccupations des acteurs pour pouvoir apporter un réel bénéfice aux profession-

nels. Ce doit être un moment de travail pendant lequel on retrace l’image de l’acti-

vité d’une organisation mais qui ne doit pas se transformer en une instance de

négociation entre les différents partenaires (évaluateur compris). L’évaluation doit

associer tous les acteurs qui ont participé aux activités, et en ce sens elle est

fondamentalement pluridisciplinaire. Et quand bien même un évaluateur externe

intervient, cela doit rester un travail de groupe, fortement interactif.

En guise de conclusion, nous retiendrons que l’évaluation n’est pas nécessaire- ment cet acte de contrôle unilatéral que certains dénoncent. L’évaluation est un outil qui permet la transformation des interventions, en les remettant en perspecti- ve. Grâce à cela, il est possible pour les acteurs, sur la base de leur expérience, de dégager un sens et de le transformer en nouveaux projets d’action.

Références

1. Lazovich D et al. (2000) Implementing a dietary intervention in primary care practice – process evaluation. Am J Health Prom 15 : 118-25

2. Sahota P (2001) Randomised controlled trial of primary school based interven- tion to reduce risk factors for obesity. BMJ 323 : 1029-32

3. Puska P, Korhonen HJ, Torppa J et al. (1993) Does community-wide prevention of

cardiovascular diseases influence cancer mortality ? Eur J Cancer Prev 2 : 457-60