2.2 Méthode mise en œuvre pour réaliser l’évaluation
2.2.1 Les principaux outils et méthodes mis en œuvre lors de l'évaluation
La difficulté dans cette évaluation était de disposer de l'information de base dans tous les EM. Dan cette méthode, l'accent a donc été mis sur la collecte de l'information qui a été basée sur 5 grandes catégories de sources :
− des entretiens au niveau communautaire associés à la collecte de l'information de base nécessaire à la compréhension du sujet,
− 15 études nationales réalisées dans chacun des anciens EM4. Le contenu de ces études est détaillé au § 2.2.1.1 et celles-ci sont toutes annexées au rapport principal,
− 6 études de cas réalisées dans des zones présentant un intérêt particulier au plan environnemental et vis à vis des MAE. Le contenu de ces études est détaillé au § 2.2.1.2 et celles-ci sont toutes annexées au rapport principal,
4 L'étude nationale du Luxembourg n'a pu être réalisée, car les autorités n'ont pu dégager le temps pour nous recevoir, cet EM assurant la présidence de l'Union durant la conduite de nos études.
− 10 études nationales réalisées dans les nouveaux EM, ayant plus un caractère d'analyse ex ante de l'adaptation des MAE à ces pays. Le contenu de ces études est détaillé au § 2.2.1.3 et celles-ci sont toutes annexées au rapport principal,
− l'exploitation de la bibliographie scientifique en rapport avec les MAE. Le contenu de ce travail est détaillé au § 2.2.1.4 et les résultats intéressants sont exploités au § 3 sur l'impact des principales catégories de mesures. La liste de la bibliographie identifiée est reportée en annexe 3
Par ailleurs un panel d'experts a été mis en œuvre pour à la fois aider à la collecte de données mais surtout pour les phases d'analyse et de jugement. Le mode de fonctionnement de ce panel est présenté au § 2.2.1.5 et sa composition est détaillée en annexe 5. Les résultats de ces travaux sont utilisés pour répondre aux questions 9 à 12 et 14 à 15.
2.2.1.1 Les études nationales dans les 15 anciens EM
Afin de disposer au niveau de l'équipe centrale d'une analyse par EM incluant :
− une présentation des programmes de MAE issus des règlements 2078/92 et 1257/99,
− une étude des différents rapports d'évaluation de ces programmes,
− l'opinion des acteurs de ces programmes dans l'EM,
− une revue de la bibliographie scientifique existant sur les MAE dans le pays,
− l'opinion d'un évaluateur choisi par l'équipe de direction de l'évaluation,
il avait été décidé dans notre méthode de faire réaliser pour l'ensemble des 15 anciens EM une étude nationale5. Le schéma de conduite de ces études est montré à la figure ci-dessous :
Figure 12 : Schéma de conduite des études nationales sur les MAE dans l'évaluation
15 Etats Membres ayant eu une mise en œuvre des MAE Collecte des rapports
- d'évaluation intermédiaire du RDR, de niveaux régional et national traitant des MAE
- des synthèses régionales des MAE de certaines régions représentatives de la variété du territoire de l'EM (maximum 3 par EM)
- d'évaluation des MAE du règlement 2078/92 - annuels de suivi
Entretien avec une dizaine de personnes ressources de niveau national :
- gestionnaires du programme, - institutions chargées du contrôle,
- représentants professionnels du monde agricole,
- institutions environnementales publiques et associatives.
Identification, collecte et exploitation des travaux de recherche ayant mesuré les effets des MAE
Rédaction d'un rapport par EM :
- synthétisant le dispositif mis en place pour mettre en oeuvre les MAE du règlement 2078/92 puis du RDR - répondant aux 16 questions d'évaluation
Ces études ont toutes été réalisées selon un modèle et une méthode communs afin de pouvoir disposer de données cumulables. Pour deux EM (Allemagne et Italie) dans lesquels la programmation et la mise en œuvre sont régionales et concernent plus de 20 régions, nos études ont pris pour base l'étude de seulement trois régions réparties sur leur territoire : Bayern, Niedersachsen et Brandenburg pour l'Allemagne et Emilia Romagna, Piemonte et Sicilia pour l'Italie.
2.2.1.2 Les études de cas
Les TDR de l'évaluation précisaient que :" Six à huit études de cas seront exécutées pour étayer les réponses aux questions fournies au thème nº 1 (impacts environnementaux des mesures). Les études de cas viseront à couvrir une plage d’impacts environnementaux de différentes mesures AE dans une série d’États membres.
Les cas devraient être choisis de façon à permettre la comparaison de deux mesures différentes poursuivant un même objectif environnemental. Le cas échéant, la série complète de questions évaluatives pourrait être examinée de manière plus approfondie dans les zones des études de cas, mais quoi qu’il en soit, comme pour le thème nº 1, les questions institutionnelles et contextuelles y seront traitées. Les zones faisant l’objet des études de cas devraient être proposées par le contractant, mais convenues en accord avec le groupe de pilotage de l’étude. Notre proposition a été de réaliser 6 études de cas et de couvrir grâce à elles les thèmes suivants :
− Biodiversité,
5 L'étude nationale du Luxembourg n'a pu être réalisée, car les autorités n'ont pu dégager le temps pour nous recevoir, cet EM assurant la présidence de l'Union durant la conduite de nos études. Nous avons donc joint seulement le contenu du programme à ce rapport national.
− Habitats,
− Qualité de l'eau,
− Gestion quantitative de l'eau,
− Préservation des sols,
− Paysage.
Compte tenu du fait que la mesure de l'efficacité des MAE sur le terrain n'est pas chose facile et que cela ne peut être envisagé dans le seul cadre d'une évaluation, nous avons proposé que ces études de cas se déroulent dans des zones où les effets des MAE avaient déjà été étudiés par des programmes scientifiques ou techniques. Par ailleurs, afin de représenter la totalité des sujets traités dans le thème 1 (biodiversité, sol, eau, paysage, etc.) tout en ayant si possible deux études par sujet, nous avons proposé que chacune des 6 études se focalise sur 2 sujets présents dans la zone et bien entendu que les études soient conduites dans 6 pays différents pour avoir des contextes naturels et institutionnels suffisamment variés. Après analyse de différentes possibilités de localisation, le choix s'est arrêté sur les régions et thèmes détaillés au tableau ci-dessous :
Tableau 11 : Choix des régions d'étude de cas et des thèmes plus particulièrement développés
Pays – Régions Domaine focal 1 Domaine focal 2
Allemagne : Baden Württemberg Qualité de l'eau Paysage
Espagne : Andalucia (sol) / Castilla la Mancha (eau quantité) Sol Eau quantité
France : Poitou-Charentes Qualité de l'eau Biodiversité
Italie : Emilia Romagna Habitats/biodiversité Sol
Portugal : Castro Verde Sol Habitats
Royaume Uni : England Biodiversité Paysage
Note : comme la gestion quantitative de l'eau est une mesure peu mise en œuvre nous avons réduit le nombre de cas à 1 et augmenté en conséquence celui du sol et de la biodiversité.
Ces études ont toutes été réalisées selon un modèle et une méthode communs afin de pouvoir disposer de données cumulables. Etant donné le niveau de détails très poussé des études nationales, l'apport des études de cas a été moins important que prévu. Elles sont venues surtout conforter les jugements que les consultants ont acquis au travers de l'analyse des MAE au niveau national. Les rencontres avec les 10 agriculteurs par études de cas ont également permis de donner une touche concrète aux analyses et à la formulation du jugement des questions d'évaluation. Elles ont pu, dans certains cas, permettre de confronter les pistes de recommandations à la réalité du terrain.
2.2.1.3 Les études nationales dans les 10 nouveaux EM
Il était précisé dans les TDR que "l’évaluation devrait répondre à toutes les questions posées en rapport avec les quinze États membres plus anciens. Les dix États qui sont devenus membres de l’UE le 1er mai 2004 ne disposent pas encore d’une expérience suffisante de l’AE tel qu’il est couvert par le règlement sur le développement rural pour qu’il soit possible d’en mesurer les impacts environnementaux. Les questions se rapportant aux impacts environnementaux (thème nº 1 ci-dessous) et les questions reprises sous les thèmes 2b, 3 et 4 ne sont pas couvertes pour ces pays. Dans les nouveaux États membres, l’évaluation devrait toutefois tenter de fournir des réponses, ne fût-ce que préliminaires, aux questions institutionnelles et contextuelles (cf. thème nº 2a ci-dessous), étant donné que ces facteurs pourraient influencer le niveau d’application et la qualité du programme à l’avenir." Nous avons donc réalisé des études dans ces Etats en demandant à nos équipes de consultants de répondre aux questions du thème 2a (institutions et contexte).
Pour toutes celles-ci, une réécriture des questions d'évaluation avait été faite par nous-mêmes et validée par l'Unité d'évaluation afin de prendre en compte le caractère ex ante de ce travail. Ces études ont toutes été réalisées selon un modèle et une méthode communs afin de pouvoir disposer de données cumulables.
2.2.1.4 L'exploitation de la bibliographie scientifique relative aux MAE
La bibliographie a été collectée par l'équipe de direction de l'évaluation et par les différents partenaires de chaque EM. Parmi la bibliographie identifiée (environ 290 publications), une partie de celle-ci a pu être collectée et exploitée. Le tableau suivant détaille l'importance des travaux réalisés et l'annexe 3 fournit une liste complète des publications et de leurs principales conclusions. Celles-ci sont par ailleurs utilisées pour la rédaction du § 3 sur les effets environnementaux des MAE et les résultats de cette analyse repris dans la réponse aux questions d'évaluation.
Tableau 12: Détail de la bibliographie utilisée par thème dans cette évaluation
Thème Nombre d'études
exploitées à ce jour et incluses dans le rapport
Nombre d'études en notre possession mais non
encore exploitées
Nombre d'études identifiées mais non
encore collectées
Biodiversité 111 0 19
Habitats 24 3 0
Races/Variétés menacées 6 0 0
Qualité eaux 53 0 16
Quantité eau 5 0 2
Qualité sols - érosion 37 5 12
Paysage 22 8 1
Socio-économie 20 0 1
Autres
(air, incendies, …) 10 0 7
Total 288 16 41
2.2.1.5 Le panel d’experts
Dans notre offre, nous avions proposé pour la réponse aux questions des thèmes 2 (institution, contexte et efficience), 3 (impact socio-économique) et 4 (objectif des MAE), de compléter l'évaluation par une analyse et un jugement porté par un panel de 10 experts des MAE, issus de 10 différents anciens EM de l'UE.
Ce panel a été constitué à partir de personnalités issues du secteur de la recherche ou bien de celui de l'évaluation (voir sa composition en annexe 4) et ses travaux ont été organisés de la façon suivante :
− chaque question d'évaluation a été décomposée en sous questions basées sur les critères d'évaluation retenus par notre équipe,
− chacune des questions d'évaluation décomposée en sous questions a été soumise au panel,
− pour chacune de ces sous questions, chaque membre du panel devait fournir une réponse au directeur de l'évaluation qui jouait le rôle de facilitateur de ce panel,
− ces réponses étaient assemblées en un document unique et une fois l'ensemble des réponses reçues, une proposition de réponse commune était proposée au panel par le directeur de l'évaluation,
− chaque membre du panel prenait alors connaissance de l'ensemble des réponses et de la réponse commune et formulait ses remarques et demandes de modifications au directeur de l'évaluation,
− il était fait autant de rounds que nécessaire pour obtenir l'accord des panélistes sur la réponse commune,
− cette réponse synthétique commune et consensuelle était alors utilisée comme un des éléments de réponse aux questions d'évaluation par l'équipe de direction de l'évaluation.
Cet outil a bien fonctionné mais a nécessité plusieurs mois pour roder le système et couvrir l'ensemble des questions qui étaient nombreuses (7 questions décomposées en environ 30 sous questions) et complexes. Le fait que les contextes de mise en oeuvre des MAE étaient très variés, a souvent amené le panel à fournir des réponses très contrastées à une même question.
2.2.1.6 Autres outils et méthode mis en œuvre dans l'évaluation
Outre les questionnaires d'enquête et les guides d'entretiens utilisés lors des études nationales et des études de cas, deux analyses importantes ont été faites lors de cette évaluation :
La première a été la synthèse des données de suivi des MAE du RDR à partir de la base de données CAP IDIM. La forme et le contenu de cette base sont montrés au tableau page suivante. Ce travail a été considérable, car les données sont disponibles seulement en format pdf (et non sous Excel). Il a donné des résultats peu satisfaisants, car les données entrées par les EM dans ce système sont très hétérogènes (années regroupées ou non) et pour certaines, selon nous, entachées d'erreurs. Nous avons présenté au § mise en œuvre les résultats de cette analyse, mais nous émettons des réserves sur la fiabilité des résultats obtenus.
Tableau 13 : Détail des types de données disponibles par le monitoring des MAE du RDR (base CAP IDIM)
f. Agri-environment and Animal Welfare (Ch. VI, art. 22-24)
number of hectares Amount of public expenditure committed
(‘000 EUR)
Action Number of contracts of which new contracts
under contract of which new
Average premium per ha (EUR)
Total of which EAGGF
annual crops 0
specialised perennial crops 0
other 0
organic farming
Total 0 0 0 0 0 0 0
annual crops 0
specialised perennial crops 0
Other 0
other input reduction (incl.
integrated production)
Total 0 0 0 0 0 0 0
crop rotation annual crops 0
Extensification Other 0
annual crops 0
specialised perennial crops 0
Other 0
landscape/nature (conservation, restoration, creation)
Total 0 0 0 0 0 0 0
annual crops 0
specialised perennial crops 0
Other 0
plant varieties under threat of genetic erosion
Total 0 0 0 0 0 0 0
annual crops 0
specialised perennial crops 0
Other 0
other actions
Total 0 0 0 0 0 0 0
Cattle 0
Sheep 0
Goats 0
Equidae 0
Pigs 0
Avian 0
mixed 0
Breeds in danger of being lost to farming
Total 0 0 0 0 0 0 0
Amount of public expenditure committed (‘000 EUR)
Old commitments (2078/92) Number of contracts number of
hectares/livestock units
Average premium per ha/lu (EUR)
Total of which EAGGF
Crops/other 0
of which organic farming 0
Endangered breeds 0
La seconde analyse a été un travail sur les indicateurs environnementaux disponibles dans différentes bases européennes et dont l'usage aurait pu être utile pour cette évaluation. Ce travail a couvert les 7 bases et outils mentionnés au tableau ci-dessous. Les principaux résultats de ce travail sont synthétisés dans ce tableau et montrent que peu de bases d'indicateurs permettent aujourd'hui d'aider à évaluer les effets des MAE.
Tableau 14 : Possibilités offertes par différents systèmes d'indicateurs environnementaux COM(2001)
144 final
IRENA LUCAS TAPAS RICA Enquêtes des
Structures Agricoles
ELISA
Intérêt opérationnel
Non Peu car échelle très macro mais fournit
toutefois une multitude de renseignements très
intéressants sur les MAE et le contexte environnemental en
agriculture
Possible avec les limites dues à la
jeunesse de l'outil (2 campagnes de
mesures seulement).
Intérêt surtout dans les pays où se font les études (ex :
érosion en Espagne)
Possible sur les postes financiers intrants et pesticides par
culture, mais rapproche-ment avec les
MAE quasi impossible.
Certain sur les données de base,
sur les indicateurs d'état
et sur les tendances historiques
Peu
Intérêt
méthodo-logique
Donne une base pour la
rédaction d'indicateurs.
Reprend les travaux de
l'OCDE.
Voir IRENA
Donne une bonne base pour la rédaction des
indicateurs.
Donne de bonnes bases pour la rédaction des indicateurs
Probable sur certains indicateurs
Peu d'intérêt Indicateurs de base
Donne de bonnes bases
pour la rédaction des
indicateurs
Source : Oréade-Brèche
De cette analyse, il ressort que c'est principalement l'outil IRENA qui offre quelques possibilités intéressantes du fait du travail considérable de compilation de données nationales qui a été fait et de la focalisation de ces indicateurs sur les MAE. Toutefois les données fournies par ce dispositif, restent très globales, donc tant que les MAE ne seront pas très suffisamment répandues au point d'avoir des impacts importants et visibles à l'échelle globale, il y a peu de chance que ces indicateurs produisent une information suffisamment détaillée pour permettre une évaluation fine par sujet, par pratique et par zone.
3 ANALYSE DES IMPACTS DES MESURES PAR DOMAINE ENVIRONNEMENTAL A PARTIR DE LA BIBLIOGRAPHIE SCIENTIFIQUE
Le point de départ des réponses à cette tâche, pour chacun des thèmes évoqués au TDR de l'évaluation (biodiversité, habitats, eau, sol, etc.), a été de repartir de la typologie des pratiques concernées par chaque thème environnementaux et d'établir, à partir de celle-ci, un diagramme de logique d'intervention6. Ces diagrammes présentent les principaux impacts attendus des pratiques correspondant au thème analysé. Ils correspondent donc à l'hypothèse prise pour base lors de l'analyse. Pour chacun de ces diagrammes, seules les pratiques ayant un effet fort et direct sur le thème sont retenues afin d'éviter d'alourdir inutilement la présentation. Ces diagrammes comportent également le résultat de nos recherches, en effet le dessin des flèches entre type de MAE et effet environnemental, renseigne sur le fait que nous avons trouvé des publications prouvant ces effets, ou bien que nous n'en avons pas trouvé. Le présent chapitre traite les 8 thèmes couverts par les questions d'évaluation 1 à 8.