La décennie des années 90 a été celle des évaluations managériales, souvent sous l’impulsion des règlements européens. Ces études, faites par et pour l’administration, ont privilégié l’examen des indicateurs portant sur la mise en œuvre et les effets des politiques publiques. La décennie 2000 a vu le développement des évaluations pluralistes associant les parties prenantes au pilotage et à la formulation des jugements évaluatifs. Les instances d’évaluation ouvertes aux tiers se sont multipliées en France notamment.

La décennie 2010 sera, nous l’espérons, celle des évaluations démocratiques. Plusieurs indices concordants témoignent de l’intérêt croissant des élus. Euréval est de plus en plus sollicité pour former les élus locaux (Communauté urbaine de Bordeaux, Rennes Métropole, Saint Étienne…) ou départementaux (Gard, Seine et Marne). Les conseillers régionaux manifestent un intérêt croissant comme en témoignent les débats entre élus de Rhône-Alpes à ce sujet. La Région, forte d’une longue expérience d’évaluations pluralistes (cf. le rapport d’activités p 77), fait évoluer son dispositif vers une pratique pleinement démocratique : dorénavant le pilotage des évaluations sera assuré par un groupe composé de représentants des différents partis politiques (y c. d’opposition).

Le Parlement français a, pour sa part, pris acte du renforcement de ses compétences, suite à la révision constitutionnelle de 2008. Le Comité d’évaluation et de contrôle des politiques publiques conduit régulièrement des évaluations bipartisanes (sous la responsabilité d’un député de la majorité et de l’opposition). Depuis l’an dernier, ces travaux s’appuient sur des professionnels indépendants, mobilisés grâce d’un contrat-cadre pluriannuel. Euréval et son partenaire Sciences Po Paris ont eu l’honneur d’être retenus pour réaliser les deux premières contributions externes aux évaluations du CEC.

Enfin le Parlement européen manifeste lui aussi de plus en plus de volontarisme en matière d’évaluation démocratique. Euréval a, là encore, eu l’honneur d’être sélectionné pour réaliser l’évaluation du système de « projets pilotes » par lequel les députés contribuent aux initiatives politiques européennes.
Souhaitons que les années prochaines voient ces indices encourageants se multiplier et les évaluations démocratiques s’installer durablement dans le paysage institutionnel.
Contact : Eric Monnier

N. B. Cette interview a été réalisée en mars 2011, environ 3 mois après la fin de la mission d’accompagnement réalisée par Euréval.

Karine Sage, consultante, Euréval : Où en est-on, trois mois après la fin de notre mission d’accompagnement, depuis la signature du Plan de lutte contre l’illettrisme ?

Brigitte Thévenot, DRJSCS Auvergne : Depuis la signature du Plan, beaucoup de choses se sont mises en mouvement, on sent que les lignes bougent sur les territoires, que les efforts de mobilisation ont des effets qui durent dans le temps. On est actuellement en phase de mise en œuvre opérationnelle du Plan qui implique, au-delà de la DRJSCS, la Région, Pôle Emploi, le Transfo [Agence régionale de développement culturel en Auvergne], le CARIF OREF, etc.

Nous travaillons d’abord sur les actions du plan définies comme prioritaires et pour chacune desquelles un pilote a été désigné. Le lien a été fait avec le plan académique de lutte contre l’illettrisme mis en place par le Rectorat.
Je suis maintenant davantage en posture de centre de ressources auprès des pilotes des actions et de suivi du bon déroulement de la mise en œuvre du plan.

Karine Sage : Pourquoi avoir fait le choix de solliciter un accompagnement ?

Brigitte Thévenot : Il est vrai que certains collègues m’ont questionnée, notamment sur l’engagement financier que la sollicitation d’un accompagnement représentait. J’identifie au moins trois raisons qui justifient cette décision :
(1) L’Auvergne était dans une situation singulière dans la mesure où le poste de chargé de mission régional de lutte contre l’illettrisme n’était pas pourvu depuis plusieurs années et qu’il n’était pas possible de capitaliser sur un socle de compétences régionales en la matière.
(2) Aucun plan de lutte contre l’illettrisme en Auvergne n’avait jamais été produit alors que d’autres régions travaillaient déjà à la 2e génération de leur plan.
(3) La mise en œuvre de la révision générale des politiques publiques (RGPP) et l’émergence de la DRJSCS, en tant que nouvelle entité administrative, ne permettaient pas de bénéficier d’un ancrage suffisamment solide pour conduire une politique de dimension interministérielle.

Il s’est donc agi de mettre en œuvre une démarche d’ingénierie de développement et de mobiliser des moyens adaptés, parmi lesquels une mission d’accompagnement.

Karine Sage : Quel mode de fonctionnement avez-vous souhaité établir entre la Mission Illettrisme et l’équipe de consultants d’Euréval ?

Brigitte Thévenot  : Nous sommes bien évidemment passés par un appel d’offres qui a permis d’investir du temps sur les documents fondateurs de la démarche : le cahier des charges, la lettre de mission et la convention. La phase de cadrage a permis de clairement définir les rôles, les espaces et les modalités d’intervention des uns et des autres. Ce temps de mise en place a permis de structurer les relations commanditaire/maître d’œuvre.

Nous avons échangé en continu au fil de la mission par courriel et téléphone entre les différentes instances de travail pour anticiper les phases du travail, approfondir l’analyse des données collectées lors du diagnostic, sélectionner les outils et méthodes de travail les plus appropriées, échanger sur les positionnements des différents acteurs du territoire, etc.

Karine Sage : Quels ont été pour vous les temps forts de cette mission ?

Brigitte Thévenot  : La mobilisation de l’intelligence collective a donné lieu à des temps forts lors des commissions thématiques organisées dans chacun des départements et des séminaires régionaux.

À mi-chemin du processus d’élaboration du plan, la présentation de l’état des lieux et du diagnostic décrivant l’existant régional a permis de secouer les consciences et d’enclencher une vraie mobilisation.

Karine Sage : Quelles recommandations feriez-vous à un service qui souhaiterait solliciter un accompagnement selon une formule similaire ?

Brigitte Thévenot : J’insisterais sur l’importance d’accorder à la mission le temps nécessaire et de résister à l’envie d’aller trop vite pour permettre de mettre en place un calendrier de travail réaliste et précis.

L’investissement du service commanditaire dans une telle mission n’est pas négligeable. Il faut appuyer le maître d’œuvre en permanence pour qu’il prenne connaissance du contexte, des évolutions du jeu d’acteurs, faire vivre le dialogue avec les partenaires, en particulier avec les collectivités territoriales.

Le rôle de « passeur » vers les acteurs politiques et administratifs plus éloignés de la démarche est également un élément à prendre en compte dans l’investissement du service commanditaire.

Contact : Karine Sage

Ce guide propose aux chargés d’évaluation des collectivités et des administrations européennes et nationales un pas-à-pas facile d’usage, depuis la décision d’évaluer jusqu’à la diffusion des résultats, ainsi qu’une description détaillée de 20 outils de structuration, de collecte, d’analyse et de jugement.
 
“Evaluating legislation and non-spending interventions in the area of information society and media, 2011 [EN]” est téléchargeable librement sur EU Bookshop.
Contact : Thomas Delahais

Destinées à alimenter le débat public, ces études ont le mérite de faire la synthèse des connaissances d’un champ d’étude vaste et de tirer des conclusions à partir d’une comparaison de politiques nationales très différentes et souvent complexes.

Dans une perspective d’amélioration des politiques de l’emploi, le Comité d’évaluation et de contrôle des politiques de l’Assemblée nationale a souhaité comparer les dispositifs d’accompagnement des demandeurs d’emploi dans cinq pays européens : la France, le Royaume-Uni, la Suède, l’Allemagne et le Portugal. Pour répondre aux questions de l’efficacité et de l’efficience de ces dispositifs, l’équipe d’Euréval a identifié des indicateurs de résultats et d’impact par types d’accompagnement, qui ont été renseignés dans le cadre de cinq rapports pays élaborés avec l’appui d’experts nationaux. La synthèse de ces rapports a notamment permis de conclure sur l’efficacité de certains dispositifs. Elle a également relevé plusieurs innovations intéressantes qui mériteraient d’être expérimentées en France, ou tout au moins de faire l’objet d’un suivi attentif.

La seconde étude a été commanditée par le Centre d’analyse stratégique (CAS, institution française d’expertise et d’aide à la décision, appartenant aux services du Premier ministre) en septembre 2011. Elle a porté sur les interventions publiques dans les domaines de la formation professionnelle et de l’emploi et s’est intéressée aux approches novatrices dans lesquelles les personnes éligibles reçoivent une dotation financière utilisable pour obtenir un service dont elles choisissent la nature et/ou le fournisseur avec une large liberté de décision (ex. : comptes d’épargne ou d’assurance, chèques ou comptes, ou encore contrats). L’étude a permis de clarifier la problématique de l’individualisation et de tirer les leçons de l’expérience internationale en considérant à la fois les succès et les échecs. Elle a également mis en valeur ce qui était transférable au contexte français. L’étude a couvert l’Australie, l’Autriche, la Belgique, le Chili, l’Allemagne, les Pays-Bas, les États-Unis et le Royaume-Uni. Les préconisations formulées par Euréval ont contribué à la réflexion stratégique interne au CAS en vue d’alimenter l’agenda politique français.

Dans les deux cas, et là est la spécificité de l’approche employée, Euréval a fait appel à des experts nationaux, chercheurs ou consultants partenaires. À cette fin, nous avons pu compter sur la collaboration des membres de notre réseau C2E pour identifier et retenir les meilleurs spécialistes du secteur au niveau national.

Euréval a été ravi de mener la première évaluation jamais externalisée par le Parlement français, dont l’ensemble des rapports est déjà disponible sur le site de l’Assemblée nationale. Dans le même sens, le CAS prépare désormais une publication de l’étude et en envisage une large diffusion.
Contact : Claire Rothfuss & Irene Basile

En 2011, nous avons ainsi réalisé l’évaluation de l’aide régionale aux filières économiques de la Région Haute-Normandie et contribué à la conception de la politique alsacienne de soutien aux pôles, clusters et grappes. Nous travaillons également à l’évaluation de la mobilisation des actions collectives par les filières en Pays de la Loire et à l’effet emploi des politiques de développement économique (y compris le soutien aux pôles de compétitivité, clusters, contrats d’objectifs sectoriels et actions collectives) en Rhône-Alpes.

Qu’il s’agisse de dispositifs financés en propre par les Régions ou de façon partenariale dans le cadre des CPER (contrats de projets Etat-Région) ou des PO FEDER (Fonds européen de développement régional), quatre difficultés apparaissent de façon récurrente :

• Un problème de définition : qu’est-ce qui différencie un pôle, d’une grappe ou d’un cluster ? Existe-t-il une définition établie du concept de filière, pourtant si couramment utilisé ? Les différents acteurs du territoire partagent-ils les mêmes définitions ?

• Un manque, souvent, de stratégie claire facilitant les choix : qu’attend-on exactement, en tant qu’acteur public et financeur, des structures (associations ou autres) qui portent et animent ces « groupements » ? Comment sélectionner les secteurs qui feront l’objet d’un soutien ? Sur quels critères objectifs ? Comment mettre un terme à un soutien récurrent à des structures dont les actions et effets ne font plus aussi pleinement sens ?
• Un problème de méconnaissance des bénéficiaires finaux : quels sont les entreprises, labos, etc. qui bénéficient au final de ce type d’aide publique ? À partir de quel niveau (degré d’exposition aux actions du « pôle ») peut-on les considérer comme bénéficiaires ? Que représentent-ils par rapport au secteur ? Les financeurs ne connaissent en effet souvent que les acteurs intermédiaires (associations animatrices de pôles ou de filières ; CCI ; organisations professionnelles…) qui portent les actions, mais ignorent souvent, faute de systèmes de suivi adaptés, combien et quels acteurs exactement sont touchés.
• Une difficulté d’estimation des effets emploi de ce type de politique : les acteurs intermédiaires subventionnés proposent des actions et services multiples et variés qui peuvent aller de la veille technologique, à l’accompagnement personnalisé, en passant par de l’aide au montage de projets collaboratifs recherche-Industrie ou encore des actions d’animation ou de communication/visibilité. Ces actions contribuent en général à la structuration du secteur et à l’amélioration de la compétitivité des entreprises qui en bénéficient. Mais les effets en matière d’emploi (qu’ils soient quantitatifs ou qualitatifs) n’apparaissent qu’à long terme et sont difficiles à attribuer à ces aides.

Ces spécificités rendent l’évaluation difficile, mais d’autant plus intéressante et nécessaire pour les décideurs publics que les fonds investis peuvent être très importants et les attentes politiques fortes.

Les nombreuses comparaisons (benchmarking) que nous avons réalisées mettent en valeur les disparités régionales en matière de formalisation d’une politique de soutien aux filières/pôles/clusters/grappes. Certaines régions n’en font pas une politique publique à part entière, d’autres revisitent les soutiens existants en quête d’une plus grande cohérence et d’autres encore affirment des choix plus tranchés, notamment en matière de sélectivité, de dotation financière et d’intégration/synergies avec les autres politiques publiques régionales.

Dans tous les cas, l’évaluation leur a fourni une réelle opportunité d’en apprendre plus sur les effets de ces aides, de se reposer les bonnes questions, et repenser collectivement les choix stratégiques.
Contact : Virginie Besrest

En 2005, la DG AGRI a choisi Euréval pour évaluer sa politique de promotion des produits agricoles européens de qualité dans les pays non-européens. Pendant 3 ans, notre équipe a pu étudier plusieurs dizaines de programmes à travers le monde, et a en conséquence développé une forte compétence en la matière.

Parmi les recommandations formulées par Euréval à cette occasion, figurait l’introduction d’une évaluation externe obligatoire pour tous les programmes cofinancés. Cette préconisation a été reprise par la Commission et, depuis 2009, tous les programmes de promotion doivent prévoir un budget spécifique pour l’évaluation dès leur demande de financement. Selon les dispositions du Fonds européen agricole de garantie (FEAGA), les coûts d’évaluation ne peuvent pas dépasser 3 % du budget total pour l’évaluation annuelle et 5 % pour l’évaluation de la dernière phase, incluant une évaluation de l’ensemble du programme.

Depuis 2010, nous avons ainsi réalisé l’évaluation de 2 programmes de promotion cofinancés par la DG AGRI :
• le premier, porté par la Confédération européenne du lin et du chanvre (CELC), vise à mieux faire connaître le lin dans tous ses usages auprès des prescripteurs et du grand public sur les marchés français, belge et italien ;
• le deuxième, porté par l’association GEPC Promotion, émanation du Groupement européen des producteurs de champignons, promeut la consommation du champignon européen en France, Espagne, Allemagne et dans les Pays-Bas.

Plus récemment, nous avons été sélectionnés par INTERFEL, l’interprofession des fruits et légumes frais, pour évaluer :
• le Plan de relance de la consommation des fruits et légumes frais, pour en rétablir l’image, dégradée par la crise E. coli, et restaurer la confiance des consommateurs français ;
• une campagne de promotion de la pomme, des fruits d’été et du kiwi sur les marchés de l’Europe du Nord et du Sud, ainsi que sur les pays tiers, en Asie du Sud-est, dans les Pays de l’Europe Centrale et Orientale et au Moyen Orient.

Un des objectifs de la Commission et des institutions nationales compétentes (en France, FranceAgriMer) est de sensibiliser les organisations de producteurs à l’évaluation, et de les pousser à intégrer les connaissances et compétences acquises via l’évaluation dans leurs activités de conception et de mise en œuvre des actions de promotion. Pour chaque projet, la démarche pluraliste, illustrée d’une part par le large périmètre de la collecte, et par la formulation des conclusions et recommandations par un Comité de pilotage ouvert à des observateurs extérieurs, permet par ailleurs d’assurer l’implication des acteurs clés (producteurs, distributeurs, commerçants, importateurs, etc.) et accroît les chances que l’évaluation leur soit utile.

Enfin, les nouvelles orientations de la Politique Agricole Commune vont entraîner un renforcement progressif de la politique d’information et de promotion sur les produits agricoles. On assiste en effet à l’élimination progressive des subventions à l’exportation, au découplage des paiements directs et à l’utilisation des mesures de gestion du marché uniquement en cas exceptionnels. La Commission européenne a lancé parallèlement, en juillet 2011, un livre vert visant à établir une stratégie de promotion et d’information ciblée et ambitieuse inspirée de « la qualité, des traditions et de la valeur ajoutée des produits agricoles et alimentaires européens ». Les actions de promotion prennent ainsi de l’importance en tant qu’outil complémentaire pour renforcer le niveau de compétitivité de l’agriculture de l’UE. Les programmes de promotion de produits agroalimentaires, en Europe comme dans les pays tiers, promettent donc de devenir un champ prioritaire dans l’évaluation des politiques agroalimentaires.
Contact : Irene Basile

Depuis longtemps, Euréval investit dans la R&D pour concevoir de nouveaux outils et méthodes d’évaluation. Jacques Toulemonde et Thomas Delahais ont par exemple récemment permis une avancée significative dans la formalisation de l’analyse de contribution (voir également le Cahier de la SFE n°6 sur l’évaluation d’impact). En 2012 et 2013, plusieurs axes de recherche seront approfondis, en plus de l’analyse de contribution.

Le premier axe concerne les différentes méthodes d’évaluation d’impact et se concrétise par les travauxd’Agathe Devaux-Spatarakis, en collaboration avec l’Institut d’Études Politiques de Bordeaux. Agathe est doctorante à Euréval dans le cadre d’un contrat Cifre depuis un an. Ses travaux portent sur l’apport des différentes approches de l’évaluation d’impact à l’élaboration des politiques publiques et l’apprentissage politique. Ils s’intéressent en particulier aux méthodes utilisées dans le cadre d’expérimentations sociales (ex. : Fonds d’expérimentations pour la jeunesse). Agathe interviendra le 28 mars prochain dans le cycle de séminaires de l’IGPDE pour présenter les méthodes d’évaluation basées sur la théorie.

Le second axe, animé par Ludovic Méasson (Consultant sénior Euréval et Chercheur associé INRA-SAD), concerne l’évaluation de la gouvernance environnementale. Il vise à répondre à deux questions : comment évaluer la plus value d’un acteur ou d’un niveau au sein d’une politique partenariale et/ou multi niveaux ? Et comment passer du suivi-évaluation à une véritable gouvernance adaptative ? Ce travail de recherche est appliqué à l’évaluation des « Trames vertes et bleues » (politique de préservation de la biodiversité issue du Grenelle de l’environnement). Il s’inscrit dans le cadre de l’appel à projet national DIVA du Ministère du Développement durable. Il est porté par le Centre AgroParisTech de Clermont-Ferrand, en partenariat avec le PNR des Volcans d’Auvergne et des chercheurs australiens du CSIRO.

Euréval poursuit également son investissement dans le Réseau des chercheurs en évaluation des politiques publiques de la Société française d’évaluation dans le but de construire une communauté de chercheurs autour de l’évaluation.
Contact :Ludovic Méasson

Ludovic Méasson intègre l’équipe en tant que consultant senior dans les domaines de l’environnement et de la gouvernance rurale, il est également chercheur associé INRA-SAD. 

Ximena Rodriguez intègre l’équipe en tant que chargée d’études. Elle sera particulièrement mobilisée sur les missions d’envergure européenne.