En 2009, Euréval a adopté une Charte de la Responsabilité Sociale et Environnementale (RSE), qui est la transcription du développement durable dans le fonctionnement des organisations. Une consultation au sein du personnel a permis de faire émerger un consensus sur sept engagements qui constituent le fondement de la Charte RSE.
En particulier, l’engagement 5 relatif au respect de l’environnement fait l’objet d’efforts accrus en la matière. La Charte RSE présente les différents niveaux de cet engagement ayant trait à la limitation des déplacements et de la consommation d’électricité ainsi qu’à la gestion des déchets.

Les fondements de cette démarche sont récapitulés dans une charte.

Le 13 janvier dernier, la signature du plan régional de lutte contre l’illettrisme en Auvergne a conclu avec succès la mission d’accompagnement réalisée par Euréval auprès de la DRJSCS Auvergne (Direction Régionale Jeunesses Sport et Cohésion Sociale). Cet accompagnement comprenait la réalisation d’un état des lieux, d’un diagnostic qui ont permis de produire une analyse des besoins régionaux. Des ateliers mobilisant l’expertise des acteurs du territoire, organisés dans chaque département, ont permis de faire émerger une stratégie partagée autour de 6 orientations clés :

1. Renforcer l’offre en matière de prévention et de formation aux savoirs de base,
2. Sensibiliser et former les acteurs au repérage des situations d’illettrisme (professionnalisation),
3. Optimiser la connaissance de l’illettrisme, des besoins, des publics,
4. Mettre en réseau et coordonner les acteurs de la lutte contre l’illettrisme pour une meilleure réponse aux besoins,
5. Garantir un pilotage efficace du plan au niveau régional pour rendre compte des avancées,
6. Assurer une meilleure communication et information sur la lutte contre l’illettrisme.

Des séminaires régionaux thématiques ont ensuite permis d’opérationnaliser cette stratégie en produisant de façon concertée les fiches actions destinées à figurer dans le plan régional.

Le document final fait l’objet d’un protocole de coopération signé par le Préfet de région, l’ANLCI, le Recteur d’Académie de Clermont-Ferrand, les Préfets de l’Allier, du Cantal, de la Haute-Loire et du Puy de Dôme, le Conseil Régional d’Auvergne, les Conseils Généraux de l’Allier, du Cantal de la Haute-Loire et du Puy de Dôme, et la Direction Régionale de Pôle emploi.

Plus d’info :
- sur le site de la DRJSCS Auvergne
- sur le site du Centre Ressources Illettrisme Auvergne
- le reportage de Clermont1ère
- le Plan régional de lutte contre l’illettrisme en Auvergne

Pour en savoir plus : genin@eureval.fr ; sage@eureval.fr

L’évaluation est encore un sujet marginal, peu étudié par les universitaires. Pour soutenir ces initiatives de recherche, la Société Française d’Évaluation (SFE) dédie un de ses clubs aux chercheurs en évaluation, leur permettant de s’organiser en réseau. Ce groupe de la SFE a organisé à Lille en septembre 2010, la première université d’été internationale de la recherche en évaluation des politiques publiques. Lors de cette rencontre, de nombreux axes de recherche en évaluation ont été débattus, en gardant le souci d’un dialogue entre chercheurs, praticiens et commanditaires de l’évaluation.
Agathe Devaux-Spatarakis présentera deux communications en début d’année :
•  « L’impact des méthodes d’évaluation sur l’élaboration des politiques publiques », dans le cadre des journées d’évaluation des expérimentations HCJ du Cereq, le 18 janvier, à Marseille.
•  « L’évaluation comme instrument d’institutionnalisation des effets du code des marchés publics sur les acteurs de la formation professionnelle », dans le cadre de la journée d’étude sur les nouvelles professions et nouvelles professionnalités de l’action publique, organisé par l’Association Française de Science Politique, le 10 février à Toulouse.

En partenariat étroit avec ces promoteurs et dès la conception des campagnes d’information, la mission vise à :
• Répondre à une obligation réglementaire d’évaluation des programmes de promotion européens sur le marché intérieur ;
• Améliorer en continu les actions menées dans le cadre du programme ;
• Fournir des éléments de stratégie et de bonnes pratiques pour les actions futures des deux organisations professionnelles. 
Une précédente mission d’évaluation de la promotion des produits agricoles pour le compte de la DG AGRI et ces nouvelles expériences, nous permettront de vous offrir une plus grande expertise dans l’accompagnement de votre propre démarche de promotion.

Tout commence au sein du groupe de travail consacré à l’égalité femme-homme et à la lutte contre les discriminations du Plan Régional de Développement des Formations (PRDF) qui décide de lancer une action en s’appuyant sur une expérience bourguignonne initialement développé par l’association Solid’Ere, créatrice de l’outil. 
Un partenariat s’est noué autour de cette démarche expérimentale portée par le GIP Alfa Centre (structure régionale ressource sur la question de la formation) en collaboration avec trois OPCA (Organismes Paritaires Collecteurs Agréés, en charge de chargé de la collecte des fonds permettant de concevoir, financer et réaliser des actions de formation professionnelle) : Agefos PME, Opcalia et Uniformation.
Euréval a assuré l’évaluation en continu du dispositif en accompagnant, dès le lancement de l’opération, les acteurs engagés pour stabiliser les objectifs et critères de réussite de la démarche.
Anne Audoin, chargée de mission à la Direction des programmes de formation et d’éducation en région Centre fait le point sur les aspects marquants de cette mission.

Karine Sage, Euréval : Pourquoi avoir choisi d’engager une évaluation en continu de cette démarche expérimentale dont le budget était plutôt modeste ?
Anne Audouin : Il s’agissait effectivement d’une expérimentation reposant sur un montage inédit et qui donc, par définition, avait un besoin important de connaissances auquel l’évaluation pouvait répondre. Par ailleurs, le sujet demeure sensible et le projet ne faisait pas l’unanimité au sein du groupe de travail : l’évaluation permettait d’objectiver la démarche avec la neutralité d’un regard extérieur.
Le choix du continu permet d’assurer une proximité qui positionne l’évaluation comme un outil d’appui, au service permanent des décideurs et des acteurs opérationnels.

Que vous a apporté le bilan intermédiaire, réalisé à mi-chemin du déploiement de la démarche ?
Ce bilan nous a permis de tirer la sonnette d’alarme sur certains aspects opérationnels et de procéder à des ajustements immédiats : nous avons renforcé la professionnalisation des conseillers OPCA et travailler sur un support de présentation plus adapté aux entreprises du territoire.

Vous travaillez aujourd’hui aux suites de cette expérimentation, comment les enseignements de l’évaluation appuient-ils votre réflexion ?
Les conclusions de l’évaluation nous ont permis de valoriser les atouts du projet et de ne pas faire l’autruche sur les difficultés rencontrées. Nous avons pu identifier les éléments qui permettront au projet d’être meilleur et travaillons à leur mise en place au sein de notre groupe de travail. La lutte contre les discriminations fait désormais partie des priorités affichées pour la formation en Région Centre et le prochain Contrat de plan régional pour le développement des formations. Et les acteurs mobilisés sur l’expérimentation, notamment les OPCA, en redemandent !
En savoir plus via le site Etoile :
http://www.etoile.regioncentre.fr/GIP/site/etoile/accueiletoile/sinformer/CPRDF_public#A56542
http://www.etoile.regioncentre.fr/GIP/site/etoilepro/accueiletoilepro/ressources/cprdf-2010-2014/Egalite-femmes-hommes-lutte-contre-les-discriminations

Eric Monnier, Directeur Général d’Euréval : Pourquoi avez-vous souhaité évaluer les contractualisations de l’ADEME ?
Agnès Breitenstein : Cette évaluation s’est d’abord inscrite dans le rythme naturel du pilotage des Contrats de Projets État Régions. Ces CPER sont révisés à mi-parcours selon une procédure qui renvoie les partenaires à une renégociation des contenus et des montants engagés.
Sur le fond, cette évaluation à mi-parcours répond également à la nécessité de revoir le positionnement stratégique des contractualisations de l’ADEME dans un contexte profondément modifié. En effet, l’année 2009 a été marquée par les conséquences du Grenelle de l’environnement et de la Révision Générale des Politiques Publiques apportant pour l’ADEME des missions renforcées ou nouvelles et des moyens supplémentaires.

Est-ce la première évaluation sur ce thème pour l’ADEME ? Quels en sont les enjeux ?
Nous avions bien réalisé des évaluations régionales de quelques accords et des bilans nationaux mais c’est effectivement notre première véritable évaluation à l’échelle nationale de ces contractualisations.
En terme d’enjeux, il s’agit de faire le point sur :
- le positionnement des contractualisations dans les priorités des partenaires de l’ADEME et d’identifier à ce titre, si la valeur ajoutée du dispositif contractuel était toujours de la même nature qu’en 2006 aux yeux de l’ADEME et de ses partenaires.
- Les pratiques de pilotage de l’ADEME et leur adéquation avec un contexte modifié en terme de missions et de moyens à engager. Il s’agissait de répondre à ce titre à la question d’une éventuelle contractualisation des fonds Grenelle mis à disposition de l’agence.
- Le dispositif de suivi et de gestion et sa capacité à rendre compte de manière homogène des efforts menés spécifiquement par chaque région.

En quoi cette évaluation vous apporte-t-elle des informations utiles ?
Trois types d’informations apportés par l’évaluation nous ont permis d’avancer dans notre réflexion :
- le bilan des moyens mobilisés et des actions réalisées, avec des analyses cartographiques apportant des visions comparées en terme de moyens financiers, d’analyse par cible et d’implication des partenaires.
- La vision stratégique des partenaires région et État autour des contractualisations et notamment au regard du contexte évoqué précédemment.
- Les pratiques de pilotage de ces contractualisations par les différents services de l’ADEME sachant que notre Agence est fortement décentralisée.

Quelles conclusions retenez-vous en particulier de ces travaux ? avez-vous été surpris par certains aspects (positifs et/ou négatifs) ?
Certaines conclusions nous confortent dans la vision que nous avions des contractualisations, et notamment leur valeur ajoutée (financière, stratégique) pour les partenaires et leur complémentarité (expertise, plateforme d’échange) par rapport aux actions menées en dehors du cadre contractuel.
La question du dispositif de pilotage est un point important de discussion et sans doute un axe important de travail à conduire. L’évaluation montre notamment que le pilotage ne s’appuie pas assez sur la capacité d’adaptation des services de l’ADEME aux contextes régionaux, d’une part et, d’autre part ne valorise pas suffisamment la contribution de l’ADEME et donc sa légitimité dans la dynamique du Grenelle.
Enfin, la conclusion majeure est d’ordre stratégique et concerne le positionnement de ces contractualisations comme un outil de territorialisation du Grenelle. Elles réunissent en effet les acteurs importants de cette dynamique sur le territoire autant pour cofinancer des actions, que pour mettre en cohérence et en synergie leurs stratégies propres, en articulation avec les SRCAE (Schémas régionaux Climat Air Énergie). Compte tenu de ce positionnement, l’intérêt d’intégrer les Fonds Grenelle dans ces contractualisations n’est pas démontré.

L’évaluation a-t-elle d’ores et déjà des retombées décisionnelles concrètes ? En attendez-vous d’autres dans les mois à venir ?
Comme pour toutes ses évaluations stratégiques, l’ADEME a intégré les recommandations de cette évaluation dans son dispositif de validation et de suivi des évaluations. Ce travail a été notamment présenté en Comité de direction et en Conseil d’Administration.
Certaines mesures confortées par l’évaluation ont été déjà été mises en place, comme la régionalisation des orientations stratégiques de l’ADEME (note de cadrage régionale) d’une part et, d’autre part, la mise en place d’un outil de suivi de ces orientations.
Dans les mois à venir, on s’attachera à intégrer les contractualisations dans la stratégie « collectivités » en cours d’écriture à l’agence, ainsi qu’à formaliser le référentiel d’évaluation.

(suite...) La mission s’est appuyée sur une revue des connaissances disponibles sur l’impact des formations professionnelles. Les impacts attendus sont principalement le retour des chômeurs à l’emploi et le maintien dans l’emploi des salariés « à risque ». 
Une synthèse des travaux de recherche disponibles et de bonne qualité a ainsi été produite et validée par un panel d’experts internationaux. Elle a également permis de délimiter les « zones inconnues » qui sont malheureusement plus importantes qu’on ne le croit.
Nous avons ensuite réalisé quatre évaluations, dans des pays volontaires (Belgique, Hongrie, Italie, Pologne), des impacts des formations aidées par le FSE. Elles ont estimé l’impact sur le retour à l’emploi des personnes formées grâce à des groupes de contrôle et à des données individuelles anonymisées. Les résultats montrent qu’il est très risqué d’utiliser une mesure de performance (par ex. : taux de placement après 12 mois) sans la discuter ou l’interpréter. En effet, le véritable impact est jusqu’à 10 fois inférieur au taux de placement mesuré et cet écart varie d’une formation à l’autre. 
Finalement, nous avons pu enquêter sur des évaluations, réalisées localement au cours des années précédentes dans chacun des quatre pays, qui avaient permis d’estimer l’impact des formations grâce à des groupes de contrôle. Il apparaît que les leçons apprises grâce à ces évaluations sont rarement utilisées. Cela tient à une trop faible appropriation politique des évaluations, à l’insuffisance des efforts de traduction des résultats en termes opérationnels, et au fait qu’une estimation d’impact est inutilisable tant qu’on ne sait pas expliquer pourquoi l’impact a été satisfaisant ou insatisfaisant.
Les conclusions de ce travail ont été présentées en juin dernier à la Conférence Shaping the Future of the ESF et seront prochainement disponibles sur le site de la Commission sous le titre ‘Study on the Return on ESF Investment in Human Capital’. 
[Contact] Jacques Toulemonde

(suite...)La cellule d’évaluation de l’Agence a recensé les attentes des utilisateurs externes et internes des futures évaluations et imaginé un dispositif ad hoc pour décider des projets d’évaluation, préciser leur contenu et sélectionner les parties prenantes à associer au pilotage.
L’Agence de l’Eau Adour-Garonne rejoint ainsi trois autres Agences qui ont développé avec l’aide d’Euréval, leur système d’évaluation au cours des dernières années : celles de Rhône-Méditerranée-Corse en 2004, Seine-Normandie en 2005 et plus récemment Loire-Bretagne en 2009.
[Contact] Eric Monnier et Amandine Grégot

(suite...)Ces AEF ont été portées respectivement par : L’INFREP Mortagne sur le Territoire de l’Orne et de la Sarthe nord ; l’Atelier de Formation de Base (AFB) Passerelles Vers l’Emploi dans le Sud Manche ; La Plateforme ALECTA de lutte contre l’illettrisme en Pays Nivernais -Morvan (Nièvre).
L’expérimentation (de septembre 2008 à juin 2010) visait à accompagner des parents en situation d’illettrisme, dont les enfants connaissent des difficultés scolaires, en leur proposant des activités autour de trois axes : la formation aux savoirs de base, la scolarité, la parentalité. Elle souhaitait également faire évoluer les postures et compétences professionnelles des acteurs du champ éducatif, social, culturel.
Les démarches d’expérimentation sont souvent accompagnées d’une approche évaluative quantitative, avec groupe de comparaison, afin d’en étudier la généralisation. La démarche d’évaluation ici mise en œuvre a, à l’opposé, été principalement qualitative. Elle a reposé sur un recueil systématique et une analyse in situ sur chaque site, et à trois reprises sur la durée de l’expérimentation, de l’ensemble des points de vue légitimes : les bénéficiaires parents, les intervenants (formateurs, travailleurs sociaux, …), et les partenaires (Education nationale, CAF, collectivités locales). 
Si deux limites majeures ont été identifiées (la durée de l’expérimentation ne permet pas d’évaluer des impacts ; le faible nombre de bénéficiaires au final rend difficile toute généralisation à partir de ces 3 cas), la démarche présente toutefois une certaine valeur ajoutée : elle a permis d’apprécier l’évolution des processus à l’œuvre, d’appréhender de manière très concrète les changements de postures des professionnels et des parents bénéficiaires des actions et d’en tirer quelques enseignements à confronter avec d’autres expériences. 
Ces évaluations ont en effet montré des résultats contrastés sur l’efficacité de la mise en œuvre des projets (mobilisation des partenariats, approche pédagogique, communication, repérage des publics) et des résultats positifs sur les parents (rapport à l’institution scolaire, ouvertures sociales, culturelles et professionnelles, renforcement des compétences de base) comme sur les intervenants (évolution des pratiques et des compétences professionnelles).
Ces résultats alimentent la réflexion en cours sur un cadre national de référence des Actions Educatives Familiales porté par l’ANLCI.
[Contact] Hélène Genin et Irene Basile