Rendez vous off du colloque SFE, conçu pour vous permettre de discuter et d'échanger informellement sur vos expériences d'évaluation, le dîner débat se confirme comme un évènement apprécié!

Nous avions choisi cette année de faire porter le débat sur « Mesurer les impacts d’une politique publique - Le cas des interventions économiques  ». Le débat, animé par Virginie BESREST, Directrice du pôle Politiques économiques d’Euréval, a permis à quatre intervenants, issus d’institutions publiques de natures différentes (Conseils régionaux Rhône-Alpes et Haute Normandie, Ministère de l’Economie et CCI Paris) de témoigner de leur expérience d’évaluations réalisées avec Euréval entre 2006 et 2008.

Euréval avait choisi ce thème pour répondre aux attentes de nombreuses administrations qui souhaitent connaître les impacts de leurs actions sur les entreprises qu’elles ont soutenues. Les résultats des interventions publiques dans ce domaine sont parfois très satisfaisants en terme d’emplois créés, parfois éloignés des attentes initiales et posent alors la question du sens de l’action publique. Mesurer les impacts d’un programme ou d’une politique économique est un exercice difficile mais indispensable particulièrement en période de crise économique et de restriction budgétaire. On pouvait donc s’interroger sur les méthodes proposées pour estimer ces effets mais aussi sur le bien-fondé des objectifs assignés aux programmes concernés.
Les témoignages, ainsi que les débats qui ont suivi, ont permis d’illustrer les facteurs de difficultés les plus fréquemment rencontrés :

Les témoignages ont également mis en exergue les apports importants de l’évaluation, particulièrement en termes :

Les deux premiers témoignages concernaient l’évaluation de dispositifs d’actions collectives d’entreprises. Il s’agit là de programmes complexes, élaborés sur mesure à destination de groupes de PME sur des thématiques très diverses (réflexion stratégique, technologies de l’information et de la communication (TIC), export, sous-traitance, organisation interne et productivité, innovation, qualité, RH, gestion de l’énergie et des déchets, etc.) et faisant intervenir de multiples acteurs. Du fait de la grande hétérogénéité et complexité de ces programmes, il est souvent difficile d’identifier et d’isoler leurs impacts sur les bénéficiaires finaux (les entreprises) et plus globalement sur les territoires.

M. Henri JACOT, Conseiller régional Rhône-Alpes, en charge de l’évaluation des politiques régionales, nous a présenté l’évaluation du dispositif rhônalpin "Actions collectives d’entreprises". Il a exposé comment l’évaluation avait été préparée et pilotée par une commission spéciale (la commission SUEVAL, chargée du suivi et d’évaluation des fonds accordés aux entreprises, qui associe les élus de tous les groupes politiques et l’ensemble des représentants des acteurs économiques et sociaux). Il a également témoigné de ce que l’évaluation avait apporté, notamment sur la question cruciale de l’impact en matière d’emploi, mais aussi plus largement en matière de connaissance, d’aide au pilotage, de recentrage des objectifs et d’ouverture sur de nouvelles modalités d’action [Lire la contribution].

Mme Janine BEDOUCHA, Chargée de Mission à l’Action régionale de la DGCIS (Direction générale de la compétitivité, de l’industrie et des services, Ministère de l’Economie, de l’Industrie et de l’Emploi) a témoigné de l’évaluation d’un dispositif similaire mis en œuvre au niveau national et régional. Son intervention a mis en exergue la difficulté d’isoler l’impact de ce dispositif spécifique parmi un système d’aides foisonnant et les apports de l’évaluation en matière de typologies d’actions, de facteurs clés de succès, de connaissance des effets économiques de l’action, mais aussi de production d’une méthodologie d’évaluation reproductible et d’aide au pilotage [Lire la contribution].

Les deux témoignages suivants concernaient l’évaluation d’une agence chargée de la recherche d’investisseurs étrangers et un dispositif d’accompagnement de la transmission d’entreprises.

Mme Annick LE MOIGNIC, Chef du service Evaluation et Prospective de la Région Haute-Normandie a témoigné de l’expérience d’évaluation et de repositionnement stratégique de l’association Normandie Développement (agence bi-régionale de prospection internationale) aux objectifs multiples, financée par des institutions aux attentes différentes, et intervenant en coordination/concurrence avec d’autres acteurs du territoire. Elle nous a exposé comment l’étude a permis des prises de conscience et de confiance, une identification de la valeur ajoutée de l’agence (ses effets propres), et des retombées opérationnelles pour la structure [Lire la contribution].

Enfin, Mme Carole RYCKEWAERT, responsable de l’évaluation à la Chambre de Commerce et de l’Industrie de Paris, nous a présenté un retour d’expérience sur la préparation en amont de l’évaluation des impacts de dispositifs d’accompagnement des entreprises. Dans le cadre des politiques consulaires, elle nous a décrit la démarche mise en place pour rendre évaluable le dispositif transmission commerce de la CCIP et comment cette démarche a diffusé dans l’institution favorisant une meilleure définition des objectifs et de la logique d’action et une mesure plus structurée des réalisations, résultats et impacts des dispositifs d’accompagnement des entreprises [Lire la contribution].

Les participants ont été nombreux à faire des retours positifs sur ce dîner-débat, le rendez-vous est donc déjà pris pour l’année prochaine, nous espérons vous y croiser !

L’innovation au service des clients d’Euréval est l’affaire de tous les consultants, chacun à leur niveau. Ces efforts sont désormais co-animés par Thomas Delahais, directeur scientifique adjoint.

Euréval poursuit son engagement pour l’innovation en structurant ses activités de :

• veille sur les nouveaux outils
• développements techniques dans le cadre de ses missions
• capitalisation des avancées réalisées
• généralisation à l’ensemble des prestations.

L’image et la réputation de la société se sont en partie construites sur l’utilisation rigoureuse des techniques des sciences sociales utilisées au service de l’évaluation d’abord, puis de la conception des politiques publiques. Certaines innovations développées ou adaptées par Euréval il y a plus de 10 ans restent des marques de fabrique. C’est le cas par exemple du découpage de l’évaluation en quatre phases logiques (structuration, observation, analyse, jugement), une approche qui est aujourd’hui reprise dans nombre de cahiers des charges à travers l’Europe.  Un autre exemple est l’usage du vote coloré qui permet de concentrer la délibération d’une instance d’évaluation sur les conclusions qui font réellement débat.

L’innovation qui relevait initialement d’un transfert d’expertise en provenance de la recherche est devenue maintenant partie intégrante de la pratique d’Euréval. Nos missions portent sur des actions publiques dont la complexité et la diversité s’accroissent, et les attentes de nos commanditaires se renforcent, tant en matière de robustesse et que de transparence. Dans ce contexte, la majorité de nos missions intègrent des approches nouvelles, pragmatiques et adaptées à la demande.

Ainsi, avec l’analyse de contribution, nous sommes parmi les premiers au monde à diffuser un modèle d’analyse d’impact robuste et applicable à des politiques complexes. En développant de nouveaux outils tels que l’analyse statistique de réseau, ou en renforçant l’usage de la cartographie dans nos prestations, nous offrons à nos clients un angle différent pour apprécier les effets de leurs actions, et des éléments de preuve robustes dans l’élaboration de nos conclusions.

En mobilisant des technologies éprouvées, nous développons les outils qui nous  permettent d’assurer une bonne traçabilité entre la collecte d’information quantitative et qualitative, son analyse rigoureuse, les constats et les conclusions. Nous sommes ainsi en mesure d’apporter à nos clients plus de validité et de transparence dans nos travaux.

Eric Monnier a été chaleureusement remercié et selon le Centre Français des fondations, "son expertise et les exemples restitués de manière très détaillée vont contribuer à faire évoluer le secteur des fondations sur le thème de l'évaluation".

http://ec.europa.eu/regional_policy/conferences/evaluation2009/index_en.htm