Create your own awesome maps

Even on the go

with our free apps for iPhone, iPad and Android

Get Started

Already have an account?
Log In

Evaluation des politiques publiques Cartographie du petit guide de l'évaluation conçu par le Conseil National de l'Evaluation (2002). by Mind Map: Evaluation des politiques publiques

Cartographie 
du petit guide de l
0.0 stars - 0 reviews range from 0 to 5

Evaluation des politiques publiques Cartographie du petit guide de l'évaluation conçu par le Conseil National de l'Evaluation (2002).

Il est plus facile de s'entendre sur des questions et sur une méthode que sur des réponses. Distinguer rigoureusement les différentes étapes de  l'évaluation  permet  de  construire  pas  à  pas  les  éléments  d'un  monde  commun, ensemble  de  connaissances  et  de  références  partagées  par  les  évaluateurs,  les commanditaires et les autres acteurs concernés. (p. 11)

1

Définitions : Finalités et qualités

Spécificité de l'évaluation, Mesurer ou apprécier les effets d'une politique, Les effets d'une politique sur la société ne se limitent pas aux effets attendus ou souhaités, conformes à ses objectifs (les effets qui correspondent à la notion d'efficacité). L'évaluation doit également se préoccuper des effets collatéraux (side effects) et des effets pervers de la politique., Identifier les facteurs contextuels qui interagissent avec la politique., D'une part ceux qui conditionnent une mise en oeuvre correcte des mesures, D'autre part, ceux qui en modifient les effets., Aider le commanditaire à porte un jugement sur une politique, Contribuer pratiquement à l'amélioration d'une politique

Fonctions et finalités sociales de l'évaluation, Rendre des comptes sur son action à une autorité de niveau supérieur ou à un public démocratique, Améliorer la gestion des services chargés de les mettre en oeuvre, Préparer des décisions concernant la poursuite, l'arrêt ou la refonte d'une politique, En toute rigueur, seul un jugement porté sur l'efficacité (rapportée aux principaux objectifs) d'une politique, permet de fonder rationnellement une décision relative à la poursuite ou à l'abandon de celle-ci ., Dans la pratique, il faut faire preuve de prudence et de pragmatisme dans l'utilisation de l'évaluation à des fins d'aide à la décision budgétaire., Contribuer à la formation et à la motivation des agents publics et de leurs partenaires

Qualités d'une politique, Cohérence, Les moyens juridiques, humains et financiers mis en place sont-ils adaptés à ces objectifs ?, Atteinte des objectifs, La mesure de l'atteinte des objectifs renseigne, en un certain sens, sur la réussite ou l'échec de la politique., Les évolutions constatées de la réalité sociale sont-elles conformes aux objectifs de la politique ?, Un ensemble d'indicateurs de résultats, si complet soit-il, ne permet pas, en règle générale, d'évaluer l'atteinte des objectifs d'une politique. Les variables représentatives des objectifs de la politique subissent toujours l'influence d'une multitude de facteurs exogènes, Efficacité, L'évaluation de l'efficacité d'une politique nécessite la mesure de ses effets propres, à savoir les modifications de l'état de la société dont elle est la cause., Que se serait-il passé si la politique n'avait pas existé ?, Les effets propres de la politiques sont-ils conformes à ses objectifs ?, Il est fréquent qu'une politique produise des effets différents selon les lieux où elle est mise en oeuvre : ces différences peuvent relever de multiples causes, Il est fréquent que l'efficacité d'une politique dépende de circonstances variables au cours du temps : une mesure peut être en synergie avec la conjoncture économique, ou au contraire être rendue inopérante par celle-ci., Efficience, L'évaluation de l'efficience consiste à comparer les coûts nécessaires à la réalisation d'un certain niveau de résultat pour différentes politiques., Les ressources financières mobilisées par la politique ont-elles été bien utilisés ? les résultats de la politique sont-ils à la mesure des sommes dépensées ?, Impact (effectivité), Quelles sont les conséquences globales de la politique pour la société ? ces conséquences sont-elles bénéfiques ?, Pertinence, Une politique sera dite pertinente si ses objectifs explicites sont adaptés à la nature du (des) problème(s) qu'elle est censée résoudre ou prendre en charge.

Conception et pilotage de l'évaluation

Conception, Qualité de l'évaluation, Les jugements de valeur portés par l'évaluation doivent être perçus par eux comme fondés sur des arguments légitimes, Utilité-pertinence : L'évaluation doit répondre aux questions que se pose le commanditaire, Fiabilité : L'exactitude des informations collectées et à la valeur scientifique des imputations causales sur lesquelles se fonde le jugement évaluatif., Objectivité : une autre évaluation répondant aux mêmes questions et utilisant les mêmes méthodes conduirait aux mêmes conclusions., Possibilité de généralisation : il s'agit de savoir dans quelle mesure les conclusions portées sur les effets d'une action publique à partir d'observations faites sur un certain type de terrain pendant une période donnée peuvent être étendues à d'autres situations, à d'autres contextes, voire à des politiques différentes., Transparence : outre l'exigence d'un exposé complet et rigoureux des méthodes mises en oeuvre, ce critère inclut l'idée que l'évaluation doit expliciter son propre "mode d'emploi" et ses limites : positionnement par rapport à d'autres évaluations possibles sur le même sujet, rappel des questions auxquelles il n'est pas ou incomplètement répondu, anticipation des objections possibles, etc., Caractéristiques de l'évaluation, Commanditaire, Initiateur de la demande, Commanditaire officiel, Types d'objets, Politique : un ensemble complexe de programmes, de procédures et de régulations concourant à un même objectif général, Programme : une séquence d'action limitée dans le temps et définie précisément dans ses moyens et ses objectifs opératoires, Projet : ils permettent la production de biens et services, à caractère marchand ou non, qui donnent souvent lieu à des actes de consommation individualisés, Institution : l'activité d'un service ou d'un organisme peut également être évaluée,, Pratique professionnelle : pratique concourant à la production de biens et services publics, Destinataire, Initiateur de la demande, Commanditaire officiel, Destinataires potentiels dont les intérêts peuvent être affectés par les suites données à l'évaluation (associations, organisations professionnelles, groupes de pression...)., Temps, Evaluation ex ante : étude prospective de la faisabilité et de l'impact d'une mesure projetée ou en préparation, Evaluation ex post, qui vise à tirer des enseignements rétrospectifs sur une politique parvenue à maturité et "routinisée", Evaluation concomitante (ou "chemin faisant")., Projet d'évaluation, Etapes du projet, Définition du champ de l'évaluation, Champ institutionnel, Champ temporel, Champ géographique, Repérage des objectifs,, officiels, textes qui instituent une politique, exposé des motifs d'une loi ou d'un décret, implicites, déclarations de responsables politiques ou administratifs, compte rendus des débats parlementaires qui ont précédé l'adoption d'une loi, etc, Identification des finalités et enjeux de l'évaluation, Type de résultats et de retombées pratiques, Conséquences potentielles pour les différents protagonistes, Hypothèses de départ, Perception immédiate par les acteurs, des réussites de la politique, des échecs de la politique, des dysfonctionnements de la politique, L'élaboration d'un référentiel sur base, Finalités (cfr. objectifs, finalités et enjeux), Attentes du commanditaire (cfr. hypothèses de départ), Thématiques et registres de l'évaluation, Les thématiques qui feront l'objet des questions les plus précises et des investigations les plus lourdes, Registres de l'évaluation, Cohérence, Efficacité, Efficience, Impact, Pertinence, Le dispositif d'évaluation, le système des relations à établir entre ses différents acteurs et participants, Commanditaires, Protagonistes de la politique à évaluer, Groupe de suivi ou de pilotage, Instance d'évaluation, Chercheurs et chargés d'étude, Instance de régulation scientifique, Le bilan informationnel, Recensement sommaire des informations immédiatement disponibles, Sources, Données administratives, Etudes et recherches relatives au domaine considéré, Informations qui pourraient être obtenues sans nouvelles dépenses et dans un délai bref., Objectif, Pour fournir des premières réponses à une partie des questions posées, Pour dresser un état des principales lacunes, Le programme d'étude, Types d'investigations, La compilation d'études préexistantes, L'exploitation de données administratives, L'analyse de documents existants (textes à caractère juridique, coupures de presse, documents cartographiques, audio-visuels, etc), Des enquêtes ou investigations ad-hoc permettant de recueillir de nouvelles données, Enquêtes statistiques auprès de bénéficiaires ou d'acteurs clefs de la politique, Le suivi d'un panel (de bénéficiaires, le plus souvent), interrogé à intervalle régulier pendant une durée suffisamment longue, Des entretiens approfondis avec des acteurs ou autres "personnes ressources", Des monographies ou études de cas, Des auditions par l'instance, Le questionnement, Deux façons de structurer le questionnement, Classer ces questions en fonction des registres d'évaluation et des aspects de la politique qu'elles permettent d'appréhender., Considérer l'évaluation de la politique comme l'évaluation d'une théorie, Objectif, Tester les représentations a priori, des mesures mises en oeuvre, du comportement des acteurs, de l'enchaînement des mécanismes d'action, des effets produits sur la société, Déroulement, Analyser ces écarts entre l'application concrète des décisions et l'ensemble des normes qui définissent la politique, Examen de la conformité aux normes juridiques formelles, aux délais prescrits, aux règles budgétaires, etc., Identification des écarts entre les objectifs affichés et la réalité des opérations effectuées sur le terrain au titre de ces objectifs., Expliquer écarts constatés, Apprécier leurs conséquences, Tirer des conclusions normatives, Reformuler des normes qui se seraient révélées inapplicables, Renforcer le contrôle exercé sur les acteurs de terrain, ou améliorer leur formation et leur information., Le choix des opérateurs, Compétences du "chargé de l'évaluation", la connaissance de certains champs théoriques, La connaissance des techniques d'analyse et la familiarité avec les démarches d'évaluation., Combiner, le regard distancié et indépendant d'experts n'appartenant pas à l'administration et non impliqués dans la conduite de la politique évaluée, la connaissance plus approfondie qu'ont de celle-ci ses acteurs directs, ainsi que les services d'étude de l'administration ou les corps d'inspection, Cahier des charges : document servant de base à une relation contractuelle entre le commanditaire d'une étude spécifique et un opérateur., Mandat d'évaluation : document par lequel le commanditaire politique confie officiellement la responsabilité de l'évaluation à un évaluateur, Questions du commanditaire, Description du dispositif institutionnel, Description du matériel de l'évaluation, sans entrer dans le détail des méthodes, en se référant éventuellement à des documents complémentaires, Précision des délais pour la remise du rapport d'évaluation

Pilotage, L'instance d'évaluation, Rôle, Piloter les travaux d'évaluation, mener à son terme l'élaboration du projet d'évaluation, traduire le questionnement évaluatif dans le cahier des charges des études et recherche, passer commande et suivre les différents travaux d'étude, auditionner des "personnes ressources", responsables administratifs, experts ou autres "témoins", se déplacer collectivement sur le terrain..., Intégrer les matériaux de l'évaluation, rassembler des documents, réceptionner les recherches études commanditées, valider leurs résultats, interpréter ces résultats au regard des autres informations collectées (auditions ou informations préalablement disponibles...), répondre aux questions posées par le projet d'évaluation, formuler des conclusions générales, formuler des propositions, rédiger le rapport final, L'instance d'évaluation doit être conçue, comme un arbitre entre les différents points de vue, non comme un médiateur de différents intérêts qu'il conviendrait d'accommoder., Composition, Une instance indépendante de régulation scientifique, de type conseil scientifique, chargée d'émettre un avis sur les projets et les rapports d'évaluation, peut aider une instance d'évaluation indépendante à se fixer des règles de fonctionnement compatibles avec les exigences de l'évaluation, Des responsables directs de la mise en oeuvre de la politique, Des responsables de points de vue extérieurs, experts du domaine, acteurs sociaux concernés par la politique entant que, partenaires, bénéficiaires, Il est néanmoins impossible de concevoir l'instance comme un lieu où tous les points de vue seraient en permanence présents. Ceux-ci peuvent d'ailleurs être pris en compte d'une autre manière au cours de l'évaluation, Fonctionnement, appropriation du mandat, finalisation du projet (formulation définitive du questionnement), élaboration d'un cahier des charges pour les études évaluatives, choix des opérateurs, suivi des études, réception et discussion des rapports d'étude, synthèse de leurs résultats, rédaction du rapport, gestion des suites de l'évaluation (communication, dialogue avec les différents acteurs concernés par les résultats de l'évaluation)

Rapport

Structure, Des éléments d'information suffisants sur la politique évaluée, l'historique des mesures examinées, l'analyse des textes établissant ces mesures, l'exposé des objectifs du gouvernement, des éléments de cadrage statistique, Un exposé méthodologique rappelant les différentes étapes de l'évaluation depuis l'élaboration du projet initial jusqu'à la rédaction du rapport final, Un bref compte rendu des études réalisées, Des développement informatifs, Des raisonnements bien identifiés, Des recommandations, Le statut de ces prises de positions doit être précisé, Partialité, S'inscrivent-elles directement dans le prolongement des réponses apportées au questionnement évaluatif ?, Ne font-elles que refléter l'opinion des membres de l'instance ?, Nature des recommandations, Faut-il les considérer comme des recommandations fermes techniquement nécessaires, comme des propositions de nature politique ?, Faut-il les considérer de simples orientations devant donner lieu à de nouvelles études ?

Outils de l'évaluation

Informations mobilisées et registre de l'argumentation, Caractéristiques de l'évaluation, cherche à utiliser toutes les "heuristiques", cherche à s'adapter aux conditions réelles de la délibération et de la prise de décision, n'exclut a priori aucun élément d'information concernant son objet, quelle que soit sa nature, s'efforce de ne pas mélanger les différents types d'arguments, mais de les hiérarchiser, de les pondérer, et de relier chacun à des conclusions spécifiques., Nature de l'information, Quantitative, L'impression d'objectivité et de précision qui émane des chiffres est souvent illusoire, Qualitative, Registre de l'argumentaiton, Registre du constat, constats quantitatifs, simples comptages physiques ou financiers, coût d'une politique ou d'un programme, nombre de bénéficiaires, nombre de dossiers traités, etc., quantification obtenue, par exploitation de données exhaustives, sur la base d'une enquête portant sur un échantillon statistiquement représentatif du phénomène analysé., constats qualitatifs, la description du processus en terme, de dispositifs institutionnels, d'événements, d'activités, de situations, de comportements, d'anecdotes ou d'histoires personnelles, Cette description qualitative, est nécessaire à la bonne interprétation des données globales, constitue une source d'illustrations concrètes d'effets et de mécanismes analysés par d'autres méthodes., Registre démonstratif et interprétatif, concerne le test d'hypothèses, la recherche et la discussion des preuves de la réalité d'un phénomène ou d'un mécanisme non directement observable, notamment lorsque l'on a l'ambition de mesurer les effets propres de la politique, Registre de l'opinion, Le point de vue des groupes d'intérêts concernés par le projet, l'opinion des acteurs chargés de mettre en oeuvre une politique, est indispensable, pour apprécier sa cohérence, pour identifier les dysfonctionnements qui peuvent nuire à son efficacité, L'opinion des experts, joue un rôle déterminant dans tous les domaines ou les normes de l'action publique reposent sur des connaissances techniques spécialisées.

Techniques de collecte de l'information, Des informations préexistantes, des études et recherches portant sur des sujets connexes ou apparentés, des statistiques publiées ou immédiatement disponibles, des informations de toutes natures détenues par les gestionnaires de la politique., Des enquêtes et investigations spécifiques, Les études documentaires et historiques, But, connaître le contexte dans lequel les décisions concernant la politique ont été prises, afin de mieux comprendre la nature des objectifs poursuivis., Moyen, procéder à un recensement des textes officiels, procéder à un recensement des traces écrites des processus décisionnels, Les enquêtes, Modalités, par téléphone, par questionnaire postal, par entretien, Structure et présentation du questionnaire, Majorité de questions fermées, Moins de 5 réponses possibles, Chaque question fermée, ne doit traiter que d'un seul problème, doit être posée de manière discriminante, Quelques questions ouvertes, Types de questions, les questions de souhait ou d'intention (ce que veut la personne interrogée), les questions de connaissance (ses informations et opinions), les questions de comportement (ce qu'elle fait), les questions d'attributs ou de statut (ce qu'elle est), Conseils, ne pas induire de biais (ne pas suggérer implicitement une réponse), respecter la sensibilité des personnes interrogées, ne doit pas être trop long, ne pas être perçu comme inquisitorial, Placer les questions d'attributs en tête et es questions les plus délicates doivent vers la fin du questionnaire, Le panel, But, appréhender les effets de l'action publique dans leur dimension temporelle, Moyen, Saisir l'impact dynamique d'une intervention publique sur la trajectoire sociale des individus., Technique, Répéter la même enquête auprès d'un même échantillon, à intervalle régulier (6 mois ou plus), pendant une durée totale de plusieurs années., Difficultés pratiques, les contraintes de temps et de coût, la difficulté de constituer un échantillon représentatif, la difficulté de conserver cette représentativité au cours du temps, L'entretien, Buts, préparer une enquête par voie téléphonique ou postale en testant et précisant les questions auprès d'un petit nombre d'individus, améliorer la qualité des réponses à un questionnaire, ce qui est d'autant plus nécessaire que ce questionnaire porte sur une réalité complexe, recueillir un matériau verbal non formaté, utile pour, interpréter le comportement des acteurs, appréhender leur représentation de la réalité, comprendre leurs objectifs personnels, comprendre la manière dont ils perçoivent les objectifs de l'action publique., Types, les entretiens directifs, selon le caractère plus ou moins structuré du questionnement, selon temps laissé à la personne pour s'exprimer librement, Les entretiens semi-directifs, selon le caractère plus ou moins structuré du questionnement, selon temps laissé à la personne pour s'exprimer librement, Conseils, Au début de l'entretien,, indiquer, clairement le cadre, les finalités, En cours d'interview, fixer le cadre général (la liste et l'ordre des sujets à aborder), tout en laissant une grande initiative à l'interviewé dans la manière d'aborder ces différents points., Les lieux et circonstances de l'entretien peuvent influer sur son déroulement, Technique, mettre en évidence les repères normatifs implicites à partir desquels ils agissent et prennent leurs décisions, Les études de cas, But, Appréhender la dimension humaine et événementielle de la réalité sociale, Analyser une situation complexe, Intérêts, permet, de décrire finement le processus réel, d'identifier de manière concrète et détaillée ses mécanismes d'action et les conditions de sa réussite, de mettre en évidence les différents types d'effets produits., Danger, La généralisation des observations effectuées ne doivent pas être sous-estimés, Contextes d'utilisation, pour étudier des "cas polaires", c'est à dire des situations présentant le maximum de contrastes, afin de fournir un éclairage étendu sur la diversité des phénomènes que l'on souhaite analyser, pour constituer la pièce essentielle d'une pré-étude d'évaluation, en aidant l'instance d'évaluation à formuler des hypothèses pertinentes, en aidant l'instance d'évaluation à formuler à repérer les ressources informationnelles disponibles, Les groupes d'acteurs et d'experts, Finalités, Dégager un consensus portant sur la réponse à des questions complexes auxquelles les travaux de recherche ne fournissent pas de réponse univoque, Caractériser de manière différentielle les attitudes et opinions de catégories particulières d'acteurs., Les différentes techniques, Méthode Delphi :, consultation d'un groupe d'experts par voie postale avec interrogations successives visant à réduire progressivement les désaccords entre les personnes consultées., Méthode du groupe nominal :, les différents experts sont réunis dans une même pièce et donnent tour à tour leur opinion sur les questions posées, mais ils ne communiquent pas entre eux., Groupes de discussion :, on se contente d'enregistrer une discussion libre, sur un sujet donné, sans intervention de l'animateur, et on procède ensuite à une analyse de contenu., Abaque de Régnier, Le groupe, physiquement réuni dans un même lieu, est confronté à une liste de questions fermées auxquelles il répond de manière non verbale en utilisant un code de sept couleurs, Méthode des groupes silencieux, réunir des groupes représentatifs de différentes catégories d'acteurs auxquels on demande de hiérarchiser par un système de notation un ensemble prédéfini d'affirmations relatives à un problème donné (par exemple un liste de causes du chômage). La comparaison des hiérarchies proposées par les différents groupes peut s'avérer particulièrement instructive., Intérêt, Recueillir en un temps relativement bref le point de vue de plusieurs personnes, L'avantage pour l'évaluateur est alors de disposer d'un matériau conceptuellement homogène et pertinent, Contraintes, Neutraliser autant que faire se peut les effets psycho-sociaux liés au fonctionnement du groupe, tout en maximisant la stimulation réciproque des participants., Objectif, Mettre en situation chaque membre du groupe de restituer l'information dont il est porteur dans un langage qui fasse sens pour les autres, La perspective ethno-sociologique

Le traitement des informations par la statistique, Définition, "ensemble de techniques d'interprétation mathématique appliquées à des phénomènes pour lesquels une étude exhaustive de tous les facteurs est impossible à cause de leur grand nombre et de leur complexité".(Grand Robert), Types de mises en oeuvre des statistiques, Description résumée des données (statistiques descriptives), les techniques qui permettent, de résumer, et de présenter de manière synthétique l'information contenue dans un ensemble de données, Ces techniques, recouvrent, le calcul et l'interprétation des paramètres caractéristiques de la distribution des valeurs prises par une variable observée, paramètres de centralité, moyenne, médiane, paramètres de dispersion, écart type, quantiles, etc., les techniques graphiques, tableaux, histogrammes, graphiques, etc., Analyse des données, Techniques qui permettent, de rechercher une structure sous-jacente : par structure, on entend, soit une typologie, soit des rapports de corrélation entre variables, Techniques utiles, pour décrire commodément une réalité complexe, pour servir de base à la formulation d'une nouvelle hypothèse, Vérification probabiliste des hypothèses, Techniques qui permettent à partir d'un nombre limité d'observations, de tester empiriquement la validité d'une relation suggérée par, des raisonnements théoriques, l'intuition, de vérifier que la "relation suggérée" n'est pas contredite par la réalité observée, la statistique permet de quantifier le degré de confiance qui peut être accordé à telle ou telle inférence, estimation d'une grandeur, relation, affirmation d'un lien de causalité, Limites, dispose pour cela que d'un nombre limité d'observations, et on ne peut donc parvenir à aucune certitude., Possibilité que l'échantillon (d'entreprises, d'individus, etc) ne soit pas représentatif, qu'il ne reflète pas fidèlement la réalité dont il a été extrait., réduire ce risque par le respect des règles de l'art, tirage aléatoire, représentativité géographique, méthode des quotas, etc., même dans le meilleur des cas, un doute subsiste, A défaut de certitude, la statistique permet de quantifier le degré de confiance qui peut être accordé à telle ou telle inférence (estimation d'une grandeur ou d'une relation, affirmation d'un lien de causalité) déduite d'un nombre limité d'observation. C'est l'objet des tests statistiques (Test du Chi2, Test de Student...), Les cadres de rangement de l'information, Nomenclatures et concepts, Toute mesure repose sur, une structuration préalable de la réalité, des nomenclatures, etc., une définition d'unités statistiques, un cadre conceptuel, qui résulte d'un compromis entre, les différentes représentations sociales de la réalité que l'on veut mesurer, les exigences de clarté et de permanence liées à la pratique de l'observation statistique ou administrative, Cohérence des nomenclatures, La structuration du système d'information doit viser la mise en cohérence, ou la confrontation, des différentes sources d'information., Triangulation" des données, Le couplage entre, une enquête statistique par questionnaire, L'enquête statistique fournit un cadrage quantitatif, un nombre limité d'entretiens approfondis ou d'études de cas (cf 6.6.) portant sur un sous-échantillon, les études de cas une vision plus qualitative des phénomènes étudiés qui permet d'interpréter les résultats de l'enquête., Le problème de la causalité et l'analyse des systèmes complexes, But de l'évaluation, comprendre le fonctionnement de ces systèmes, afin de décrire l'enchaînement des mécanismes qui aboutissent aux effets constatés., Les difficultés de l'expérimentation, Position du problème, Prouver et quantifier une relation de cause à effet entre une politique et certaines évolutions constatées de l'état de la société, c'est répondre à la question, Que se serait-il passé si, toutes choses égales d'ailleurs, la politique n'avait pas été mise en oeuvre ?, Méthode expérimentale, constituer deux échantillons aléatoires de "cibles" du programme (personnes, entreprises...), L'un soumis au "traitement" (la participation à une activité de formation, le bénéfice d'une aide), l'autre non, Mesurer pour les deux échantillons avant et après le traitement paramètres représentatifs de l'effet attendu (par exemple, les compétences acquises dans tel ou tel domaine)., Comparer de l'évolution constatée de ces paramètres (sur la base de tests statistiques adéquats)pour se prononcer sur l'effet propre du programme., Les limites de la méthode expérimentale dans les sciences de l'homme et de la société, problème de comparaison, Il est rare que pouvoir comparer deux situations sur lesquelles toutes les variables exogènes agissent exactement de la même manière, Impossibilité de constituer de manière aléatoire deux groupes comparables, problème éthique, A t-on le droit de faire jouer le hasard lorsque l'intérêt des individus est en jeu ?, problème de la reproductibilité, La généralisation des résultats d'une "expérience sociale" suppose que l'on contrôle l'effet du contexte particulier de cette expérience. Or, comportement des acteurs impliqués dans la mise en oeuvre du programme est une variable susceptible d'être influencée par les circonstances. Le fait de participer à une expérience est un facteur de mobilisation, voire de "surmotivation" qui améliore sensiblement les résultats du programme., problèmes de délais, et donc (notamment) de coût., Protocoles pseudo-experimentaux, Les comparaisons effectuées dans les évaluations portent sur des groupes non équivalents, dont le mode de constitution n'est pas neutre, on ne peut tirer aucune conclusion définitive sur l'efficacité propre d'un programme en comparant l'évolution de deux groupes non équivalents, La comparaison de bénéficiaires et de non bénéficiaires est néanmoins utile pour d'autres aspects de l'évaluation, connaissance du mode de sélection des dossiers, motivations des bénéficiaires, mécanismes d'action, identification des leviers d'amélioration de l'efficacité, il est possible d'analyser rigoureusement l'effet du programme dans le cadre d'un protocole pseudo-expérimental, en modélisant l'impact des principales variables exogènes qui n'ont pu être neutralisées par un tirage aléatoire., Causalité et modélisation, L'alternative pour prouver et quantifier une relation de causalité est l'estimation statistique d'un modèle mathématique schématisant l'action de la politique sur la société, L'estimation d'un modèle, Modèle, Relation mathématique, dont la forme est définie a priori sur la base d'arguments théoriques, entre, les effets attendus de la politique, différentes variables explicatives dont l'une représente l'action du programme, Calcul des valeurs les plus probables des paramètres (ou coefficients) du modèle au vu des valeurs observées des différentes variables, Régression multiple ou analyse multivariée, Les seuls modèles dont les techniques d'estimations sont parfaitement maîtrisées sont les modèles linéaires (de la forme Y=a1X1+a2X2+a3X3..., Y étant la variable expliquée, X1,X2...les variables explicatives, a1,a2...les coefficients que l'on cherche à estimer), Deux principaux types de données, les séries temporelles de données agrégées (par exemple les séries économiques tirées des comptes nationaux), les données individuelles (les mêmes variables sont observées pour un grand nombre d'individus), Les pièges de la modélisation, Une bonne adéquation du modèle à l'observation (même lorsqu'on peut vérifier son pouvoir prédictif) ne constitue en aucun cas une preuve suffisante de la validité des relations causales qu'il contient., Une corrélation ne doit pas être confondue avec un lien de causalité., Les méthodes d'estimation statistique ne donnent des résultats fiables que lorsqu'on les applique à un modèle convenablement spécifié, cohérent et reposant sur de solides arguments théoriques, Les limites de l'approche causale et l'analyse des systèmes sociaux, Le problème de la circularité, Deux phénomènes en relation pouvant être simultanément cause et effet l'un de l'autre., L'analyse des systèmes d'action, Constat, Le savoir-faire, les routines, les intérêts et les modes de relation d'échange et d'interdépendance entres les acteurs exercent un impact tout à fait significatif sur les objectifs, sur les réalisations, sur les effets générés par l'intervention publique., Objectif, Identifier les acteurs qui comptent pour la réussite ou pour l'échec d'une politique publique, Expliquer comment leur rationalité et leurs logiques d'action spécifiques affectent le cours des choses, constituent des tâches et des étapes significatives de l'évaluation, Moyen, technique du sociogramme et grille d'analyse des stratégies comportementales, formaliser la manière dont les parties prenantes gèrent leurs nterdépendances et leur intervention dans le champ de la politique publique., recenser si et comment de tiers acteurs, ne relevant pas formellement du dispositif public d'intervention, jouent en fait un rôle décisif pour les effets réellement générés par ce dispositif., Elle s'appuie principalement sur l'observation des pratiques sur le terrain, collectant des données qualitatives au moyen, de techniques d'intervention en profondeur,, d'analyse documentaire, d'observation participante auprès de groupes d'acteurs interdépendants.