1. 1
1.1. Définitions : Finalités et qualités
1.1.1. Spécificité de l'évaluation
1.1.1.1. Mesurer ou apprécier les effets d'une politique
1.1.1.1.1. Les effets d'une politique sur la société ne se limitent pas aux effets attendus ou souhaités, conformes à ses objectifs (les effets qui correspondent à la notion d'efficacité). L'évaluation doit également se préoccuper des effets collatéraux (side effects) et des effets pervers de la politique.
1.1.1.1.2. Identifier les facteurs contextuels qui interagissent avec la politique.
1.1.1.2. Aider le commanditaire à porte un jugement sur une politique
1.1.1.3. Contribuer pratiquement à l'amélioration d'une politique
1.1.2. Fonctions et finalités sociales de l'évaluation
1.1.2.1. Rendre des comptes sur son action à une autorité de niveau supérieur ou à un public démocratique
1.1.2.2. Améliorer la gestion des services chargés de les mettre en oeuvre
1.1.2.3. Préparer des décisions concernant la poursuite, l'arrêt ou la refonte d'une politique
1.1.2.3.1. En toute rigueur, seul un jugement porté sur l'efficacité (rapportée aux principaux objectifs) d'une politique, permet de fonder rationnellement une décision relative à la poursuite ou à l'abandon de celle-ci .
1.1.2.3.2. Dans la pratique, il faut faire preuve de prudence et de pragmatisme dans l'utilisation de l'évaluation à des fins d'aide à la décision budgétaire.
1.1.2.4. Contribuer à la formation et à la motivation des agents publics et de leurs partenaires
1.1.3. Qualités d'une politique
1.1.3.1. Cohérence
1.1.3.1.1. Les moyens juridiques, humains et financiers mis en place sont-ils adaptés à ces objectifs ?
1.1.3.2. Atteinte des objectifs
1.1.3.2.1. La mesure de l'atteinte des objectifs renseigne, en un certain sens, sur la réussite ou l'échec de la politique.
1.1.3.2.2. Les évolutions constatées de la réalité sociale sont-elles conformes aux objectifs de la politique ?
1.1.3.2.3. Un ensemble d'indicateurs de résultats, si complet soit-il, ne permet pas, en règle générale, d'évaluer l'atteinte des objectifs d'une politique. Les variables représentatives des objectifs de la politique subissent toujours l'influence d'une multitude de facteurs exogènes
1.1.3.3. Efficacité
1.1.3.3.1. L'évaluation de l'efficacité d'une politique nécessite la mesure de ses effets propres, à savoir les modifications de l'état de la société dont elle est la cause.
1.1.3.3.2. Que se serait-il passé si la politique n'avait pas existé ?
1.1.3.3.3. Les effets propres de la politiques sont-ils conformes à ses objectifs ?
1.1.3.3.4. Il est fréquent qu'une politique produise des effets différents selon les lieux où elle est mise en oeuvre : ces différences peuvent relever de multiples causes
1.1.3.3.5. Il est fréquent que l'efficacité d'une politique dépende de circonstances variables au cours du temps : une mesure peut être en synergie avec la conjoncture économique, ou au contraire être rendue inopérante par celle-ci.
1.1.3.4. Efficience
1.1.3.4.1. L'évaluation de l'efficience consiste à comparer les coûts nécessaires à la réalisation d'un certain niveau de résultat pour différentes politiques.
1.1.3.4.2. Les ressources financières mobilisées par la politique ont-elles été bien utilisés ? les résultats de la politique sont-ils à la mesure des sommes dépensées ?
1.1.3.5. Impact (effectivité)
1.1.3.5.1. Quelles sont les conséquences globales de la politique pour la société ? ces conséquences sont-elles bénéfiques ?
1.1.3.6. Pertinence
1.1.3.6.1. Une politique sera dite pertinente si ses objectifs explicites sont adaptés à la nature du (des) problème(s) qu'elle est censée résoudre ou prendre en charge.
1.2. Conception et pilotage de l'évaluation
1.2.1. Conception
1.2.1.1. Qualité de l'évaluation
1.2.1.1.1. Les jugements de valeur portés par l'évaluation doivent être perçus par eux comme fondés sur des arguments légitimes
1.2.1.1.2. Utilité-pertinence : L'évaluation doit répondre aux questions que se pose le commanditaire
1.2.1.1.3. Fiabilité : L'exactitude des informations collectées et à la valeur scientifique des imputations causales sur lesquelles se fonde le jugement évaluatif.
1.2.1.1.4. Objectivité : une autre évaluation répondant aux mêmes questions et utilisant les mêmes méthodes conduirait aux mêmes conclusions.
1.2.1.1.5. Possibilité de généralisation : il s'agit de savoir dans quelle mesure les conclusions portées sur les effets d'une action publique à partir d'observations faites sur un certain type de terrain pendant une période donnée peuvent être étendues à d'autres situations, à d'autres contextes, voire à des politiques différentes.
1.2.1.1.6. Transparence : outre l'exigence d'un exposé complet et rigoureux des méthodes mises en oeuvre, ce critère inclut l'idée que l'évaluation doit expliciter son propre "mode d'emploi" et ses limites : positionnement par rapport à d'autres évaluations possibles sur le même sujet, rappel des questions auxquelles il n'est pas ou incomplètement répondu, anticipation des objections possibles, etc.
1.2.1.2. Caractéristiques de l'évaluation
1.2.1.2.1. Commanditaire
1.2.1.2.2. Types d'objets
1.2.1.2.3. Destinataire
1.2.1.2.4. Temps
1.2.1.3. Projet d'évaluation
1.2.1.3.1. Etapes du projet
1.2.1.4. Cahier des charges : document servant de base à une relation contractuelle entre le commanditaire d'une étude spécifique et un opérateur.
1.2.1.5. Mandat d'évaluation : document par lequel le commanditaire politique confie officiellement la responsabilité de l'évaluation à un évaluateur
1.2.1.5.1. Questions du commanditaire
1.2.1.5.2. Description du dispositif institutionnel
1.2.1.5.3. Description du matériel de l'évaluation
1.2.1.5.4. Précision des délais pour la remise du rapport d'évaluation
1.2.2. Pilotage
1.2.2.1. L'instance d'évaluation
1.2.2.1.1. Rôle
1.2.2.1.2. Composition
1.2.2.1.3. Fonctionnement
1.3. Rapport
1.3.1. Structure
1.3.1.1. Des éléments d'information suffisants sur la politique évaluée
1.3.1.1.1. l'historique des mesures examinées
1.3.1.1.2. l'analyse des textes établissant ces mesures
1.3.1.1.3. l'exposé des objectifs du gouvernement
1.3.1.1.4. des éléments de cadrage statistique
1.3.1.2. Un exposé méthodologique rappelant les différentes étapes de l'évaluation depuis l'élaboration du projet initial jusqu'à la rédaction du rapport final
1.3.1.3. Un bref compte rendu des études réalisées
1.3.1.4. Des développement informatifs
1.3.1.5. Des raisonnements bien identifiés
1.3.1.6. Des recommandations
1.3.1.6.1. Le statut de ces prises de positions doit être précisé
1.4. Outils de l'évaluation
1.4.1. Informations mobilisées et registre de l'argumentation
1.4.1.1. Caractéristiques de l'évaluation
1.4.1.1.1. cherche à utiliser toutes les "heuristiques"
1.4.1.1.2. cherche à s'adapter aux conditions réelles de la délibération et de la prise de décision
1.4.1.1.3. n'exclut a priori aucun élément d'information concernant son objet, quelle que soit sa nature
1.4.1.1.4. s'efforce de ne pas mélanger les différents types d'arguments, mais de les hiérarchiser, de les pondérer, et de relier chacun à des conclusions spécifiques.
1.4.1.2. Nature de l'information
1.4.1.2.1. Quantitative
1.4.1.2.2. Qualitative
1.4.1.3. Registre de l'argumentaiton
1.4.1.3.1. Registre du constat
1.4.1.3.2. Registre démonstratif et interprétatif
1.4.1.3.3. Registre de l'opinion
1.4.2. Techniques de collecte de l'information
1.4.2.1. Des informations préexistantes
1.4.2.1.1. des études et recherches portant sur des sujets connexes ou apparentés
1.4.2.1.2. des statistiques publiées ou immédiatement disponibles
1.4.2.1.3. des informations de toutes natures détenues par les gestionnaires de la politique.
1.4.2.2. Des enquêtes et investigations spécifiques
1.4.2.2.1. Les études documentaires et historiques
1.4.2.2.2. Les enquêtes
1.4.2.2.3. Le panel
1.4.2.2.4. L'entretien
1.4.2.2.5. Les études de cas
1.4.2.2.6. Les groupes d'acteurs et d'experts
1.4.2.2.7. La perspective ethno-sociologique
1.4.3. Le traitement des informations par la statistique
1.4.3.1. Définition
1.4.3.1.1. "ensemble de techniques d'interprétation mathématique appliquées à des phénomènes pour lesquels une étude exhaustive de tous les facteurs est impossible à cause de leur grand nombre et de leur complexité".(Grand Robert)
1.4.3.2. Types de mises en oeuvre des statistiques
1.4.3.2.1. Description résumée des données (statistiques descriptives)
1.4.3.2.2. Analyse des données
1.4.3.2.3. Vérification probabiliste des hypothèses
1.4.3.3. Les cadres de rangement de l'information
1.4.3.3.1. Nomenclatures et concepts
1.4.3.3.2. Cohérence des nomenclatures
1.4.3.3.3. Triangulation" des données
1.4.3.4. Le problème de la causalité et l'analyse des systèmes complexes
1.4.3.4.1. But de l'évaluation
1.4.3.4.2. Les difficultés de l'expérimentation
1.4.3.4.3. Causalité et modélisation
1.4.3.4.4. Les limites de l'approche causale et l'analyse des systèmes sociaux