Méthodes économétriques d’évaluation d'impact

Les méthodes d’évaluation basées sur les données sont aujourd’hui fréquemment utilisées pour mesurer les effets des interventions publiques (réformes, programmes d’assistance, etc). Il est important de distinguer l’évaluation ex ante, qui repose sur la simulation des interventions envisagées à partir d’un modèle économétrique structurel estimé avant leur mise en oeuvre (voir ci-dessous), de l’évaluation ex post, qui est réalisée à l’aide de données collectées après leur mise en oeuvre.

Pour l’essentiel, l’évaluation ex post est fondée sur la comparaison entre des individus, ménages ou entreprises bénéficiant de l’intervention (groupe de traitement) et des individus, ménages ou entreprises n’en bénéficiant pas (groupe de contrôle, ou contre-factuel). Différentes méthodes économétriques existent et le choix de l’approche à appliquer dépend fortement de la manière dont ont été constitués le groupe de contrôle et le groupe de traitement. Le cadre d’analyse idéal, celui des expérimentations contrôlées, correspond au cas où les membres des deux groupes sont choisis de manière aléatoire (par tirage au sort). Cette situation est cependant relativement rare en pratique.

En l’absence de tirage aléatoire des groupes de traitement et de contrôle, les estimations sont susceptibles d’être polluées par un biais de sélection de ces deux groupes. Lorsque ce biais de sélection peut être expliqué par des variables observables (hypothèse d’indépendance conditionnelle à des caractéristiques observables), il est possible de recourir à des techniques classiques de régression pour estimer l’impact des réformes. D’autres méthodes, telles que l’appariement ou le score de propension, sont également utilisés.

Lorsque l’hypothèse d’indépendance conditionnelle est violée, ces méthodes produisent des estimations biaisées. Il est alors nécessaire d’envisager d’autres approches :

Les variables instrumentales
Cette méthode utilise des variables corrélées avec la variable de traitement, mais pas avec la variable qui mesure le résultat de l’intervention.

La régression avec discontinuité
Cette méthode est appliquée dans les cas où la probabilité de traitement est une fonction discontinue de la valeur prise par une covariable autre que la variable de résultat (par exemple, l’âge ou le revenu de l’individu, l’effectif de l’entreprise,…).

L’estimateur des doubles différences (ou différences des différences)
Cette méthode très répandue consiste à contraster le changement de la variable de résultat entre le groupe de contrôle et le groupe de traitement, avant et après l’intervention. Sa principale faiblesse réside dans l’hypothèse des « évolutions parallèles » des groupes de contrôle et de traitement en l’absence d’intervention publique.

La MCS (Méthode des Contrôles Synthétiques)
Il s’agit d’une méthode plus récente qui permet de s’affranchir de l’hypothèse des évolutions parallèles. La MCS permet de créer une unité de contrôle synthétique qui représente le contre-factuel de l’unité traitée. Cette unité synthétique est créée de manière automatique en appliquant des poids optimaux à l’ensemble des unités de contrôle, de manière à minimiser la distance avant intervention entre l’unité traités et l’unité synthétique. Un exemple d’application est donné ci-dessous.

Exemple d’application: la Méthode des Contrôles Synthétiques

Cette méthode a été appliquée récemment par ECOPA pour évaluer une série de réformes dans les pays de l’Organisation pour l’Harmonisation en Afrique du Droit des Affaires (OHADA). Un exemple de ces réformes est l’Acte Uniforme sur l’Organisation des Sûretés, mis en œuvre en 2011, qui a élargi la gamme d’actifs pouvant être utilisés comme sûretés, et introduit la réalisation d’une sûreté « autonome » et extrajudiciaire. La MCS a permis d’estimer rigoureusement l’impact de cette réforme sur l’accès au crédit dans 10 pays membres de l’OHADA. Les résultats indiquent que 7 des 10 pays (Burkina Faso, Cameroun, Comores, Mali, Sénégal, Togo et la République centrafricaine) affichent un fort impact positif en termes de crédits supplémentaires, allant de 30 millions USD (Comores) à plus de 1 milliard USD (Sénégal) sur la période 2011-2015.

Analyse des séries temporelles et des données de panel

L’analyse économétrique des séries temporelles peut permettre une évaluation ex ante d’une réforme basée sur les données relativement simple. Elle consiste à estimer les corrélations entre plusieurs séries temporelles (par exemple : séries temporelles des taux d’imposition d’un impôt donné et des recettes correspondantes) et d’en déduire la réponse probable d’une variable d’intérêt en fonction d’un changement exogène d’une variable de politique (par exemple : réponse des recettes à un changement de taux d’un impôt donné).

Cette approche met en œuvre des techniques économétriques permettant de contrôler les effets exogènes étrangers à la politique ou au programme à évaluer. Par exemple, en matière de fiscalité, l’effet d’un taux d’imposition sur les recettes fiscales correspondantes peut être influencé par le PIB par tête. Celui-ci est alors introduit dans le modèle économétrique comme variable de contrôle, ce qui permet d’isoler l’effet propre du taux d’imposition.

L’analyse des données de panel est une extension de l’analyse des séries temporelles où les données comprennent plusieurs observations au cours du temps pour chaque individu (ménage, entreprise, région, etc.) dans la population.

Ces techniques sont habituellement simples du point de vue du mécanisme causal testé, mais impliquent une compétence économétrique pointue, selon la structure des données.

Micro simulations

Les modèles de micro simulation sont des outils d’analyse permettant de simuler ex ante les effets d’une réforme ou d’un programme donné sur un échantillon d’agents (individus ou entreprises), ou éventuellement la population entière quand cela est possible, au niveau individuel. La simulation d’une réforme de politique économique consiste à évaluer les effets du changement qu’elle produit sur cet échantillon d’agents et leur activité ou comportement.

Par exemple, un modèle de micro simulation peut être efficace à simuler ex ante les effets d’un changement du barème progressif de l’impôt sur le revenu des personnes physiques en l’appliquant individuellement à chaque contribuable pour en déduire la nouvelle distribution de l’impôt dû et le total des recettes attendues. De même, l’approche par micro simulation a été largement utilisée pour simuler les effets de politiques d’aide aux ménages en fonction de leurs caractéristiques individuelles.

Si la théorie sous-jacente aux modèles de micro simulation est généralement simple, le défi analytique tient à la préparation et à la manipulation de données microéconomiques souvent lourdes.

ECOPA a fréquemment mis en œuvre des modèles de micro simulation dans le domaine de la fiscalité des entreprises et des ménages.

Modèles macroéconomiques d’équilibre général calculable

Ces modèles sont basés sur les comptes nationaux retraçant les échanges entre agents et secteurs d’une région ou d’un pays. Ils permettent l’évaluation ex ante d’un choc de politique tel qu’un changement de taux d’un instrument fiscal donné ou d’une baisse de droits de douane consécutive à un accord de libre-échange.

Ces modèles, qui sont mis en œuvre sur des logiciels spécialisés (par exemple GAMS) sont puissants, mais complexes. Leur mise en œuvre a un coût d’entrée élevé, notamment pour ce qui concerne la mise au point de la base informationnelle adaptée à la politique ou au programme à évaluer. Par exemple, pour une mesure d’aide aux ménages, il faudra isoler dans les données les ménages concernés et le flux de revenu qui sera directement impacté par l’aide concernée. Ces techniques sont donc à réserver aux évaluations de grande envergure. Elles ont fait leur preuve dans l’analyse ex ante des accords de commerce international.