Evaluation de France Relance
Modules 2, 3 et 5

Comité de pilotage

Jérôme Creel

OFCE & ESCP

Xavier Joutard

OFCE & AMU

Ombeline Jullien de Pommerol

OFCE

Paul Malliet

OFCE

Anissa Saumtally

OFCE

Aurélien Saussay

LSE & OFCE

Xavier Timbeau

OFCE

Benoît Williate

OFCE

jeudi 9 novembre 2023

Introduction

Introduction

Module 5 : Premières évaluations ex post

Module 5 : Autres méthodes

Module 2 : Evaluation macrosectorielle

Module 3 : Revue de littérature

Annexes

Premiers résultats d’évaluation ex-post


  1. Par une méthode de repondération (reweighting), on identifie sur une base géographique un effet significatif du plan de relance (de certaines mesures, liées au bâtiment) sur l’emploi dans le batiment avec un effet multiplicateur de l’ordre de 0.8

    • Premiers tests de robustesse OK

    • Pas d’effet estimé sur les DPE, mais limite des données

    • A confirmer avec d’autres méthodes (Chaisemartin et al, contrôle synthétique)


  1. A partir des données sur les mesures, évaluation macro des effets du plan de relance; A ce stade, pas de cohérence avec le 1. et une difficulté sur les baisses d’émissions

Module 5 : Premières évaluations ex post

Introduction

Module 5 : Premières évaluations ex post

Module 5 : Autres méthodes

Module 2 : Evaluation macrosectorielle

Module 3 : Revue de littérature

Annexes

Identifier les effets du plan de relance

  • Base de données: montants engagés dans le cadre FR à un niveau fin (zones d’emploi). Nous nous concentrons sur les montants concernant le secteur de la construction car les effectifs de celui-ci peuvent être supposés proches géographiquement des lieux de travaux.

  • La dose de traitement D est définie pour chaque zone d’emploi comme la somme cumulée des montants enregistrés pour 2020-2022, normalisés par la masse salariale 2019 de la ZE

D_i = \frac{\sum_{bat}{FR^{2020-2022}_{i, bat}}}{MS^{2019}_{i}}

  • Focus sur les dispositifs ayant trait à la rénovation de bâtiments (MaPrimeRenov, rénovation de bâtiments publics…) ou ceux ayant explicitement été assignés au secteur de la construction par France Stratégie

  • 11.7 milliards d’euros, sur un total de 65.9 milliards répertoriés dans la base

  • Nous examinons l’impact sur l’emploi salarié et le nombre de firmes dans le secteur de la construction, ainsi que sur les DPE.

Identifier les effets du plan de relance

  • France Relance -> l’ensemble des unités a reçu le traitement. La variation entre zones d’emploi dans l’intensité du traitement reçu peut néanmoins être exploitée pour l’identification.

  • Plusieurs approches peuvent être considérées:

    • Repondération des ZE afin de reconstituer une pseudo-population où le traitement serait rendu exogène;
    • Approche par contrôle synthétique;
    • Estimateur de Chaisemartin et al. (2023).

  • A ce stade, seule l’approche par repondération a été mise en oeuvre, donnant de premiers résultats.

Identification: repondération

  • Intuitivement, cette méthode vise à reconstituter un pseudo-groupe de contrôle en surpondèrant les unités comparables (en termes de variables de contrôle) aux unités traitées

  • Soient Y la variable d’outcome, \textbf{X} un vecteur de variables confounders, et D la dose de traitement reçue; Y(a) est l’outcome potentiel pour une dose reçue A = a. L’ADRF \mu(a) est alors identifiable sous les hypothèses causales standard comme:

\mu(a) = \mathbb{E_\textbf{X}}(\mathbb{E}[Y | \textbf{X}, A = a])

  • Par exemple, l’approche par GPS consiste à calculer des poids w permettant d’obtenir une pseudo-population dans laquelle Y(a) est indépendant du traitement A, conditionnellement aux variables \textbf{X}, à partir de la fonction de densité conditionnelle: w = \frac{f_A(A)}{f_{A|\textbf{X}}(A|\textbf{X})}

  • Cette méthode peut poser des problèmes car elle nécessite de correctement spécifier un modèle de la densité conditionnelle du traitement. D’autres méthodes cherchent à directement estimer les poids.

Identification: repondération par DCOW

  • Huling, Greifer, Chen (2023) proposent une méthode de pondération:

    • Qui ne nécessite pas de modéliser f_{A|\textbf{X}}(A|\textbf{X});
    • Simple à mettre en oeuvre (ne nécessite pas de choix en termes d’hyperparamètres, de moments de A et \textbf{X} à décorréler).

  • Un point-clé est que le critère ne cherche pas uniquement à minimiser la dépendance entre A et \textbf{X}, mais également à minimiser l’écart entre les distributions marginales pondérées et les distributions marginales initiales.

  • Les distance covariance optimal independence weights (DCOW) sont définis comme:

w^d_n \in argmin_{\textbf{w}=(w_1,...,w_n) } \mathcal{D}(\textbf{w}) avec \mathcal{D}(\textbf{w}) :

\mathcal{D}(\textbf{w}) = \mathcal{V}_{n,w}^2(\textbf{X},A) + \mathcal{E}(F_{X,w}^n, F_{X}^n) + \mathcal{E}(F_{A,w}^n, F_{A}^n)

  • \mathcal{V}_{n,w}^2(\textbf{X},A) est la distance de covariance pondérée entre les vecteurs et ; \mathcal{V}_{n,w}^2 = 0 lorsque les vecteurs sont indépendants.

  • Les deux termes suivants \mathcal{E} traduisent l’écart, respectivement pour \textbf{X} et \textbf{A}, entre leurs fonctions de distribution cumulative pondérées et leurs fonctions de distribution cumulative marginales originelles. La pondération cherche donc à minimiser la déformation des distributions de \textbf{X} et \textbf{A} .

Corrélation avec l’emploi du bâtiment pré-traitement

Corrélation avec l’emploi du bâtiment pré-traitement (2)

Balance quality between sample

Résultats : ADRF de l’emploi du bâtiment

Résultats : ADRF du nombre de firmes du bâtiment

Résultats : ADRF des DPE résidentiels

Résultats : ADRF des DPE tertiaires

Effet estimé au traitement moyen

Marché de l'emploi Démographie Stock logement DPE
Emploi bâtiment 2022 vs 2015 0.103*** 0.104*** 0.107* 0.099***
(0.013) (0.023) (0.063) (0.034)
Observations 280 280 280 280
Notes: l’échantillon comprend 280 zones d’emplois (ZE). Toutes les variables ci-dessous sont mesurées en 2019
Traitement moyen : ~12.7% de la masse salariale.
Nous considérons ici l’effet moyen et le traitement moyen. On pourrait calculer le ratio effet/traitement moyen. Nous considérons également le traitement et l’effet moyen sur l’échantillon repondéré. On pourrait préferrer l’effet et le traitement sur l’échantillon non repondéré, en pondérant par la masse salariale.

  • Marché de l’emploi inclut le logarithme de la population agée de 25 à 64, du nombre d’employés et de firmes dans le bâtiment et la part de l’emploi dans la construction

  • Démographie complète la part des adultes n’ayant pas obtenu de baccalauréat et la part des retraités

  • Stock logement ajoute la part de maisons, de résidences principales et de propriétaires dans le stock de bâtiment

  • DPE conclut avec la part des logements résidentiels et la parts des bâtiment tertiaires ayant un DPE inférieur ou égal à E

Module 5 : Autres méthodes

Introduction

Module 5 : Premières évaluations ex post

Module 5 : Autres méthodes

Module 2 : Evaluation macrosectorielle

Module 3 : Revue de littérature

Annexes

Estimateur De Chaisemartin et al. (2023)



Ici, la démarche d’évaluation d’impact sur l’emploi présente les particularités suivantes:

  • Le Traitement est Continu

  • Toutes les Zones d’Emploi (ZE) sont traitées en même temps

  • Entre deux années, l’intensité du traitement change potentiellement pour chaque unité-ZE


  • Papier très récent de De Chaisemartin et al. (2023) qui propose des estimateurs de paramètres d’impact de traitement continu

De Chaisemartin et al. (2023) : principes


  • Démarche en double différence en comparant

    • l’évolution de l’outcome des Switchers : unités connaissant des changements d’intensité du traitement entre deux périodes

    • à celle des Stayers : unités au traitement inchangée entre ces deux périodes

    • Ces deux types d’unités recevant en première période le même traitement (une condition essentielle).


  • Les seconds jouent ainsi le rôle de témoin permettant de reconstituer un contrefactuel .

  • Une extension de ces estimateurs est développée en cas d’absence des Stayers: à la place, les Quasi Stayers (des unités avec des faibles changements par rapport à une intensité initiale) vont endosser le rôle d’unités témoin ou de comparaison avec les Switchers.

De Chaisemartin et al. (2023) : WAOSS

WAOSS : Weighted Average of Switcher’s Slope

On considére deux périodes - désignées par 1 et 2 - , et on note D_{j}, l’intensité du traitement en période j, Y_{j}(D), l’outcome (potentiel) en période j étant donné l’intensité ou la dose de traitement D et l’indicateur S désignant si l’unité est un Switcher (S=1) ou un Stayer (S=0).

\begin{aligned} \delta _{2} & = E[ \frac{\lvert \ D_{2}-D_{1}\rvert} {E(\lvert \ D_{2}-D_{1}\rvert|S=1)} \times \frac{Y_{2}(D_{2})-Y_{1}(D_{1})}{D_{2}-D_{1}}|S=1)] \\ & =\frac{ E[ sgn (\Delta D)\times (\Delta Y-E(\Delta Y| D_{1},S=0)]}{E[\lvert \Delta D\rvert]} \end{aligned}

La première expression se décompose en deux parties/rapports: le premier rapport est un facteur de pondération; le second rapport est un facteur de pente qui décrit pour les Switchers, la moyenne de l’effet du changement d’intensité de l’aide entre les deux périodes rapporté à la variation de l’aide entre ces deux périodes.

La dernière expression est une expression de type Double Différences, comparant la variation de l’outcome moyenne (implicitement pour les Switchers) au contrefactuel (à la variation de l’outcome pour les Stayers).

De Chaisemartin et al. (2023) : Démarche d’estimation


- Avec les Quasi-Stayers, le contrefactuel devient dans l’expression de \delta _{2}: \theta_{0}= E[ sgn (\Delta D)\lim_{\nu \longrightarrow 0} E(\Delta Y| D_{1},D_{2}-D_{1}=\nu)]

  • Pour l’estimer, recours à des estimateurs non paramétriques

  • Cela permet de tenir compte du fait qu’il y a rarement des unités ayant exactement la même intensité du traitement en période initiale, et rarement des situations où la variation de traitement est nulle

  • Cela correspond à un estimateur local par MCO pondéré où les pondérations sont un produit de deux fonctions noyaux accordant d’autant plus de poids

    • que l’unité est proche du traitement initial - première fonction

    • qu’elle a une variation de traitement faible et proche de 0 - seconde fonction

  • Pour chaque montant d’aide initial, D_{1i}, on obtient une estimation pour E(\Delta Y| D_{1i},\Delta D=0) et on calcule la moyenne de ces contrefactuels « limites ».

  • On obtient ensuite l’estimateur final qui repose sur la contre-partie empirique des différents moments de \delta _{2}:

\widehat{\delta _{2}} = \frac{ \frac{1}{n} \sum_{i=1}^{n} sgn (\Delta D_{i})\times \Delta Y_{i}-\widehat{\theta}_{0}}{\frac{1}{n} \sum_{i=1}^{n}\lvert \Delta D_{i}\rvert}

De Chaisemartin et al. (2023) : Points en discussion



  • Question du choix des paramètres de lissage ( fonctions noyau): recours à la validation croisée, partir de valeurs déterminées par une formule optimale connue, 1*EcartType*N^{-1/5}.


  • Question de la précision de l’estimateur: recours au bootstrap.

Contrôles synthétiques : principe


  • Pour chaque zone d’emploi, on construit un contrôle synthétique (CS), en utilisant les variables géographiques de chque zone d’emploi et les évolutions de la variable d’intérêt (emploi, emploi sectorisé, DPE)

  • On calcule en appliquant les poids du CS (sur les autres zones d’emploi) un traitement « synthétique »


  • Le CS est alors un contre-factuel (effet et traitement) de la zone d’emploi

  • On répète sur les zones d’emploi et on estime la pente effet/traitement

Module 2 : Evaluation macrosectorielle

Introduction

Module 5 : Premières évaluations ex post

Module 5 : Autres méthodes

Module 2 : Evaluation macrosectorielle

Module 3 : Revue de littérature

Annexes

Cadre d’analyse

Nous proposons une étude de l’impact du plan France Relance sur l’économie française à court-moyen terme (jusqu’en 2025)

  • Nous mobilisons le modèle macroéconomique multisectoriel ThreeME, développé conjointement par l’ADEME et l’OFCE pour l’analyse économique des politiques environnementales et énergétiques.

  • Modèle d’équilibre général calculable avec des propriétés néo-kéynesiennes (viscosité des prix)

  • Calibré sur des données Eurostat de comptabilité nationale (année de base 2019), avec une distinction maximale de 33 secteurs d’activités et 29 biens et services de consommation (dont 7 produits énergétiques)

    • Pour l’étude du plan France Relance, du fait des informations sectorielles contenues dans les données, nous retenons une granularité de 13 secteurs et produits, calquée sur la nomenclature NAF rév. 2 (A17, avec réaggrégagtion des divisions des industries manufacturières).

    • Cette version réaggrégée de ThreeME implique que les impacts environnementaux et économiques sur certains secteurs sont potentiellement peu précis

Traitement des données en entrée

La base de données France Relance intègre un ensemble de dépenses (1,806,023 observations) représentant un montant total de 67.88 Mds€ qui peut se décomposer de la façon suivante:

  • 4.99 Mds€ en 2020; 27.1 Mds€ en 2021; 20.9 Mds€ en 2022; 0.58 Mds€ en 2023 et 14.3 Mds€ non précisé (NA)
  • 45.02% sont associés à un secteur particulier en 2020 ; 55.66% en 2021 ; 65.25% en 2022, 99.86% en 2023 et 6% NA

Un traitement des données permet de réorganiser les montants des dépenses pour utilisation dans le modèle de deux manières :

  • Reclassement par types de dépenses

  • Fléchage sectoriel si pertinent.

    • Pour certains montants où le secteur n’est pas précisé dans les données, une reventilation pondérée par le poids du secteur dans la VA est effectuée

Récapitulatif des dépenses intégrées après retraitement

Nom de la variable ThreeME Montant modélisé
Aides au transport pour les ménages AIDE_TRSP_HH 3,79 Mds
Aides à la rénovation énergétique des bâtiments pour les ménages (MaPrimRenov’) BUIL_HH_INV 4,84 Mds
Aides à l’investissement pour les secteurs IA_BONUS 21,29 Mds
Aides pour l’emploi LAB_AID 12,86 Mds
Baisse des impôts de production TAXCUT_PROD_FRE 17,65 Mds
Subventions générales SUB_GN 2,82 Mds
Dépenses publiques pour le compte de l’État DEP_PUB_FRE 2,01 Mds
Total 65,27 Mds

Dépenses intégrées après retraitement

Au total, 63.82 Mds d’euros du plan France Relance sont intégrés dans le plan France Relance comme dépenses sectorielles

Aides sectorielles selon la base de données



Aides non-sectorielles selon la base de données

Ventilation des dépenses France Relance dans ThreeME


Scénario de référence


Afin de modéliser le plan France Relance, nous modifions le scénario de référence habituel au cadre de ThreeME (i.e. un steady-state) pour mieux contextualiser le plan d’investissement.

  • Intégration d’un choc Covid basé sur l’article de Malliet et al. (2020) qui analyse l’effet du choc lié au confinement lors de la pandémie du COVID-19 sur la dynamique à long-terme des émissions

  • Baisse exogène des différentes composantes de la demande finale basée sur les travaux de l’OFCE (Dauvin et Sampognaro 2021)

Scénario alternatif : le plan France Relance post-Covid


Dans le scénario alternatif, le plan France Relance est modélisé comme un choc d’investissements s’appliquant au scénario de référence « choc Covid »

  • Nous considérons trois manières d’intégrer les dépenses France Relance:

    • En faisant varier la demande de manière exogène (investissement public)
    • En modifiant les prix finaux par l’intégration d’une composante financée par l’état (aides au financement)
    • En faisant varier les taux d’imposition (taxes sur la production)

Décomposition des canaux d’investissement


  • Le choc se décompose en cinq composantes principales avec des effets différenciés sur l’activité économique et donc les résultats de simulation

    • Investissements directs
    • Aides à l’emploi
    • Réductions sur les impôts de produciton
    • Subventions
    • Aides à la mobilité
    • MaPrimRenov’

Pour une meilleure compréhension des effets, nous réalisons, en plus de la simulation de l’ensemble du plan, des simulations individuelles de chacune de ces composantes

Focus sur MaPrimRenov’


  • Le choc induit par la composante Ma PrimRenov se matérialise dans la modélisation de deux manières:

    • En modifiant le prix de consommation finale pour le bien construction (FZ) calibré selon les montants renseignés dans les données sources
    • En intégrant une cale exogène sur la demande d’énergie finale calibrée à partir de l’étude du CGDD (Rénovation Énergétique 2023)

  • Baisse importante de la consommation de produits énergétiques avec un effet négatif sur l’activité significatif d’un point de vue macroéconomique

    • Pas forcément le comportement attendue dans son ampleur
    • Plusieurs explications possibles (biais d’aggrégation compte tenu du périmètre du secteur : Énergie, eau, déchets , effet différencié sur la part importée et celle domestique, changement de l’intensité carbone de la production…)

Améliorations envisagées


  • Intégration partielle de certains effets dans la caractérisation des chocs, par exemple:

    • Aides à l’emploi sont modélisés comme une baisse du coût moyen du travail alors qu’il se traduit comme un choc sur le coût marginal du travail (coût d’embauche d’une personne supplementaire)

    • Changement des valeurs de paramètres pour accentuer l’effet emploi anticipé sur la base d’études complémentaires

    • Effet différencié sur l’emploi, le niveau de chômage, le taux de participation…

    • Calibration de l’effet de certaines mesures ciblées sur les émissions de CO2, à l’instar du scénario MaPrimRenov’

Diagnostic macro

Impact sur le PIB globalement positif, porté par l’investissement et la consommation des ménages

Figure 1: Evolutions des composantes du PIB volume (a) et leurs contributions (b) en différence relative au scénario baseline

Les prix baissent grâce aux mesures de soutien

Figure 2: Déflateur de prix en différence relative au scénario baseine

Effets par type d’investissement

Montant dépensé (Millions d'euros) Multiplicateur du PIB (volume) Emplois créés (en milliers) Flux annuel moyen des émissions (MtCO2eq)
Investissements directs 21294.83 1.02 221.43 0.71
Aides à l'emploi 12858.57 0.36 77.64 0.17
Réductions sur les impôts à la production 17653.11 0.81 141.54 1.07
Subventions 2821.12 1.37 35.64 0.08
Aides à la mobilité 3786.71 1.59 73.17 0.30
MaPrimRenov 4843.22 -1.20 3.03 -2.22
Plan France Relance 65266.74 0.68 552.21 0.11

Le multiplicateur de PIB : (\frac{\sum_{2020}^{2025}{(PIB_{scen}-PIB_{baseline})}}{\text{Montant de la mesure}})

Plus de 550 000 emplois créés

Créations d’emploi par 100k euros versés

Emissions de gaz à effets de serre : MaPrimRenov’

Figure 3: Emissions (en MtCO2eq) en différence au scénario baseline)

Hypothèses CO2/mesure


  • Les résultats obtenus sur la dynamique des émissions résultent de la structure initiale du modèle en faisant implicitement l’hypothèse que l’investissement modifie l’intensité carbone du secteur par une réallocation des facteurs de production (plus de capital et moins d’énergie) sans hypothèse supplémentaire concernant cette intensité

    • Résultats qui nous apparaissent conservateur dans la mesure où certaines des aides se caractérise par une décarbonation plus importante dans le secteur du fait des investissements
    • Nécessite pour être introduit dans la simulation de disposer d’informations supplémentaires sur la relation volume de CO2 évité / Montant investi
    • En leur absence, des hypothèses générales (reprises dans la littérature scientifique) pourront être formulées avec des tests de sensibilité pour caractériser un intervalle de baisse relative des émissions

  • Concernant les mesures propres à des aides à l’achat à destination des ménages, une approche plus circonstanciée sera apportée pour préciser les effets escomptés sur les émissions comme pour le cas de la composante Ma PrimRenov

Module 3 : Revue de littérature

Introduction

Module 5 : Premières évaluations ex post

Module 5 : Autres méthodes

Module 2 : Evaluation macrosectorielle

Module 3 : Revue de littérature

Annexes

De rares évaluations ex post


Principalement aux USA

  • De Soyres et al. (2022) : projections de données macro. (conso., prod. indus., etc.) sur données de mobilité Google et sur un terme d’interaction entre mesures de soutien budgétaire et données de mobilité. Ils montrent que les mesures de soutien ont eu plus d’impact lors des hausses que lors des baisses de mobilité, et toujours plus d’effets aux Etats-Unis que dans les autres pays avancés (dont l’Europe)

  • Barattieri et al. (2023) : effet multiplicateur calculé à partir de données US d’achat public désagrégées avec matrice I-O (choc sectoriel mais pas géographique). Effets différenciés sur l’emploi selon la place dans les chaînes d’approvisionnement (>0 pour bénéficiaires et amont, <0 en aval). Effet multiplicateur agrégé positif, inférieur à l’unité et persistant.

  • Li et al. (2021) : méthode DiD pour évaluer l’impact géographique des mesures budgétaires de soutien aux ménages vulnérables US. Les mesures budgétaires de soutien à la consommation ont surcompensé les pertes dues au confinement avec grande hétérogénéité spatiale, au bénéfice des Etats dirigés par des Démocrates, et au profit du Sud-Est des Etats-Unis, grand bénéficiaire des aides budgétaires.

Des évaluations ex ante


à partir de modèles d’équilibre général avec des effets multiplicateurs positifs


  • Mesures de soutien budgétaire pendant la crise de Covid-19: Allemagne (Hinterlang et al., 2023), Espagne (Bosca et al. 2021)

  • Effets attendus de NGEU sur la base des engagements de dépenses prévus

    • Espagne : Bosca et al. (2021), Fernandez-Cerezo et al. (2023)

    • Tous les pays de la zone euro : Bankowski et al. (2021), Barbero et al . (2022), Pfeiffer et al. (2021), Watt et Watzka (2020)

Annexes

Introduction

Module 5 : Premières évaluations ex post

Module 5 : Autres méthodes

Module 2 : Evaluation macrosectorielle

Module 3 : Revue de littérature

Annexes

Simulations ThreeME : Contributions à la croissance du PIB

Simulations ThreeME : valeur ajoutée par secteur

Simulations ThreeME : dette publique

Tests de robustesse pour l’approche par repondération

estimate std.error Variable_Names
0.0910320 0.0180588 log_pop_25_64
0.1009337 0.0142010 log_n_firms_2019
0.1095583 0.0153849 log_n_workers_2019
0.1008596 0.0138450 Postes_cons
0.0994537 0.0193928 CSP_Retraites
0.1042365 0.0229279 low_educ
0.0995645 0.0250862 Part_maisons
0.1026019 0.0365980 Resid_prim
0.0955151 0.0346008 E_minus_2019
0.0989600 0.0337016 E_minus_tert_2019
0.0978231 0.0385633 part_proprietaires
0.1003940 0.0491696 Surface_under_70m

Références (partielles)


Dauvin, Magali, et Raul Sampognaro. 2021. « Le modèle mixte: un outil d’évaluation du choc de la Covid-19 ». Revue de l’OFCE, nᵒ 2: 219‑41.
Malliet, Paul, Frédéric Reynès, Gissela Landa, Meriem Hamdi-Cherif, et Aurélien Saussay. 2020. « Assessing short-term and long-term economic and environmental effects of the COVID-19 crisis in France ». Environmental and Resource Economics 76 (4): 867‑83.
Rénovation Énergétique, Observatoire National de la. 2023. « LES RÉNOVATIONS ÉNERGÉTIQUES AIDÉES PAR MaPrimeRénov’ ENTRE 2020 ET 2022 ». Ministère de la Transition Énergétique et de la Cohésion des Territoires.

France Relance COPIL 11/2023 OFCE