class: center, middle # Tema 8. Experimentos e Identificación ### Dr. Francisco J. Cabrera-Hernández #### Econometría #### Licenciatura en Economía Otoño 2026 #####CIDE Santa Fe, Ciudad de México. --- # Outline - **Preguntas sobre preguntas** - Sesgo de selección - Asignación aleatoria al tratamiento - Análisis de regresión de experimentos - Malos controles --- ## ¿Cuál es la relación causal de interés? - Una agenda de investigación coherente, interesante y factible es la base sólida sobre la que se construyen análisis estadísticos útiles. - Al inicio debemos preguntarnos: **¿cuál es la relación causal de interés?** - La investigación descriptiva tiene su lugar, pero las preguntas más interesantes son causales. - Una relación causal nos dice qué ocurriría en mundos alternativos (o "contrafactuales"). --- ## Experimentos - Describir el experimento ideal ayuda a formular con precisión las preguntas causales. - La mecánica de un experimento ideal resalta las fuerzas que quisiéramos manipular: "encuentra tu fuente de variación". - En el caso de escolaridad y salarios podemos imaginar que ofrecemos a quienes están en riesgo de abandonar la escuela una recompensa por terminar. - En el caso de las instituciones políticas, nos gustaría regresar en el tiempo y asignar aleatoriamente distintas estructuras de gobierno a las excolonias (imposible) - La mayoría de los experimentos son hipotéticos. Pero vale la pena contemplarlos, porque nos ayudan a elegir temas de investigación fructíferos. --- ## Fundamentally Unidentified Questions (FUQ'd) - Las preguntas sobre el efecto causal de la raza o el género: estas características son difíciles de aislar. - "Imagina que tus cromosomas se intercambiaron al nacer". No es posible, pero hay estudios que usan solicitantes de empleo y currículums ficticios. <img src="data:image/png;base64,#cvs.jpg" width="33%" style="display: block; margin: auto;" /> --- ## Realmente FUQ'd - ¿A los niños les va mejor en la primaria si entran antes a la escuela? - El cerebro de un niño de 7 años está mejor preparado. Si unos entran a los 6 años y otros a los 7, no podemos compararlos. - Si esperamos a que ambos tengan 7 años, algunos ya estarán en segundo grado. - El efecto de la edad de ingreso sobre las calificaciones en la primaria es FUQ'd. --- ## ¿Cuál es tu estrategia de identificación? - Un investigador puede usar **datos observacionales** (es decir, datos que no provienen de un Randomized Control Trial, RCT) para aproximar un experimento real. - El trimestre de nacimiento está relacionado con los años de escolaridad (Angrist y Krueger, 1991). - La distancia a la universidad puede aumentar la propensión a inscribirse (Angrist y Krueger, 1994) - Las estrategias de identificación creíbles son emblemáticas del trabajo empírico moderno. --- ## E.g. una variable instrumental "Shift-Share" <img src="data:image/png;base64,#variation.png" width="100%" style="display: block; margin: auto;" /> --- ## ¿Cuál es tu modo de inferencia estadística? - La población a estudiar. - El método a usarse (Regresión Multiple, DiD, TWFE, RDD) - La muestra que se utilizará. - Los supuestos al construir los errores estándar (p. ej., agrupados o *en cluster*). --- # El ideal experimental <img src="data:image/png;base64,#earth.png" width="80%" style="display: block; margin: auto;" /> --- class: indice # Outline - Preguntas sobre las preguntas - **Sesgo de selección** - Asignación aleatoria al tratamiento - Análisis de regresión de experimentos - Malos controles --- ## Sesgo de selección - Los diseños de investigación más creíbles e influyentes usan asignación aleatoria. - ¿Por qué son el *golden standard*? Imaginemos que queremos saber si las visitas al hospital en el último año hacen a las personas más sanas: `$$\text{Salud}_{it} = \alpha + D_1 \text{Hospital}_t + \dots + U_{it}$$` ¿Cuál es el problema? --- ## Sesgo de selección | Grupo | Tamaño de muestra | Estado de salud promedio | Error estándar | |:------|:-----------------:|:------------------------:|:--------------:| | Hospital | 7,774 | 2.79 | 0.014 | | Sin hospital | 90,049 | 2.07 | 0.003 | La diferencia de medias es 0.71, un contraste grande y altamente significativo a favor de los *no hospitalizados*, con un estadístico `\(t\)` de 58.9. - Esto sugiere que ir al hospital enferma a las personas (**problema de autoselección**). --- ## "Formalmente" - Hospital: `\(D_i \in \lbrace 0,1 \rbrace\)` - Resultados potenciales: `$$Y_{1i} \mid D_i = 1$$` `$$Y_{0i} \mid D_i = 0$$` `$$\begin{aligned} Y_i &= \begin{cases} Y_{1i} & \text{si } D_i = 1 \cr Y_{0i} & \text{si } D_i = 0 \end{cases} \cr \end{aligned}$$` `$$Y_i = Y_{0i} + (Y_{1i} - Y_{0i}) D_i$$` - `\(Y_{1i} - Y_{0i}\)` es el efecto causal de la hospitalización para un individuo. - Pero nunca observamos ambos resultados potenciales para una misma persona. --- ## Comparación ingenua Una comparación ingenua de promedios según hospitalización: `$$\begin{aligned} \underbrace{E[Y_i|D_i=1] - E[Y_i|D_i=0]}_{\text{Diferencia observada en la salud promedio}} &= \underbrace{E[Y_{1i}|D_i=1] - \color{green}{E[Y_{0i}|D_i=1]}}_{\text{efecto promedio del tratamiento en los tratados (ATT)}} \cr &\quad + \underbrace{ \color{green}{E[Y_{0i}|D_i=1]} - E[Y_{0i}|D_i=0]}_{\text{sesgo de selección}} \end{aligned}$$` - `\(E[Y_{1i}|D_i=1]\)` es la salud promedio de los hospitalizados con hospitalización. Lo observamos. - `\(E[Y_{0i}|D_i=1]\)` es la salud promedio que **los mismos hospitalizados** habrían tenido **sin** hospitalización. Es el contrafactual y no se observa. - `\(E[Y_{0i}|D_i=0]\)` es la salud promedio de los **no hospitalizados**, sin hospitalización (i.e. es mejor). Lo observamos. --- ## Comparación ingenua Aquí: `$$E[Y_{1i}|D_i=1]-E[Y_{0i}|D_i=1]=E[Y_{1i}-Y_{0i}|D_i = 1]$$` Es el efecto causal promedio en los hospitalizados: - Su resultado `\(E[Y_{1i}|D_i=1]\)` frente al que habrían tenido en caso de NO haber sido hospitalizados, `\(E[Y_{0i}|D_i=1]\)`. --- ## Comparación ingenua `$$\underbrace{{E[Y_{0i}|D_i=1]} - E[Y_{0i}|D_i=0]}_{\text{sesgo de selección}}$$` - El **sesgo de selección** es la diferencia en el `\(Y_{0i}\)` promedio entre quienes fueron y quienes NO fueron hospitalizados. - Quienes fueron hospitalizados tienen peor `\(Y_{0i}\)` (quienes no lo fueron tienen mejor $Y_{0i}) por lo que el sesgo de selección es negativo. - El sesgo de selección puede ser tan grande (en valor absoluto) que oculta un efecto positivo del tratamiento. --- # Outline - Preguntas sobre las preguntas - Sesgo de selección - **Asignación aleatoria al tratamiento** - Análisis de regresión de experimentos - Malos controles --- ## Asignación aleatoria al tratamiento - Hace que `\(D_i\)` sea independiente de los resultados potenciales: `$$\begin{aligned} E[Y_i|D_i=1] - E[Y_i|D_i=0] &= E[Y_{1i}|D_i=1] - E[Y_{0i}|D_i=0] \cr &= E[Y_{1i}|D_i=1] - E[Y_{0i}|D_i=1] \end{aligned}$$` - La independencia entre `\(Y_{0i}\)` y `\(D_i\)` nos permite escribir `\(E[Y_{0i} | D_i = 1]\)` en lugar de `\(E[Y_{0i}|D_i = 0]\)` en la segunda línea. - `\(E[Y_{1i}|D_i=1]\)` es la salud promedio de los tratados **con** tratamiento. Lo observamos. - `\(E[Y_{0i}|D_i=1]\)` es la salud promedio que **los mismos tratados** habrían tenido **sin** tratamiento. **Es el contrafactual.** --- ## Asignación aleatoria al tratamiento Se simplifica a: `$$\begin{aligned} E[Y_{1i}|D_i=1] - E[Y_{0i}|D_i=1] &= E[Y_{1i} - Y_{0i}|D_i=1] \cr &= E[Y_{1i} - Y_{0i}] \end{aligned}$$` Este es el **efecto promedio del tratamiento (ATE) de la hospitalización en pacientes elegidos aleatoriamente**. --- ## Más sobre el sesgo de selección - Un ejemplo icónico de la economía laboral es la evaluación de programas de capacitación subsidiados por el gobierno. - La idea es aumentar el empleo y los ingresos. - Sin embargo, la evidencia **no experimental** muestra que los capacitados ganan menos que grupos de comparación plausibles. - ¿Por qué ocurre esto? --- ## Más sobre el sesgo de selección - Otra pregunta importante ha sido: "¿Cuál es el efecto del tamaño del grupo sobre el aprovechamiento de los estudiantes?" - ¿Cuál es el problema de identificación? - ¿Cómo lo resolverías experimentalmente? ¿Cómo lo harías de manera no experimental? --- ## Validez interna vs. validez externa - Los experimentos tienen una fuerte *validez interna*, pero la mayoría de las veces son poco prácticos. - Costos altos, larga duración y baja *validez externa* (poca capacidad de generalización). --- ## Validez interna vs. validez externa - Hay otros problemas, como el "efecto Hawthorne". <img src="data:image/png;base64,#howth.png" width="60%" style="display: block; margin: auto;" /> - Aun así, un RCT hipotético es nuestro punto de referencia. --- ## Distribución de un RCT - Tutores en secundaria <img src="data:image/png;base64,#tutores.jpg" width="80%" style="display: block; margin: auto;" /> --- ## Distribución de un RCT - Tutores en secundaria <img src="data:image/png;base64,#notas1.png" width="100%" style="display: block; margin: auto;" /> --- ## Distribución de un RCT - Tutores en secundaria <img src="data:image/png;base64,#notas2.png" width="70%" style="display: block; margin: auto;" /> --- ## Distribución de un RCT (con *n* pequeña) - Tutores en secundaria <img src="data:image/png;base64,#notas3.png" width="70%" style="display: block; margin: auto;" /> --- # Outline - Preguntas sobre las preguntas - Sesgo de selección - Asignación aleatoria al tratamiento - **Análisis de regresión de experimentos** - Malos controles --- ## Análisis de regresión de experimentos - Supongamos que el efecto del tratamiento es el mismo para todos: `\(Y_{1i} - Y_{0i} = \rho\)` `$$Y_i = \underbrace{\alpha}_{E(Y_{0i})} + \underbrace{\rho}_{Y_{1i} - Y_{0i}} D_i + \underbrace{\eta_i}_{Y_{0i} - E(Y_{0i})}$$` - Donde `\(\eta_i\)` es la parte aleatoria de `\(Y_{0i}\)`. --- ## Análisis de regresión de experimentos `$$E[Y_{i}|D_i =1] = \alpha + \rho + E[\eta_i|D_i=1]$$` `$$E[Y_{i}|D_i =0] = \alpha + E[\eta_i|D_i=0]$$` por lo tanto: `$$E[Y_{i}|D_i =1]-E[Y_{i}|D_i =0] = \rho + E[\eta_i|D_i=1] - E[\eta_i|D_i=0]$$` - Donde `\(E[\eta_i|D_i=1] - E[\eta_i|D_i=0]\)` es el sesgo de selección: la correlación entre el error de regresión `\(\eta_i\)` y el regresor `\(D_i\)`. - Si `\(D_i\)` se asigna aleatoriamente, el término de selección desaparece y `\(\rho\)` es el efecto causal. --- ## Análisis de regresión de experimentos Por lo tanto: `$$Y_i = \alpha + \rho D_i + X'_i\sigma + \eta_i$$` - Incluir covariables no debería cambiar `\(\rho\)`, ya que estas están "balanceadas" entre tratados y no tratados. - Pero sí reducen la varianza residual. --- ## El experimento STAR <img src="data:image/png;base64,#star.png" width="85%" style="display: block; margin: auto;" /> --- ## El experimento STAR <img src="data:image/png;base64,#star1.png" width="75%" style="display: block; margin: auto;" /> --- ## Regresión y causalidad - ¿Cuándo podemos pensar que un coeficiente de regresión aproxima el efecto causal que revelaría un experimento? - E.g. La relación causal entre escolaridad e ingresos puede definirse como la relación funcional que describe lo que un individuo `\(i\)` ganaría si obtuviera distintos niveles de educación de forma exógena. - En el trabajo empírico, la relación causal entre escolaridad e ingresos nos dice lo que las personas ganarían *en promedio* si pudiéramos cambiar su escolaridad en un entorno perfectamente controlado. - Duflo, por ejemplo, estudió la expansión educativa básica acelerada en Indonesia. --- ## Regresión y causalidad - Esto lleva al *supuesto de independencia condicional (CIA)*, un supuesto central que justifica la interpretación causal de la regresión. - A este supuesto a veces se le llama *selección en observables*, porque las covariables que se mantienen fijas son observadas. - La relación causal entre asistir a la universidad y un resultado futuro, como los ingresos, puede describirse con la notación de resultados potenciales. - En este caso, `\(Y_{0i}\)` son los ingresos sin universidad, mientras que `\(Y_{1i}\)` son los ingresos si la persona asiste. --- ## Regresión y causalidad `$$\text{resultado potencial} = \begin{cases} Y_{1i} & \text{si } C_i = 1 \cr Y_{0i} & \text{si } C_i = 0 \end{cases}$$` `$$Y_i = Y_{0i} + (Y_{1i} - Y_{0i}) C_i$$` - Observamos `\(Y_{0i}\)` o `\(Y_{1i}\)`, pero nunca ambos. --- class: eq-sm ## Regresión y causalidad - Por ello, buscamos medir el promedio de `\(Y_{1i} - Y_{0i}\)`, o el promedio para algún grupo, como quienes fueron a la universidad: `\(E[Y_{1i} - Y_{0i}| C_i = 1]\)`. Sin embargo, tenemos un sesgo. `$$\begin{aligned} \underbrace{E[Y_i|C_i=1] - E[Y_i|C_i=0]}_{\text{Diferencia observada en ingresos}} &= \underbrace{E[Y_{1i} - Y_{0i}|C_i=1]}_{\text{efecto promedio del tratamiento en los tratados}} \cr &\quad + \underbrace{E[Y_{0i}|C_i=1] - E[Y_{0i}|C_i=0]}_{\text{sesgo de selección}} \end{aligned}$$` --- ## Regresión y causalidad - Es probable que quienes van a la universidad hubieran ganado más de todos modos. Si es así, el sesgo de selección es positivo y la comparación ingenua exagera el "premio universitario". - La CIA establece que: `\(\lbrace Y_{1i} , Y_{0i} \rbrace \perp C_i \mid X_i\)` - O bien: `\(E[Y_i | X_i, C_i = 1] - E[Y_i|X_i, C_i=0] = E[Y_{1i}-Y_{0i}|X_i]\)` - En otras palabras, los resultados potenciales (salarios) son independientes de asistir a la universidad, una vez que controlamos por `\(X\)`. --- class: indice # Outline - Preguntas sobre las preguntas - Sesgo de selección - Asignación aleatoria al tratamiento - Análisis de regresión de experimentos - **Malos controles** --- ## Malos controles: ¿más es mejor? - Controlar por covariables puede hacer más plausible la CIA. Pero más no siempre es mejor. - Los malos controles son variables que son en sí mismas *variables de resultado* en el experimento hipotético en cuestión. - Los buenos controles son variables que podemos considerar fijas al momento en que se determinó el regresor de interés. - La esencia del problema de los malos controles es una versión del sesgo de selección. --- ## Malos controles: ¿más es mejor? - Un título universitario abre la puerta a empleos de cuello blanco mejor pagados. - ¿Debería entonces considerarse la ocupación una variable omitida en una regresión de salarios sobre escolaridad? - Si la universidad afecta la ocupación, las comparaciones de salarios por título universitario dentro de una ocupación ya no son comparaciones de "peras con peras". - **Esto, aun si la obtención del título se asigna aleatoriamente**. --- ## Malos controles formalmente - `\(W_i\)` indica trabajadores de cuello blanco y `\(Y_i\)` el salario (resultado). Supongamos que la universidad, `\(C_i\)`, se asigna aleatoriamente. `$$\begin{aligned} Y_i &= C_i Y_{1i} + (1 - C_i) Y_{0i} \cr W_i &= C_i W_{1i} + (1 - C_i) W_{0i} \end{aligned}$$` `$$\begin{aligned} E[Y_i|C_i=1] - E[Y_i|C_i=0] &= E[Y_{1i} - Y_{0i}] \cr E[W_i|C_i=1] - E[W_i|C_i=0] &= E[W_{1i} - W_{0i}] \end{aligned}$$` --- ## Malos controles formalmente - Podríamos estimar estos efectos promedio del tratamiento simplemente regresando `\(Y_i\)` y `\(W_i\)` sobre `\(C_i\)`. - Mal control: una comparación de ingresos condicional en `\(W_i\)` no tiene interpretación causal. - Consideremos la diferencia en ingresos promedio entre graduados universitarios y los demás, condicional en tener un empleo de cuello blanco... --- class: eq-sm ## Malos controles formalmente - El estimando para las personas con empleo de cuello blanco es la diferencia de medias con `\(C_i\)` encendido y apagado, condicional en `\(W_i = 1\)`: `$$\begin{aligned} & E[Y_i|W_i=1, C_i=1] - E[Y_i|W_i=1, C_i=0] \cr &= E[Y_{1i}|W_{1i}=1, C_i=1] - E[Y_{0i}|W_{0i}=1, C_i=0] \end{aligned}$$` Por la independencia conjunta de `\(\lbrace Y_{1i}, W_{1i}, Y_{0i}, W_{0i} \rbrace\)` y `\(C_i\)`, tenemos: `$$\begin{aligned} & E[Y_{1i}|W_{1i}=1, C_i=1] - E[Y_{0i}|W_{0i}=1, C_i=0] \cr &= E[Y_{1i}|W_{1i}=1] - E[Y_{0i}|W_{0i}=1] \end{aligned}$$` --- class: eq-sm ## Malos controles formalmente - Esta expresión denota una comparación de "peras con manzanas": `$$\begin{aligned} & E[Y_{1i}|W_{1i}=1] - E[Y_{0i}|W_{0i}=1] \cr &= \underbrace{E[Y_{1i} - Y_{0i}|W_{1i}=1]}_{\text{efecto causal en los graduados universitarios}} \cr &\quad + \underbrace{\lbrace E[Y_{0i}|W_{1i}=1] - E[Y_{0i}|W_{0i}=1] \rbrace}_{\text{sesgo de selección}} \end{aligned}$$` - Alguien que obtiene un empleo de cuello blanco sin tener título universitario (es decir, `\(W_{0i} = 1\)`) probablemente es "especial", es decir, tiene un `\(Y_{0i}\)` mayor al promedio. --- ## Malos controles - En la columna (5) ya no sabemos si la reducción del coeficiente se debe a sesgo por variable omitida o a la (auto)selección en ocupaciones afectadas por la universidad. <img src="data:image/png;base64,#returns.png" width="80%" style="display: block; margin: auto;" /> --- ## Malos controles: variables *proxy* - Una segunda versión del problema de malos controles involucra el control *proxy*. - Esto es, incluir variables que podrían controlar parcialmente por factores omitidos, pero que a su vez son afectadas por la variable de interés. - Está bien controlar por el CI en una regresión de salarios sobre educación si este se mide antes de la escolarización. De lo contrario: `$$\begin{aligned} Y_i &= \alpha + \rho S_i + \gamma a_i + \varepsilon_i \cr a_{li} &= \pi_0 + \pi_1 S_i + \pi_2 a_i \cr Y_i &= \left(\alpha - \gamma \frac{\pi_0}{\pi_2}\right) + \left(\rho - \gamma \frac{\pi_1}{\pi_2}\right) S_i + \frac{\gamma}{\pi_2} a_{li} + \varepsilon_i \end{aligned}$$` --- ## Malos controles: variables *proxy* - Donde `\(a_{i}\)` es la habilidad innata y `\(a_{li}\)` es la habilidad medida después. - Al terminar la escuela. Al sustituir `\(a_{i}\)` por `\(a_{li}\)` atenuamos el efecto `\(\rho\)`, a menos que `\(\pi_1 = 0\)`. Razonar con claridad sobre los canales causales requiere: - Supuestos explícitos sobre qué ocurrió primero. - Afirmar que ninguna de las variables de control es causada por el regresor de interés. --- class: seccion, center, middle # FIN