Tarea 1 - Experimentos Aleatorios
Jorge Tapia
20/11/2024
1. ¿Cuál es el problema de política pública que busca responder el programa MindSpark? (3 puntos)
El programa aborda el problema del bajo nivel de productividad en los países en vías de desarrollo, como India, en relación con las inversiones realizadas en educación y su impacto en la formación de capital humano. A pesar de que en las últimas dos décadas estos países han experimentado importantes avances en escolaridad, los niveles de aprendizaje no han mostrado un progreso equivalente, manteniéndose muy por debajo de lo esperado. Esto se atribuye a que las inversiones educativas no han logrado enfrentar las restricciones que limitan el aprendizaje, como la falta de apoyo institucional para los estudiantes que presentan retrasos en su educación. Esta situación se ve agravada por la heterogeneidad de los resultados entre alumnos y las políticas de promoción automática, entro otros.
2. ¿Cómo logra MindSpark el objetivo de “Teaching at the Right Level”? ¿En qué sentido la tecnología es mejor que lo que podría hacer un profesor? (3 puntos)
Una opción para afrontar este reto es hacer un mayor uso de la tecnología en la enseñanza. Aunque hay varios mecanismos por los que el aprendizaje asistido por computadoras (CAL, por su nombre en inglés) puede mejorar la enseñanza y el aprendizaje, una característica particularmente atractiva es su capacidad de ofrecer contenidos personalizados para “enseñar al nivel adecuado” a todos los estudiantes, independientemente del grado de heterogeneidad en los niveles de aprendizaje dentro de una clase. En este sentido, una de las principales características del software es que utiliza una amplia base de datos de preguntas de exámenes y respuestas de los alumnos para determinar el nivel inicial de aprendizaje de cada estudiante y personalizar dinámicamente el material que se le entrega para que se ajuste al nivel y al ritmo de progreso de cada de ellos.
3. ¿Qué es la atrición del programa? ¿Qué hacen los autores para evitar la atrición? (3 puntos)
La atrición del programa es el porcentaje de alumnos que, habiéndolo iniciado, no lo completaron. En otras palabras, corresponde al retiro de los participantes del grupo de tratamiento durante la intervención. Para efectos de reducir la atrición se establecieron ciertas características de diseño para programa. En particular, se llevaron a cabo sesiones de presentación del programa dirigidas a los estudiantes y sus padres. Durante estas sesiones, se informó a los padres que, si sus hijos deseaban participar en el estudio, debían realizar una evaluación de referencia. Se explicó que aproximadamente la mitad de los estudiantes sería seleccionada por sorteo para recibir un vale que les eximiría de las tasas de matrícula hasta febrero de 2016, es decir, durante casi la mitad del curso escolar. Además, se comunicó que aquellos estudiantes que no fueran elegidos en el sorteo tendrían acceso gratuito a los centros después de esa fecha, siempre que participaran en una evaluación final en febrero de 2016.
4. ¿Qué nos muestra la Tabla A.1 del apéndice? ¿Por qué los autores consideran importante mostrar estos resultados? (3 puntos)
La Tabla A.1 del apéndice compara los datos administrativos sobre las puntuaciones de los exámenes finales escolares en el curso anterior (2014-2015) entre los participantes en el estudio y la población total de estudiantes de los mismos centros. Los datos presentados allí son sumamente relevantes porque permiten evaluar la representatividad de la muestra (autoseleccionada) del estudio y, por lo tanto, las implicancias en términos de la validez externa de sus conclusiones. La semejanza de los datos para ambos grupos de alumnos sugiere que los resultados del estudio son probablemente extensibles al resto del alumnado en este mismo contexto.
5. ¿Qué tipo de análisis se presenta en la tabla 1 del artículo? Replique la tabla e indique qué nos muestra el Panel A y el Panel B?. ¿Por qué es importante el Panel B? Utilice la base de datos: ms_blel_jpal_long.dta (10 puntos).
La Tabla A compara los grupos de tratamiento y control en cuanto a variables que podrían influir en el rendimiento escolar, tales como el sexo, el nivel socioeconómico y las puntuaciones iniciales en los exámenes. La ausencia de diferencias significativas en estas variables es fundamental para el estudio, ya que permite a los autores establecer una relación causal entre el tratamiento y los cambios en los resultados. El panel A evalúa ambos grupos al inicio del programa, mientras que el panel B se enfoca únicamente en los estudiantes que continuaron hasta el final. Debido a la atrición en ambos grupos, no basta con comparar solo el inicio. El panel B es especialmente relevante porque, aunque los grupos fueran similares al comienzo, las diferencias en los resultados finales podrían no deberse solo al tratamiento, sino a diferencias en las variables mencionadas si, debido a las deserciones, los grupos que rinden el examen final resultan ser distintos.
| Media (Tratados) | Media (Controles) | Diferencia | Error Estándar | Observaciones (Tratados) | Observaciones (Controles) | |
|---|---|---|---|---|---|---|
| Panel A. Todos los estudiantes en la muestra de línea base | ||||||
| Características demográficas | ||||||
| Mujer | 0.76 | 0.76 | 0.004 | 0.034 | 314 | 305 |
| Edad (años) | 12.67 | 12.41 | 0.267 | 0.143 | 230 | 231 |
| Indice SES | -0.03 | 0.04 | -0.070 | 0.137 | 314 | 305 |
| Grado en la escuela | ||||||
| Grado 4 | 0.01 | 0.01 | -0.003 | 0.007 | 305 | 299 |
| Grado 5 | 0.01 | 0.02 | -0.007 | 0.010 | 305 | 299 |
| Grado 6 | 0.27 | 0.30 | -0.035 | 0.037 | 305 | 299 |
| Grado 7 | 0.26 | 0.26 | 0.005 | 0.036 | 305 | 299 |
| Grado 8 | 0.30 | 0.28 | 0.017 | 0.037 | 305 | 299 |
| Grado 9 | 0.15 | 0.13 | 0.024 | 0.028 | 305 | 299 |
| Puntaje en las pruebas de base | ||||||
| Matematicas | -0.01 | 0.01 | -0.016 | 0.081 | 313 | 304 |
| Hindi | 0.05 | -0.05 | 0.096 | 0.081 | 312 | 305 |
| Presente al final | ||||||
| Presente al Final | 0.85 | 0.90 | -0.048 | 0.027 | 314 | 305 |
| Panel B. Solo estudiantes presentes al final | ||||||
| Características demográficas | ||||||
| Mujer | 0.77 | 0.76 | 0.012 | 0.036 | 266 | 273 |
| Edad (años) | 12.61 | 12.37 | 0.243 | 0.156 | 196 | 203 |
| Indice SES | -0.17 | 0.03 | -0.193 | 0.142 | 266 | 273 |
| Grado en la escuela | ||||||
| Grado 4 | 0.01 | 0.01 | -0.003 | 0.008 | 258 | 269 |
| Grado 5 | 0.01 | 0.02 | -0.011 | 0.011 | 258 | 269 |
| Grado 6 | 0.28 | 0.30 | -0.022 | 0.040 | 258 | 269 |
| Grado 7 | 0.26 | 0.26 | -0.001 | 0.038 | 258 | 269 |
| Grado 8 | 0.30 | 0.28 | 0.020 | 0.040 | 258 | 269 |
| Grado 9 | 0.14 | 0.12 | 0.017 | 0.029 | 258 | 269 |
| Puntaje en las pruebas de base | ||||||
| Matematicas | -0.03 | 0.00 | -0.030 | 0.086 | 265 | 272 |
| Hindi | 0.05 | -0.07 | 0.124 | 0.084 | 266 | 273 |
| Fuente: Elaboración propia a partir de los datos del estudio. | ||||||
6. Replique la Figura 2 del paper. ¿Cuál es el efecto del programa? Utilice la base de datos: ms_blel_jpal_long.dta (6 puntos).
Los efectos del tratamiento se reflejan claramente en la Figura 2, que muestra las puntuaciones medias en las pruebas iniciales (de referencia) y finales de matemáticas e hindi para los ganadores y perdedores de la lotería. Aunque ambos grupos presentan mejoras con el tiempo, los resultados indican que las puntuaciones del grupo de tratamiento son significativamente más altas en ambas asignaturas. En particular, en matemáticas, el grupo de control muestra un incremento de 0.32 desviaciones estándar con respecto al inicio, mientras que el grupo de tratamiento presenta un aumento de 0.67 desviaciones estándar, siendo estas diferencias estadísticamente significativas. Para la asignatura de hindi, las mejoras son de 0.13 y 0.44 desviaciones estándar, respectivamente, y también son significativamente distintas entre sí
7. Replique la Tabla 2 del paper. ¿Por qué los autores controlan por los puntajes de línea de base? Utilice la base de datos: ms_blel_jpal_wide.dta (10 puntos).
La Tabla 2 presenta los efectos estimados de la intención de tratar (ITT) sobre las puntuaciones de los exámenes de los ganadores de la lotería (β), utilizando un modelo lineal que controla por los puntajes de referencia (de línea de base) y, en algunas especificaciones, incluye un vector de efectos fijos por estrato. Se controla por los puntajes iniciales para asi descartar que los efectos estimados esten sesgados y digan relacion con diferencias iniciales de los alumnos. Los autores encuentran que los estudiantes que ganaron la lotería para asistir a los centros Mindspark lograron incrementos de 0.37 desviaciones estándar en matemáticas y 0.23 desviaciones estándar en hindi en comparación con los perdedores de la lotería, después de solo 4.5 meses (Tabla 2, columnas 1-2). En las columnas 3 y 4, se omiten los efectos fijos por estrato en la regresión, lo que implica que el término constante α ofrece una estimación del valor añadido absoluto (VA) en el grupo de control durante el tratamiento. Al expresar el VA en el grupo de tratamiento (α + β) como un múltiplo del VA del grupo de control (α), los resultados indican que los ganadores de la lotería lograron más del doble de avance en matemáticas y aproximadamente 2.4 veces más en hindi, en comparación con los perdedores de la lotería.
| IRT score-estandarizado (endline) | ||||
|---|---|---|---|---|
| Math (1) | Hindi (2) | Math (3) | Hindi (4) | |
| Tratamiento | 0.374*** | 0.238*** | 0.369*** | 0.227*** |
| (0.062) | (0.061) | (0.064) | (0.062) | |
| Puntaje de línea base | 0.568*** | 0.684*** | 0.584*** | 0.713*** |
| (0.039) | (0.037) | (0.042) | (0.040) | |
| Intercepto | 0.326*** | 0.175*** | ||
| (0.044) | (0.044) | |||
| Efectos Fijos | Si | Si | No | No |
| R2 | 0.453 | 0.540 | 0.403 | 0.493 |
| Num. obs. | 535 | 537 | 535 | 537 |
| \parbox{.6}{***p < 0.01; **p < 0.05; *p < 0.1. Error estándar robusto entre paréntesis.} | ||||
8. Replique la Tabla 4 del paper. ¿Cuál es el objetivo de esta Tabla? Utilice la base de datos: ms_blel_jpal_wide.dta (6 puntos).
La tabla 4 examina la heterogeneidad de los efectos del programa según las características de los alumnos. En particular, analiza si los efectos de la intención de tratar (ITT) varían según el sexo, el nivel socioeconómico o las puntuaciones iniciales en los exámenes, utilizando una especificación de interacción lineal. Los resultados indican que no se hallan pruebas de heterogeneidad en estas dimensiones. Esto sugiere que, en consonancia con la promesa del aprendizaje asistido por ordenador, que busca personalizar la enseñanza para cada alumno, la intervención fue igualmente efectiva para mejorar los resultados de todos los estudiantes.
| Mujer | NSE | Puntaje Base | ||||
|---|---|---|---|---|---|---|
| Math (1) | Hindi (2) | Math (3) | Hindi (4) | Math (5) | Hindi (6) | |
| Tratamiento | 0.474*** | 0.272** | 0.377*** | 0.258*** | 0.375*** | 0.238*** |
| (0.111) | (0.128) | (0.062) | (0.059) | (0.062) | (0.061) | |
| Covariable | -0.050 | 0.206 | -0.003 | 0.099*** | ||
| (0.162) | (0.171) | (0.032) | (0.029) | |||
| Interacción | -0.128 | -0.046 | 0.023 | -0.004 | ||
| (0.133) | (0.147) | (0.043) | (0.041) | |||
| R2 | 0.455 | 0.541 | 0.454 | 0.558 | 0.455 | 0.540 |
| Num. obs. | 535 | 537 | 535 | 537 | 535 | 537 |
| \parbox{.5}{***p < 0.01; **p < 0.05; *p < 0.1. \ Error estándar robusto entre paréntesis. Todas las regresiones incluyen efectos fijos por estratos y son controladas por el puntaje de línea base.} | ||||||
9. ¿Qué muestra la Tabla 7 del paper, en qué sentido son estos resultados similares/distintos a los de la Tabla 2? ¿Por qué los autores argumentan que en este caso fue importante recolectar resultados de desempeño por su cuenta y no usar sólo datos administrativos? (6 puntos)
La Tabla 7 presenta el efecto del tratamiento de recibir asistencia (el tratamiento) en los resultados de los exámenes anuales de fin de curso, realizados en marzo de 2016. Se halla un aumento significativo de 0.19 desviaciones estándar en las puntuaciones de los exámenes de hindi, mientras que no se observó un efecto significativo en matemáticas. Asimismo, no se registraron efectos significativos en las demás asignaturas (ciencias, ciencias sociales o inglés), aunque todas las estimaciones puntuales fueron positivas. Los autores argumentan que fue importante recolectar resultados de desempeño por su cuenta y no usar sólo datos administrativos porque si solo se hubiesen basado en las evaluaciones de grado habrían obtenido conclusiones incorrectas sobre el impacto del programa, sugiriendo erróneamente que no había efectos en matemáticas, a pesar de las significativas mejoras observadas en una prueba cuidadosamente diseñada. En este linea, destacan la importancia de realizar investigaciones educativas utilizando pruebas bien calibradas que proporcionen información sobre una amplia variedad de logros estudiantiles, especialmente en contextos de países en vías de desarrollo, donde hay una gran variación en el aprendizaje de los estudiantes dentro de un mismo grado.
10. ¿Qué nos dice este artículo respecto a cómo la tecnología puede contribuir al proceso educativo? ¿Podemos aplicar un diseño de este tipo en Chile? Justifique. (4 puntos)
Los resultados del estudio indican que, en el contexto en el que se realizó el experimento, la tecnología puede contribuir de manera significativa a enfrentar los desafíos para una enseñanza efectiva en entornos con altos niveles de heterogeneidad en el aprendizaje de los estudiantes. Esto toda vez que la tecnología permite adaptar la “asistencia” a los alumnos según sus niveles reales de aprendizaje. Dado que el experimento se llevó a cabo en una localidad de India, las conclusiones no necesariamente tienen validez externa y sean aplicables a Chile. Sin embargo, en nuestro país, al igual que en muchos otros en vías de desarrollo como India, se observan rezagos significativos en el aprendizaje en relación con los planes educativos, así como altos niveles de heterogeneidad. Al mismo tiempo, Chile presenta un buen acceso a la tecnología en comparación con otros países. Por lo tanto, el contexto local comparte importantes similitudes con el caso de estudio y, de hallarse evidencia que tambien en Chile este tipo de intervenciones puede resultar positiva, habría buenas oportunidades para escalarlas.