El modelo de estimación del efecto de la plataforma en el aprendizaje fue el de Análisis de Covarianza (ANCOVA). La pertinencia de este modelo estriba en que su propósito, en un diseño experimental como el descrito, es comparar las medias entre dos grupos (control y tratamiento) ajustando por el efecto de una covariable, lo que aumenta la potencia estadística y controla diferencias preexistentes. Su premisa es mejorar la precisión de la comparación entre grupos al eliminar la variabilidad en la variable dependiente explicada por la covariable.
En el caso de la intervención en curso, la covariable principal sería la puntuación obtenida por los estudiantes en el pre-test, misma que se utiliza para ajustar estadísticamente las puntuaciones del post-test y controlar así el nivel inicial de habilidad matemática o conocimientos de cada estudiante antes de la intervención.
Debido a la naturaleza jerárquica de los datos y el tipo de muestreo por conglomerados (clústeres), el modelo incorpora un efecto aleatorio a nivel de clúster (profesor) para capturar la dependencia estructural de las observaciones dentro de cada grupo docente. Esto permite ajustar por la variabilidad no observada entre profesores y mejora la precisión de los estimadores del efecto del tratamiento. Al modelar esta fuente de heterogeneidad como un componente aleatorio, se evita subestimar los errores estándar y se mejora la validez de las inferencias. Esta estrategia es especialmente importante en diseños por conglomerados, donde los estudiantes comparten el mismo entorno de enseñanza y están sujetos a influencias comunes.
Forma funcional del modelo:
\[ Y_{ij} = \alpha + \beta \cdot Trat_j + \gamma \cdot Pre_{ij} + u_j + \varepsilon_{ij} \]
En el caso de experimentos con cumplimiento estricto de la intervención (todos los asignados al tratamiento lo reciben de la manera diseñada y todos los pertenecientes al grupo de control se mantienen al margen de la intervención), los modelos estadísticos de estimación calculan el Efecto promedio del tratamiento (ATE) sobre la población elegible; sin embargo, el modelo ANCOVA propuesto no estima directamente éste si existe incumplimiento del tratamiento (por ejemplo, si algunos participantes no lo reciben o lo reciben sin haber sido asignados). En ausencia de cumplimiento estricto, el ATE no puede identificarse, ya no es observable directamente debido a que no se puede aislar una subpoblación clara de cumplidores (compliers).
Debido a esto, el modelo ANCOVA estima la Intención de tratar (ITT), la cual representa, por medio del parámetro \(\beta\), el efecto promedio de haber sido asignado al tratamiento, sin importar si los participantes lo recibieron o no. Es el estimando más robusto desde el punto de vista causal porque respeta la aleatorización original.
Complementariamente, se buscará calcular el Efecto promedio del tratamiento sobre los tratados (ATT), el cual se estima mediante modelos de variables instrumentales cuando se dispone de datos sobre el uso efectivo del tratamiento. Representa el efecto del tratamiento en aquellos que efectivamente lo recibieron.
El levantamiento post-test incluirá una sección de auto-reporte sobre el uso que hicieron los estudiantes de la plataforma durante el semestre. Las respuestas a esta sección se utilizarán como aproximación al cumplimiento del tratamietno. Esto servirá como base para la estimación del ATT a través de un modelo de variables instrumentales (IV), donde el sistema de ecuaciones estructural tiene la siguiente forma
Ecuación de primera etapa (tratamiento como variable endógena):
\[ D_{ij} = \pi_{0} + \pi_{1} \cdot Z_{j} + \pi_{2} \cdot Pre_{ij} + \nu_{ij} \] \(Z_{j}\): es la asignación aleatoria al tratamiento (instrumento),
\(\nu_{ij}\): error de la primera etapa.
En la primera etapa se predice el tratamiento recibido (por ejemplo, el uso efectivo de Pasaporte al Aprendizaje) a partir de la asignación aleatoria al tratamiento. Su objetivo es aislar la variación exógena del tratamiento que proviene de la aleatorización.
Esta predicción se usará como insumo en la segunda etapa (regresión sobre el post-test como variable dependiente), para obtener un estimador sin sesgo del efecto del tratamiento entre los cumplidores (compliers).
Segunda etapa \[ Y_{ij} = \alpha + \delta \cdot D_{ij} + \gamma \cdot Pre_{ij} + \varepsilon_{ij} \] donde:
\(Y_{ij}\): resultado del post-test del estudiante \(i\) en el clúster \(j\),
\(D_{ij}\): tratamiento efectivamente recibido (uso efectivo de la plataforma),
\(Pre_{ij}\): resultado en el pre-test,
\(\delta\): efecto causal del tratamiento recibido (ATT bajo cumplimiento imperfecto), también conocida como Local Average Treatment Effect (LATE),
\(\varepsilon_{ij}\): término de error.
El coeficiente \(\delta\) estimado en esta segunda etapa (una vez cumplidos los supuestos de este tipo de modelo), corresponde al efecto promedio local del tratamiento (LATE) entre los cumplidores, en otras palabras, el cálculo del ATT cuando las condiciones del tratamiento no se cumplen de acuerdo con el diseño.
La información recogida durante el levantamiento post-test sobre intensidad de uso de la plataforma durante el semestre, puede incluirse en el modelo ITT (análisis principal) o el modelo complementario (ATT). En cualquier caso, la forma funcional usada (lineal, categórica) debe ser consistente entre modelos.
Como en cualquier protocolo de investigación, se reconoce la
probabilidad de que existan casos individuos que no concluyan el periodo
de participación en el experimento y simplmente lo abandonen
(attrition), sea porque deserten de la escuela o porque
es imposible medir sus resultados (ej. no acudan a tomar el post-test).
Ante esta situación, el equipo de investigación de
Impacto Social Consultores favorece la postura de no
imputar datos faltantes ni modelar probabilidades de respuesta. Esta
decisión se fundamenta en dos consideraciones principales. En primer
lugar, se reconoce que la imputación implica una sustitución de
observaciones reales (datos efectivamente registrados en como parte del
experimenmto) por estimaciones inferidas bajo algún modelo
probabilístico. Aunque estos modelos pueden ser internamente
verosímiles, su validez externa depende de supuestos que no siempre son
empíricamente verificables. En segundo lugar, se prioriza la
trazabilidad, claridad y fidelidad a los datos efectivamente
recolectados, evitando introducir complejidad analítica adicional que
podría comprometer la transparencia de los resultados de las
estimaciones.
El análisis final se basará, por tanto, en casos completos, reconociendo que, bajo esta postura, no se elimina el riesgo de sesgo si el abandono no fue completamente aleatorio. No obstante, se llevarán a cabo comparaciones rigurosas entre quienes permanecieron en el estudio y quienes abandonaron, con el fin de evaluar la posible magnitud de este sesgo. Esta postura responde a un compromiso con la integridad de los datos recolectados a través de toda la investigación, incluso a costa de sacrficar algún grado de eficiencia estadística.
El proceso de evaluación de la tasa de abandono del experimento constará de:
Identificar la tasa de abandono al aplicar el post-test.
Comparar características observadas entre quienes abandonaron y quienes no, especialmente, por variables relevantes incluidas en la línea base.
En caso de identificar un sesgo sistemático y significativo entre quienes abandonen el experimento y quienes permanezcan en él, se podrá optar entre dos procedimientos para lidiar con los datos faltantes:
Imputación múltiple: Se recomienda cuando la pérdida de información depende de variables observadas (MAR). Se justifica cuando se dispone de buena información de línea base y se desea mantener el tamaño muestral. Requiere asumir un modelo específico de imputación.
Ponderación por probabilidad de respuesta (IPW): Recomendado cuando se puede modelar la probabilidad de participar en el post-test en función de un cierto número de varibales registradas. Se aplica especialmente si el abandono está correlacionado con características observadas. Permite recuperar representatividad ajustando los pesos de las observaciones retenidas.
Cada enfoque tiene ventajas y desventajas específicas, así como una serie de supuestos que deben cumplirse. En caso de seguir esta ruta, se realizará un análisis de sensibilidad de acuerdo con los resultados de cada método.
Para indagar en la posible presencia de efectos de derrame (influencia del tratamiento sobre los participantes del grupo de control), se diseñó un cuestionario que se levantará entre el grupo de control durante el levantamiento del post-test.
Los resultados de este cuestionario permitirá clasificar participantes del grupo control según sus respuestas:
No contaminado: no reporta contacto ni uso indirecto de la herramienta.
Contaminado indirecto: no usó la herramienta pero reporta contacto con usuarios.
Contaminado directo: reporta haber usado la herramienta.
El efecto de derranme se clasificará según la proporción de controles contaminados:
<5%: Bajo
5-15%: Moderado
15%: Alto
Si el derrame se considera alto, se podría reestimar el modelo ITT excluyendo contaminados y verificar si cambia la magnitud del efecto o bien, incluir variable de derrame como covariable de considerarse necesario.
El reporte final con las estimaciones del efecto del tratamiento incluirá:
Modelo principal (ANCOVA con tratamiento asignado): ITT \(\to\) impacto de ser asignado al tratamiento
Modelo complementario (IV con auto-reporte): ATT / LATE \(\to\) impacto en quienes efectivamente recibieron la intervención
Análisis de sensibilidad (abandono, derrame)
Documentación de supuestos, limitaciones y decisiones metodológicas