Experimentos en línea
Heterogeneidad en tipo de estudiantes
- Muestra: estudiantes pregrado
- Variable dependiente: Proporción de personas que mienten
- Explicativas: Género no significativo, Edad significativo positivo, rank de habilidad: significativo negativo.
Literatura: Belot et al 2015
- Estudiantes Universidad de Oxford
- Juego del dictador, juego de confianza y juegos de bienes públicos
- Los estudiantes son más propensos a ser homo - economicus que los no estudiantes (agentes más racionales)
- Juego de dictador y juego de confianza: los estudiantes juegan racionalmente y su diferencia respecto a conducta de no estudiantes es altamente significativa.
- Existe mayor significancia en la conducta cuando existe interacción (juego de dictador y juego de confianza) respecto a cuando no existe o es juego propio (lotería).
- Análisis de robustez: bootstrap y jackniffe. Cuanto varía el coeficiente si altero la muestra de análisis. Se extraen submuestras (1000 veces en promedio) se evalúa el histograma de coeficientes obtenidos por cada submuestra. Por LGN estaría normalmente distribuido, con \(E(x)=\bar{x}\)
- Gráfico 1: Linea negra: valor del coeficiente al variar con resample. Linea azul: ATE.
- Gráfico 2: Histogramas invertidos: areas rojas: resultados más negativos (en laboratorio). áreas azules: resultados más positivos (En línea). Por género no se observan diferencias.
- Conclusión: El laboratorio permite limpiar los posibles sesgos de respuestas. En línea las personas tienen menos incentivos para contestar adecuadamente.
Tamaño de la muestra - Poder estadístico
- Error tipo 1: falso positivo. Se testea con análisis de “t”.
- Error tipo 2: falso negativo. El efecto existe pero no tenemos muestra suficientemente grande para confirmar la significancia estadística.
- Cálculo de \(\beta\) (error tipo II). \[\beta=\phi(\frac{|\mu_1-\mu_2|\sqrt{N}}{2\sigma}-\phi^{-1}(1-\frac{\alpha}{2}))\]
- Poder estadístico: coloquialmente, si encuentras un nro ideal multiplícalo por 2 porque puedes estar equivocado.
- formas de hacer cálculo de poder: función en R, en Stata, en SPSS, en línea, etc. Efecto esperado, varianza, poder que se quiere, y el sistema te genera la muestra idónea. Generalmente se utiliza poder del 80% (no del 95%). El tamaño de la muestra es exponencial respecto al poder.
- Ejm: \(y=\alpha+\beta X+e\)
- Ejm: Se genera una muestra de 20. Se regresiona 100 veces y se mide la proporción de veces que el coeficiente resulta significativo. El poder es dicha proporción expresada en porcentaje.
- Con muestras pequeñas el poder puede ser bajo.
- Una parte de experimentalistas se niegan a hacer cálculo de poder.
Costos
- Experimentos en línea son de corta duración y de costo menor, al igual que nulo costo de desplazamiento.
- Si el exp en línea dura más tiempo existiría problema de atrición (de pierde participantes de modo no aleatorio). Resulta en sesgos a la medición.
- Efectivo si uno quiere representación territorial o de niveles de ingresos.
Por qué no hacer experimentos en línea
Dificultades - Influencia de terceros - Pérdida de participantes (atrición) - Dificultades de comprensión de las instrucciones - Hacer pilotos para que la gente comprenda lo que hace - Supuesto: la gente lee.
Fraude - Evitar más de una participación de una persona - Comprobar que sean personas reales.
Tipos de aleatorización
- Exp plataform (web de experimentación en línea)
- No adaptativo* Prob de asignación fijadas
- Adaptable al tratamiento. El grupo de control puede ser bajo si solo se le toma de referencia como línea base. Ex: c=10, T1=45, T2=45. Se maximiza el nro de grupos en tratamiento.
- Adaptable a covariables. Aleatorización por bloque.
- Response adaptative
- Los estudios son unidimensionales. No se permite la inclusión de multiobjetivos por las características del experimento.
Muestreo
- Ejm. Asignar grupos de T y C por sexo y afiliación política (republicano y demócrata). Se debe considerar la distribución conjunta para evitar discrepancias (ex. 3 hombres son demócratas y 3 mujeres son republicanas, con lo cual no es posible hacer sorting por sexo y filiación política a la vez).
- Ejm. Información y participación electoral en Japón
- Problema: Participantes del experimento eligen si responder o no. Ignorar esta selección condiuce a inferencias causales inválidas. Se pueden diseñar experimentos aleatorios que permintan ajustes estadísticos por incumplimiento.
- Asignación aleatoria para los distintos tratamientos.
- Aleatorización por bloque.
Tipos de experimentos en línea
- No Sincrónicos: experimentos viñeatas, análisis conjunto, orden de preguntas, etc
- Sincrónicos: similares a los de laboratorio.
- Apps
- Experimento en línea CESS (Paneles de participantes de terceros Qualtrics, Mturk, Facebook, etc.). CESS UK, CESS Santiago.
- Programación: Qualtrics u otro equivalente. PHP. R.