Jose Antonio Ortega
Universidad de Salamanca
Busca dónde proporcionas un servicio complementario escaso a algo ubicuo y barato, los datos. Y ¿cuál es el complemento? El Análisis. Recomiendo tomar cursos sobre cómo manipular y analizar datos: bases de datos, aprendizaje automático, econometría, estadística, visualización, etc.
[Hal Varian] http://freakonomics.com/2008/02/25/hal-varian-answers-your-questions/#more-2345
Modelos lineales)¿Qué queréis saber?, ¿Qué datos utilizar?, Manipulación de datos para poder ser explotados, Estimación de modelos, Validación y mejora de modelos.SI:
NO:
CONCEPTOS que es lo más importante. En particular, las técnicas de simulación.Una discusión parecida aquí
Es el estándar para el análisis estadístico y el análisis de datos a nivel académico y empresarial.
Es gratuito y open-source.
Evoluciona gracias a las aportaciones de miles de usuarios que desarrollan sus propios paquetes.
dplyr o tidyr que utilizaremos, creados en 2014, han cambiado la forma de hacer análisis en R, haciéndola más sencilla e intuitiva.Gracias a RStudio, permite crear documentos de forma integrada con el análisis: la mayor parte de los documentos de este curso, incluidos doc, pdf, html y presentaciones en html5 han sido desarrollados en R.
Es un lenguaje estadístico que funciona con comandos (funciones)
RcmdrPara hacer la misma tarea existen multiples maneras de hacerlo
Consecuencia: Intentemos aprender a hacer las cosas eficientemente desde el principio.
Más sobre ventajas e inconvenientes de R aquí.
Bastante distinto del año anterior. La idea es replicar el proceso del análisis empírico.
¿Qué queremos decir cuando hablamos de relación entre variables? (4 semanas)
Estudio del modelo lineal con datos no correlados (5 semanas)
Validación y mejora del modelo lineal. (4 semanas)
¿Podemos comprender otros métodos empíricos? (1-2 semanas)
Econometría II?No utilizaremos un único texto. En la medida de lo posible utilizaremos referencias disponibles en internet.
Sobre modelos lineales, la parte más práctica la desarrollaremos con
Pero no cubre las partes de causalidad, inferencia y validación del modelo [Y cubre temas que no tratamos, como clasificación o aprendizaje automático]
En la imagen vemos la relación entre las ventas de un producto y el gasto en publicidad en TV, Radio y periódicos.
Vosotros ya sabéis como superponer una recta de regresión lineal.
Pero: ¿Podemos definir una función que nos permita predecir las ventas a partir de los gastos en los tres conceptos?
¿Qué tipo de función?
Sales = f(TV, Radio, Newspaper)
variable explicada o variable de respuesta o variable Y son las ventasLas variables explicativas o X o input son: TV, Radio y Newspaper.
Agrupamos los valores de las variables explicativas en un vector X
\[ X=\begin{bmatrix} X_1 & X_2 & X_3 \end{bmatrix} \]
Y nuestro modelo general sería:
\[ Y = f(X) + \varepsilon \]
Donde \(f\) es una función desconocida, y \(\varepsilon\) es el término de error o perturbación o componente no observado. Podemos entender que capta todo lo demás que influye sobre las ventas aparte de los gastos en publicidad.
Si conociéramos \(f\) podríamos utilizarla para predecir que efecto tendrían unos valores dados de publicidad \(X=x\) sobre las ventas. (PREDICCIÓN)
Podríamos decir que componentes de \(X\) son importantes para explicar \(Y\) y cuáles son irrelavantes (ANÁLISIS CAUSAL)
Podríamos estudiar cómo interactuan entre sí las distintas variables explicativas: ¿Es mejor concentrar todos los recursos en un medio o hacer publicidad en todos? ... (FORMA FUNCIONAL)
El problema es que en general esta función será desconocida.
Antes debemos preguntarnos: ¿Qué representa esta función \(f\) idealmente?
Dado un valor de \(X=x\), ¿qué debe representar la \(f(X)\)?
valor esperado de la \(Y\) para X=x, por ejemplo:\[ f(2)=E(Y/X=2) \]
\(f(2)\) representaría la esperanza condicionada de \(Y\) dada la \(X\).
A \(f\) se la llama función de regresión:
\[ f(x)=E(Y/X=x) \]
COROLARIO:
\[ E(\varepsilon/X=x)=0 \]
\(\Leftarrow\) Esperanza condicionada nula del término de error.
Tiene un equivalente directo cuando \(X\) es un vector \[ f(x)=f(x_1,x_2,x_3)=E(Y/X_1=x_1,X_2=x_2,X_3=x_3)\]
\(f(x)=E(Y/X=x)\) proporciona la predicción óptima de \(Y\) en el sentido de que, de todas las posibles funciones \(g(X)\) y para todos los valores de \(x\), minimiza el error cuadrático medio de predicción dado por:
\[ E\left \{ (Y-g(X))^2 / X=x \right \} \]
Por eso denominamos a \(\varepsilon=Y-f(X)\) el término de error: Representa el error irreducible que seguiríamos cometiendo al predecir \(y\) dado que, para cada posible valor de \(X=x\) existe una distribución de posibles valores de \(Y\).
El problema es que la función \(f\) es desconocida. Lo más que podemos aspirar es a estimarla a partir de unos datos consiguiendo aproximarla por la estimación de la función de regresión \(\hat{f}\), que nos proporciona \(\hat{Y}=\hat{f}(X)\)
Hemos dicho antes que el mejor predictor sería \(f(x)\), la esperanza condicionada pues sabemos que la esperanza minimiza el ECM.
Si, en vez, de utilizar \(f(X)\) utilizamos la estimación \(\hat{Y}=\hat{f}(X)\), y nos centramos ahora en una \(\hat{f}\) conocida y un \(X\) fija:
\[ \begin{align*} E\left \{ (Y-\hat{Y})^2 / X=x \right \} &=E \left \{ (f(X)+\varepsilon -\hat{f}(X))^2 / X=x \right \} \\ &= (f(X)-\hat{f}(X))^2 + \text{Var}(\varepsilon/X=x) \end{align*} \]
Que, en cada punto \(X=x\), nos descompone el Error cuadrático medio esperado en 2 componentes:
error reducible, dado por lo bien (o mal) que aproximamos \(f\). \(\text(SESGO)^2\)error irreducible asociado a la VARIANZA del error.error reducibleSesgo: $ B(\hat{f})=E(\hat{f}-f) $
\[ \text{ECM = Sesgo}^2+ \text{Varianza} \]
Para conseguir que el ECM sea mínimo debemos conseguir reducir al mínimo el sesgo, el error reducible
Para ello, a partir de una muestra, debemos utilizar el estimador adecuado.
Estimadores paramétricos: \(f\) pertenece a una familia de funciones
Estimadores no paramétricos: \(f\) puede ser cualquier función
Podemos proponer muchos estimadores "sencillos"
k nearest neighbors: Para cada \(x\) calculamos \(f\) promediando las \(y\) de las observaciones más cercanas a \(X=x\)
LOS ESTIMADORES SON REGLAS: Instrucciones de, dados unos datos, cómo calcular el estimador.
LOS ESTIMADORES SON VARIABLES ALEATORIAS: Dependen de la muestra
LOS ESTIMADORES TIENEN PROPIEDADES
knn3 y knn25 en el centro de la muestra
Podemos aproximar la función desconocida con funciones de un tipo dado:
¿CÓMO ESTIMAMOS LOS PARÁMETROS?
reglas.regla y de la muestra.PGD) es de ese tipo, funcionarán muy bien.
Dada una muestra de tamaño \(n\)
\[ \{(x_1,y_1),(x_2,y_2), \cdots, (x_n,y_n)\} \]
definimos el ECM de un estimador \(\hat{f}\) como la media muestral de las diferencias al cuadrado entre cada \(y_i\) y cada \(\hat{f}(x_i)\)
\[ECM(\hat{f},\text{muestra})= \frac{1}{n} \sum_{i=1}^n [(y_i-\hat{f}(x_i)]^2 \]
Que a su vez, cuando conocemos \(f\), se puede descomponer en la suma del error reducible y el irreducible.
| ecm | reducible | |
|---|---|---|
| knn3 | 364 | 91 |
| knn25 | 456 | 178 |
| loess | 267 | 22 |
| lineal | 6039 | 5625 |
| cuadratico | 418 | 147 |
El mejor estimador en esta muestra es el no paramétrico loess, que ya estudiaremos, el segundo el sencillisimo knn3. Después el cuadrático.
En las aplicaciones prácticas ignoramos cuál es el ECM reducible puesto que no conocemos \(f\), ¿o no?
Sobre todo en aplicaciones predictivas, nuestro objetivo no es ajustar dentro de la muestra.
La función \(f\) la que pasa por todos los puntos, minimiza el ECM, sin embargo, no es extrapolable para predecir fuera de nuestra muestra. Puede funcionar mejor una función como la loess.
Una estrategia que se suele emplear es dividir la muestra en 2:
n observaciones donde ajustamos el modelo.
flexibilidad o parsimonia?En estos gráficos aparece el ECM (MSE en inglés) en la muestra de trabajo (gris) y en la de test (rojo) para una variedad de modelos.
Ser muy flexible permite reducir el ECM en la muestra de trabajo, pero no fuera de ella
Cuando predecimos fuera de la muestra, \((x_0,y_0)\) el ECM cometido se puede descomponer en
\[ E[(y_0-\hat{f}(x_0)]^2 = \] \[ Var(\hat{f}(x_0))+[\text(Sesgo)(\hat{f}(x_0))]^2 + Var(\varepsilon) \]
Varianza de \(f\) - Sesgo de \(f\) - Error
En general, cuanto más flexible es la función más varianza tiene.
Nuestro modelo debe ser flexible pero no demasiado
`Sesgo cuadrado (azul), varianza (naranja), ECM de test (rojo), y varianza del error(=1) para funciones \(f\) alternativas
Algunos de los modelos no paramétricos que hemos visto combinan flexibilidad con varianza reducida, ¿debemos utilizarlos siempre?
Nuestro objetivo no es estudiar relaciones entre una \(Y\) y una única \(X\).
Queremos trabajar con tantas \(X\) como sea necesario.
Esto es un problema para los métodos no paramétricos: No hay puntos cercanos.
G. James, D. Witten, T. Hastie and R. Tibshirani (2013) An Introduction to Statistical Learning, with applications in R, Springer. Disponible en formato pdf, Capítulo 2
Consultar referencias en página de Studium.