El Rpbs presenta la solución a dos actividades propuestos en clase en relaciòn al tema de análisis de regresión.
Demuestre que para un modelo de regresión lineal simple, se tiene que:
\[\hat{\beta_{0}}(u_i,v_i) =\overline{y}- \hat{\beta_1}(u_i,v_i)\overline{x}\]
y,
\[\hat{\beta_1}(u_i,v_i)=\frac{\sum_{i=1}^nx_{i}y{i}-\frac{\left(\sum_{i=1}^nx_{i}\right)\left(\sum_{i=1}^ny_{i}\right)}{n}}{\sum x_i^2 - \frac{\left(\sum_{i=1}^{n} x_{i}\right)^2}{n}}\]
\[\hat{\beta_1}(u_i,v_i)=\frac{\sum_{i=1}^nx_{i}y{i}-\overline{x}\frac{\left(\sum_{i=1}^ny_{i}\right)}{n}n}{\sum x_i^2 - \frac{\left(\sum_{i=1}^{n} x_{i}\right)^2}{n}}\]
\[=\frac{\sum x_{i}y_{i}-n\overline{x}.\overline{y}}{\sum x_{i}^2-n\overline{x}^2}\]
En notación matricial: \(Y=X\beta+\epsilon\) se desea terminar el vector de estimadores que minimice:
\[S(\beta(u_i,v_i))=\sum_{i=1}^{n} \mathsf{\varepsilon}_{i}^2= {\mathsf{\varepsilon}'}\mathsf{\varepsilon}=(Y-X\beta)'(Y-X\beta)\]
Se puede expresar como:
\[S(\beta(u_i,v_i))=Y'Y-\beta'X'Y - Y'X\beta+\beta'X'X\beta\] \[=Y'Y-2\beta'X'Y+\beta'X'X\beta\] ya que ’X’Y es una matriz de 1X1, es decir, un escalar y que su transpuesta:
\[(\beta'X'Y')'=Y'X\beta\]
es el mismo escalar.
\[2X'X\hat{\beta}=2X'Y\]
\[X'X\hat{\beta}=X'Y\]
\[(X'X)^{-1}X'XB=(X'X)^{-1}X'Y\] \[I\beta=(X'X)^{-1}X'Y\]
Entonces los estimadores de los mínimos cuadrados deben satisfacer:
\[\frac{\partial S}{\partial \beta}\bigg|_{\beta}=-2X'Y+2X'X\hat{\beta}=0\]
Que se simplifica a: \(X'X\hat{\beta}=X'Y\) (*)
Son las ecuaciones de minimos cuadrados.
VEAMOS:
\[ \mathcal{Q} = S(\beta)=\sum_{i=1}^{n} \mathsf{\varepsilon}_{i}^2= {\mathsf{\varepsilon}'}\mathsf{\varepsilon}=(Y-X\beta)'(Y-X\beta)\]
Los valores de \(\beta_{0}\) y \(\beta_1\) que minimizan se encuentran diferenciando con respecto a \(\beta_{0}\) y \(\beta_1\) y estableciendo las derivadas parciales iguales a cero. Las ecuaciones resultantes son conocidas como las ecuaciones normales:
\[\frac{\partial \mathcal{Q}}{\partial \beta_0}= 2\sum_{i=1}^n (Y_i-\beta_0-\beta_1x_i)(-1)\] \[=-2\sum_{i=1}^n(Y_i - \beta_0 - \beta_1x_i) \quad Ecuación+*\] \[\frac{\partial \mathcal{Q}}{\partial \beta_1}= 2\sum_{i=1}^n (Y_i-\beta_0-\beta_1x_i)(-x_i) \] \[= -2\sum_{i=1}^n (Y_i-\beta_0-\beta_1x_i)(x_i) \quad Ecuación++* \]
Después de establecer cada una de estas derivadas parciales iguales a cero, las ecuaciones normales para el modelo de regresión lineal simple simplificar a:
\[{\sum_{i=1}^n Y_i = n\hat{\beta_0} + \hat{\beta_1} \sum_{i=1}^n x_i} \qquad Ecuación*\] Multiplicamos por x_i
\[{\sum_{i=1}^n Y_i x_i = \hat{\beta_0}\sum_{i=1}^n x_i + \hat{\beta_1} \sum_{i=1}^n x_i^2 \qquad Ecuación** }\] Tenga en cuenta que los \(\beta_js\) se reemplazan con \(\hat{\beta_js}\) ya que sus valores son estimaciones una vez que el las derivadas se igualan a cero. Estas ecuaciones ahora se resuelven para \(\hat{\beta_0}\) y \(\hat{\beta_1}\)
Resolver para $ es “relativamente simple” usando Ecuación *:
\[{\sum_{i=1}^n Y_i = n\hat{\beta_0} + \hat{\beta_1} \sum_{i=1}^n x_i} \] \[{\sum_{i=1}^n Y_i - \hat{\beta_1} \sum_{i=1}^n x_i = n\hat{\beta_0}} \]
\[\frac{\sum_{i=1}^n Y_i}{n} - \frac{\hat{\beta_1} \sum_{i=1}^n x_i}{n} =\hat{\beta_0}\]
Por lo tanto, se tiene:
\[\hat{\beta_0}= \overline{Y}-\hat{\beta_1}\overline{x}\]
Al resolver para $, aparecen dos cantidades que requieren simplificación. La primera cantidad es:
\[\sum_{i=1}^n Y_ix_i - \frac{\sum_{i=1}^n Y_i \sum_{i=1}^n xi}{n}\]
Ahora,
\[\sum_{i=1}^n Y_ix_i - \frac{\sum_{i=1}^n Y_i \sum_{i=1}^n xi}{n} = \sum_{i=1}^n Y_ix_i - \overline{Y}\sum_{i=1}^n x_i\]
\[= \sum_{i=1}^n Y_ix_i - \overline{Y}\sum_{i=1}^n x_i - \overline{Y}\sum_{i=1}^n x_i + \frac{n}{n} \overline{Y}\sum_{i=1}^n x_i\] \[= \sum_{i=1}^n Y_ix_i - \overline{Y}\sum_{i=1}^n x_i - \frac{\sum_{i=1}^n Y_i}{n}\sum_{i=1}^n x_i + n\overline{Y} \overline{x}\] \[= \sum_{i=1}^n Y_ix_i - \overline{Y}\sum_{i=1}^n x_i -\overline{x}\sum_{i=1}^n Y_i + n\overline{Y} \overline{x}\]
\[=\sum_{i=1}^n (x_i - \overline{x})(Y_i-\overline{Y})\] La segunda cantidad que deberá simplificarse es
\[\sum_{i=1}^n x_i^2-\frac{(\sum_{i=1}^n x_i)^2}{n}\] Entonces \[\sum_{i=1}^n x_i^2-\frac{(\sum_{i=1}^n x_i)^2}{n}= \sum_{i=1}^n x_i^2 - n\left(\frac{\sum_{i=1}^n x_i}{n}\right)^2 \]
\[= \sum_{i=1}^n x_i^2-n \overline{x} ^ 2\]
\[= \sum_{i=1}^n x_i^2- n \overline{x} ^ 2 +n\overline{x} ^ 2\] Lo que significa:
\[= \sum_{i=1}^n (x_i- \overline{x}) ^ 2 \]
Ahora, Conociendo estas dos simplificaciones, \(\hat{\beta_1}\) se puede resolver usando (Ecuación **):
\[{\sum_{i=1}^n Y_i x_i = \hat{\beta_0}\sum_{i=1}^n x_i + \hat{\beta_1} \sum_{i=1}^n x_i^2} \]
entonces,
\[{\sum_{i=1}^n Y_i x_i = (\overline{Y} - \hat{\beta_1 \overline {x}})\sum_{i=1}^n x_i + \hat{\beta_1} \sum_{i=1}^n x_i^2 }\]
Ahora \[{\sum_{i=1}^n Y_i x_i = \left(\frac{\sum_{i=1} Y_i}{n} - \hat{\beta_1 \sum_{i=1}^n x_i}\right) \sum_{i=1}^n x_i + \hat{\beta_1} \sum_{i=1}^n x_i^2 }\]
\[{\sum_{i=1}^n Y_i(u_i,v_i) x_i = \frac{\sum_{i=1} Y_i \sum_{i=1}^n x_i}{n} - \hat{\beta_1}(u_i,v_i) \frac{\left(\sum_{i=1}^n x_i\right) ^2}{n} + \hat{\beta_1} \sum_{i=1}^n x_i^2 }\]
\[{\sum_{i=1}^n Y_i(u_i,v_i) x_i = \frac{\sum_{i=1} Y_i(u_i,v_i) \sum_{i=1}^n x_i}{n} = \hat{\beta_1}(u_i,v_i) \sum_{i=1}^n x_i^2 - \hat{\beta_1}(u_i,v_i) \frac{\left(\sum_{i=1}^n x_i\right) ^2}{n}}\] Entonces
\[{\sum_{i=1}^n Y_i(u_i,v_i) x_i = \frac{\sum_{i=1} Y_i(u_i,v_i) \sum_{i=1}^n x_i}{n} = \hat{\beta_1(u_i,v_i)} \left( \sum_{i=1}^n x_i^2 - \frac{(\sum_{i=1}^n x_i)^2}{n}\right)} \]
Por lo tanto
\[ \hat{\beta_1}(u_i,v_i)= \frac{\sum_{i=1}(x_i-\overline{x})(Y_i(u_i,v_i) -\overline{Y}(u_i,v_i))}{\sum_{i=1}^n(x_i-\overline{x})^2}\]
\[\hat{\beta_1}(u_i,v_i)=\frac{\sum_{i=1}^nx_{i}y{i}(u_i,v_i)-\left(\sum_{i=1}^nx_{i}\right)\left(\sum_{i=1}^ny_{i}(u_i,v_i)\right)}{\sum x_i^2 - \frac{\left(\sum_{i}^{n} x_{i}\right)^2}{n}}\]
a=5
b=3
a+b## [1] 8Después de encontrar \(\hat{\beta_0}\) y \(\hat{\beta_1}\), se demuestra que estos valores darán un mínimo valor de la suma de los errores al cuadrado.
\[ Demostración \quad (\sum_{i=1}^n \varepsilon^2 \quad es\quad un\quad minimo):\] Si la matriz de derivadas parciales de como se encuentra en
\[ \mathcal{Q} = S(\beta)=\sum_{i=1}^{n} \mathsf{\varepsilon}_{i}^2= {\mathsf{\varepsilon}'}\mathsf{\varepsilon}=(Y-X\beta)'(Y-X\beta)\] la anterior es equivalente a:
\[ \mathcal{Q} = \sum_{i=1}^{n} \mathsf{\varepsilon}_{i}^2= \sum_{i=1}^n(Y_i-(\beta_0+\beta_1x_i))^2\]
es positivo definido, entonces nuestros valores de \(\beta\) dan el valor mínimo para . Recordando ecuación+* se tiene que:
\[\frac{\partial \mathcal{Q}}{\partial \beta_0}= -2\sum_{i=1}^n (Y_i-\beta_0-\beta_1x_i)\]
y de la ecuación ++*
\[\frac{\partial \mathcal{Q}}{\partial\beta_1}= -2\sum_{i=1}^n (Y_i-\beta_0-\beta_1x_i)(x_i)\]
Esto implica que los parciales de segundo orden son
\[\frac{\partial^2 \mathcal{Q}}{\partial\beta_0^2}= -2\sum_{i=1}^n(-x_i)(x_i)(-1)=2n\]
\[\frac{\partial^2 \mathcal{Q}}{\partial\beta_1^2}= -2\sum_{i=1}^n (-x_i)(x_i)=2\sum_{i=1}^n x_i^2\]
\[\frac{\partial^2 \mathcal{Q}}{\partial\beta_0\partial\beta_1}= -2\sum_{i=1}^n (-x_i)=2\sum_{i=1}^n x_i\]
Entonces se tiene la matriz de las derivadas parciales:
\[\frac{\partial^2 \mathcal{Q}}{\partial\beta^2} \mathbb{} =\; \begin{pmatrix} 2n & 2\sum_{i=1}^n x_i \\ 2\sum_{i=1}^n x_i & 2\sum_{i=1}^n x_i^2 \\ \end{pmatrix}\]
El determinante de esta matriz es
\[= 4n \sum_{i=1}^n x_i^2 - 4(\sum_{i=1}^n x_i)^2\]
Debe demostrarse que este La cantidad es siempre positiva para demostrar que \(\hat{\beta_0}\) y \(\hat{\beta_1}\) como se dan proporcionan un valor mínimo para . Tenga en cuenta que se supone que n es mayor que cero:
\[4n \sum_{i=1}^n x_i^2 - 4\left(\sum_{i=1}^n x_i^2\right)>0\]
\[\sum_{i=1}^n x_i^2- \frac{\left( \sum_{i=1}^n x_i \right)^2}{n}>0\]
de lo anterior
\[\sum_{i=1}^n(x_i-\overline{x})^2>0\]
de la ecuación \(\sum_{i=1}^n (x_i-\overline{x})^2\)
Por lo tanto, \(\hat{\beta_0}\) y \(\hat{\beta_0}\) calculados dan el valor mínimo para \(\mathcal{Q}\).
Ahora que se calculan los valores \(\beta\) que minimizarán \(\mathcal{Q}\), la línea de regresión ajustada es
\[\hat{Y_i}(u_i,v_i)= \hat{\beta_0}(u_i,v_i)+\hat{\beta_1}(u_i,v_i)x_i\]
donde los errores estimados (predichos), también llamados residuales, se definen como:
\[\hat{\mathsf{\varepsilon}}_i = Y_i(u_i,v_i) - \hat{Y_i}(u_i,v_i)\]