• Es el método de estimación alternativo a MLE más importante Diferencias
• MLE: maximiza la verosimilitud asociada con la muestra
• LSE: Escoge el estimador que minimiza la distancia entre las observaciones de la muestra y la media muestral estimada Ventajas
• No utiliza la forma de la distribución
• Se aplica de igual forma en todas las distribuciones Desventajas
• La forma de la distribución puede dar información que mejore la eficiencia de los estimadores
• Los estimadores por MLE son, en general más eficientes

• Tenemos una muestra de observaciones \(y_{1} , y_{2} , \cdots , y_{n}\)
• Estos son los valores observados de la v.a \(Y_{1} , Y_{2} , \cdots , Y_{n}\)
• \(E(Y_{i})=\mu\) para todo \(i=1, \cdots,n\)
• ?Cómo medir la distancia entre el valor \(i\) y la media \(\mu\) ?
• \((y_{i} - \mu)^2\)

• Si la distancia de \(y_i\) a la media \(\mu\) es grande este valor aumentar?
• Si la distancia \((y_{i} - \mu)^2\) es pequeño este valor tender? a cero
• Si se suman todas las observaciones se obtendra una medida general de la discrepancia entre la muestra y \(\mu\) la cual ser? la suma de cuadrados
• La expresi?n es \(SS(\mu)= \sum_{i = 1}^{n} (y_i-\mu)^2\)

• El estimador de mínimos cuadrados \(\hat{\mu}\) se define como
• El valor de \(\mu\) que minimiza la \(SS(\mu)\)
• El valor de \(\mu\) que minimiza la discrepancia entre las observaciones muestrales y la media estimada
• El calculo del estimador de m?nimos cuadrados implica la minimización de la función \(SS(\mu)\)
• Implica entonces resolver la ecuación de estimación de mínimos cuadrados
• \(\frac{d}{d\mu}SS(\mu)=-2\sum_{i=1}^{n}(y_i-\mu)=0\)
• Esta ecuación produce el estimador \(\hat{\mu} = \tilde{y}\)
• Utiliza la misma definición aplicada a las variables aleatorias \(Y_{1} , Y_{2} , \cdots , Y_{n}\) de modo que \(\hat{M} = \tilde{Y}\)

LSQ

• En el ejemplo presentado se considera un solo par?metro
• Puede generalizarse a un vector par?metro \(\theta=(\theta_1, \cdots, \theta_p)\)
• Este vector tiene \(E(Y_i)=\mu_i(\theta)\)
• La suma de cuadrados en este caso es:
• \(SS(\theta_1,\cdots,\theta_p)=\sum_{i=1}^{n}[y_i-\mu_i(\theta)]^2\)
• Esto genera un sistema de \(p\) ecuaciones de estimaci?n de m?nimos cuadrados

• \(\displaystyle\frac{d}{d\theta_1}SS(\theta_1,\cdots,\theta_p)=0\)
• \(\displaystyle\frac{d}{d\theta_p}SS(\theta_1,\cdots,\theta_p)=0\)
• Estas ecuaciones deben resolverse para encontrar el \(\hat{\theta}\)

• La aplicación más común de LSE es en la regresión lineal
• \(\hat{Y}=\beta_o+\beta_1x_i + \epsilon\)
• \(\beta_0\) = Intercepto
• \(\beta_1\) = pendiente
• Puedo estimar cada valor de la variable dependiente \(Y_i\) a partir de cada valor de la variable independiente \(x_i\), si conozco los par?metros
• El método minizar la suma de los cuadrados de las diferencias entre los valores observados de la variable respuesta y los generados por la ecuación de regresión

peso<-c(45,56,76,89,90)
talla<-c(145, 150, 172, 180, 187)
mi_modelo<-lm(peso~talla)
summary(mi_modelo)

## 
## Call:
## lm(formula = peso ~ talla)
## 
## Residuals:
##       1       2       3       4       5 
## -2.8146  2.8218 -0.7782  3.6400 -2.8690 
## 
## Coefficients:
##               Estimate Std. Error t value Pr(>|t|)   
## (Intercept) -107.73047   16.12995  -6.679  0.00684 **
## talla          1.07272    0.09623  11.147  0.00155 **
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 3.558 on 3 degrees of freedom
## Multiple R-squared:  0.9764, Adjusted R-squared:  0.9686 
## F-statistic: 124.3 on 1 and 3 DF,  p-value: 0.001547

• Variable dependiente: Peso \(Y_i\)
• Variable independiente: Talla \(x_i\)
• Ecuación de regresión: \(\hat{Y}=\beta_o+\beta_1x_i + \epsilon\)
• Ecuación de regresión: \(\hat{Y_1}=-107.73047+1.07272(145) + \epsilon\)

y1_estimado<-(-107.73047)+(1.07272*145)
y1_estimado

## [1] 47.81393

error_y1<-y1_estimado-peso[1]
error_y1

## [1] 2.81393