Suponga que \(y_1,y_2,\dots,y_n\) es una muestra aleatoria de una población normal de media \(\beta x_i\) y varianza \(\sigma^2\), \(i=1,2,\dots,n\), donde \(x_i\) y \(\sigma^2\) son números reales conocidos.
Encuentre \(\hat{\beta}_{MLE}\), el estimador de máxima verosimilitud de \(\beta\).
¿Es \(\hat{\beta}_{MLE}\) un estimador insesgado para \(\beta\)?
Muestre que \(\text{Var}[\hat{\beta}_{MLE}] = \frac{\sigma^2}{\sum_{i=1}^{n} x_i^2}\).
Se sabe que \(\hat{\beta} = \frac{1}{n} \sum_{i=1}^{n} \frac{y_i}{x_i}\) también es un estimador de \(\beta\). Muestre que este estimador es insesgado para \(\beta\).
Muestre que \(\text{Var}[\hat{\beta}] = \frac{\sigma^2}{n^2} \sum_{i=1}^{n} \frac{1}{x_i^2}\).
Muestre que \(\sum_{i=1}^{n} y_i^2\) y \(\sum_{i=1}^{n} x_i y_i\) son estadísticas suficientes para \(\beta\) y \(\sigma^2\), respectivamente.
Compare \(\text{Var}[\hat{\beta}_{MLE}]\) con \(\text{Var}[\hat{\beta}]\) y determine cuál de los dos estimadores es más eficiente para \(\beta\).
Sea \(Y_1, Y_2, \dots, Y_n\) es una muestra aleatoria de una población normal de media \(\mu\) y varianza \(\sigma^2\), \(i = 1, 2, \dots, n\); suponiendo que \(n=2k\) para algún entero \(k\) un posible estimador para \(\sigma^2\) está dado por.
\[ \widehat{\sigma}^{2}=\frac{1}{2k}\sum_{i=1}^{k}\left({{Y}_{2i}-{Y}_{2i-1}}\right)^{2} \]
Demotrar que \(\widehat{\sigma}^{2}\) es insesgado para \(\sigma^2\)
Demostrar que \(\widehat{\sigma}^{2}\) es un estimador consistente para \(\sigma^2\)
Dado que tenemos una muestra aleatoria de una distribución normal con media βxi, el estimador de máxima verosimilitud para \(\beta\) se puede obtener maximizando la función de verosimilitud.
La función de verosimilitud es:
\[L(\beta,\sigma^2∣y_1,y_2,\ldots,y_n)=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\left(y_i-\beta{x}_{i}\right)^2}{2\sigma^2}}\]
Tomamos el logaritmo natural de la función de verosimilitud y encontramos la derivada parcial con respecto a \(\beta\), luego igualamos a cero para encontrar el estimador \(\widehat{\beta}_{MLE}\).
Para demostrar la insesguez de \(\widehat{\beta}_{MLE}\), calcularemos su esperanza \(E\left(\widehat{\beta}_{MLE}\right)\) y verificaremos si es igual a \(\beta\).
Calcularemos la varianza de \(\widehat{\beta}_{MLE}\) utilizando la definición de varianza.
Realizaremos un cálculo similar al punto b para mostrar la insesguez de \(\widehat{\beta}\).
Calcularemos la varianza de \(\widehat{\beta}\) utilizando la definición de varianza.
Aplicaremos el teorema de factorización de Fisher-Neyman para demostrar que estas son estadísticas suficientes.
Compararemos las varianzas para determinar cuál estimador es más eficiente.
Calcularemos la esperanza de \(\widehat{\sigma}^2\) y verificaremos si es igual a \({\sigma}^2\).
Utilizaremos el teorema de la ley de los grandes números para demostrar la consistencia de \({\sigma}^2\)
Ahora procederé a resolver cada parte de los ejercicios paso a paso.
Dado que tenemos una muestra aleatoria de una distribución normal con media \({\beta}x_i\), podemos expresar la función de densidad de probabilidad como:
\(f(y_i∣\beta,\sigma^2)=\frac{1}{\sqrt{2\pi\sigma^2}}e^{−\frac{(y_i−{\beta}x_i)^2}{2\sigma^2}}\)
La función de verosimilitud se define como el producto de las densidades de probabilidad de todas las observaciones:
\[ \begin{aligned} L(\beta,\sigma^2∣y_1,y_2,\ldots,y_n)&=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\left(y_i-\beta{x}_{i}\right)^2}{2\sigma^2}}\\ &=\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^{n}e^{-\sum_{i=1}^{n}\frac{\left(y_i-\beta{x}_{i}\right)^2}{2\sigma^2}} \end{aligned} \]
Tomando el logaritmo natural de la función de verosimilitud y derivando con respecto a \(\beta\), obtenemos:
\[ \begin{aligned} \ln{\left[L(\beta,\sigma^2∣y_1,y_2,\ldots,y_n)\right]}&=\ln{\left[\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^{n}+e^{-\sum_{i=1}^{n}\frac{\left(y_i-\beta{x}_{i}\right)^2}{2\sigma^2}}\right]}\\ &=\ln{\left[\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^{n}\right]}+\ln{\left[e^{-\sum_{i=1}^{n}\frac{\left(y_i-\beta{x}_{i}\right)^2}{2\sigma^2}}\right]}\\ &={n}\ln{\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)}-\sum_{i=1}^{n}\frac{\left(y_i-\beta{x}_{i}\right)^2}{2\sigma^2}\\ &={n}\ln{\left(2\pi\sigma^2\right)^{-\frac{1}{2}}}-\sum_{i=1}^{n}\frac{\left(y_i-\beta{x}_{i}\right)^2}{2\sigma^2}\\ &=-\frac{n}{2}\ln{\left(2\pi\sigma^2\right)}-\sum_{i=1}^{n}\frac{\left(y_i-\beta{x}_{i}\right)^2}{2\sigma^2}\\ \end{aligned} \]
\[ \begin{aligned} \frac{\partial}{\partial\beta}\ln{\left[L(\beta,\sigma^2∣y_1,y_2,\ldots,y_n)\right]}&=\frac{\partial}{\partial\beta}\left[-\frac{n}{2}\ln{\left(2\pi\sigma^2\right)}-\sum_{i=1}^{n}\frac{\left(y_i-\beta{x}_{i}\right)^2}{2\sigma^2}\right]\\ &=-\frac{\partial}{\partial\beta}\left[\frac{n}{2}\ln{\left(2\pi\sigma^2\right)}\right]-\frac{\partial}{\partial\beta}\left[\sum_{i=1}^{n}\frac{\left(y_i-\beta{x}_{i}\right)^2}{2\sigma^2}\right]\\ &=-\frac{\partial}{\partial\beta}\left[\sum_{i=1}^{n}\frac{\left(y_i-\beta{x}_{i}\right)^2}{2\sigma^2}\right]\\ &=-\sum_{i=1}^{n}\frac{\partial}{\partial\beta}\left[\frac{\left(y_i-\beta{x}_{i}\right)^2}{2\sigma^2}\right]\\ &=-\sum_{i=1}^{n}\frac{2\left(y_i-\beta{x}_{i}\right)(-{x}_{i})}{2\sigma^2}\\ \end{aligned} \]
Igualando la derivada a cero y resolviendo para \(\beta\):
\[ \begin{aligned} \frac{\partial}{\partial\beta}\ln{\left[L(\beta,\sigma^2∣y_1,y_2,\ldots,y_n)\right]}=0&{\implies}-\sum_{i=1}^{n}\frac{2\left(y_i-\widehat{\beta}{x}_{i}\right)(-{x}_{i})}{2\sigma^2}=0\\ &{\implies}-\sum_{i=1}^{n}\frac{\left(y_i-\widehat{\beta}{x}_{i}\right)(-{x}_{i})}{\sigma^2}=0\\ &{\implies}-\sum_{i=1}^{n}\frac{y_i(-{x}_{i})-\widehat{\beta}{x}_{i}(-{x}_{i})}{\sigma^2}=0\\ &{\implies}\sum_{i=1}^{n}\left(y_i{x}_{i}-\widehat{\beta}{x}_{i}^2\right)=0\\ &{\implies}\sum_{i=1}^{n}y_i{x}_{i}-\widehat{\beta}\sum_{i=1}^{n}{x}_{i}^2=0\\ &{\implies}\sum_{i=1}^{n}y_i{x}_{i}=\widehat{\beta}\sum_{i=1}^{n}{x}_{i}^2\\ &{\implies}\frac{\sum_{i=1}^{n}y_i{x}_{i}}{\sum_{i=1}^{n}{x}_{i}^2}=\widehat{\beta}\\ \end{aligned} \]
Entonces, \(\widehat{\beta}_{MLE}=\frac{\sum_{i=1}^{n}y_i{x}_{i}}{\sum_{i=1}^{n}{x}_{i}^2}\).
Para verificar si \(\widehat{\beta}_{MLE}\) es un estimador insesgado para \({\beta}\), calculamos su esperanza:
\[ \begin{aligned} E\left[\widehat{\beta}_{MLE}\right]&=E\left[\frac{\sum_{i=1}^{n}y_i{x}_{i}}{\sum_{i=1}^{n}{x}_{i}^2}\right]\\ &=\frac{\sum_{i=1}^{n}{x}_{i}E\left[y_i\right]}{\sum_{i=1}^{n}{x}_{i}^2}\\ &=\frac{\sum_{i=1}^{n}{x}_{i}\beta{x}_{i}}{\sum_{i=1}^{n}{x}_{i}^2}\\ &=\frac{\sum_{i=1}^{n}\beta{x}_{i}^2}{\sum_{i=1}^{n}{x}_{i}^2}\\ &=\beta\frac{\sum_{i=1}^{n}{x}_{i}^2}{\sum_{i=1}^{n}{x}_{i}^2}\\ &=\beta\\ \end{aligned} \]
Por lo tanto, \({\beta}_{MLE}\) es un estimador insesgado para \(\beta\).
La varianza de βMLEβMLE se calcula como:
\[ \begin{aligned} Var[\widehat{\beta}_{MLE}]&=Var\left[\frac{\sum_{i=1}^{n}y_i{x}_{i}}{\sum_{i=1}^{n}{x}_{i}^2}\right]\\ &=\frac{\sum_{i=1}^{n}{x}_{i}^2Var\left[y_i\right]}{\left(\sum_{i=1}^{n}{x}_{i}^2\right)^2}\\ \end{aligned} \]
Dado que \(Var(y_i)=σ^2\) para una distribución normal, esto se reduce a:
\[ \begin{aligned} Var[\widehat{\beta}_{MLE}]&=\frac{\sum_{i=1}^{n}{x}_{i}^2Var\left[y_i\right]}{\left(\sum_{i=1}^{n}{x}_{i}^2\right)^2}\\ &=\frac{\sum_{i=1}^{n}{x}_{i}^2\sigma^2}{\left(\sum_{i=1}^{n}{x}_{i}^2\right)^2}\\ &=\sigma^2\frac{\sum_{i=1}^{n}{x}_{i}^2}{\left(\sum_{i=1}^{n}{x}_{i}^2\right)^2}\\ &=\sigma^2\frac{1}{\sum_{i=1}^{n}{x}_{i}^2}\\ &=\frac{\sigma^2}{\sum_{i=1}^{n}{x}_{i}^2}\\ \end{aligned} \]
Por lo tanto, \(Var[\widehat{\beta}_{MLE}]=\frac{\sigma^2}{\left(\sum_{i=1}^{n}{x}_{i}^2\right)}\).
Para mostrar que \(\widehat{\beta}\) es insesgado para \(\beta\), calculamos su esperanza:
\[ \begin{aligned} E\left(\widehat{\beta}\right)&=E\left[\frac{1}{n}\sum_{i=1}^{n}\frac{{y}_{i}}{{x}_{i}}\right]\\ &=\frac{1}{n}\sum_{i=1}^{n}\frac{E\left[{y}_{i}\right]}{{x}_{i}}\\ &=\frac{1}{n}\sum_{i=1}^{n}\frac{\beta{x}_{i}}{{x}_{i}}\\ &=\frac{1}{n}\sum_{i=1}^{n}\beta\\ &=\frac{1}{n}{n}\beta\\ &=\beta\\ \end{aligned} \]
Por lo tanto, \(\widehat{\beta}\) es un estimador insesgado para \(\beta\).
La varianza de \(\widehat{\beta}\) se calcula como:
\[ \begin{aligned} Var\left[\widehat{\beta}\right]&=Var\left[\frac{1}{n}\sum_{i=1}^{n}\frac{{y}_{i}}{{x}_{i}}\right]\\ &=\frac{1}{n^2}\sum_{i=1}^{n}\frac{Var\left[{y}_{i}\right]}{{x}_{i}^{2}}\\ &=\frac{1}{n^2}\sum_{i=1}^{n}\frac{\sigma^2}{{x}_{i}^{2}}\\ &=\frac{\sigma^2}{n^2}\sum_{i=1}^{n}\frac{1}{{x}_{i}^{2}}\\ \end{aligned} \]
Por lo tanto, \(Var[\widehat{\beta}]=\frac{\sigma^2}{n^2}\sum_{i=1}^{n}\frac{1}{x_i^2}\).
Para mostrar que \(\sum_{i=1}^{n}{y}_{i}^{2}\) es suficiente para \(\beta\), aplicamos el Teorema de Factorización de Fisher-Neyman.
La función de verosimilitud conjunta \(L(y1,y2,\ldots,yn|\beta,\sigma^2)\) es:
\[ \begin{aligned} L(y_1,y_2,\ldots,y_n|\beta,\sigma^2)&=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma^2}}e^{−\frac{(y_i−\beta{x}_{i})^2}{2\sigma^2}}\\ &=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma^2}}e^{−\frac{(y_i−\beta{x}_{i})^2}{2\sigma^2}}\\ &=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma^2}}\prod_{i=1}^{n}e^{−\frac{(y_i−\beta{x}_{i})^2}{2\sigma^2}}\\ &=\prod_{i=1}^{n}\frac{1}{\left(2\pi\sigma^2\right)^\frac{1}{2}}\prod_{i=1}^{n}e^{−\frac{(y_i−\beta{x}_{i})^2}{2\sigma^2}}\\ &=\frac{1}{\left(2\pi\sigma^2\right)^\frac{n}{2}}e^{−\sum_{i=1}^{n}\frac{(y_i−\beta{x}_{i})^2}{2\sigma^2}}\\ &=\frac{1}{\left(2\pi\right)^\frac{n}{2}}\frac{1}{\left(\sigma^2\right)^\frac{n}{2}}e^{−\sum_{i=1}^{n}\frac{y_i^2−2y_i\beta{x}_{i}+\beta{x}_{i}^2}{2\sigma^2}}\\ &=\frac{1}{\left(2\pi\right)^\frac{n}{2}}\frac{e^{−\sum_{i=1}^{n}\frac{y_i^2−2y_i\beta{x}_{i}+\beta{x}_{i}^2}{2\sigma^2}}}{\left(\sigma^2\right)^\frac{n}{2}}\\ &=\frac{1}{\left(2\pi\right)^\frac{n}{2}}\frac{e^{−\frac{1}{2\sigma^2}\sum_{i=1}^{n}y_i^2+\frac{2\beta}{2\sigma^2}\sum_{i=1}^{n}{y}_{i}{x}_{i}−\sum_{i=1}^{n}\frac{\beta{x}_{i}^2}{2\sigma^2}}}{\left(\sigma^2\right)^\frac{n}{2}}\\ &=h\left[{y}_{1},{y}_{2},\ldots,{y}_{n}\right]g\left[\sum_{i=1}^{n}{y}_{i}^{2},\sum_{i=1}^{n}{x}_{i}{y}_{i},\beta,\sigma^2\right]\\ \end{aligned} \]
En donde:
\(h\left[{y}_{1},{y}_{2},\ldots,{y}_{n}\right]=\frac{1}{\left(2\pi\right)^\frac{n}{2}}\) no depende ni de \(\beta\) como tampoco de \(\sigma^2\)
\(g\left[\sum_{i=1}^{n}{y}_{i}^{2},\sum_{i=1}^{n}{x}_{i}{y}_{i},\beta,\sigma^2\right]=\frac{e^{−\sum_{i=1}^{n}\frac{y_i^2−2y_i\beta{x}_{i}+\beta{x}_{i}^2}{2\sigma^2}}}{\left(\sigma^2\right)^\frac{n}{2}}\) es función de los estadísticos \(\sum_{i=1}^{n}{y}_{i}^{2}\) y \(\sum_{i=1}^{n}{x}_{i}{y}_{i}\) y de los parámetros a estimar: \(\beta\) y \(\sigma^2\).
Por lo tanto, \(\sum_{i=1}^{n}y_i^2\) y \(\sum_{i=1}^{n}x_iy_i\) son estadísticas suficientes para \(\beta\) y \(\sigma^2\), respectivamente.
Para determinar cuál es más eficiente, podemos comparar los denominadores. Si ∑i=1nxi2∑i=1nxi2 es mucho mayor que n2∑i=1n1xi2n2∑i=1nxi21, entonces βMLEβMLE es más eficiente. De lo contrario, ββ es más eficiente.
\[ \begin{aligned} MH{\leq}MG{\leq}MA&{\implies}\frac{1}{\frac{1}{n}\sum_{i=1}^{n}\frac{1}{{a}_{i}}}{\leq}\frac{1}{n}\sum_{i=1}^{n}{a}_{i}\\ &{\implies}\frac{1}{\frac{1}{n}\sum_{i=1}^{n}\frac{1}{\frac{1}{{x}_{i}}}}{\leq}\frac{1}{n}\sum_{i=1}^{n}\frac{1}{{x}_{i}}\\ &{\implies}\frac{1}{\frac{1}{n}\sum_{i=1}^{n}\frac{1}{\frac{1}{{x}_{i}}}}{\leq}\frac{1}{n}\sum_{i=1}^{n}\frac{1}{{x}_{i}}\\ &{\implies}\frac{1}{\frac{1}{n}\sum_{i=1}^{n}{x}_{i}}{\leq}\frac{1}{n}\sum_{i=1}^{n}\frac{1}{{x}_{i}}\\ &{\implies}\frac{1}{\frac{1}{n}\sum_{i=1}^{n}{x}_{i}^{2}}{\leq}\frac{1}{n}\sum_{i=1}^{n}\frac{1}{{x}_{i}^{2}}\\ &{\implies}\frac{n}{\sum_{i=1}^{n}{x}_{i}^{2}}{\leq}\frac{1}{n}\sum_{i=1}^{n}\frac{1}{{x}_{i}^{2}}\\ &{\implies}\frac{1}{\sum_{i=1}^{n}{x}_{i}^{2}}{\leq}\frac{1}{n^2}\sum_{i=1}^{n}\frac{1}{{x}_{i}^{2}}\\ &{\implies}Var[\widehat{\beta}_{MLE}]{\leq}Var[\widehat{\beta}] \end{aligned} \]
Luego \(\widehat{\beta}_{MLE}\) es más eficiente que \(\widehat{\beta}\)
Para demostrar que \(\widehat{\sigma}^2\) es insesgado para \(\sigma^2\), calculamos su esperanza:
\[ \begin{aligned} E\left[\widehat{\sigma}^{2}\right]&=E\left[\frac{1}{2k}\sum_{i=1}^{k}({Y}_{2i}−{Y}_{2i−1})^2\right]\\ &=\frac{1}{2k}E\left[\sum_{i=1}^{k}({Y}_{2i}−{Y}_{2i−1})^2\right]\\ &=\frac{1}{2k}E\left[({Y}_{2}−{Y}_{1})^2+({Y}_{4}−{Y}_{3})^2+\cdots+({Y}_{2i}−{Y}_{2i−1})^2+\cdots+({Y}_{2k}−{Y}_{2k−1})^2\right]\\ &=\frac{1}{2k}\left\{E\left[({Y}_{2}−{Y}_{1})^2\right]+E\left[({Y}_{4}−{Y}_{3})^2\right]+\cdots+E\left[({Y}_{2i}−{Y}_{2i−1})^2\right]+\cdots+E\left[({Y}_{2k}−{Y}_{2k−1})^2\right]\right\}\\ \end{aligned} \]
Explorando uno de los sumandos
\[ \begin{aligned} E\left[({Y}_{2i}−{Y}_{2i−1})^2\right]&=E\left[{Y}_{2i}^2−2{Y}_{2i}{Y}_{2i−1}+{Y}_{2i−1}^2\right]\\ &=E\left[{Y}_{2i}^2\right]−2E\left[{Y}_{2i}{Y}_{2i−1}\right]+E\left[{Y}_{2i−1}^2\right]\\ &=E\left[{Y}_{2i}^2\right]−2E\left[{Y}_{2i}{Y}_{2i−1}\right]+E\left[{Y}_{2i−1}^2\right]\\ \end{aligned} \]
Por independencia \(E\left[{Y}_{2i}{Y}_{2i−1}\right]=E\left[{Y}_{2i}\right]E\left[{Y}_{2i−1}\right]\)
\[ \begin{aligned} E\left[({Y}_{2i}−{Y}_{2i−1})^2\right]&=E\left[{Y}_{2i}^2\right]−2E\left[{Y}_{2i}\right]E\left[{Y}_{2i−1}\right]+E\left[{Y}_{2i−1}^2\right]\\ &=E\left[{Y}_{2i}^2\right]−2E\left[{Y}_{2i}\right]E\left[{Y}_{2i−1}\right]+E\left[{Y}_{2i−1}^2\right]\\ \end{aligned} \]
Tomando en cuenta que: \(E\left[{Y}_{i}\right]=\mu\), y \(Var[{Y}_{i}]=E[({Y}_{i})^2]-\left\{E[{Y}_{i}]\right\}^2\) se tiene que \(Var[{Y}_{i}]+\left\{E[{Y}_{i}]\right\}^2=E[({Y}_{i})^2]\) luego \(\sigma^2+\left\{\mu\right\}^2=E[({Y}_{i})^2]\) y entonces
2 es un estimador consistente para σ2σ2, utilizamos el teorema de la ley de los grandes números.
Dado que n=2kn=2k, a medida que nn tiende a infinito, kk también tiende a infinito. Entonces, 12k2k1 tiende a cero.
Por lo tanto, σ^2σ 2 es un estimador consistente para σ2σ2.