Prueba de razón de verosimilitudes

Función de verosimilitud

Sea \(\mathbf{x}=\left(x_1,x_2,\ldots,x_n\right)\) una muestra aleatoria con fdp \(f_X(x,\theta)\) y \(\theta\in\Theta\)

\[\mathbb{L}\left(\theta|\mathbf{x}\right)=\prod_{i=1}^{n}f_{X_i}(x_i,\theta)\]

Entonces \(P\left(\mathbf{X}=\mathbf{x},\theta=\theta^{i}\right)>P\left(\mathbf{X}=\mathbf{x},\theta=\theta^{j}\right)\) corresponde a el valor de probabilidad \(\theta=\theta^{i}\) que hace mas verosímil dados los valores en la muestra \(\mathbf{X}=\mathbf{x}\) sobre cualquier otro \(\theta=\theta^{j}\).

A partir de:

\[\mathbb{L}\left(\theta=\theta^{i}|\mathbf{x}\right)>\mathbb{L}\left(\theta=\theta^{j}|\mathbf{x}\right)\]

Razón de verosimilitudes

Se construye la razón de verosimilitudes:

\[ \begin{aligned} \mathbb{R}\left(\theta^{i},\theta^{j};\mathbf{x}\right)&=\frac{\mathbb{L}\left(\theta=\theta^{i}|\mathbf{x}\right)}{\mathbb{L}\left(\theta=\theta^{j}|\mathbf{x}\right)}\\ &=\frac{f_{\mathbf{X}}\left(\mathbf{x}|\theta=\theta^{i}\right)}{f_{\mathbf{X}}\left(\mathbf{x}|\theta=\theta^{j}\right)}\\ \end{aligned} \]

Con \(\theta^{i},\theta^{j}\in\Theta\)

Sistema de hipótesis

\[ \begin{aligned} H_0&:\theta{=}\theta_0\\ H_1&:\theta{\neq}\theta_0 \end{aligned} \]

Se quiere probar la hipótesis \(H_0:\theta{=}\theta_0\) frente a la alternativa \(H_1:\theta{\neq}\theta_0\) donde \(\theta_0{\in}\Theta\).

Teorema

Sea \(\theta_0\) el verdadero valor de \(\theta\). Bajo las siguientes condiciones de regularidad

  • Las fdp son identificables: si \(\theta^{i}{\neq}\theta^{j}\) entonces \(f_{X_i}\left(x_i|\theta=\theta^{i}\right){\neq}f_{X_i}\left(x_i|\theta=\theta^{j}\right)\)

  • La fdp tienen un soporte común para todos los valores de \(\theta\) (el soporte de los valores que pueden tomar la muestras \(X_i\) no dependen de \(\theta\))

  • El punto \(\theta_0\) es un punto interior en el soporte \(\Theta\), esto es, \(\lim_{n{\rightarrow}\infty}P\left[\mathbb{L}\left(\theta=\theta_{0}|\mathbf{x}\right)>\mathbb{L}\left(\theta=\theta|\mathbf{x}\right)\right]=1\) para todo \(\theta{\neq}\theta_0\)

Regla de decisión

\[ \begin{aligned} \Lambda(\mathbf{x})&=\frac{\sup_{\Theta_0}\mathbb{L}\left(\theta|\mathbf{x}\right)}{\sup_{\Theta}\mathbb{L}\left(\theta|\mathbf{x}\right)}\\ &=\frac{\mathbb{L}\left(\theta_0|\mathbf{x}\right)}{\mathbb{L}\left(\widehat{\theta}_{MLE}|\mathbf{x}\right)}\\ \end{aligned} \]

Ahora bien \(0<\Lambda(\mathbf{x})<1\), pues, en el denominador se encuentra el estimador máxmio verosimil de \(\theta\) y entonces:

  • Cuando la hipótesis nula \(H_0:\theta{=}\theta_0\) es verdadera \(\Lambda(\mathbf{x})\) tiende a uno

  • Cuando la hipótesis nula \(H_1\theta{\neq}\theta_0\) es verdadera \(\Lambda(\mathbf{x})\) puede ser menor

Nivel de significancia

Dado un nivel de significancia (probabilidad de eror tipo I) \(\alpha\), se rechaza \(H_0:\theta{=}\theta_0\) en favor de \(H_1\theta{\neq}\theta_0\) cuando \(\Lambda(\mathbf{x}){\leq}c\) para algún \(c\) que haga que:

\[ \begin{aligned} \alpha&=P\left[\Lambda(\mathbf{x}){\leq}c\right]\\ &=P\left[\frac{\mathbb{L}\left(\theta_0|\mathbf{x}\right)}{\mathbb{L}\left(\widehat{\theta}_{MLE}|\mathbf{x}\right)}{\leq}c\right]\\ \end{aligned} \]

Prueba de razón de verosimilitudes

Dado el sistema de hipótesis

\[ \begin{aligned} H_0&:\theta{\in}\Theta_0\\ H_1&:\theta{\in}\Theta_0^{c} \end{aligned} \]

Donde \(\Theta_0{\cup}\Theta_0^{c}=\Theta\) y \(\Theta_0{\cap}\Theta_0^{c}=\left\{\right\}\)

Estadístico de razón de verosimilitudes

Se define la estadística de la prueba de razón de verosimilitudes como:

\[ \begin{aligned} \Lambda(\mathbf{x})&=\frac{\sup_{\Theta_0}\mathbb{L}\left(\theta|\mathbf{x}\right)}{\sup_{\Theta}\mathbb{L}\left(\theta|\mathbf{x}\right)}\\ \end{aligned} \]

Región de rechazo

Con región de rechazo dada por:

\[ \mathbf{R}=\left\{\mathbf{x}:\Lambda(\mathbf{x}){\leq}c\right\} \]

En donde \(0<c<1\)

Ejemplo

Se tiene una muestra aleatoria \(\mathbf{x}=\left(x_1,x_2,\ldots,x_n\right)\) una muestra aleatoria proveniente de una población normal \(N(\theta,\sigma^2)\) en donde \(\sigma^2\) se asume conocida. Se quiere entonces probar la hipótesis a dos colas o bilateral:

\[ \begin{aligned} H_0&:\theta{=}\theta_0\\ H_1&:\theta{\neq}\theta_0 \end{aligned} \]

Solución

La función de probabilidades para una variable distribuida de forma normal \(X_i{\sim}N(\theta,\sigma^2)\) es:

\[f_{X_i}(x_i,\theta)=\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{1}{2\sigma^2}\left(x_i-\theta\right)^2}\]

Con \(\Theta=\left\{-\infty<\theta<+\infty\right\}\). Luego la verosimilitud estaría dada por:

\[ \begin{aligned} \mathbb{L}\left(\theta|\mathbf{x}\right)&=\prod_{i=1}^{n}f_{X_i}(x_i,\theta)\\ &=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{1}{2\sigma^2}\left(x_i-\theta\right)^2}\\ &=\frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(x_i-\theta\right)^2}\\ &=\frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}}e^{\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(x_i-\overline{x}+\overline{x}-\theta\right)^2}\\ &=\frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left[\left(x_i-\overline{x}\right)-\left(\overline{x}-\theta\right)\right]^2}\\ &=\frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left[\left(x_i-\overline{x}\right)^2-2\left(x_i+\overline{x}\right)\left(\overline{x}-\theta\right)+\left(\overline{x}-\theta\right)^2\right]}\\ &=\frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}}e^{-\frac{1}{2\sigma^2}\left[\sum_{i=1}^{n}\left(x_i-\overline{x}\right)^2-2\sum_{i=1}^{n}\left(x_i-\overline{x}\right)\left(\overline{x}-\theta\right)+\sum_{i=1}^{n}\left(\overline{x}-\theta\right)^2\right]}\\ &=\frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}}e^{-\frac{1}{2\sigma^2}\left[\sum_{i=1}^{n}\left(x_i-\overline{x}\right)^2-2\left(\overline{x}-\theta\right)\sum_{i=1}^{n}\left(x_i-\overline{x}\right)+\sum_{i=1}^{n}\left(\overline{x}-\theta\right)^2\right]}\\ &=\frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}}e^{-\frac{1}{2\sigma^2}\left[\sum_{i=1}^{n}\left(x_i-\overline{x}\right)^2+\sum_{i=1}^{n}\left(\overline{x}-\theta\right)^2\right]}\\ &=\frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(x_i-\overline{x}\right)^2}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(\overline{x}-\theta\right)^2}\\ \end{aligned} \]

Partiendo de la estadística de razón de verosimilitudes

\[ \begin{aligned} \Lambda(\mathbf{x})&=\frac{\sup_{\Theta_0}\mathbb{L}\left(\theta|\mathbf{x}\right)}{\sup_{\Theta}\mathbb{L}\left(\theta|\mathbf{x}\right)}\\ &=\frac{\mathbb{L}\left(\theta_0|\mathbf{x}\right)}{\mathbb{L}\left(\widehat{\theta}_{MLE}|\mathbf{x}\right)}\\ \end{aligned} \]

Se tiene lo siguiente:

\[ \sup_{\Theta_0}\mathbb{L}\left(\theta|\mathbf{x}\right)=\frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(x_i-\overline{x}\right)^2}e^{\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(\overline{x}-\theta_0\right)^2}\\ \]

y sabiendo que \(\widehat{\theta}_{MLE}=\overline{x}\)

\[ \begin{aligned} \sup_{\Theta}\mathbb{L}\left(\theta|\mathbf{x}\right)&=\frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(x_i-\overline{x}\right)^2}e^{\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(\overline{x}-\widehat{\theta}_{MLE}\right)^2}\\ &=\frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(x_i-\overline{x}\right)^2}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(\overline{x}-\overline{x}\right)^2}\\ &=\frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(x_i-\overline{x}\right)^2}\\ &=\frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(x_i-\overline{x}\right)^2}\\ \end{aligned} \]

Y entonces

\[ \begin{aligned} \Lambda(\mathbf{x})&=\frac{\sup_{\Theta_0}\mathbb{L}\left(\theta|\mathbf{x}\right)}{\sup_{\Theta}\mathbb{L}\left(\theta|\mathbf{x}\right)}\\ &=\frac{\mathbb{L}\left(\theta_0|\mathbf{x}\right)}{\mathbb{L}\left(\widehat{\theta}_{MLE}|\mathbf{x}\right)}\\ &=\frac{\frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(x_i-\overline{x}\right)^2}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(\overline{x}-\theta_0\right)^2}}{\frac{1}{\left(2\pi\sigma^2\right)^{\frac{n}{2}}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(x_i-\overline{x}\right)^2}}\\ &=\frac{e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(x_i-\overline{x}\right)^2}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(\overline{x}-\theta_0\right)^2}}{e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(x_i-\overline{x}\right)^2}}\\ &=e^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(\overline{x}-\theta_0\right)^2}\\ &=e^{-\frac{1}{2\sigma^2}n\left(\overline{x}-\theta_0\right)^2}\\ &=e^{-\frac{n}{2\sigma^2}\left(\overline{x}-\theta_0\right)^2}\\ \end{aligned} \]

Considerando que la región de rechazo está determinada por:

\[ \begin{aligned} \mathbf{R}&=\left\{\mathbf{x}:\Lambda(\mathbf{x}){\leq}c\right\}\\ &=\left\{\mathbf{x}:e^{-\frac{n}{2\sigma^2}\left(\overline{x}-\theta_0\right)^2}{\leq}c\right\}\\ &=\left\{\mathbf{x}:-\frac{n}{2\sigma^2}\left(\overline{x}-\theta_0\right)^2{\leq}\ln{(c)}\right\}\\ &=\left\{\mathbf{x}:\left(\overline{x}-\theta_0\right)^2{\geq}-\frac{2\sigma^2}{n}\ln{(c)}\right\}\\ &=\left\{\mathbf{x}:\left|\overline{x}-\theta_0\right|{\geq}\sqrt{-\frac{2\sigma^2}{n}\ln{(c)}}\right\}\\ &=\left\{\mathbf{x}:\left|\overline{x}-\theta_0\right|{\geq}\sqrt{-2\ln{(c)}\frac{\sigma^2}{n}}\right\}\\ &=\left\{\mathbf{x}:\left|\overline{x}-\theta_0\right|{\geq}\sqrt{-2\ln{(c)}\sigma^2_{\overline{x}}}\right\}\\ &=\left\{\mathbf{x}:\left|\overline{x}-\theta_0\right|{\geq}\sqrt{-2\ln{(c)}}\sigma_{\overline{x}}\right\}\\ \end{aligned} \]

Luego la región de rechazo de la hipótesis nula; estaría determinada por aquellos valores que satisfagan: \(\overline{x}-\theta_0{\geq}+\sqrt{-2\ln{(c)}}\sigma_{\overline{x}}\) o \(\overline{x}-\theta_0{\leq}-\sqrt{-2\ln{(c)}}\sigma_{\overline{x}}\), o equivalentemente satisfagan: \(\overline{x}-\sqrt{-2\ln{(c)}}\sigma_{\overline{x}}{\geq}\theta_0\) o \(\overline{x}+\sqrt{-2\ln{(c)}}\sigma_{\overline{x}}{\leq}\theta_0\)

Por otro lado, consideremos lo siguiente:

\[ \begin{align} -\frac{n}{2\sigma^2}\left(\overline{x}-\theta_0\right)^2&=-\frac{1}{2}\frac{n}{\sigma^2}\left(\overline{x}-\theta_0\right)^2\\ &=-\frac{1}{2}\left[\sqrt{\frac{n}{\sigma^2}}\left(\overline{x}-\theta_0\right)\right]^2\\ &=-\frac{1}{2}\left[\frac{\left(\overline{x}-\theta_0\right)}{\sqrt{\frac{\sigma^2}{n}}}\right]^2\\ \end{align} \]

\[ \begin{align} -\frac{1}{2}\left[\frac{\left(\overline{x}-\theta_0\right)}{\sqrt{\frac{\sigma^2}{n}}}\right]^2&{\propto}\left[\frac{\left(\overline{x}-\theta_0\right)}{\sqrt{\frac{\sigma^2}{n}}}\right]^2\\ \end{align} \]

sabiendo que bajo la hipótesis nula \(H_0:\theta{=}\theta_0\) se tiene que \(\overline{x}{\sim}N\left((\theta_0,\sqrt{\frac{\sigma^2}{n}}\right)\) y en consecuencia

\[ \begin{align} \left[\frac{\left(\overline{x}-\theta_0\right)}{\sqrt{\frac{\sigma^2}{n}}}\right]^2&{\sim}\chi_1^2\\ \end{align} \]

Teorema

Si \(T(\mathbf{X})\) es una estadística suficiente para \(\theta\), entonces \(\Lambda^{´}\left[T(\mathbf{X})\right]\) y \(\Lambda(\mathbf{x})\) son sus correspondientes estadsíticas de razón de verosimilitud basadas en \(T(\mathbf{X})\) y en \(\mathbf{X}\), respectivamente, y enteonces

\[ \Lambda^{´}\left[T(\mathbf{X})\right]=\Lambda(\mathbf{x}) \]

para todo \(\mathbf{x}{\in}\Omega\)

Otras condiciones de regularidad

  • La fdp \(f_{X_i}\left(x_i|\theta\right)\) es diferenciable de orden dos; como función de \(\theta\)

  • La integral \({\int}_{\Omega}f_{X_i}\left(x_i|\theta\right)dx\) es diferenciable de orden dos como función de \(\theta\)

  • La fdp \(f_{X_i}\left(x_i|\theta\right)\) es diferenciable de orden dos; como función de \(\theta\); y además, para \(\theta{\in}\Theta\), existe una constante \(c\) y una fución \(M(\mathbf{x})\), tal que

\[ \left|\frac{d^3}{d\theta^2}\ln{\left[f_{X}\left(x|\theta\right)\right]}\right|{\leq}M(x) \]

En donde \(E_{\theta_0}\left[M(x)\right]<\infty\) para todo \(\theta\) en el intervalo \(\theta_0{\pm}c\) y todo \(x\in\Omega\)

Teorema

Dada una \(\mathbf{x}=\left(x_1,x_2,\ldots,x_n\right)\) una muestra aleatoria con fdp \(f_X(x,\theta)\) y \(\theta\in\Theta\), se quiere contrastar el siguiente sistema de hipótesis

\[ \begin{aligned} H_0&:\theta{=}\theta_0\\ H_1&:\theta{\neq}\theta_0 \end{aligned} \]

En donde \(\theta_0{\in}\Theta_0{\subset}\Theta\), entonces bajo las condiciones de regularidad dada y tomando \(H_0:\theta{=}\theta_0\) como verdadera

\[ -2\ln{[\Lambda(\mathbf{x})]}\stackrel{D}{\rightarrow}\chi_1^2 \]

Y en consecuencia, se rechaza la hipótesis nula \(H_0:\theta{=}\theta_0\) en favor de la alternativa \(H_1:\theta{\neq}\theta_0\), si

\[X_L^2=-2\ln{[\Lambda(\mathbf{x})]}{\geq}\chi_{1,1-\frac{\alpha}{2}}^2\]

Nota

Esta prueba es asintótica \((n{\rightarrow}\infty)\) se hace uso de ella cuando no se pueda obtener la estadística de prueba cuando no se pueda obtener us distribución en forma concreta.

Teorema

Dada una \(\mathbf{x}=\left(x_1,x_2,\ldots,x_n\right)\) una muestra aleatoria con fdp \(f_X(x,\theta)\) y \(\theta{\in}\Theta\) satisfechas las condiciones de regularidad. Suponga que la informacicón de Fisher es tal que \(0<I(\theta_0)<\infty\). Entonces, alguna secuancia de soluciones para el Estimador de Máxima Verosimilitud - MLE, satisface

\[ \sqrt{n}\left(\widehat{\theta}_{MLE}-\theta_0\right)\stackrel{D}{\rightarrow}N\left(0,\frac{1}{I(\theta_0)}\right) \]

Del teorema anterior se tiene lo siguiente:

\[ \frac{\sqrt{n}\left(\widehat{\theta}_{MLE}-\theta_0\right)}{\sqrt{\frac{1}{I(\theta_0)}}}\stackrel{D}{\rightarrow}N\left(0,1\right) \]

Y por lo tanto

\[ \left[\frac{\sqrt{n}\left(\widehat{\theta}_{MLE}-\theta_0\right)}{\sqrt{\frac{1}{I(\theta_0)}}}\right]^2\stackrel{D}{\rightarrow}\chi_1^2 \]

Tomando en cuenta que \(I(\theta)\) es una función continua, bajo la hipótesis nula (considerando que \(H_0:\theta=\theta_0\) es cierta).

\[I(\widehat{\theta}_{MLE})\stackrel{P}{\rightarrow}I(\theta_0)\]

Y también, asumiendo \(H_0:\theta=\theta_0\) como cierta (bajo la hipótesis nula)

\[ \left[\frac{\sqrt{n}\left(\widehat{\theta}_{MLE}-\theta_0\right)}{\sqrt{\frac{1}{I(\widehat{\theta}_{MLE})}}}\right]^2\stackrel{D}{\rightarrow}\chi_1^2 \]

Y como consecuencia de ello se rechaza \(H_0:\theta{=}\theta_0\) en favor de \(H_0:\theta{\neq}\theta_0\) si

\[ \left[\frac{\sqrt{n}\left(\widehat{\theta}_{MLE}-\theta_0\right)}{\sqrt{\frac{1}{I(\widehat{\theta}_{MLE})}}}\right]^2{\geq}\chi_{1,1-\frac{\alpha}{2}}^2 \]

Observación importante

Nótese que la anterior estadística se encuentra basada en la distribución asintótica de \(\widehat{\theta}_{MLE}\); por lo que al igual que la estadística de razón de verosimilitud (LRT) es una prueba asintótica, la estadśitica de Wald también lo es, y además existe una relación entre las dos pruebas estadśiticas asociadas:

\[ -2\ln{\Lambda(\mathbf{x})}=\left[\frac{\sqrt{n}\left(\widehat{\theta}_{MLE}-\theta_0\right)}{\sqrt{\frac{1}{I(\theta_{0})}}}\right]^2+R_n \]

en donde \(R_n\stackrel{D}{\rightarrow}0\), y corresponde al residuo de la expansión de Taylor de \(I(\theta_0)\) en torno a \(\theta_0\) evaluada en \(\widehat{\theta}_{MLE}\). Luego

\[ -2\ln{\Lambda(\mathbf{x})}-\left[\frac{\sqrt{n}\left(\widehat{\theta}_{MLE}-\theta_0\right)}{\sqrt{\frac{1}{I(\widehat{\theta}_{MLE})}}}\right]^2\stackrel{D}{\rightarrow}0 \]

Otra prueba basada en la razón de verosimilitudes, es la llamada prueba de puntajes o score. Los scores son los componentes del vector

\[ S(\theta)=\left(\frac{d}{d\theta}\ln{f_{X_1}\left(x_1;\theta\right)},\frac{d}{d\theta}\ln{f_{X_2}\left(x_2;\theta\right)},\cdots,\frac{d}{d\theta}\ln{f_{X_n}\left(x_n;\theta\right)}\right) \]

La estadística de prueba

\[ \left[\frac{\frac{d}{d\theta}I\left(\theta_0|\mathbf{x}\right)}{\sqrt{nI(\theta_0)}}\right]^2 \]

Bajo la hipótesis satisface

\[ \left[\frac{\frac{d}{d\theta}I\left(\theta_0|\mathbf{x}\right)}{\sqrt{nI(\theta_0)}}\right]^2=\left[\frac{\sqrt{n}\left(\widehat{\theta}_{MLE}-\theta_0\right)}{\sqrt{\frac{1}{\widehat{\theta}_{MLE}}}}\right]^2+R_{0n} \]

en donde \(R_{0n}\stackrel{P}{\rightarrow}0\), y por lo anterior se rechaza \(H_0:\theta{=}\theta_0\) en favor de \(H_0:\theta{\neq}\theta_0\) si .

\[ \left[\frac{\frac{d}{d\theta}I\left(\theta_0|\mathbf{x}\right)}{\sqrt{nI(\theta_0)}}\right]^2{\geq}\chi_{1,1-\frac{\alpha}{2}}^2 \]

Ejemplo

Se tiene una muestra aleatoria \(\mathbf{x}=\left(x_1,x_2,\ldots,x_n\right)\) una muestra aleatoria proveniente de una población \(Beta(\theta,1)\). Se quiere entonces probar la hipótesis a dos colas o bilateral:

\[ \begin{aligned} H_0&:\theta{=}1\\ H_1&:\theta{\neq}1 \end{aligned} \]

Determine las estadísticas

\[ \begin{aligned} X_L^2&=-2\ln{\Lambda(\mathbf{x})}\\ X_W^2&=\left[\frac{\sqrt{n}\left(\widehat{\theta}_{MLE}-\theta_0\right)}{\sqrt{\frac{1}{I(\widehat{\theta}_{MLE})}}}\right]^2\\ X_S^2&=\left[\frac{\frac{d}{d\theta}I\left(\theta_0|\mathbf{x}\right)}{\sqrt{nI(\theta_0)}}\right]^2 \end{aligned} \]

Solución

\[ \begin{aligned} X_L^2&=-2\ln{\Lambda(\mathbf{x})}\\ &=-2\ln{\left[\frac{\sup_{\Theta_0}\mathbf{L}(\theta|\mathbf{x})}{\sup_{\Theta}\mathbf{L}(\theta|\mathbf{x})}\right]} \end{aligned} \]

Tomando en cuenta que \(X_i{\sim}Beta(\theta,1)\)

\[ \begin{aligned} f_X(x_i|\theta)&=\frac{1}{Beta(\theta,1)}x_i^{\theta-1}(1-x_i)^{1-1}\mathbb{I}_{(0,1)}\left(x_i\right)\\ &={\theta}x_i^{\theta-1}(1-x_i)^{1-1}\boldsymbol{I}_{(0,1)}\left(x_i\right)\\ &={\theta}x_i^{\theta-1}\boldsymbol{I}_{(0,1)}\left(x_i\right)\\ \end{aligned} \]

Y entonces

\[ \begin{aligned} \mathbb{L}\left(\theta|\mathbf{x}\right)&=\prod_{i=1}^{n}f_{x_i}\left(x_i|\theta\right)\\ &=\prod_{i=1}^{n}{\theta}x_i^{\theta-1}\boldsymbol{I}_{(0,1)}\left(x_i\right)\\ &={\theta}^{n}\prod_{i=1}^{n}x_i^{\theta-1}\boldsymbol{I}_{(0,1)}\left(x_i\right)\\ \end{aligned} \]

\[ \begin{aligned} I(\theta)&=\ln{\left({\theta}^{n}\right)}+\ln{\left[\prod_{i=1}^{n}x_i^{\theta-1}\boldsymbol{I}_{(0,1)}\left(x_i\right)\right]}\\ &={n}\ln{\left({\theta}\right)}+{(\theta-1)}\prod_{i=1}^{n}\ln{\left(x_i\right)\boldsymbol{I}_{(0,1)}\left(x_i\right)}\\ &={n}\ln{\left({\theta}\right)}+{(\theta-1)}\sum_{i=1}^{n}\ln{\left(x_i\right)}\\ \end{aligned} \]

\[ \begin{aligned} \frac{d}{d\theta}I(\theta)&=\frac{d}{d\theta}\left[{n}\ln{\left({\theta}\right)}+{(\theta-1)}\sum_{i=1}^{n}\ln{\left(x_i\right)}\right]\\ &=\frac{n}{\theta}+\sum_{i=1}^{n}\ln{\left(x_i\right)}\\ \end{aligned} \]

\[ \begin{aligned} \frac{d^2}{d^2\theta}I(\theta)&=\frac{d}{d\theta}\left[\frac{n}{\theta}+\sum_{i=1}^{n}\ln{\left(x_i\right)}\right]\\ &=-\frac{n}{\theta^2}\\ \end{aligned} \]

\[ \begin{aligned} \frac{d}{d\theta}I(\theta)=0&{\implies}\frac{n}{\widehat{\theta}_{MLE}}+\sum_{i=1}^{n}\ln{\left(x_i\right)}=0\\ &{\implies}\frac{n}{\widehat{\theta}_{MLE}}=-\sum_{i=1}^{n}\ln{\left(x_i\right)}\\ &{\implies}\frac{n}{-\sum_{i=1}^{n}\ln{\left(x_i\right)}}=\widehat{\theta}_{MLE}\\ \end{aligned} \]

De otra parte

\[ \begin{aligned} \mathbb{L}\left(\theta|\mathbf{x}\right)&={\theta}^{n}\prod_{i=1}^{n}x_i^{\theta-1}\boldsymbol{I}_{(0,1)}\left(x_i\right)\\ &=\theta^ne^{\ln{\left[\prod_{i=1}^{n}x_i^{\theta-1}\boldsymbol{I}_{(0,1)}\left(x_i\right)\right]}}\\ &=\theta^ne^{({\theta-1})\sum_{i=1}^{n}\ln{\left[x_i\boldsymbol{I}_{(0,1)}\left(x_i\right)\right]}}\\ &=\theta^ne^{({\theta-1})\sum_{i=1}^{n}\ln{\left(x_i\right)}}\\ \end{aligned} \]

Así pues

\[ \begin{aligned} \sup_{\Theta_0}\mathbb{L}\left(\theta|\mathbf{x}\right)&={1}^ne^{({1-1})\sum_{i=1}^{n}\ln{\left(x_i\right)}}\\ &=1\\ \end{aligned} \]

\[ \begin{aligned} \sup_{\Theta}\mathbb{L}\left(\theta|\mathbf{x}\right)&={\left(\widehat{\theta}_{MLE}\right)}^ne^{\left({\widehat{\theta}_{MLE}-1}\right)\sum_{i=1}^{n}\ln{\left(x_i\right)}}\\ &={\left[\frac{n}{-\sum_{i=1}^{n}\ln{\left(x_i\right)}}\right]}^ne^{\left[{\frac{n}{-\sum_{i=1}^{n}\ln{\left(x_i\right)}}-1}\right]\sum_{i=1}^{n}\ln{\left(x_i\right)}}\\ &={\left[\frac{n}{-\sum_{i=1}^{n}\ln{\left(x_i\right)}}\right]}^ne^{\left[{-n\frac{\sum_{i=1}^{n}\ln{\left(x_i\right)}}{\sum_{i=1}^{n}\ln{\left(x_i\right)}}-\sum_{i=1}^{n}\ln{\left(x_i\right)}}\right]}\\ &={\left[\frac{1}{-\sum_{i=1}^{n}\ln{\left(x_i\right)}}\right]}^ne^{n\ln{(n)}}e^{\left[{-n-\sum_{i=1}^{n}\ln{\left(x_i\right)}}\right]}\\ &={\left[\frac{1}{-\sum_{i=1}^{n}\ln{\left(x_i\right)}}\right]}^ne^{n\ln{(n)}}e^{-n}e^{\left[{-\sum_{i=1}^{n}\ln{\left(x_i\right)}}\right]}\\ &={\left[\frac{1}{-\sum_{i=1}^{n}\ln{\left(x_i\right)}}\right]}^ne^{-n\left[\ln{(n)}-1\right]}e^{\left[{-\sum_{i=1}^{n}\ln{\left(x_i\right)}}\right]}\\ \end{aligned} \]

Y por tanto

\[ \begin{align} \Lambda(\mathbf{x})&=\frac{1}{{\left[\frac{1}{-\sum_{i=1}^{n}\ln{\left(x_i\right)}}\right]}^ne^{-n\left[\ln{(n)}-1\right]}e^{\left[{-\sum_{i=1}^{n}\ln{\left(x_i\right)}}\right]}}\\ &={\left[-\sum_{i=1}^{n}\ln{\left(x_i\right)}\right]}^ne^{n\left[\ln{(n)}-1\right]}e^{\left[{\sum_{i=1}^{n}\ln{\left(x_i\right)}}\right]}\\ \end{align} \]

Finalmente

\[ \begin{aligned} X_L^2&=-2\ln{\Lambda(\mathbf{x})}\\ &=-2\ln{\left[\frac{\sup_{\Theta_0}\mathbf{L}(\theta|\mathbf{x})}{\sup_{\Theta}\mathbf{L}(\theta|\mathbf{x})}\right]}\\ &=-2\ln{\left\{{\left[-\sum_{i=1}^{n}\ln{\left(x_i\right)}\right]}^ne^{n\left[\ln{(n)}-1\right]}e^{\left[{\sum_{i=1}^{n}\ln{\left(x_i\right)}}\right]}\right\}}\\ &=-2\left\{n\ln{\left[-\sum_{i=1}^{n}\ln{\left(x_i\right)}\right]}+{n\left[\ln{(n)}-1\right]}+{\left[{\sum_{i=1}^{n}\ln{\left(x_i\right)}}\right]}\right\}\\ &=-2\left\{n\ln{\left[-\sum_{i=1}^{n}\ln{\left(x_i\right)}\right]}+{n\ln{(n)}-n}+{\left[{\sum_{i=1}^{n}\ln{\left(x_i\right)}}\right]}\right\}\\ \end{aligned} \]

La estadística \(X_W^2\) de prueba de Wald está dada por:

\[ \begin{aligned} X_W^2&=\left[\frac{\sqrt{n}\left(\widehat{\theta}_{MLE}-\theta_0\right)}{\sqrt{\frac{1}{I(\widehat{\theta}_{MLE})}}}\right]^2\\ \end{aligned} \]

Lo primero será determinar

\[ \begin{aligned} I({\theta})&=-E\left\{\frac{d^2}{d\theta^2}\left[\ln{f_X(x|\theta)}\right]\right\}\\ &=-E\left\{\frac{d^2}{d\theta^2}\left[\ln{\left({\theta}x^{{\theta}-1}\right)}\right]\right\}\\ &=-E\left\{\frac{d^2}{d\theta^2}\left[\ln{\left({\theta}\right)}+\ln{\left(x^{{\theta}-1}\right)}\right]\right\}\\ &=-E\left\{\frac{d^2}{d\theta^2}\left[\ln{\left({\theta}\right)}+{({\theta}-1)}\ln{\left(x\right)}\right]\right\}\\ &=-E\left\{\frac{d}{d\theta}\left[\frac{1}{\theta}+\ln{\left(x\right)}\right]\right\}\\ &=-E\left[-\left(\frac{1}{\theta}\right)^2\right]\\ &=\frac{1}{\theta^2}\\ \end{aligned} \]

Luego

\[ I(\widehat{\theta}_{MLE})=\frac{1}{{\widehat{\theta}}_{MLE}^2}\\ \]

\[ \begin{aligned} X_W^2&=\left[\frac{\sqrt{n}\left(\widehat{\theta}_{MLE}-\theta_0\right)}{\sqrt{\frac{1}{I(\widehat{\theta}_{MLE})}}}\right]^2\\ &=\left[\frac{\sqrt{n}\left(\widehat{\theta}_{MLE}-1\right)}{\sqrt{\frac{1}{\frac{1}{{\widehat{\theta}}_{MLE}^2}}}}\right]^2\\ &=\left[\frac{\sqrt{n}\left(\widehat{\theta}_{MLE}-1\right)}{\sqrt{{\widehat{\theta}}_{MLE}^2}}\right]^2\\ \end{aligned} \]

Sabiendo que la estadística de la prueba de score (“puntajes”)

\[ \begin{aligned} X_S^2&=\left[\frac{\frac{d}{d\theta}I\left(\theta_0|\mathbf{x}\right)}{\sqrt{nI(\theta_0)}}\right]^2 \end{aligned} \]

Hemos visto que

\[ \frac{d}{d\theta}I(\theta|\mathbf{x})=\frac{n}{\theta}+\sum_{i=1}^{n}\ln\left(x_i\right) \]

Luego

\[ \begin{aligned} \frac{d}{d\theta}I(\theta_0|\mathbf{x})&=\frac{n}{\theta_0}+\sum_{i=1}^{n}\ln\left(x_i\right)\\ &=\frac{n}{1}+\sum_{i=1}^{n}\ln\left(x_i\right)\\ &=n+\sum_{i=1}^{n}\ln\left(x_i\right)\\ \end{aligned} \]

De otra parte

\[ \begin{aligned} I(\theta)=\frac{1}{\theta^2}&{\implies}I(\theta_0)=\frac{1}{\theta_0^2}\\ &{\implies}I(\theta_0)=1\\ \end{aligned} \]

Así, pues la estadística de Score es dada por:

\[ \begin{aligned} X_S^2&=\left[\frac{\frac{d}{d\theta}I\left(\theta_0|\mathbf{x}\right)}{\sqrt{nI(\theta_0)}}\right]^2\\ &=\left[\frac{n+\sum_{i=1}^{n}\ln\left(x_i\right)}{\sqrt{n}}\right]^2\\ \end{aligned} \]