En la práctica, la distribución de probabilidad asumida para la variable en estudio tiene parámetros desconocidos.

Muestra probabilística \(\Rightarrow\) inferencias sobre los parámetros

Fuente: http://www.universoformulas.com/imagenes/estadistica/inferencia/proceso-estadistica-inferencial.jpg

• Estimación puntual \(\Rightarrow\) Estadísticos

• Distribución de estadísticos \(\Rightarrow\) Pruebas de hipótesis

• Inversión de pruebas de hipótesis \(\Rightarrow\) Construcción de Intervalos de confianza

¿Por qué?

Bajo condiciones de regularidad (Un número constante de parámetros que están en el interior del espacio de parámetros \(\Theta\) mientras n crece), asintóticamente los estimadores tienen las siguientes propiedades:

• Tienen distribución Normal

• Consistentes: Convergen al parámentro cuando \(n \rightarrow \infty\)

• Eficientes: Error estandar < otros métodos.

Sea \(\mathbf{\theta} \in \Theta\) un vector de parámetros, sea \(\mathbf{\hat\theta}\) su MLE y sea \(cov(\mathbf{\hat \theta})\) la matriz de covarianzas asintótica. Bajo ciertas condiciones de regularidad, \(cov(\mathbf{\hat \theta})\) es igual a la inversa de la matriz de información \(I\). Donde,

\[I_{jk}=-E \left ( \frac{\partial² L(\mathbf{\theta})}{\partial \theta_j \partial \theta_k} \right )\]

Esto junto a la normalidad asintótica de los MLE \(\Rightarrow\) Tres métodos:

• Wald test

• Test de razón de verosimilitudes

• Score test de Rao / Test del multiplicador de Lagrange

Wald Test

• Multivariado (dos colas): Bajo \(H_0\), el estadístico de Wald, \[W = (\mathbf{\hat\theta} - \mathbf{\theta_0})^t [cov(\mathbf{\hat \theta})]^{-1} (\mathbf{\hat\theta} - \mathbf{\theta_0})\] Tiene distribución Chi² con g.l.=rango(\(cov(\mathbf{\hat \theta})\)), i.e. el número de parámetros no redundantes en \(\theta\).

• Univariado (una o dos colas): Bajo \(H_0\), el estadístico de Wald, \[Z=\frac{\hat\theta - \theta_0}{\widehat{SE}}=\frac{\hat\theta - \theta_0}{1/\sqrt{-E \left ( \frac{\partial² L(\mathbf{\theta})}{\partial \theta^2} \right )\Bigr|_{\theta=\hat\theta}}}\] Tiene distribución aprox. normal estandar

Test de razón de verosimilitudes

Sea \(l_0\) el máximo valor de la verosimilitud bajo \(H_0\) y \(l_1\) el máximo general (\(H_0 \bigcup H_a\)). Note que \(l_1 \geq l_0\) y que \(\Delta= l_0/l_1 \leq1\). Bajo \(H_0\), el estadístico de razón de verosimilitudes

\[-2log\Delta=-2log(l_0/l_1)=-2(L_0-L_1)\]

se distribuye asintóticamente Chi² con g.l. la diferencia entre las dimensiones de los espacios de parámetros bajo \(H_0 \bigcup H_a\) y \(H_0\)

Score Test

Se basa en la pendiente y la curvatura esperada de la log-verosimilitud \(L(\theta)\) en \(\theta_0\) y utiliza la función score \(u(\theta)=\frac{\partial L(\theta)}{\partial \theta }\).

El Estadístico Score es la razón

\[\frac{\frac{\partial L(\theta)}{\partial \theta }}{\sqrt{-E \left ( \frac{\partial² L(\mathbf{\theta})}{\partial \theta^2} \right )}}\Bigr|_{\theta_0}\]

y tiene una distribución aproximada normal estandar. Para el caso multiparamétrico, el estadístico score es la forma cuadrática entre el vector de derivadas parciales de la log-verosimilitud respecto a \(\theta\) y la inversa de la matriz de información, evaluando en \(\theta_0\).

Un intervalo de \(100(1-\alpha)\%\) de confianza para \(\theta\) es el conjunto de puntos {\(\theta_0 \in \Theta\): el test \(H_0: \theta = \theta_0\) tiene p-valor>\(\alpha\)}. i.e. para lo cuales no se rechaza la hipótesis nula.

• Wald test \(\Rightarrow\) \(\hat\theta \pm z_{\alpha/2}SE\)

• LR Test \(\Rightarrow\) {\(\theta_0:-2[L(\beta_0)-L(\hat\beta)<\chi_1(\alpha)]\)}

• Intervalos basados en Score test estan implementados en ciertos casos como proporciones.

• En muestas pequeñas \(\hat\theta\) puede estar lejos de la normalidad. En este caso o cuando \(\beta\) está cerca de la clausura de \(\Theta\) las inferencias pueden estar erradas.

• Discrepancias entre Wald y LR indican este tipo de problemas.

• Función de probabilidad: \[P_Y(y)= \binom{n}{y} \pi^y (1-\pi)^{n-y} \qquad,\enspace y=0,...,n\]

• ¿Cómo estimar \(\pi\) a partir de \(n\) ensayos aleatorios independientes? La función de verosimilitud es \[ \begin{align*} L(\pi) &= log[\binom{n}{y} \pi^y (1-\pi)^{n-y}]\\ &= log \binom{n}{y} + ylog\pi + (n-y)log(1-\pi) \end{align*} \]

• Al derivar respecto a \(\pi\), \[\frac{\partial L(\pi)}{\partial \pi}=\frac{y-n\pi}{\pi(1-\pi)}\]

• Al igualar a cero, \(\hat \pi = y/n\) la proporción de exitos en los \(n\) ensayos.

• Este estimador tiene esperanza y varianza, \[E(\hat \pi) = \pi \qquad \text{y} \qquad Var(\hat \pi) = \frac{\pi(1-\pi)}{n}\]

• Normalidad asintótica

• Estadístico Wald \[Z_w=\frac{\hat\pi-\pi_o}{SE}=\frac{\hat\pi-\pi_o}{\sqrt{\hat\pi(1-\hat\pi)/n}}\]

• Estadístco Score: \[Z_s=\frac{\frac{\partial L(\pi)}{\partial \pi }}{\sqrt{-E \left ( \frac{\partial² L(\mathbf{\pi})}{\partial \pi^2} \right )}}\Bigr|_{\pi_0} =\frac{\frac{y}{\pi_0}-\frac{n-y}{1-\pi_0}}{\frac{n}{\pi_0(1-\pi_0)}} =\frac{\hat\pi-\pi_o}{\sqrt{\hat\pi_0(1-\hat\pi_0)/n}}\] No se estima la varianza y está más cerca a la normalidad.

Estadístico LR (\(\chi_1^2\)): \[-2(L_0-L_1)=2\left [ ylog\frac{y}{n\pi_0}+(n-y)log\frac{n-y}{n-n\pi_0} \right ]\]

• Intervalo Wald: \[\hat\pi \pm z_{\alpha/2}\sqrt{\frac{\hat\pi(1-\hat\pi)}{n}}\]

• Intervalo LR: Problema computacional númerico iterativo

• Intervalo Score: Los extremos del intervalo son solución de la siquiente ecuación en \(\pi_0\) \[(\hat\pi - \pi_0)/\sqrt{\pi_0(1-\pi_0)/n}=\pm z_{\alpha/2}\] cuya solución es

n <- 25
y <- 0
binom.test(y,n,p=0.5, alternative = 'two.sided')

## 
##  Exact binomial test
## 
## data:  y and n
## number of successes = 0, number of trials = 25, p-value = 5.96e-08
## alternative hypothesis: true probability of success is not equal to 0.5
## 95 percent confidence interval:
##  0.0000000 0.1371852
## sample estimates:
## probability of success 
##                      0

Binomial en genómica

(Agresti 2013)