Sea \(X_1, X_2, ..., X_n\) una muestra aleatoria de una población con función de densidad de probabilidad \(f_X(x|\theta) = \theta x^{\theta - 1} I(0,1)(x)\), donde \(\theta > 0\). Encuentre \(\theta_{MLE}\), el estimador de máxima verosimilitud de \(\theta\).”
Para encontrar el Estimador de Máxima Verosimilitud (MLE) de \(\theta\), primero necesitamos entender la función de densidad de probabilidad (fdp) dada:
\[ f_X(x|\theta) = \theta x^{\theta - 1} I(0,1)(x) \]
Donde \(\theta > 0\) es el parámetro de la distribución y \(I(0,1)(x)\) es la función indicadora, que toma el valor de 1 si \(x\) está en el intervalo \((0,1)\) y 0 en otro caso.
La función de verosimilitud \(L(\theta|x)\) para una muestra aleatoria \(X_1, X_2, ..., X_n\) de esta distribución es el producto de las densidades de probabilidad individuales, dado por:
\[ L(\theta|x) = \prod_{i=1}^{n} f_X(x_i|\theta) \]
Dado que asumimos que las observaciones son independientes e idénticamente distribuidas, podemos simplificar esta expresión como:
\[ L(\theta|x) = \theta^n \left( \prod_{i=1}^{n} x_i \right)^{\theta - 1} \]
El logaritmo de la función de verosimilitud, \(\ln(L(\theta|x))\), facilitará el cálculo:
\[ \ln(L(\theta|x)) = n \ln(\theta) + (\theta - 1) \sum_{i=1}^{n} \ln(x_i) \]
Ahora, para encontrar el estimador de máxima verosimilitud de \(\theta\), necesitamos maximizar esta función. Esto se puede hacer tomando la derivada respecto a \(\theta\), igualando a cero y resolviendo para \(\theta\). Sin embargo, dado que \(\theta > 0\), es más conveniente maximizar \(\ln(L(\theta|x))\).
Tomamos la derivada respecto a \(\theta\) y la igualamos a cero:
\[ \frac{d}{d\theta} \ln(L(\theta|x)) = \frac{n}{\theta} + \sum_{i=1}^{n} \ln(x_i) = 0 \]
\[ \frac{n}{\theta} = - \sum_{i=1}^{n} \ln(x_i) \]
Entonces, el estimador de máxima verosimilitud de \(\theta\), \(\hat{\theta}_{MLE}\), se obtiene resolviendo para \(\theta\):
\[ \hat{\theta}_{MLE} = \frac{n}{\sum_{i=1}^{n} \ln(x_i)} \]
Esta es la solución para el estimador de máxima verosimilitud de \(\theta\).
Si
\[ \begin{array}{cc} \hline x & \text{Frecuencia} \\ \hline 0 & 7 \\ 1 & 14 \\ 2 & 12 \\ 3 & 13 \\ 4 & 6 \\ 5 & 3 \\ \hline \end{array} \] representa un resumen de una muestra de tamaño 50 de una distribución Poisson. Encuentre el MLE de \(P(X = 2)\).
Para encontrar el Estimador de Máxima Verosimilitud (MLE) de \(P(X = 2)\) para una distribución de Poisson, primero necesitamos entender que \(P(X = 2)\) está relacionado con el parámetro λ de la distribución de Poisson. La función de masa de probabilidad (fmp) de una distribución de Poisson está dada por: \[ P(X = k) = \frac{{e^{-λ} \cdot λ^k}}{{k!}} \] Donde \(k\) es el número de ocurrencias, \(λ\) es el parámetro de la distribución (que representa la tasa de ocurrencia promedio en un intervalo fijo de tiempo o espacio), y \(e\) es la base del logaritmo natural. En este caso, tenemos un resumen de una muestra de tamaño 50, donde observamos las frecuencias de cada valor posible \(x\). El estimador de MLE para \(P(X = 2)\) es simplemente la frecuencia relativa de ocurrencias de \(x = 2\) en la muestra. Es decir, calculamos: \[ \hat{p} = \frac{\text{Frecuencia de } x=2}{\text{Tamaño de la muestra}} \] En este caso, la frecuencia de \(x = 2\) es 12 y el tamaño de la muestra es 50. Por lo tanto, el MLE de \(P(X = 2)\) es: \[ \hat{p} = \frac{12}{50} = 0.24 \] Por lo tanto, el estimador de Máxima Verosimilitud de \(P(X = 2)\) es \(0.24\).
Una observación es tomada de una variable aleatoria discreta X con función de masa de probabilidad (fmp) \(f_X(x|\theta)\), donde \(\theta \in \{1, 2, 3\}\), dada por:
\[ \begin{array}{cccc} x & f_X(x|1) & f_X(x|2) & f_X(x|3) \\ \hline 0 & \frac{1}{3} & \frac{1}{4} & 0 \\ 1 & \frac{1}{3} & \frac{1}{4} & 0 \\ 2 & 0 & \frac{1}{4} & \frac{1}{4} \\ 3 & \frac{1}{6} & \frac{1}{4} & \frac{1}{2} \\ 4 & \frac{1}{6} & 0 & \frac{1}{4} \\ \end{array} \]
Encuentre el estimador de máxima verosimilitud de \(\theta\).
Sugerencia: Observe el comportamiento de \(f_X(x|\theta)\) en los distintos valores de \(\theta\) fijando cada uno de los valores de \(x\)
Para encontrar el estimador de máxima verosimilitud (MLE) de \(\theta\), podemos observar el comportamiento de \(f_X(x|\theta)\) en los distintos valores de \(\theta\), fijando cada uno de los valores de \(x\).
El estimador de máxima verosimilitud (MLE) de \(\theta\) para cada valor de \(x\) es:
\[ \hat{\theta} = \begin{cases} 1 & \text{si } x \in \{0, 1\} \\ 2 \text{ o } 3 & \text{si } x = 2 \\ 3 & \text{si } x \in \{3, 4\} \end{cases} \]
Este estimador asigna el valor de \(\theta\) que maximiza la probabilidad de observar el valor específico de \(x\).
Suponga que \(Y_1, Y_2, \ldots, Y_n\) es una muestra aleatoria de una población normal con media \(\mu_i = \beta_0 + \beta_1 x_i\) y varianza \(\sigma^2\), donde \(x_i\) y \(\sigma^2\) son números reales conocidos. Se pide encontrar el estimador de máxima verosimilitud de \(\beta_0\) y \(\beta_1\).
La resolución del problema es la siguiente:
Dado que \(Y_i\) sigue una distribución normal con media \(\mu_i\) y varianza \(\sigma^2\), la función de densidad de probabilidad de \(Y_i\) es:
\[ f_{Y_i}(y_i) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(y_i - \mu_i)^2}{2\sigma^2}} \]
Sustituyendo \(\mu_i = \beta_0 + \beta_1 x_i\), tenemos:
\[ f_{Y_i}(y_i) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(y_i - \beta_0 - \beta_1 x_i)^2}{2\sigma^2}} \]
La función de verosimilitud es el producto de las densidades de probabilidad de cada observación:
\[ L(\beta_0, \beta_1) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(y_i - \beta_0 - \beta_1 x_i)^2}{2\sigma^2}} \]
Tomando el logaritmo natural de \(L(\beta_0, \beta_1)\), obtenemos la función log-verosimilitud:
\[ \ell(\beta_0, \beta_1) = \sum_{i=1}^{n} \left[ -\frac{1}{2} \log(2\pi\sigma^2) - \frac{(y_i - \beta_0 - \beta_1 x_i)^2}{2\sigma^2} \right] \]
Para encontrar los estimadores de máxima verosimilitud de \(\beta_0\) y \(\beta_1\), se deben derivar \(\ell(\beta_0, \beta_1)\) respecto a \(\beta_0\) y \(\beta_1\), igualar las derivadas a cero y resolver las ecuaciones resultantes.
Sea \(X_1, X_2, \ldots, X_n\) una muestra aleatoria de una población uniforme en el intervalo \([a, b]\). Se pide mostrar que el estimador de los momentos de \(a\) y de \(b\) son respectivamente:
\[ \hat{a} = \bar{X} - \sqrt[3]{\frac{m_2 - \bar{X}^2}{}} \quad \text{y} \quad \hat{b} = \bar{X} + \sqrt[3]{\frac{m_2 - \bar{X}^2}{}} \]
donde \(m_2 = \frac{1}{n} \sum_{i=1}^{n} X_i^2\) es el segundo momento muestral.
La resolución del problema es la siguiente:
La media muestral \(\bar{X}\) de una muestra aleatoria \(X_1, X_2, \ldots, X_n\) se define como:
\[ \bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i \]
El segundo momento muestral \(m_2\) se define como:
\[ m_2 = \frac{1}{n} \sum_{i=1}^{n} X_i^2 \]
Dado que la población sigue una distribución uniforme en el intervalo \([a, b]\), la media de la población \(E(X)\) está dada por la media del intervalo, es decir:
\[ E(X) = \frac{a+b}{2} \]
Dado que \(\bar{X}\) es un estimador insesgado de \(E(X)\), entonces:
\[ \bar{X} = \frac{a+b}{2} \]
Despejando \(a\) y \(b\) de la ecuación de \(\bar{X}\), obtenemos:
\[ a = 2\bar{X} - b \quad \text{y} \quad b = 2\bar{X} - a \]
Sustituyendo estas expresiones en \(m_2\), tenemos:
\[ m_2 = \frac{1}{n} \sum_{i=1}^{n} X_i^2 = \frac{1}{n} \sum_{i=1}^{n} (2\bar{X} - X_i)^2 \]
Finalmente, podemos simplificar \(m_2 - \bar{X}^2\) y encontrar los estimadores de los momentos de \(a\) y \(b\).
Sea \(X_1, X_2, \ldots, X_n\) una muestra aleatoria de una población cuya función de densidad de probabilidad está dada por:
\[ f_X(x|\theta) = \theta x^{\theta-1} I(1,\infty)(x) \]
Encuentre \(\hat{\theta}_\text{m}\), el estimador de momentos de \(\theta\).
La resolución del problema es la siguiente:
Dado que \(X\) sigue una distribución cuya función de densidad de probabilidad está dada por \(f_X(x|\theta)\), el primer momento poblacional es:
\[ \mu_1 = E(X) = \int_{1}^{\infty} x \cdot \theta x^{\theta-1} \, dx \]
Resolviendo la integral, tenemos:
\[ \mu_1 = \frac{\theta}{\theta + 1} \]
Por otro lado, el segundo momento poblacional es:
\[ \mu_2 = E(X^2) = \int_{1}^{\infty} x^2 \cdot \theta x^{\theta-1} \, dx \]
Resolviendo la integral, obtenemos:
\[ \mu_2 = \frac{2\theta}{\theta + 2} \]
El segundo momento muestral \(m_2\) se calcula como:
\[ m_2 = \frac{1}{n} \sum_{i=1}^{n} X_i^2 \]
Entonces, el estimador de momentos de \(\theta\), \(\hat{\theta}_\text{m}\), se obtiene igualando los momentos poblacionales y muestrales:
\[ \frac{2\hat{\theta}_\text{m}}{\hat{\theta}_\text{m} + 2} = \frac{1}{n} \sum_{i=1}^{n} X_i^2 \]
Resolviendo para \(\hat{\theta}_\text{m}\), obtenemos:
\[ \hat{\theta}_\text{m} = \frac{2 m_2}{1 - m_2} \]
Este es el estimador de momentos de \(\theta\).
Suponga que \(X_1, X_2, \ldots, X_n\) es una muestra aleatoria de una población \(N(\theta, \sigma^2)\), donde \(\sigma^2 > 0\). Encuentre el estimador de máxima verosimilitud de \(\theta\).
La resolución del problema es la siguiente:
Dado que la distribución de la muestra es \(N(\theta, \sigma^2)\), la función de verosimilitud \(L(\theta)\) para \(\theta\) está dada por:
\[ L(\theta) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(X_i - \theta)^2}{2\sigma^2}} \]
Tomando el logaritmo natural de \(L(\theta)\), obtenemos la función log-verosimilitud \(l(\theta)\):
\[ l(\theta) = \sum_{i=1}^{n} \left[ -\frac{1}{2} \log(2\pi\sigma^2) - \frac{(X_i - \theta)^2}{2\sigma^2} \right] \]
Para encontrar el estimador de máxima verosimilitud \(\hat{\theta}_\text{MLE}\), derivamos \(l(\theta)\) respecto a \(\theta\), igualamos a cero y resolvemos para \(\theta\):
\[ \frac{dl}{d\theta} = \sum_{i=1}^{n} \left[ \frac{X_i - \theta}{\sigma^2} \right] = 0 \]
Simplificando y resolviendo esta ecuación, obtenemos el estimador de máxima verosimilitud \(\hat{\theta}_\text{MLE}\).
La resolución del problema es la siguiente:
Dado que \(X\) sigue una distribución normal con media \(0\) y varianza \(\sigma^2\), la función de densidad de probabilidad es:
\[ f_X(x|\sigma) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{x^2}{2\sigma^2}} \]
La función de verosimilitud \(L(\sigma)\) para \(\sigma\) está dada por:
\[ L(\sigma) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{X_i^2}{2\sigma^2}} \]
Tomando el logaritmo natural de \(L(\sigma)\), obtenemos la función log-verosimilitud \(l(\sigma)\):
\[ l(\sigma) = -\frac{n}{2} \log(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^{n} X_i^2 \]
Para encontrar el estimador de máxima verosimilitud \(\hat{\sigma}_\text{MLE}\), derivamos \(l(\sigma)\) respecto a \(\sigma\), igualamos a cero y resolvemos para \(\sigma\):
\[ \frac{dl}{d\sigma} = -\frac{n}{\sigma} + \frac{1}{\sigma^3} \sum_{i=1}^{n} X_i^2 = 0 \]
Simplificando y resolviendo esta ecuación, obtenemos el estimador de máxima verosimilitud \(\hat{\sigma}_\text{MLE}\).
El estimador de \(\sigma\) utilizando el método de los momentos se obtiene igualando el momento muestral de segundo orden \(E[X^2]\) al momento teórico de segundo orden de la distribución normal \(\sigma^2\). Es decir:
\[ E[X^2] = \frac{1}{n} \sum_{i=1}^{n} X_i^2 = \sigma^2 \]
Por lo tanto, el estimador de momentos \(\hat{\sigma}_\text{MM}\) es simplemente la raíz cuadrada de \(\frac{1}{n} \sum_{i=1}^{n} X_i^2\).
Asuma que se observó una muestra aleatoria \(X_1, X_2, \ldots, X_{10}\) de una distribución de Poisson con media \(\lambda\). También se observó que \(\sum_{i=1}^{10} x_i = 9\). Considere una distribución a priori \(\text{Gamma}(3/2, 3/2)\) para \(\lambda\).
La resolución del problema es la siguiente:
La distribución a posteriori \(\pi(\lambda|x)\) se obtiene aplicando el teorema de Bayes:
\[ \pi(\lambda|x) \propto \text{Verosimilitud} \times \text{Prior} \]
La función de verosimilitud \(L(\lambda)\) para \(\lambda\) está dada por la función de masa de probabilidad de la distribución de Poisson:
\[ L(\lambda) = \prod_{i=1}^{10} \frac{e^{-\lambda} \lambda^{x_i}}{x_i!} \]
La distribución a priori para \(\lambda\) es una \(\text{Gamma}(3/2, 3/2)\), que tiene la forma:
\[ \text{Prior} = \frac{1}{\Gamma(3/2) (3/2)^{3/2}} \lambda^{3/2 - 1} e^{-\frac{\lambda}{3/2}} \]
Por lo tanto, la distribución a posteriori \(\pi(\lambda|x)\) es proporcional al producto de la verosimilitud y la prior:
\[ \pi(\lambda|x) \propto \frac{e^{-10\lambda} \lambda^{\sum_{i=1}^{10} x_i}}{\prod_{i=1}^{10} x_i!} \times \frac{1}{\Gamma(3/2) (3/2)^{3/2}} \lambda^{3/2 - 1} e^{-\frac{\lambda}{3/2}} \]
Para encontrar la constante de proporcionalidad, se necesita normalizar esta expresión.
Para encontrar el estimador de Bayes bajo pérdida cuadrática, se necesita encontrar el estimador de Bayes que minimiza el riesgo cuadrático medio. Dado que estamos usando una pérdida cuadrática, el estimador de Bayes es simplemente el valor esperado de la distribución a posteriori:
\[ \hat{\lambda}_\text{Bayes} = \int_0^\infty \lambda \pi(\lambda|x) d\lambda \]
Donde \(\pi(\lambda|x)\) es la distribución a posteriori obtenida en el inciso anterior.
Suponga que \(X|\theta\) sigue una distribución exponencial con media \(\frac{1}{\theta}\), y asuma que \(\theta\) sigue una distribución \(\text{Gamma}(\alpha, \beta)\) donde \(\alpha\) y \(\beta\) son conocidos. Además, suponga que se observa \(X \geq 100\), pero no se conoce el valor exacto de \(X\).
La resolución del problema es la siguiente:
Dado que se observa \(X \geq 100\), la función de verosimilitud es \(L(\theta|x) = \text{exp}(-100\theta)\). Por lo tanto, la distribución a posteriori de \(\theta\) está dada por:
\[ \pi(\theta|x) \propto \text{Prior} \times \text{Verosimilitud} \]
Sabemos que la prior para \(\theta\) es \(\text{Gamma}(\alpha, \beta)\), entonces la distribución a posteriori será proporcional a:
\[ \pi(\theta|x) \propto \frac{\beta^\alpha}{\Gamma(\alpha)} \theta^{\alpha - 1} e^{-\beta\theta} \times \text{exp}(-100\theta) \]
Para encontrar la constante de proporcionalidad, necesitamos normalizar esta expresión.
Una vez que tenemos la distribución a posteriori, podemos calcular su media y varianza utilizando las propiedades de la distribución gamma.
Si se informa que \(X = 100\), entonces la distribución a posteriori de \(\theta\) se actualizará para reflejar esta nueva información. Podemos calcularla utilizando la misma fórmula que en el inciso a), pero con la nueva función de verosimilitud.
Una vez que tengamos la distribución a posteriori actualizada, podemos calcular su media y varianza bajo pérdida cuadrática, lo que implica minimizar el riesgo cuadrático medio. Esto nos dará una idea de cómo cambian las estimaciones de \(\theta\) con la nueva información sobre \(X\).