Modelo Beta - Binomial

Conjugación Beta-Bernoulli

La distribución Beta es conjugada para la Bernoulli/Binomial:

\[ \text{Prior: }\ \theta\sim \mathrm{Beta}(\alpha,\beta)\ \Rightarrow\ p(\theta)\propto \theta^{\alpha-1}(1-\theta)^{\beta-1}. \]

\[ \text{Datos i.i.d.: }X_1,\dots,X_n\mid \theta\stackrel{\text{i.i.d.}}{\sim}\mathrm{Bernoulli}(\theta),\ S=\sum_{i=1}^n X_i. \]

\[ \text{Verosimilitud: }\ p(\mathbf X\mid \theta)\propto \theta^{S}(1-\theta)^{\,n-S}. \]

\[ \text{Posterior: }\ p(\theta\mid \mathbf X)\ \propto\ p(\mathbf X\mid \theta)\,p(\theta) \ \propto\ \theta^{S+\alpha-1}(1-\theta)^{\,n-S+\beta-1} \ =\ \mathrm{Beta}\big(\alpha+S,\ \beta+n-S\big). \]

La esperanza posterior resulta:

\[ \mathbb E[\theta\mid \mathbf X] =\frac{\alpha+S}{\alpha+\beta+n}. \]

Reescribiéndola como combinación convexa:

\[ \mathbb E[\theta\mid \mathbf X] =\frac{\alpha+\beta}{\alpha+\beta+n}\cdot\frac{\alpha}{\alpha+\beta} \;+\;\frac{n}{\alpha+\beta+n}\cdot\frac{S}{n}. \]

Por lo tanto:

\[ \mathbb E[\theta\mid \mathbf X] =\ w_{\text{prior}}\ \underbrace{\mathbb E[\theta]}_{\alpha/(\alpha+\beta)} \ +\ w_{\text{datos}}\ \underbrace{\bar X}_{S/n}, \]

donde

\[ w_{\text{prior}}=\frac{\alpha+\beta}{\alpha+\beta+n},\quad w_{\text{datos}}=\frac{n}{\alpha+\beta+n}. \]

# Modelo Beta - Binomial
x<-rbinom(30,1,0.4)
x
##  [1] 0 1 1 0 0 0 0 0 0 0 1 1 1 0 1 0 0 1 0 1 0 0 1 1 1 0 1 1 1 1
# Historicamente teniamos 30 éxitos y 10 fracasos
t<-sum(x)
#Previa
apri<-rbeta(1000,30,10)
hist(apri)

plot(density(apri))

n<-30
a<-30
b<-10
ap<-a+t
bp<-n-t+b
post <- rbeta(1000,ap,bp)
plot(density(post))

c(qbeta(0.025,ap,bp),qbeta(0.975,ap,bp))
## [1] 0.5279297 0.7500506

Modelo Gmma Poisson

Conjugación Gamma-Poisson

Sea el modelo:

\[ Y_1,\dots,Y_n \mid \lambda \stackrel{\text{i.i.d.}}{\sim} \mathrm{Poisson}(\lambda), \quad T = \sum_{i=1}^n Y_i. \]

La prior para la tasa es una Gamma:

\[ \lambda \sim \mathrm{Gamma}(\alpha,\beta) \quad \Rightarrow \quad p(\lambda)\propto \lambda^{\alpha-1} e^{-\beta \lambda}, \]

donde usamos la parametrización con parámetro de tasa \(\beta\).

Verosimilitud

\[ p(\mathbf Y \mid \lambda)\propto \lambda^T e^{-n\lambda}. \]

Posterior

\[ p(\lambda \mid \mathbf Y) \ \propto\ p(\mathbf Y \mid \lambda)\,p(\lambda) \ \propto\ \lambda^{T+\alpha-1} \, e^{-(\beta+n)\lambda}. \]

\[ \Rightarrow \ \lambda \mid \mathbf Y \sim \mathrm{Gamma}(\alpha+T,\ \beta+n). \]

Esperanza posterior

\[ \mathbb E[\lambda \mid \mathbf Y] \ = \ \frac{\alpha+T}{\beta+n}. \]

Reescritura como promedio ponderado

Sea la media a priori:

\[ \mathbb E[\lambda] = \frac{\alpha}{\beta}, \]

y la media muestral:

\[ \bar Y = \frac{T}{n}. \]

Podemos escribir:

\[ \mathbb E[\lambda \mid \mathbf Y] =\frac{\beta}{\beta+n}\cdot \frac{\alpha}{\beta} + \frac{n}{\beta+n}\cdot \frac{T}{n}. \]

Conclusión

\[ \mathbb E[\lambda \mid \mathbf Y] =\ w_{\text{prior}}\ \underbrace{\mathbb E[\lambda]}_{\alpha/\beta} \ +\ w_{\text{datos}}\ \underbrace{\bar Y}_{T/n}, \]

donde

\[ w_{\text{prior}}=\frac{\beta}{\beta+n}, \qquad w_{\text{datos}}=\frac{n}{\beta+n}. \]

# Entre 16 y 24 diarios
# promedio 20 y desv 2

Distribución Gamma

Sea

\[ X \sim \mathrm{Gamma}(\alpha, \beta), \]

con la parametrización en tasa \(\beta > 0\). Su densidad es

\[ f(x;\alpha,\beta) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x}, \quad x>0. \]

Momentos teóricos

La media y varianza son:

\[ \mathbb{E}[X] = \frac{\alpha}{\beta}, \qquad \mathrm{Var}(X) = \frac{\alpha}{\beta^2}. \]

Momentos muestrales

Sea una muestra \(X_1,\dots,X_n\). Definimos:

\[ \bar X = \frac{1}{n}\sum_{i=1}^n X_i, \qquad S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar X)^2. \]

Ecuaciones de momentos

Igualamos los momentos teóricos a los muestrales:

\[ \frac{\alpha}{\beta} = \bar X, \qquad \frac{\alpha}{\beta^2} = S^2. \]

De la primera ecuación:

\[ \alpha = \beta \, \bar X. \]

Sustituyendo en la segunda:

\[ \frac{\beta \bar X}{\beta^2} = S^2 \quad \Rightarrow \quad \frac{\bar X}{\beta} = S^2 \quad \Rightarrow \quad \beta = \frac{\bar X}{S^2}. \]

Finalmente:

\[ \alpha = \frac{\bar X^2}{S^2}, \qquad \beta = \frac{\bar X}{S^2}. \]

Conclusión

Los estimadores de momentos para los parámetros de la Gamma son:

\[ \hat\alpha = \frac{\bar X^2}{S^2}, \qquad \hat\beta = \frac{\bar X}{S^2}. \]

a<- 20^2/2^2
a
## [1] 100
b<- 1/(20/2^2)
n<-50
x<-rpois(50,15)
x
##  [1] 14 17 16 19 21 13 17  6 14 22 12 18 19 19 12 13 16 13 18 22 18 14 17 19 19
## [26] 14 12 20 24  9 13 14 12 11 24 18 17 13 12  8 17 11 18 18 14 16 15 15 17 11
t<- sum(x)
#previa
plot(density(rgamma(a,b)))

ap<-a+t
bp<-n+b
plot(density(rgamma(ap,bp)))