1. Introducción

En estadística bayesiana, la familia exponencial es una clase importante de distribuciones que permite obtener resultados analíticos simples.
Muchas distribuciones comunes pertenecen a esta familia, como:

Una propiedad clave es que facilita el uso de priors conjugadas, lo cual simplifica el cálculo de la distribución posterior.

2. Familia Exponencial

Una distribución pertenece a la familia exponencial si puede escribirse en la forma:

\[ f(x|\theta) = h(x)\exp\{\eta(\theta)T(x) - A(\theta)\} \]

donde:

Otra forma equivalente es:

\[ f(x|\theta) = h(x)\exp \left( \sum_{i=1}^{k} \eta_i(\theta) T_i(x) - A(\theta) \right) \]

3. Ejemplo: Distribución Bernoulli

Si \(X \sim Bernoulli(p)\):

\[ P(X=x|p) = p^x (1-p)^{1-x}, \quad x \in \{0,1\} \]

Podemos escribirla en forma exponencial:

\[ P(X=x|p) = \exp \left[ x \log\left(\frac{p}{1-p}\right) + \log(1-p) \right] \]

Identificando:

4. Estadísticos Suficientes

Para una muestra \(x_1,...,x_n\) de una distribución de familia exponencial:

\[ f(x|\theta) = \prod_{i=1}^n h(x_i)\exp\{\eta(\theta)T(x_i) - A(\theta)\} \]

se obtiene:

\[ f(x|\theta) = h(x)\exp\{\eta(\theta)\sum T(x_i) - nA(\theta)\} \]

Por lo tanto:

\[ T(x) = \sum_{i=1}^{n}T(x_i) \]

es un estadístico suficiente.

5. Priors Conjugadas

En inferencia bayesiana, una prior conjugada es una distribución previa que produce una posterior de la misma familia que la prior.

La forma general de la prior conjugada para una familia exponencial es:

\[ \pi(\theta|\chi,\nu) \propto \exp\{\eta(\theta)\chi - \nu A(\theta)\} \]

donde:

6. Ejemplo: Bernoulli - Beta

Si:

\[ X_i \sim Bernoulli(p) \]

la prior conjugada es:

\[ p \sim Beta(\alpha,\beta) \]

Distribución previa:

\[ \pi(p) \propto p^{\alpha-1}(1-p)^{\beta-1} \]

Likelihood:

\[ L(p|x) = p^{\sum x_i}(1-p)^{n-\sum x_i} \]

Posterior:

\[ p|x \sim Beta(\alpha + \sum x_i,\; \beta + n - \sum x_i) \]

7. Ejemplo en R

Simulación de datos Bernoulli y actualización bayesiana.

set.seed(123)

n <- 20
p_real <- 0.6

x <- rbinom(n,1,p_real)

alpha <- 2
beta <- 2

posterior_alpha <- alpha + sum(x)
posterior_beta <- beta + n - sum(x)

posterior_alpha
## [1] 14
posterior_beta
## [1] 10
curve(dbeta(x,alpha,beta),0,1,
      col="blue",lwd=2,
      ylab="densidad",
      main="Prior vs Posterior")

curve(dbeta(x,posterior_alpha,posterior_beta),
      add=TRUE,
      col="red",lwd=2)

legend("topright",
       legend=c("Prior","Posterior"),
       col=c("blue","red"),
       lwd=2)

1. Forma general de la familia exponencial

Una distribución pertenece a la familia exponencial si su densidad o función de probabilidad puede escribirse como

\[ f(x|\theta) = h(x)\exp \left\{ \eta(\theta)T(x) - A(\theta) \right\} \]

donde:

La forma multivariada es

\[ f(x|\theta)=h(x)\exp \left(\sum_{i=1}^k \eta_i(\theta)T_i(x)-A(\theta)\right) \]

2. Distribución Poisson

Sea

\[ X \sim Poisson(\lambda) \]

con función de probabilidad

\[ P(X=x|\lambda)=\frac{\lambda^x e^{-\lambda}}{x!}, \quad x=0,1,2,... \]

Reescribimos:

\[ P(X=x|\lambda)=\frac{1}{x!}\exp(x\log \lambda-\lambda) \]

Comparando con la forma exponencial:

\[ f(x|\lambda)=h(x)\exp\{\eta(\lambda)T(x)-A(\lambda)\} \]

identificamos:

Además,

\[ E[X]=\lambda \]

por lo que la media coincide con el parámetro.

3. Distribución Normal (varianza conocida)

Sea

\[ X \sim N(\mu,\sigma^2) \]

con \(\sigma^2\) conocida.

La densidad es

\[ f(x|\mu)=\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \]

Expandimos:

\[ (x-\mu)^2=x^2-2\mu x+\mu^2 \]

Entonces

\[ f(x|\mu)=\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( -\frac{x^2}{2\sigma^2} +\frac{\mu x}{\sigma^2} -\frac{\mu^2}{2\sigma^2} \right) \]

Reordenando:

\[ f(x|\mu)=h(x)\exp\{\eta(\mu)T(x)-A(\mu)\} \]

donde

y

\[ E[X]=\mu \]

4. Distribución Gamma

Sea

\[ X \sim Gamma(\alpha,\beta) \]

con densidad

\[ f(x|\alpha,\beta)= \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1}e^{-\beta x}, \quad x>0 \]

Tomando logaritmos dentro del exponente:

\[ f(x|\alpha,\beta)= \exp\left[ (\alpha-1)\log x -\beta x +\alpha\log\beta -\log\Gamma(\alpha) \right] \]

Podemos escribirla como

\[ f(x|\theta)=h(x)\exp\{\eta_1T_1(x)+\eta_2T_2(x)-A(\theta)\} \]

donde

y

\[ A(\theta)=\log\Gamma(\alpha)-\alpha\log\beta \]

5. Reparametrización de la Gamma usando la media

Sabemos que

\[ E[X]=\frac{\alpha}{\beta} \]

Definimos

\[ \mu=\frac{\alpha}{\beta} \]

Entonces

\[ \beta=\frac{\alpha}{\mu} \]

Sustituyendo en la densidad:

\[ f(x|\alpha,\mu)= \frac{(\alpha/\mu)^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\alpha x/\mu} \]

Esto permite expresar el modelo en términos de la media \(\mu\), lo cual es útil en modelos lineales generalizados (GLM).

6. Propiedad de la media en familia exponencial

Para cualquier distribución en la familia exponencial:

\[ E[T(X)] = A'(\eta) \]

y

\[ Var(T(X)) = A''(\eta) \]

Esto se obtiene derivando la función de partición:

\[ A(\eta)=\log \int h(x)e^{\eta T(x)}dx \]

Las distribuciones Normal, Poisson y Gamma pueden escribirse en forma de familia exponencial, lo cual permite:

Además, la reparametrización usando la media es fundamental para interpretar los parámetros en modelos estadísticos.