Ahora, asuma que la variable aleatoria \( Y \) tiene una distribución con parámetros \( \theta \) y \( \phi \). La densidad de \( Y \), \( f(y; \theta, \phi) \) se dice que pertenece a la familia exponencial de dispersión si

\[ \begin{align} f(y| \theta, \phi) =& e^{\frac{y\theta -c(\theta)}{s(\phi)}+d(y,\phi)} \nonumber\\ =& \exp\left(\frac{y\theta -c(\theta)}{s(\phi)}+d(y,\phi)\right) \nonumber \end{align} \]

En la ecuación anterior, tenemos las lo siguiente:

• \( \theta \) - es el parámetro canónico de localización,

• \( \phi \) - es el parámetro de dispersión y \( s(\phi) \) es una función de \( \phi \),

• \( c(\theta) \) y \( d(y,\phi) \) - son funciones especificas para cada distribución.

Observación

Si \( \phi \) es conocido, entonces tenemos la definición de la familia exponencial.

Veamos como la estructura de la distribución de Poisson se encuentra dentro de la familia exponencial de dispersión. En efecto,

Sea \( y \sim Poisson(\lambda) \) entonces,

\[ f (y| \lambda) = \frac{ \lambda^y e^{-\lambda}}{y!}, \qquad y = 0, 1,\dots \]

Reescribiendo \( f (y| \lambda) \) en la forma

\[ f(y| \theta, \phi) = \exp\left(\frac{y\theta -c(\theta)}{s(\phi)}+d(y,\phi)\right) \]

tenemos que

\[ f(y| \lambda) = \exp[y \log(\lambda) − \lambda − \log(y!)] \]

En la ecuación anterior, tenemos lo siguiente:

1. \( \theta =\log(\lambda) \): es el parámetro canónico (o de localización),
2. \( \phi=1 \): es el parámetro de dispersión,
3. por lo tanto,
   • \( s(\phi) = \phi=1 \),
   • \( c(\theta) = e^{\theta}=e^{\log(\lambda)}=\lambda \)
   • \( d(y,\phi) = -\log(y!) \)
4. \( E(y)= c'(\theta) = \lambda \): Valor esperado
5. \( Var(y) = c''(\theta)s(\phi) = \lambda \cdot \phi=\lambda \cdot 1 = \lambda \): Varianza.

Sea \( y \sim N(0, \sigma^2) \) entonces,

\[ f(y|\mu,\sigma^2) = \frac{1}{\sqrt{2\pi}\sigma}e^{-(x-\mu)^2/(2\sigma^2)} \]

Reescribiendo \( f(y|\mu,\sigma^2) \) en la forma

\[ f(y| \theta, \phi) = \exp\left(\frac{y\theta -c(\theta)}{s(\phi)}+d(y,\phi)\right) \]

tenemos que

\[ f(y|\mu,\sigma^2) = \exp\left(\frac{y\mu -\frac{\mu^2}{2}}{\sigma^2}-\frac{y^2}{2\sigma^2}-\frac{\log(2\pi\sigma^2)}{2}\right) \]

En la ecuación anterior, tenemos lo siguiente:

1. \( \theta =\mu \): es el parámetro canónico (o de localización),
2. \( \phi=\sigma^2 \): es el parámetro de dispersión,
3. por lo tanto,
   • \( s(\phi) = \phi =\sigma^2 \),
   • \( c(\theta) = \frac{\theta^2}{2}=\frac{\mu^2}{2} \)
   • \( d(y,\phi) = -\left(\frac{y^2}{2\phi}+\frac{\log(2\pi\phi)}{2}\right) \)
4. \( E(y)= c'(\theta) = \mu \): Valor esperado
5. \( Var(y) = c''(\theta)s(\phi) = 1\cdot \phi = 1 \cdot \sigma^2 =\sigma^2 \).
   : Varianza.

Sea \( y \sim Bin(n, p) \) entonces,

\[ f(y|p) = \binom{n}{y} p^y(1-p)^{n-y} \]

Reescribiendo \( f(y|p) \) en la forma

\[ f(y| \theta, \phi) = \exp\left(\frac{y\theta -c(\theta)}{s(\phi)}+d(y,\phi)\right) \]

tenemos que





\[ f(y| p) = \exp\left(\frac{y \log \left(\frac{p}{1-p}\right) + n\log(1-p)}{1} +\log\binom{n}{y} \right) \]

En la ecuación anterior, tenemos lo siguiente:

1. \( \theta =\log \left(\frac{p}{1-p}\right) \): es el parámetro canónico (o de localización),
2. \( \phi=1 \): es el parámetro de dispersión,
3. por lo tanto,
   • \( s(\phi) = \phi= 1 \),
   • \( c(\theta) = n\log(1+e^{\theta}) =n\log(1-p) \)
   • \( d(y,\phi) = \log \binom{n}{y} \)
4. \( E(y)= c'(\theta) = np \): Valor esperado
5. \( Var(y) = c''(\theta)s(\phi) = np(1-p) \)
   : Varianza.

Defición:
La funcion enlace de la distribución Poisson se define como \( g(\mu) = \log(\mu) \).

En efecto, puesto que: \( c(\theta) = e^{\theta}=e^{\log(\mu)} \), entonces,

• \( \mu(\theta) = c'(\theta) = e^{\theta}= e^{\log(\mu)}=g^{-1}(\log(\mu))=\mu \),
• es decir: \( \mu = g^{-1}(\log(\mu)) \rightarrow g(\mu) = \log(\mu) \)

Defición:
La funcion enlace de la distribución Normal se define como \( g(\mu) = \mu \).

En efecto, puesto que: \( c(\theta) = \frac{\theta^2}{2}=\frac{\mu^2}{2} \), entonces,

• \( \mu(\theta) = c'(\theta) = \mu = g^{-1}(\mu) \) (es la función identidad),

• es decir: \( \mu = g^{-1}(\mu) \rightarrow g(\mu) = \mu \)

Defición:
La funcion enlace de la distribución Binomial se define como \( g(\mu) = \log \left(\frac{p}{1-p}\right) \).

En efecto, puesto que: \( c(\theta) = n\log(1+e^{\theta}) =n\log(1-p) \), entonces,

• \( \mu(\theta) = c'(\theta) = n\frac{e^{\theta}}{1+e^{\theta}}=n\frac{\exp \left[ \log \left(\frac{p}{1-p}\right) \right]}{1+\exp \left[ \log \left(\frac{p}{1-p}\right) \right]} \)
  \( \hspace{2.3cm}= g^{-1}\left[\log \left(\frac{p}{1-p}\right)\right]=np=\mu \),
• es decir: \( \mu=g^{-1}(\theta)=n\frac{e^{\theta}}{1+e^{\theta}} \) luego

\( \mu=g^{-1}\left[\log \left(\frac{p}{1-p}\right)\right] \rightarrow g(\mu) = \log \left(\frac{p}{1-p}\right) \)

• Recuerde que en el modelo lineal tenemos que \( E(Y_i|\boldsymbol{x}_i) = \boldsymbol{x}'_i\boldsymbol{\beta} \).

• Esto es, nuestro interés es modelar la media de la variable respuesta como una función lineal de covariables.

• La varianza se asumió constante o no constante.

• En un GLM el interés es modelar una función no lineal de la media a través de un combinación lineal de las covariables.

• Una de las razones para hacer esto es que la media de una variable respuesta en general podría tener restricciones tales como estar en el intervalo (0,1) (Bernoulli) o positiva (Poisson).

• La única forma de asegurar esto es usando transformaciones de la media ya que la cantidad \( \boldsymbol{x}'_i\boldsymbol{\beta} \) no tiene restricciones.

• Por ejemplo, en el caso de una distribución Poisson si modelamos la media como: \( E(Y_i|\boldsymbol{x}_i) = \lambda_i = \boldsymbol{x}'_i\boldsymbol{\beta} \)

esta cantidad podría ser negativa, o en el caso de la distribución Bernoulli \( E(Y_i|\boldsymbol{x}_i) = p_i = \boldsymbol{x}'_i\boldsymbol{\beta} \) podría no estar en el intervalo (0,1).

En un GLM espeficicamos una componente aleatoria (distribución) que pertenece a la familia exponencial, por lo tanto podemos encontrar la función de verosimilitud \( L \) para las \( n \) observaciones independientes

\[ L(\boldsymbol\beta|\boldsymbol y) = \prod_{i=1}^n f(y_i;\theta_i, \phi). \]

• Recuerde que los parámetros \( \theta_i \) dependen del vector de coeficientes \( \boldsymbol{\beta} \) del modelo.
• El logaritmo de la función de verosimilitud se debe maximizar y posteriormente se deben solucionar las ecuaciones de estimación usando métodos numéricos para la mayoría de GLM.

• Bajo ciertas condiciones de regularidad y si el tamaño de muestra \( n \) es suficientemente grande se tiene que la distribución de \( \hat{\boldsymbol\beta}_{ML} \), es aproximadamente normal con
  • media \( \boldsymbol{\beta} \) y
  • varianza \( Var(\boldsymbol{X}' \boldsymbol{W} \boldsymbol{X})^{-1} \),
    donde \( \boldsymbol{W} \) es una matriz diagonal con elementos \( w_i = (\partial \mu_i /\partial \eta_i)^2/Var(Y_i) \), donde \( \eta_i = \boldsymbol{x}'_i\boldsymbol{\beta} \).

Como consecuencia del uso de la teoría de verosimilitud todos los resultados para modelos lineales vistos aplican a los GLM. En particular, pruebas de razón de verosimilitud, criterios de selección de modelos, entre otros (ver Agresti( 2015))

Devianza

• La devianza, denotada por \( D(y, \mu) \), es una medida de bondad de ajuste que compara el modelo saturado con el modelo de interés.

• La idea es la misma que se usa en la prueba de LRT pero con los dos modelos anteriores. Es decir,

\[ \begin{align*} D(\boldsymbol{y}, \boldsymbol{\mu}) &= -2[L(modelo) - L(saturado)] \\ &= -2[L(\hat{\boldsymbol\mu};\boldsymbol{y})-L(\hat{\boldsymbol\mu};\boldsymbol{\mu})] \end{align*} \]

donde \( l(\hat{\boldsymbol\mu};\boldsymbol{y}) \) es el logaritmo de la verosimilitud del modelo de interés y \( l(\hat{\boldsymbol\mu};\boldsymbol{\mu}) \) verosimilitud del modelo saturado.

• Un modelo saturado es aquel en el cual se asume que hay tantos parámetros como observaciones, es decir, \( \hat{\mu}_i=y_i \)

• En la familia de dispersión exponencial se utiliza la Devianza escalada \( \frac{D(\boldsymbol{y}, \boldsymbol{\mu})}{\phi} \).

• Para \( n \) fijo, el parámetro de dispersión es pequeño y conocido y las observaciones individuales convergen a una distribución normal.

• La devianza escalada tiene una distribución aproximada a una \( \chi^2 \) con \( gl= (\#Observaciones-\#Parametros) \) del modelo de interés.

• Este resultado provee un valor de referencia para determinar la bondad de ajuste del modelo cuando el parámetro de dispersión es conocido.

• En los GLM es que la ortogonalidad de los residuales y los valores ajustados no se cumple. +Es decir, la descomposición \( datos = ajustados + residuales \) no es ortogonal.
• Sin embargo, estas cantidades están correlacionadas asintóticamente.

En general podemos definir tres tipos de residuales:

• Residual de Pearson \[ e_i = \frac{y_i-\hat{\mu}_i}{\sqrt{\nu(\hat{\mu}_i)}} \]

• Residual de devianza \[ e_i^2 = \sqrt{d_i}\times signo(y_i-\hat{\mu}_i) \quad \text{().} \]

\( d_i \) es depende de \( D(\boldsymbol{y}, \hat{\boldsymbol{\mu}}_1)= \sum_i d_i \)

• Residual de Pearson \[ r_i = \frac{y_i-\hat{\mu}_i}{\sqrt{\nu(\hat{\mu}_i)(1-\hat{h}_{ii})}} \quad \text{().} \]

• \( r_i \) también lo llamamos el residual estudentizado (internamente) en modelos lineales. Los residuales sirven para detectar datos atípicos y desvíos del modelo con relación a los datos.

• En GLM se deben usar gráficas similares a las discutidas en modelos lineales.

• Si la variable respuesta son conteos una forma de modelar estos datos usando un modelo lineal es aplicando la transformación \( \sqrt{y} \).
• Con la transformación, se espera obtener varianza constante en los residuales.
• Se puede mostrar que \( Var(Y) \approx 1/4 \), cuando \( Y \sim Poisson(\lambda) \).
• Esta aproximación funciona mejor cuando \( \mu \) es grande.
• Sin embargo, esto crea dificultad en las interpretaciones.

• Una forma más razonable de modelar datos de conteos es asumir que \( Y_i \sim Poisson(\mu) \)
• La idea sería explicar la media \( \mu_i \) en función de las covariables \( \boldsymbol{x}_i \), es decir

\[ \log(\mu_i) = \boldsymbol{x}'_i\boldsymbol{\beta} \]

Recuerde que si \( Y_i \sim Poisson(\mu) \) entonces la función de densidad de \( Y_i \) esta dada

\[ f (y; \theta) = \frac{e^{-\mu_i} \mu_i^{y_i}}{y_i!}, \qquad y_i = 0, 1,\dots, \]

En este caso se tiene que \( E(Y_i) = Var(Y_i) = \mu_i \).