Notas de Aulas: Inferência Estatística (PGE951

\(\require{cancel}\)

Apresentamos, neste documento, as notas de aula da disciplina PGE951 – Inferência Estatística, ofertada pelo Programa de Pós-Graduação em Estatística (PGEST) da Universidade Federal de Pernambuco (UFPE), no período letivo de 2026.2.

A disciplina possui carga horária de 75 horas e é ministrada pelo Professor Doutor Roberto Ferreira Manghi. As aulas contemplam tanto a motivação e a fundamentação para a utilização das técnicas estatísticas quanto o desenvolvimento e a demonstração matemática dos principais resultados. Ao longo da disciplina, são apresentados exemplos e propostos exercícios para a consolidação dos conteúdos abordados.

O documento encontra-se em processo de atualização e de contínua verificação quanto à consistência da notação utilizada. Eventuais equívocos ou inconsistências poderão ocorrer e serão objeto de revisão e correção ao longo do processo de atualização.

A bibliografia recomendada encontra-se apresentada ao final deste documento.

Ementa

Amostras e distribuições amostrais. Estimação pontual. Método dos momentos. Método da máxima verossimilhança. Suficiência, completude, ancilaridade. Famílias exponenciais. Estimadores não-viesados de variância uniformemente mínima. Teoremas de Rao-Blackwell e Lehmann-Scheffé. Informação de Fisher. Desigualdade de Cramér-Rao. Estimação intervalar. Testes de hipóteses. Teorema de Neyman-Pearson. Testes da razão de verossimilhança, Wald e escore.

População, amostra, estatísticas e estimadores

Vamos caracterizar uma população por uma variável aleatória \(X \sim f_X(x;\theta)\), em que \(\theta\) é chamado de parâmetro.

Definição: Um parâmetro é uma quantidade populacional (fixa e desconhecida) que influencia o comportamento de \(X\).

Vamos caracterizar cada elemento da amostra por uma variável aleatória \(X_i\) (para o \(i\)-ésimo indivíduo) com \(X_i \sim f_X(x_i;\theta)\).

Definição: As variáveis aleatórias \(X_1, X_2, \ldots, X_n\) compõem uma amostra aleatória (a.a.) de \(X\). Podemos definir o vetor aleatório \(\underset{\sim}{X} = (X_1, X_2, \ldots, X_n)'\). Se as variáveis aleatórias \(X_i\) são independentes e identicamente distribuídas (i.i.d.), a função de densidade (ou probabilidade) conjunta é dada por: \[ f_{\underset{\sim}{X}}(\underset{\sim}{x};\theta) = \prod_{i=1}^n f_X(x_i;\theta), \quad \text{em que } \underset{\sim}{x} = (x_1, x_2, \ldots, x_n)^T \in \mathbb{R}^n. \]

Definição: Uma função \(g(\underset{\sim}{X})\), em que \(g:\mathbb{R}^n \rightarrow \mathbb{R}\), é chamada de estatística (uma função mensurável que depende exclusivamente da amostra aleatória \(X_1, \ldots, X_n\)). Exemplos de estatísticas:

\[ \bar{X} = \frac{1}{n}\sum_{i=1}^n X_i \qquad \text{(média amostral)} \] \[ S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2 \qquad \text{(variância amostral)} \] \[ X_{(1)} = \min\{X_1, \ldots, X_n\} \qquad \text{(mínimo amostral)} \] \[ X_{(n)} = \max\{X_1, \ldots, X_n\} \qquad \text{(máximo amostral)} \]

Definição: Seja uma variável aleatória populacional \(X \sim f_X(x;\theta)\). O espaço paramétrico, denotado por \(\Theta\), é o conjunto de todos os valores admissíveis que o parâmetro \(\theta\) (ou vetor de parâmetros \(\boldsymbol{\theta}\)) pode assumir, tal que \(\theta \in \Theta \subseteq \mathbb{R}^k\).

Exemplo 1 (Unidimensional): Seja uma população \(X \sim \operatorname{Exp}(\theta)\), o espaço paramétrico é \(\Theta = (0, \infty) = \mathbb{R}_+^*\).
Exemplo 2 (Multidimensional): Seja uma população \(X \sim \mathcal{N}(\mu,\sigma^2)\), com vetor de parâmetros \(\boldsymbol{\theta} = (\mu, \sigma^2)'\). O espaço paramétrico é \(\Theta = \mathbb{R} \times (0,\infty)\).

Definição: Seja \(X \sim f_X(x;\theta)\) uma população e \(X_1, \ldots, X_n\) uma a.a. Um estimador para o parâmetro \(\theta\) é uma estatística \(g(\underset{\sim}{X})\) cujo contradomínio (suporte) satisfaz \(I_{g} \subseteq \Theta\).

Observação: Todo estimador é uma estatística, mas nem toda estatística é um estimador admissível para \(\theta\).

Exemplo: Seja uma população \(X \sim \operatorname{Exp}(\theta)\) e duas estatísticas obtidas a partir de uma a.a. \(X_1, \ldots, X_n\): \[ g_1(\underset{\sim}{X}) = \bar{X} = \frac{1}{n} \sum_{i=1}^n X_i \] \[ g_2(\underset{\sim}{X}) = \bar{X} - 1 \]

Qual(is) estatística(s) pode(m) ser estimador(es) para \(\theta\)?

Note que o espaço paramétrico é \(\Theta = (0, \infty)\). O suporte de \(g_1\) é \(I_{g_1} = (0, \infty) \subseteq \Theta\), logo \(g_1(\underset{\sim}{X})\) é um estimador para \(\theta\). Por sua vez, o suporte de \(g_2\) é \(I_{g_2} = (-1, \infty) \not\subseteq \Theta\), portanto \(g_2(\underset{\sim}{X})\) não é um estimador admissível para \(\theta\).

Distribuições Amostrais: A distribuição de probabilidade associada a uma estatística \(T = g(\underset{\sim}{X})\) é denominada distribuição amostral.

Exemplo 1: Se \(X \sim \mathcal{N}(\mu,\sigma^2)\), a partir de uma a.a. \(X_1, \ldots, X_n\), obtém-se: \[ \bar{X} \sim \mathcal{N}\left(\mu, \frac{\sigma^2}{n}\right) \] \[ \frac{(n-1)S^2}{\sigma^2} \sim \chi^2_{n-1}, \qquad \text{com } \sigma^2 \text{ fixo}. \]

Exemplo 2: Seja uma a.a. \(X_1, \ldots, X_n\) de uma população \(X \sim \operatorname{Ber}(p)\), e sejam as estatísticas \(g_1(\underset{\sim}{X}) = \sum_{i=1}^n X_i\) e \(g_2(\underset{\sim}{X}) = \prod_{i=1}^n X_i\). Quais são as distribuições amostrais de \(g_1\) e \(g_2\)?

Para \(g_1(\underset{\sim}{X})\), pela propriedade reprodutiva da distribuição de Bernoulli com ensaios independentes: \[ g_1(\underset{\sim}{X}) = \sum_{i=1}^n X_i \sim \operatorname{Bin}(n, p) \]

Para \(g_2(\underset{\sim}{X})\), note que o contradomínio é \(I_{g_2} = \{0, 1\}\). Dado que as variáveis são i.i.d., temos: \[ \operatorname{Pr}(g_2(\underset{\sim}{X}) = 1) = \operatorname{Pr}(X_1 = 1, \ldots, X_n = 1) = \prod_{i=1}^n \operatorname{Pr}(X_i = 1) = p^n \] \[ \operatorname{Pr}(g_2(\underset{\sim}{X}) = 0) = 1 - \operatorname{Pr}(g_2(\underset{\sim}{X}) = 1) = 1 - p^n \]

Portanto: \[ g_2(\underset{\sim}{X}) = \prod_{i=1}^n X_i \sim \operatorname{Ber}(p^n) \]

A partir de uma amostra aleatória \(X_1, \ldots, X_n\), o objetivo será propor um valor (estimar) para o parâmetro \(\theta\). Desta forma, vamos “inferir” a respeito do verdadeiro valor de \(\theta\).

Existem algumas técnicas para realizar inferência estatística.

\[ \left\{ \begin{array}{l} \text{Estimação} \begin{cases} \text{Pontual} \\ \text{Intervalar} \end{cases} \\[2ex] \text{Testes de Hipóteses} \end{array} \right. \]

Em cada técnica mais geral, existem métodos mais específicos. Por exemplo, métodos de estimação pontual e métodos de estimação intervalar.

Suponha uma população caracterizada por \(X \sim f_X(x;\theta)\) e um parâmetro de interesse \(\theta \in \Theta\). Dado um estimador \(\hat{\theta} = g(\underset{\sim}{X})\), o valor numérico observado de \(\hat{\theta}\) fornece uma aproximação para o verdadeiro valor do parâmetro \(\theta\).

Definição: Uma estimativa para um parâmetro \(\theta\) é o valor numérico observado do estimador \(\hat{\theta}\).

Observação: Note que \(\hat{\theta} = \hat{\theta}(\underset{\sim}{X})\). Se \(\underset{\sim}{x} = (x_1, \ldots, x_n)^T\) representa o vetor de valores observados do vetor \(\underset{\sim}{X}\), então a estimativa de \(\theta\) será o valor \(\hat{\theta}(\underset{\sim}{x})\).

Estimação pontual - Método dos Momentos

Seja \(X\) uma população com distribuição \(f_X(x;\theta)\), em que \(\underset{\sim}{\theta} = (\theta_1, \ldots, \theta_k)^T\) é um vetor de parâmetros (distribuição k-paramétrica). Definimos o momento (não central) de ordem \(r\) por:

\[ \mathcal{M}_r = \mathbb{E}(X^r), \qquad \text{com } r \in \mathbb{N} \text{ fixado.} \] Note que \(\mathcal{M}_r\) é função de \(\underset{\sim}{\theta}\). Definimos o momento amostral de ordem \(r\), a partir de uma a.a. \(X_1, \ldots, X_n\), por: \[ M_r = \frac{1}{n} \sum_{i=1}^n X_i^r, \qquad \text{com } r \in \mathbb{N} \text{ fixado.} \]

Os estimadores de momentos para \(\theta_1, \ldots, \theta_k\) são obtidos resolvendo em \(\underset{\sim}{\theta}\) o sistema: \(\mathcal{M}_r = M_r\), para um grupo de valores finitos de \(r = 1,2, \ldots, k\).

Exemplo 1: Seja \(X \sim \mathcal{N}(\mu, \sigma^2)\). Temos \(\underset{\sim}{\theta} = (\theta_1,\theta_2)^T\), com \(\theta_1 = \mu\) e \(\theta_2 = \sigma^2\). Ainda:

\[\begin{align*} \mathcal{M}_1 &= \mathbb{E}(X) = \mu \qquad &M_1 = \frac{1}{n} \sum_{i=1}^n X_i = \bar{X} \\ \mathcal{M}_2 &= \mathbb{E}(X^2) = Var(X) + \mathbb{E}^2(X) = \sigma^2 + \mu^2 \qquad &M_2 = \frac{1}{n} \sum_{i=1}^n X_i^2 \end{align*}\]

O sistema de equações é: \[ \mathcal{M}_1 = M_1 \qquad \rightarrow \qquad \mu = \bar{X} \qquad \rightarrow \qquad \hat{\mu} = \bar{X} \] \[ \mathcal{M}_2 = M_2 \qquad \rightarrow \qquad \sigma^2 + \mu^2 = \frac{1}{n} \sum_{i=1}^n X_i^2 \qquad \rightarrow \qquad \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2 \] Note que:

\[ \hat{\sigma}^2 = \frac{1}{n} \left[ \sum_{i=1}^n X_i^2 - n\bar{X}^2 \right] \] Por outro lado, temos:

\[\begin{align*} \sum_{i=1}^n \left( X_i - \bar{X} \right)^2 &= \sum_{i=1}^n \left( X_i^2 - 2X_î \bar{X} +\bar{X}^2 \right) \\ &= \sum_{i=1}^n X_i^2 - 2n \bar{X}^2 + n \bar{X}^2 \\ &= \sum_{i=1}^n X_i^2 - n \bar{X}^2 \end{align*}\]

Portanto:

\[ \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n \left( X_i - \bar{X}\right)^2 \] Note que, se a variância amostral é

\[ S^2 = \frac{1}{n-1} \sum_{i=1}^n \left( X_i - \bar{X}\right)^2, \] então o estimador de momentos para \(\sigma^2\) é \(\hat{\sigma}^2 = \frac{(n-1)}{n}S^2\). Para \(n\) “grande” \(\hat{\sigma}^2 \approx S^2\).

Exemplo 2: Seja uma população \(X \sim Gama(\alpha, \beta)\) e uma a.a. \(X_1, \ldots, X_n\), temos: \(\underset{\sim}{\theta} = (\theta_1,\theta_2)\), com \(\theta_1=\alpha\) e \(\theta_2=\beta\). Assim:

\[\begin{align*} \mathcal{M}_1 &= \mathbb{E}(X) = \frac{\alpha}{\beta} \\ \mathcal{M}_2 &= \mathbb{E}(X^2) = Var(X) + \mathbb{E}^2(X) = \frac{\alpha}{\beta^2} + \frac{\alpha^2}{\beta^2} = \frac{\alpha(1+\alpha)}{\beta^2} \end{align*}\]

O sistema de equações é:

\[ \mathcal{M}_1 = M_1 \qquad \rightarrow \qquad \frac{\alpha}{\beta} = \bar{X} \] \[ \mathcal{M}_2 = M_2 \qquad \rightarrow \qquad \frac{\alpha(1+\alpha)}{\beta^2} = \frac{1}{n} \sum_{i=1}^n X_i^2 \] Substituindo a 1ª equação na 2ª e desenvolvendo, temos:

\[\begin{align*} \frac{\alpha}{\beta} \frac{1+\alpha}{\beta} &= \frac{1}{n} \sum_{i=1}^n X_1^2 \\ \frac{\alpha}{\beta} \left( \frac{1}{\beta} + \frac{\alpha}{\beta} \right) &= \frac{1}{n} \sum_{i=1}^n X_1^2 \\ \bar{X} \left( \frac{1}{\beta} + \bar{X} \right) &= \frac{1}{n} \sum_{i=1}^n X_1^2 \\ \frac{1}{\beta} + \bar{X} &= \frac{M_2}{\bar{X}} \\ \frac{1}{\beta} &= \frac{M_2}{\bar{X}} - \bar{X} \\ \frac{1}{\beta} &= \frac{M_2 - \bar{X}^2}{\bar{X}} \\ \hat{\beta} &= \frac{\bar{X}}{M_2 - \bar{X}^2} \\ \hat{\beta} &= \frac{\bar{X}}{\left( \frac{n-1}{n} \right)S^2} \end{align*}\]

Substituindo na 1ª:

\[ \hat{\alpha} = \hat{\beta} \bar{X} \qquad \rightarrow \qquad \hat{\alpha} = \frac{\bar{X}^2}{\left( \frac{n-1}{n} \right)S^2} \]

Exemplo 3: Seja uma população \(X \sim Exp(\theta)\), com densidade \(f_X (x,\theta) = \theta e^{-\theta x} I_{\mathbb{R}^+} (x)\). Temos \(\mathcal{M}_1 = \frac{1}{\theta}\).

Portanto, a partir de uma a.a. \(X_1, \ldots, X_n\): \(\mathcal{M}_1 = \frac{1}{\theta}\) e \(M_1 = \bar{X}\).

Logo o sistema terá apenas uma equação:

\[ \frac{1}{\theta} = \bar{X} \qquad \rightarrow \qquad \hat{\theta} = \frac{1}{\bar{X}} \]

Exemplo 4: Seja uma população \(X \sim \mathcal{N} (0, \sigma^2)\), considerando \(\mu=0\), o único parâmetro a ser estimado é \(\sigma^2\).

Assim, vamos utilizar apenas a segunda equação:

\[\begin{align*} \mathcal{M}_2 &= M_2 \\ \sigma^2 + 0^2 &= \frac{1}{n} \sum_{i=1}^n X_i^2 \\ \hat{\sigma}^2 &= \frac{1}{n} \sum_{i=1}^n X_i^2 \end{align*}\]

Observe que \(\Theta = (0, \infty)\), mas como \(\hat{\sigma}^2\) pode assumir zero. Contudo, \(\operatorname{Pr}(\hat{\sigma}^2 = 0) = 0\).

Exemplo 5: Seja uma população \(X \sim Ber(p)\). Se \(\Theta = (0,1)\), teríamos \(\mathcal{M}_1 = \mathbb{E}(X) = p\) e \(M_1 = \bar{X}\), portanto, \(\hat{p} = \bar{X}\).

Mas se \(X_1 = 0, \ldots, X_n = 0\), a estimativa é \(\hat{p} = 0\). Por outro lado, se \(X_1 = 1, \ldots, X_n = 1\), a estimativa é \(\hat{p} = 1\).

Em ambos os casos, \(\hat{p}\) não seria um estimador para \(p\).

Contudo, note que:

\[\begin{align*} \operatorname{Pr}(X_1 = 0, \ldots, X_n = 0) &= \operatorname{Pr}(X_1 = 0) \times \ldots \times \operatorname{Pr}(X_n = 0) = (1-p)^n \qquad \text{e} \\ \operatorname{Pr}(X_1 = 1, \ldots, X_n = 1) &= \operatorname{Pr}(X_1 = 1) \times \ldots \times \operatorname{Pr}(X_n = 1) = p^n \end{align*}\]

Para \(n\) “grande”, as duas probabilidades estão próximas de zero.

Estimação Pontual - Método de Máxima Verossimilhança

Princípios da Verossimilhança: A amostra realmente representa informações sobre a distribuição populacional (informações sobre os valores verdadeiros dos parâmetros). Sobre esse princípio, definimos a função de verossimilhança com a própria distribuição conjunta de a.a. Se esta função realmente possui informações sobre os parâmetros, nos valores observados da amostra, vamos escrevera função segundo os parâmetros (fixada a amostra).

Definição: Seja uma população \(X \sim f_X (x_i;\theta)\) e \(\underset{\sim}{\theta} = (\theta_1, \ldots, \theta_k)^T\). A partir de uma a.a. \(X_1, \ldots, X_n\), a função de verossimilhança é definida por:

\[ \operatorname{L}(\underset{\sim}{\theta}) = f_{\underset{\sim}{X}}(\underset{\sim}{X};\underset{\sim}{\theta}) = \prod_{i=1}^n f_{x_i} (x_i;\underset{\sim}{\theta}) \] Note que \(\operatorname{L}\) é uma função da forma \(\operatorname{L}:\Theta \rightarrow \mathbb{R}\).

O estimador de máxima verossimilhança é a estatística que, em seu valor observado, maximiza a função de verossimilhança \(\operatorname{L}(\underset{\sim}{\theta})\).

Em alguns casos, o ponto de máximo de \(\operatorname{L}(\underset{\sim}{\theta})\) existe e é único em função da a.a.

Exemplo 1: Seja uma população \(X \sim \mathcal{N}(\mu,\sigma^2)\), assumindo \(\sigma^2\) conhecida. Neste caso, queremos estimar a média populacional \(\mu\). Temos:

\[\begin{align*} \operatorname{L}(\mu) &= \prod_{i=1}^n f_{X_i} (x_i,\mu) \\ &= \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} e^{- \frac{1}{2\sigma^2}(x_i - \mu)^2} \\ &= (2\pi\sigma^2)^{- \frac{n}{2}} e^{- \frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2} \end{align*}\]

Temos \(\Theta = \mathbb{R}\).

Uma forma de maximizar \(\operatorname{L}(\mu)\) em \(\mathbb{R}\) é utilizar \(\ell(\mu) = \log(\operatorname{L}(\mu))\).

Portanto, temos:

\[ \ell(\mu) = - \frac{n}{2} \log (2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2 \] Fazendo \(\dfrac{\partial \ell}{\partial \mu} = 0\), temos:

\[\begin{align*} \frac{1}{\sigma^2} \sum_{i=1}^n (x_i - \mu) &= 0 \\ \sum_{i=1}^n (x_i - \mu) &= 0 \\ n\bar{X} - n\mu &= 0 \\ n(\bar{X}-\mu) &= 0 \\ \mu &= \bar{X} \end{align*}\]

Note que \(\dfrac{\partial^2 \ell}{\partial \mu^2} = - \frac{n}{\sigma^2} \lt 0, \forall \mu \in \mathbb{R}\).

Logo \(\mu = \bar{x}\) é ponto de máximo para \(\ell(\mu)\) e \(\operatorname{L}(\mu)\). Então o Estimador de Máxima Verossimilhança (EMV) para \(\mu\) é \(\hat{\mu} = \bar{X}\).

Exemplo 2: Seja \(X \sim \mathcal{U} [0,\theta]\), ou seja, \(X\) tem densidade \(f_X(x;\theta) = \frac{1}{\theta} I_{[0,\theta]}(x)\). A partir de uma a.a. \(X_1, \ldots, X_n\), a função de verossimilhança é dada por:

\[ \operatorname{L}(\theta) = \prod_{i=1}^n f_{X_i} (x_i;\theta) = \prod_{i=1}^n \frac{1}{\theta} = \frac{1}{\theta^n} \]

O logaritmo da função de verossimilhança é \(\ell(\theta) = \log \operatorname{L}(\theta) = -n \log \theta\).

Note que:

\[ f_{X_i} (x_i;\theta) = \frac{1}{\theta} I_{[0,\theta]} (x_i) \]

Aqui \(\Theta = (0,\infty)\).

Assumindo que todos os elementos da amostra estão no intervalo \([0,\theta]\):

\[ \operatorname{L}(\theta) = \frac{1}{\theta^n} I_{[0,\theta]} (x_1) \times I_{[0,\theta]} (x_2) \times \cdots \times I_{[0,\theta]} (x_n) \\ \operatorname{L}(\theta) = \frac{1}{\theta^n} I_{[0,\theta]} (x_{(n)}) \text{ , ou seja, } x_{(n)} \leq \theta \rightarrow \\ \theta \geq x_{(n)} \text{ , em que, } x_{(n)} = \max\{x_1, \ldots, x_n\} \]

Sob a restrição \(\theta \geq x_{(n)}\), a estatística que maximiza a função de verossimilhança é \(X_{(n)} = \max\{X_1, \ldots, X_n\}\). Logo o estimador de máxima verossimilhança para \(\theta\) é \(\hat{\theta} = X_{(n)}\).

Viés, Erro Quadrático Médio e Consistência de Estimadores

Propriedades de Estimadores Pontuais

Definição: Seja uma população \(X \sim f_X (x;\theta)\) e uma a.a. \(X_1, \ldots , X_n\). Dizemos que um estimador \(\hat{\theta}\) para \(\theta\) é não viesado se:

\[ \mathbb{E}[\hat{\theta} - \theta] = 0, \forall \theta \in \Theta \]

Neste caso, definimos a função viés por:

\[ \mathbb{B}_{\hat{\theta}} (\theta) = \mathbb{E} [\hat{\theta}-\theta] = \mathbb{E} (\hat{\theta}) - \theta, \forall \theta \in \Theta \]

Portanto, se um estimador \(\hat{\theta}\) é não viesado, \(\mathbb{B}_{\hat{\theta}} (\theta) = 0, \forall \theta \in \Theta\).

Exemplo 1: Seja uma população \(X \sim \mathcal{N} (\mu,\sigma^2)\), com variância conhecida e uma a.a. \(X_1, \ldots, X_n\). Se \(\hat{\mu} = \bar{X}\), temos:

\[\begin{align*} \mathbb{E}(\hat{\mu}) &= \mathbb{E} \left( \frac{1}{n} \sum_{i=1}^n X_i \right) \\ &= \frac{1}{n} \sum_{i=1}^n \mathbb{E}(X_i) \\ &= \frac{1}{n} \sum_{i=1}^n \mu \\ &= \frac{n\mu}{n} \\ &= \mu \end{align*}\]

Logo:

\[\begin{align*} \mathbb{B}_{\hat{\mu}}(\mu) &= \mathbb{E}(\hat{\mu}) - \mu \\ &= \mathbb{E}(\bar{X}) - \mu \\ &= \mu - \mu = 0, \forall \mu \in \mathbb{R} \end{align*}\]

Portanto, \(\hat{\mu}\) é não viesado para \(\mu\).

Se \(\sigma^2\) é desconhecida, vimos que um estimador para \(\sigma^2\) é da forma:

\[ \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 = \frac{(n-1)}{n}S^2 \]

É possível mostrar que, se \(X \sim \mathcal{N}(\mu, \sigma^2)\), então para uma a.a. \(X_1, \ldots, X_n\),

\[ \frac{(n-1)}{n}S^2 \sim \chi^2_{n-1} \] com \(\sigma^2\) o valor verdadeiro da variância.

Neste caso,

\[ \mathbb{E}\left[ \frac{(n-1)}{\sigma^2}S^2\right] = n-1 \\ \mathbb{E}\left[ (n-1)S^2 \right] = (n-1)\sigma^2 \\ \mathbb{E}(S^2) = \sigma^2 \]

Portanto,

\[ \mathbb{E}(\hat{\sigma}^2) = \mathbb{E}\left[ \frac{(n-1)}{n} S^2\right] = \frac{(n-1)}{n}\sigma^2 \] Logo,

\[\begin{align*} \mathbb{B}_{\hat{\sigma}^2}(\sigma^2) &= \mathbb{E}(\hat{\sigma^2}) - \sigma^2 \\ &= \left[ \frac{(n-1)}{n} \right]\sigma^2 - \sigma^2 \\ &= \frac{(n-1)\sigma^2 - n\sigma^2}{n} \\ &= \frac{-\sigma^2}{n} \end{align*}\]

Então, \(\mathbb{B}_{\hat{\sigma}^2}(\sigma^2) = \frac{-\sigma^2}{n} <0\), \(\forall \sigma^2 \in (0,\infty)\). Contudo, \(\lim_{n \rightarrow \infty} \mathbb{B}_{\hat{\sigma}^2} (\sigma^2) = 0\), \(\forall \sigma^2 \in (0,\infty)\).

Definição: Seja uma população \(X \sim f_X(x;\theta)\) e uma a.a. \(X_1, \ldots, X_n\), dizemos que um estimador \(\hat{\theta}\) para \(\theta\) é assintoticamente não viesado para \(\theta\), se, possivelmente \(\mathbb{B}_{\hat{\theta}} (\theta) \neq 0\), mas \(\lim_{n \rightarrow \infty} \mathbb{B}_{\hat{\theta}} (\theta) = 0\), \(\forall \theta \in \Theta\).

Exemplo 1: No exemplo de \(X \sim \mathcal{U}[0,\theta]\), com \(\Theta = (0,\infty)\), o EMV para \(\theta\) é \(\hat{\theta} = X_{(n)}\). Pergunta: \(\hat{\theta}\) é não viesado para \(\theta\)?

Temos que obter \(\mathbb{B}_{\hat{\theta}} (\theta) = \mathbb{E}(\hat{\theta})-\theta\). Para isto, temos que obter \(\mathbb{E}(X_{(n)})\).

Note que o suporte de \(X_{(n)}\) é \(\mathcal{I}_{X_{(n)}} = [0,\theta]\). Assim: \(\Pr(X_{(n)} \leq x) = \Pr(X_1 \leq x, \ldots, X_n \leq x)\).

Note que:

\[ \Pr(X_{(n)} \leq x) = \operatorname{F}_{X_{(n)}}(x) = \prod_{i-1}^n \Pr(X_i \leq x) = \prod_{i=1}^n \operatorname{F}_{X_i}(x) \] \[\begin{align*} \operatorname{F}_{X_i} (x) &= 0, \text{se } x < 0 \\ &= \text{?}, \text{se } [0,\theta] \\ &= 1, \text{se } x > \theta \end{align*}\]

\[ \int_0^{\theta} \frac{1}{\theta}dx \rightarrow \frac{1}{\theta} \int_0^{\theta} dx \rightarrow \frac{x}{\theta} \]

Portanto:

\[ \operatorname{F}_{X_{(n)}}(x) = \prod_{i-1}^n \left( \frac{x}{n}\right) \rightarrow \operatorname{F}_{X_{(n)}}(x) = \frac{x^n}{\theta^n}, \text{se } x \in [0,\theta] \] \[\begin{align*} \operatorname{F}_{X_{(n)}}(x) &= 0, \text{se } x < 0 \\ &= \frac{x^n}{\theta^n}, \text{se } [0,\theta] \rightarrow f_{X_{(n)}} (x) = \frac{nx^{n-1}}{\theta^n} \\ &= 1, \text{se } x> \theta \end{align*}\]

A Esperança:

\[\begin{align*} \mathbb{E}[X_{(n)}] &= \int_{-\infty}^{+\infty} x f_{X_{(n)}}(x) \, dx \\ &= \int_0^{\theta} x \cdot \frac{n x^{n-1}}{\theta^n} \, dx \\ &= \frac{n}{\theta^n} \int_0^{\theta} x^n \, dx \\ &= \frac{n}{\theta^n} \left[ \frac{x^{n+1}}{n+1} \right]_0^{\theta} \\ &= \frac{n}{\theta^n} \cdot \frac{\theta^{n+1}}{n+1} \\ &= \frac{n}{n+1}\theta \end{align*}\]

O viés:

\[\begin{align*} \mathbb{B}_{\hat{\theta}} (\theta) &= \frac{n}{n+1}\theta - \theta \\ &= \frac{n\theta - (n+1)\theta}{n+1} \\ &= \frac{-\theta}{n+1} < 0, \forall \theta \in (0,\infty) \end{align*}\]

\(\hat{\theta}\) é viesado para \(\theta\).

Considere o estimador:

\[ \tilde{\theta} = \frac{(n+1)}{n} X_{(n)} \] Temos:

\[\begin{align*} \mathbb{E}(\tilde{\theta}) &= \frac{(n+1)}{n} \cdot \mathbb{E}(X_{(n)}) \\ &= \frac{(n+1)}{n} \cdot \frac{n\theta}{(n+1)} \\ &= \theta \end{align*}\]

Logo:

\[ \mathbb{B}_{\tilde{\theta}} (\theta) = \mathbb{E}(\tilde{\theta}) - \theta \rightarrow \theta - \theta = 0, \forall\theta \in\Theta \]

Portanto, \(\tilde{\theta}\) é não viesado para \(\theta\).

Ainda:

\[ \lim_{n\to \infty} \mathbb{B}_{\hat{\theta}} (\theta) = \lim_{n\to \infty} \frac{-\theta}{n+1} = 0 \] Portanto, \(\hat{\theta} = X_{(n)}\) é assintoticamente não viesado para \(\theta\).

Definição: Seja uma população \(X \sim f_X(x;\theta)\) e uma a.a. \(X_1, \ldots, X_n\), o erro quadrático médio de um estimador \(\hat{\theta}\) para \(\theta\) é definido por:

\[ \operatorname{EQM}_{\hat{\theta}} (\theta) = \mathbb{E}[(\hat{\theta} - \theta)^2], \forall \theta \in \Theta \]

Note que, se \(\mathbb{E}(\hat{\theta}) - \theta = 0\), então \(\operatorname{EQM}_{\hat{\theta}} (\theta) = \operatorname{Var} (\hat{\theta})\).

Se \(\hat{\theta}\) é viesado, temos:

\[\begin{align*} \operatorname{EQM}(\hat{\theta}) &= \mathbb{E}\left[ (\hat{\theta} - \theta)^2 \right] \\ &= \mathbb{E}\left[ \left( (\hat{\theta} - \mathbb{E}[\hat{\theta}]) + (\mathbb{E}[\hat{\theta}] - \theta) \right)^2 \right] \\ &= \mathbb{E}\left[ (\hat{\theta} - \mathbb{E}[\hat{\theta}])^2 + 2(\hat{\theta} - \mathbb{E}[\hat{\theta}])(\mathbb{E}[\hat{\theta}] - \theta) + (\mathbb{E}[\hat{\theta}] - \theta)^2 \right] \\ &= \mathbb{E}\left[ (\hat{\theta} - \mathbb{E}[\hat{\theta}])^2 \right] + 2(\mathbb{E}[\hat{\theta}] - \theta)\underbrace{\mathbb{E}\left[ \hat{\theta} - \mathbb{E}[\hat{\theta}] \right]}_{= 0} + (\mathbb{E}[\hat{\theta}] - \theta)^2 \\ &= \mathbb{E}\left[ (\hat{\theta} - \mathbb{E}[\hat{\theta}])^2 \right] + (\mathbb{E}[\hat{\theta}] - \theta)^2 \\ &= \operatorname{Var}(\hat{\theta}) + \mathbb{B}_{\hat{\theta}}^2 (\theta) \end{align*}\]

Resultado: \(\operatorname{EQM}(\hat{\theta}) = \operatorname{Var}(\hat{\theta}) + \mathbb{B}_{\hat{\theta}}^2 (\theta)\).

Exemplo: Suponha uma população com \(X \sim \mathcal{N}(\mu, \sigma^2)\), considerando 2 estimadores para a variância:

\[\begin{align*} \hat{\sigma}^2 &= \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 = \frac{(n-1)}{n} S^2 \quad \text{(Estimador 1)} \\ S^2 &= \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2 \quad \text{(Estimador 2)} \end{align*}\]

É possível mostrar que: \[ \frac{(n-1) S^2}{\sigma^2} \sim \chi^2_{n-1} \]

Desta forma: \[\begin{align*} \mathbb{E}\left[ \frac{(n-1) S^2}{\sigma^2} \right] &= n - 1 \\ \operatorname{Var}\left[ \frac{(n-1) S^2}{\sigma^2} \right] &= 2(n - 1) \end{align*}\]

Lembre que, se \(Y \sim \chi^2_q\), então \(Y \sim \operatorname{Gama}\left( \frac{q}{2}, \frac{1}{2} \right)\).

Ainda: \[ \mathbb{E}[S^2] = \sigma^2 \quad \text{e} \quad \operatorname{Var}(S^2) = \frac{2\sigma^4}{n-1} \]

\[\begin{align*} \mathbb{E}(\hat{\sigma}^2) &= \mathbb{E}\left[ \frac{(n-1)}{n} S^2 \right] = \frac{(n-1)}{n} \mathbb{E}(S^2) = \frac{(n-1)}{n} \sigma^2 \\[1.5ex] B_{\hat{\sigma}^2}(\sigma^2) &= \mathbb{E}(\hat{\sigma}^2) - \sigma^2 \\ &= \frac{(n-1)}{n} \sigma^2 - \sigma^2 \\ &= \frac{(n-1)\sigma^2 - n\sigma^2}{n} \\ &= -\frac{\sigma^2}{n} \\[2ex] \operatorname{Var}(\hat{\sigma}^2) &= \operatorname{Var}\left[ \frac{(n-1)}{n} S^2 \right] \\ &= \frac{(n-1)^2}{n^2} \operatorname{Var}(S^2) \\ &= \frac{(n-1)^2}{n^2} \frac{2\sigma^4}{(n-1)} \\ &= \frac{2(n-1)\sigma^4}{n^2} \end{align*}\]

Como \(S^2\) é não viciado para \(\sigma^2\), \(B_{S^2}(\sigma^2) = 0, \; \forall \, \sigma^2 > 0\).

Portanto:

\[ \operatorname{EQM}_{S^2}(\sigma^2) = \operatorname{Var}(S^2) = \frac{2\sigma^4}{(n-1)} \quad \text{(Estimador 2)} \]

\[\begin{align*} \operatorname{EQM}_{\hat{\sigma}^2}(\sigma^2) &= \operatorname{Var}(\hat{\sigma}^2) + B^2_{\hat{\sigma}^2}(\sigma^2) \\ &= \frac{2(n-1)\sigma^4}{n^2} + \frac{\sigma^4}{n^2} \\ &= \frac{2n\sigma^4 - 2\sigma^4 + \sigma^4}{n^2} \\ &= \frac{(2n-1)\sigma^4}{n^2} \quad \text{(Estimador 1)} \end{align*}\]

Vamos comparar \(\operatorname{EQM}_{\hat{\sigma}^2}(\sigma^2)\) com \(\operatorname{EQM}_{S^2}(\sigma^2)\). Por exemplo, podemos avaliar: \[ \frac{\operatorname{EQM}_{\hat{\sigma}^2}(\sigma^2)}{\operatorname{EQM}_{S^2}(\sigma^2)} \]

\[ \frac{\dfrac{(2n-1)\sigma^4}{n^2}}{\dfrac{2\sigma^4}{(n-1)}} = \frac{(2n-1)\cancel{\sigma^4}}{n^2} \cdot \frac{(n-1)}{2\cancel{\sigma^4}} \]

\[ \frac{(2n-1)(n-1)}{2n^2} \]

Avaliando em \(n \in \{2, 3, \ldots\}\): \[ \frac{\text{EQM}_{\hat{\sigma}^2}(\sigma^2)}{\text{EQM}_{S^2}(\sigma^2)} < 1 \] Portanto, o estimador 1 (\(\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2\)) é preferível em termos de EQM.

Dizemos que um estimador \(\hat{\theta}\) é para um parâmetro \(\theta\) se: \[ \lim_{n \to \infty} \text{EQM}_{\hat{\theta}}(\theta) = 0, \quad \forall \, \theta \in \Theta. \]

Dizemos que um estimador \(\hat{\theta}\) é para um parâmetro \(\theta\) se: \[ \forall \, \varepsilon > 0, \quad \lim_{n \to \infty} P(|\hat{\theta} - \theta| > \varepsilon) = 0, \quad \forall \, \theta \in \Theta. \]

Se um estimador \(\hat{\theta}\) é consistente em EQM para um parâmetro \(\theta\), então ele é consistente para \(\theta\).

Vamos mostrar que, \(\forall \, \varepsilon > 0\), \[ P(|\hat{\theta} - \theta| > \varepsilon) \le \frac{\text{EQM}_{\hat{\theta}}(\theta)}{\varepsilon^2} \]

Seja \(Y = |\hat{\theta} - \theta|\), com densidade \(f_Y(y)\) em algum suporte \(\mathcal{S}_Y \subseteq [0, \infty)\). Temos: \[\begin{align*} P(Y > \varepsilon) &= \int_{\varepsilon}^{\infty} f_Y(y) \, dy \\ &= \frac{1}{\varepsilon^2} \int_{\varepsilon}^{\infty} \varepsilon^2 f_Y(y) \, dy \end{align*}\]

Veja que: \[\begin{align*} \frac{1}{\varepsilon^2} \int_{\varepsilon}^{\infty} \varepsilon^2 f_Y(y) \, dy &\le \frac{1}{\varepsilon^2} \int_{\varepsilon}^{\infty} y^2 f_Y(y) \, dy \\ &\le \frac{1}{\varepsilon^2} \int_{0}^{\infty} y^2 f_Y(y) \, dy \\ &= \frac{1}{\varepsilon^2} \mathbb{E}[Y^2] \\ &= \frac{1}{\varepsilon^2} \mathbb{E}\left[(\hat{\theta} - \theta)^2\right] \\ &= \frac{1}{\varepsilon^2} \text{EQM}_{\hat{\theta}}(\theta) \end{align*}\]

Aplicando o limite em ambos os lados, temos: \[ 0 \le P(|\hat{\theta} - \theta| > \varepsilon) \le \frac{1}{\varepsilon^2} \text{EQM}_{\hat{\theta}}(\theta) \]

\[\begin{align*} \lim_{n \to \infty} 0 &\le \lim_{n \to \infty} P(|\hat{\theta} - \theta| > \varepsilon) \le \lim_{n \to \infty} \frac{1}{\varepsilon^2} \text{EQM}_{\hat{\theta}}(\theta) \\[1.5ex] 0 &\le \lim_{n \to \infty} P(|\hat{\theta} - \theta| > \varepsilon) \le 0 \end{align*}\]

Pelo Teorema do Confronto (Sanduíche): \[ \lim_{n \to \infty} P(|\hat{\theta} - \theta| > \varepsilon) = 0, \quad \forall \, \varepsilon > 0. \]

Logo, o estimador \(\hat{\theta}\) é consistente para \(\theta\).

Observação 1: A desigualdade é conhecida como desigualdade de Chabychev (caso particular da desigualdade de Markov).

Observação 2: Se um estimador \(\hat{\theta}\) é consistente para um parâmetro \(\theta\), podemos afirmar que ele converge em probabilidade para o parâmetro \(\theta\). Notação: \(\hat{\theta} \xrightarrow{P} \theta\).

Suficiência e estatísticas suficientes

A partir de uma amostra aleatória \(X_1, \ldots ,X_n\), podemos utilizar uma estatística \(T(\underset{\sim}X)\) para resumir a informação a respeito de um parâmetro a partir da amostra. Uma estatística é suficiente quando concentra toda a informação possível de ser obtida na amostra a respeito do parâmetro. Este é o princípio de suficiência.

Definição: Dizemos que uma estatística \(T(\underset{\sim}X)\) é suficiente para um parâmetro \(\theta\) se a distribuição condicional da amostra \(\underset{\sim}X = (X_1, \ldots, X_n)\) dado o valor observado de \(T\) não depende de \(\theta\), ou seja, se \(f_{\underset{\sim}X|T} (\underset{\sim}x|t)\) não depende de \(\theta\), em que \(\underset{\sim}x\) é a amostra observada e \(t\) é o valor observado de \(T\).

Exemplo: Seja \(X \sim \operatorname{Ber}(p)\) e uma amostra aleatória \(X_1, \ldots, X_n\). Considere \(T(\boldsymbol{X}) = \sum_{i=1}^n X_i\).

Sabemos que \(T \sim \operatorname{Bin}(n, p)\). Portanto, a função de probabilidade de \(T\) é: \[ f_T(t; p) = \binom{n}{t} p^t (1-p)^{n-t} \mathbb{I}_{\{0, 1, \dots, n\}}(t) \]

A função de probabilidade condicional de \(\boldsymbol{X} = (X_1, \ldots, X_n)\) dado \(T = t\) é dada por: \[ f_{\boldsymbol{X}|T}(\boldsymbol{x} \mid t) = \frac{f_{\boldsymbol{X}, T}(\boldsymbol{x}, t)}{f_T(t)} \]

Observe que \(f_{\boldsymbol{X}, T}(\boldsymbol{x}, t) = P(X_1 = x_1, \ldots, X_n = x_n, T = t)\).

Note que: se \(n = 4\) e \(t = 3\), o evento \(\{X_1 = x_1, X_2 = x_2, X_3 = x_3, X_4 = x_4, T = 3\}\) não será vazio apenas nos valores de \(\boldsymbol{x}\) que gerem \(t = 3\).

Então, em geral: \[ \{\boldsymbol{X} = \boldsymbol{x}\} \cap \{T = t\} = \begin{cases} \{\boldsymbol{X} = \boldsymbol{x}\}, & \text{se } T(\boldsymbol{x}) = t \\ \emptyset, & \text{se } T(\boldsymbol{x}) \ne t \end{cases} \]

\[ \Rightarrow f_{\boldsymbol{X}, T}(\boldsymbol{x}, t) = \begin{cases} f_{\boldsymbol{X}}(\boldsymbol{x}), & \text{se } T(\boldsymbol{x}) = t \\ 0, & \text{se } T(\boldsymbol{x}) \ne t \end{cases} \]

Como as variáveis são independentes e identicamente distribuídas: \[ f_{\boldsymbol{X}}(\boldsymbol{x}) = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i} = p^{\sum_{i=1}^n x_i} (1-p)^{n - \sum_{i=1}^n x_i} \]

Para o caso em que \(T(\boldsymbol{x}) = \sum_{i=1}^n x_i = t\): \[\begin{align*} f_{\boldsymbol{X}|T}(\boldsymbol{x} \mid t) &= \frac{p^{\sum_{i=1}^n x_i} (1-p)^{n - \sum_{i=1}^n x_i}}{\binom{n}{t} p^t (1-p)^{n-t}} \\ &= \frac{\cancel{p^t (1-p)^{n-t}}}{\binom{n}{t} \cancel{p^t (1-p)^{n-t}}} \\ &= \frac{1}{\binom{n}{t}}, \quad \text{que não depende de } p. \end{align*}\]

Logo, \(T = \sum_{i=1}^n X_i\) é uma estatística suficiente para \(p\).

Teorema da Fatoração (Neyman-Fisher)

Seja \(X \sim f_X(x; \theta)\) e uma amostra aleatória (a.a.) \(\underset{\sim}{X} = (X_1, \dots, X_n)\). Uma estatística \(T(\underset{\sim}{X})\) é suficiente para \(\theta\) se, e somente se, a distribuição conjunta da amostra pode ser fatorada na forma:

\[ f_{\underset{\sim}{X}}(\underset{\sim}{x}; \theta) = h(\underset{\sim}{x}) \, g\big(t(\underset{\sim}{x}); \theta\big) \]

em que: - \(h(\underset{\sim}{x})\) é uma função não negativa que depende apenas dos dados observados \(\underset{\sim}{x}\) (não depende do parâmetro \(\theta\)); - \(g(t; \theta)\) é uma função que depende do parâmetro \(\theta\) e depende da amostra \(\underset{\sim}{x}\) exclusivamente por meio do valor observado da estatística \(t = t(\underset{\sim}{x})\).

Prova:

\((\Rightarrow)\) Ida: Supondo que \(T(\underset{\sim}{X})\) é suficiente para \(\theta\)

Por definição de suficiência, a distribuição condicional \(f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t)\) não depende do parâmetro \(\theta\), para todo ponto amostral \(\underset{\sim}{x} = (x_1, \dots, x_n)\) e para qualquer valor possível \(t = t(\underset{\sim}{x})\).

Como o vetor \(\underset{\sim}{x}\) determina univocamente o valor de \(t = t(\underset{\sim}{x})\), a distribuição conjunta pode ser expressa como: \[ f_{\underset{\sim}{X}}(\underset{\sim}{x}) = f_{\underset{\sim}{X}, T}\big(\underset{\sim}{x}, t(\underset{\sim}{x})\big) = f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t) \, f_T(t) \]

Sendo \(T\) suficiente, \(f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t)\) independe de \(\theta\). Portanto, podemos definir: \[ h(\underset{\sim}{x}) = f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t) \quad \text{e} \quad g(t; \theta) = f_T(t) \]

Substituindo, obtemos: \[ f_{\underset{\sim}{X}}(\underset{\sim}{x}) = h(\underset{\sim}{x}) \, g(t; \theta) \] o que conclui a fatoração.

\((\Leftarrow)\) Volta: Supondo que \(f_{\underset{\sim}{X}}(\underset{\sim}{x}) = h(\underset{\sim}{x}) \, g(t; \theta)\)

Devemos mostrar que a distribuição condicional \(f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t)\) não depende de \(\theta\). Pela definição de probabilidade condicional:

\[ f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t) = \frac{f_{\underset{\sim}{X}, T}(\underset{\sim}{x}, t)}{f_T(t)} = \frac{f_{\underset{\sim}{X}}(\underset{\sim}{x})}{f_T(t)} = \frac{h(\underset{\sim}{x}) \, g(t; \theta)}{f_T(t)} \quad \text{(Equação 1)} \]

Calculando a distribuição marginal de \(T\) para o caso discreto: \[ \begin{aligned} f_T(t) &= \sum_{\underset{\sim}{x} \in \mathcal{S}_{\underset{\sim}{X}} \\ t(\underset{\sim}{x}) = t} f_{\underset{\sim}{X}, T}(\underset{\sim}{x}, t) \\ &= \sum_{\underset{\sim}{x} \in \mathcal{S}_{\underset{\sim}{X}} \\ t(\underset{\sim}{x}) = t} f_{\underset{\sim}{X}}(\underset{\sim}{x}) \\ &= \sum_{\underset{\sim}{x} \in \mathcal{S}_{\underset{\sim}{X}} \\ t(\underset{\sim}{x}) = t} h(\underset{\sim}{x}) \, g(t; \theta) \\ &= g(t; \theta) \sum_{\underset{\sim}{x} \in \mathcal{S}_{\underset{\sim}{X}} \\ t(\underset{\sim}{x}) = t} h(\underset{\sim}{x}) \end{aligned} \]

Substituindo \(f_T(t)\) de volta na Equação 1:

\[ f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t) = \frac{h(\underset{\sim}{x}) \cancel{g(t; \theta)}}{\cancel{g(t; \theta)} \displaystyle\sum_{\substack{\underset{\sim}{x} \in \mathcal{S}_{\underset{\sim}{X}} \\ t(\underset{\sim}{x}) = t}} h(\underset{\sim}{x})} = \frac{h(\underset{\sim}{x})}{\displaystyle\sum_{\substack{\underset{\sim}{x} \in \mathcal{S}_{\underset{\sim}{X}} \\ t(\underset{\sim}{x}) = t}} h(\underset{\sim}{x})} \] Como a expressão final não contém \(\theta\), segue que \(f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t)\) não depende de \(\theta\). Logo, \(T(\underset{\sim}{X})\) é uma estatística suficiente para \(\theta\).

Exemplo 1: Distribuição Exponencial

Seja \(X \sim \text{Exp}(\theta)\), com função densidade de probabilidade (fdp): \[ f_X(x; \theta) = \theta e^{-\theta x} \, \mathbb{I}_{(0, \infty)}(x), \quad \Theta = (0, \infty) \]

Para uma a.a. \(\underset{\sim}{X} = (X_1, \dots, X_n)\), a fdp conjunta é: \[ f_{\underset{\sim}{X}}(\underset{\sim}{x}; \theta) = \prod_{i=1}^n f_{X_i}(x_i; \theta) = \prod_{i=1}^n \theta e^{-\theta x_i} = \theta^n \exp\left\{ -\theta \sum_{i=1}^n x_i \right\} \mathbb{I}_{(0, \infty)}(\min x_i) \]

Fatorando nos termos \(h(\underset{\sim}{x})\) e \(g(t; \theta)\): - \(h(\underset{\sim}{x}) = 1\) (ou \(\mathbb{I}_{(0, \infty)}(\min x_i)\)); - \(t = t(\underset{\sim}{x}) = \displaystyle\sum_{i=1}^n x_i\); - \(g(t; \theta) = \theta^n e^{-\theta t}\).

Conclusão: \(T = \displaystyle\sum_{i=1}^n X_i\) é uma estatística suficiente para \(\theta\).

Exemplo 2: Distribuição Poisson

Seja \(X \sim \text{Poisson}(\lambda)\), com função de probabilidade: \[ f_X(x; \lambda) = \frac{e^{-\lambda} \lambda^x}{x!} \, \mathbb{I}_{\{0, 1, 2, \dots\}}(x), \quad \Theta = (0, \infty) \]

Para uma a.a. \(\underset{\sim}{X} = (X_1, \dots, X_n)\): \[ f_{\underset{\sim}{X}}(\underset{\sim}{x}; \lambda) = \prod_{i=1}^n \frac{e^{-\lambda} \lambda^{x_i}}{x_i!} = \frac{e^{-n\lambda} \lambda^{\sum_{i=1}^n x_i}}{\prod_{i=1}^n x_i!} = h(\underset{\sim}{x}) \, g(t; \lambda) \]

Identificando os componentes: \[ h(\underset{\sim}{x}) = \frac{1}{\displaystyle\prod_{i=1}^n x_i!}, \quad t = \sum_{i=1}^n x_i \quad \text{e} \quad g(t; \lambda) = e^{-n\lambda} \lambda^t \]

Conclusão: \(T = \displaystyle\sum_{i=1}^n X_i\) é suficiente para \(\lambda\).

Exemplo 3: Distribuição Gama

Seja \(X \sim \text{Gama}(\alpha, \beta)\), com fdp: \[ f_X(x; \alpha, \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x} \, \mathbb{I}_{(0, \infty)}(x), \quad \underset{\sim}{\Theta} = (0, \infty) \times (0, \infty) \]

Para uma a.a. \(\underset{\sim}{X} = (X_1, \dots, X_n)\): \[ \begin{aligned} f_{\underset{\sim}{X}}(\underset{\sim}{x}; \alpha, \beta) &= \prod_{i=1}^n \frac{\beta^\alpha}{\Gamma(\alpha)} x_i^{\alpha-1} e^{-\beta x_i} \\ &= \frac{\beta^{n\alpha}}{\Gamma^n(\alpha)} \left( \prod_{i=1}^n x_i \right)^{\alpha-1} e^{-\beta \sum_{i=1}^n x_i} \\ &= \left( \frac{1}{\prod_{i=1}^n x_i} \right) \cdot \left[ \frac{\beta^{n\alpha}}{\Gamma^n(\alpha)} \left( \prod_{i=1}^n x_i \right)^\alpha e^{-\beta \sum_{i=1}^n x_i} \right] \end{aligned} \]

Definindo: - \(h(\underset{\sim}{x}) = \dfrac{1}{\displaystyle\prod_{i=1}^n x_i}\); - \(\underset{\sim}{t} = (t_1, t_2) = \left( \displaystyle\prod_{i=1}^n x_i, \; \sum_{i=1}^n x_i \right)\); - \(g(\underset{\sim}{t}; \underset{\sim}{\theta}) = \dfrac{\beta^{n\alpha}}{\Gamma^n(\alpha)} t_1^\alpha e^{-\beta t_2}\), em que \(\underset{\sim}{\theta} = (\alpha, \beta)\).

Conclusão: O vetor \(\underset{\sim}{T} = (T_1, T_2) = \left( \displaystyle\prod_{i=1}^n X_i, \; \sum_{i=1}^n X_i \right)\) é conjuntamente suficiente para \(\underset{\sim}{\theta} = (\alpha, \beta)\).

Observação: a distribuição da amostra é sempre fatorável. Note que: \(f_{\underset{\sim}X} = h(\underset{\sim}x) g(t;\theta)\), em que \(h(\underset{\sim}x) = 1\) e \(g(t;\theta) = f_X(\underset{\sim}x)\), com \(t=\underset{\sim}x\).

Família exponencial. Completividade e estatísticas suficientes e completas

Definição: Dizemos que a distribuição de uma variável aleatória \(X\) pertence à Família Exponencial \(k\)-paramétrica se sua função de densidade ou de probabilidade pode ser escrita na forma:

\[ f_X(x; \underset{\sim}{\theta}) = h(x) \exp\left\{ \sum_{j=1}^k t_j(x) \, g_j(\underset{\sim}{\theta}) + c(\underset{\sim}{\theta}) \right\} \]

em que: - \(h(x) \ge 0\) depende exclusivamente de \(x\); - \(t_j(x)\) são funções reais que dependem apenas de \(x\), para \(j = 1, \dots, k\); - \(g_j(\underset{\sim}{\theta})\) são funções reais do vetor de parâmetros \(\underset{\sim}{\theta} = (\theta_1, \dots, \theta_k)\); - \(c(\underset{\sim}{\theta})\) é uma função que depende unicamente de \(\underset{\sim}{\theta}\).

Observação 1: No caso uinparamétrico, temos:

\[ f_X(x; \theta) = h(x) \exp\big\{ t(x) g(\theta) + c(\theta) \big\} \] > Observação 2: Nesta família o suporte não depende do valor do parâmetro (não depende do espaço paramétrico).

Exemplo 1: Exponencial (\(k=1\)) Para \(X \sim \text{Exp}(\theta)\) com \(x > 0\): \[ f_X(x; \theta) = \theta e^{-\theta x} = \exp\big\{ x(-\theta) + \log\theta \big\} \] - \(h(x) = 1\) - \(t(x) = x\) - \(g(\theta) = -\theta\) - \(c(\theta) = \log\theta\)

Exemplo 2: Poisson (\(k=1\)) Para \(X \sim \text{Poisson}(\lambda)\) com \(x \in \{0, 1, 2, \dots\}\): \[ f_X(x; \lambda) = \frac{e^{-\lambda} \lambda^x}{x!} = \frac{1}{x!} \exp\big\{ x \log\lambda - \lambda \big\} \] - \(h(x) = \dfrac{1}{x!}\) - \(t(x) = x\) - \(g(\lambda) = \log\lambda\) - \(c(\lambda) = -\lambda\)

Exemplo 3: Normal Biparamétrica (\(k=2\)) Para \(X \sim \mathcal{N}(\mu, \sigma^2)\) com \(x \in \mathbb{R}\) e \(\underset{\sim}{\theta} = (\mu, \sigma^2) \in \mathbb{R} \times (0, \infty)\): \[ \begin{aligned} f_X(x; \mu, \sigma^2) &= \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left\{ -\frac{1}{2\sigma^2}(x - \mu)^2 \right\} \\ &= \exp\left\{ -\frac{1}{2\sigma^2}(x^2 - 2x\mu + \mu^2) - \frac{1}{2}\log(2\pi\sigma^2) \right\} \\ &= \exp\left\{ x\left(\frac{\mu}{\sigma^2}\right) + x^2\left(-\frac{1}{2\sigma^2}\right) - \frac{\mu^2}{2\sigma^2} - \frac{1}{2}\log(2\pi\sigma^2) \right\} \end{aligned} \]

Identificação dos termos: - \(h(x) = 1\) - \(t_1(x) = x \quad \implies \quad g_1(\mu, \sigma^2) = \dfrac{\mu}{\sigma^2}\) - \(t_2(x) = x^2 \quad \implies \quad g_2(\mu, \sigma^2) = -\dfrac{1}{2\sigma^2}\) - \(c(\mu, \sigma^2) = -\dfrac{\mu^2}{2\sigma^2} - \dfrac{1}{2}\log(2\pi\sigma^2)\)

Observação: Para uma a.a. \(\underset{\sim}{X} = (X_1, \dots, X_n)\), a distribuição conjunta assume a estrutura vetorial: \[ f_{\underset{\sim}{X}}(\underset{\sim}{x}; \underset{\sim}{\theta}) = h(\underset{\sim}{x}) \exp\left\{ \underset{\sim}{t}(\underset{\sim}{x})^T \underset{\sim}{g}(\underset{\sim}{\theta}) + n \, c(\underset{\sim}{\theta}) \right\} \] em que: \[ \underset{\sim}{t}(\underset{\sim}{x}) = \left( \sum_{i=1}^n t_1(x_i), \dots, \sum_{i=1}^n t_k(x_i) \right)^T \quad \text{e} \quad \underset{\sim}{g}(\underset{\sim}{\theta}) = \big( g_1(\underset{\sim}{\theta}), \dots, g_k(\underset{\sim}{\theta}) \big)^T \]

Definição: Dizemos que a distribuição de \(\underset{\sim}{X}\) pertence à Família Exponencial Natural se ela é expressa diretamente em termos do parâmetro natural \(\underset{\sim}{\eta}\):

\[ f_{\underset{\sim}{X}}(\underset{\sim}{x}; \underset{\sim}{\eta}) = h(\underset{\sim}{x}) \exp\left\{ \underset{\sim}{t}(\underset{\sim}{x})^T \underset{\sim}{\eta} - A(\underset{\sim}{\eta}) \right\} \]

em que: - \(\underset{\sim}{\eta} = (\eta_1, \dots, \eta_k)^T\) é o vetor de parâmetros naturais; - \(A(\underset{\sim}{\eta}) = -n\, c(\underset{\sim}{\theta}(\underset{\sim}{\eta}))\) é a função log-partição (ou função acumuladora).

No caso Uniparamétrico, temos: \[ f_X(x; \eta) = h(x) \exp\big\{ t(x)\eta - A(\eta) \big\} \] com \(\eta = g(\theta)\) denominado parâmetro natural.

Conversão dos Exemplos para a Forma Natural

Distribuição	Parâmetro Natural (\(\eta\) ou \(\underset{\sim}{\eta}\))	Função \(A(\eta)\) ou \(A(\underset{\sim}{\eta})\)	Estatística \(t(x)\) ou \(\underset{\sim}{t}(x)\)	\(h(x)\)
Exponencial	\(\eta = -\theta < 0\)	\(A(\eta) = -\log(-\eta)\)	\(t(x) = x\)	\(1\)
Poisson	\(\eta = \log\lambda \in \mathbb{R}\)	\(A(\eta) = e^\eta\)	\(t(x) = x\)	\(\dfrac{1}{x!}\)
Normal	\(\underset{\sim}{\eta} = \begin{pmatrix} \frac{\mu}{\sigma^2} \\ -\frac{1}{2\sigma^2} \end{pmatrix} = \begin{pmatrix} \eta_1 \\ \eta_2 \end{pmatrix}\)	\(A(\underset{\sim}{\eta}) = -\dfrac{\eta_1^2}{4\eta_2} + \dfrac{1}{2}\log\left(-\dfrac{\pi}{\eta_2}\right)\)	\(\underset{\sim}{t}(x) = \begin{pmatrix} x \\ x^2 \end{pmatrix}\)	\(1\)

Família Exponencial Natural

Seja \(X \sim f_X(x; \boldsymbol{\theta})\) e considere uma amostra aleatória (a.a.) \(\boldsymbol{X} = (X_1, \dots, X_n)\). Se a distribuição pertence à Família Exponencial Natural (FEN), sua densidade conjunta pode ser expressa na forma canônica:

\[f_{\boldsymbol{X}}(\boldsymbol{x}; \boldsymbol{\eta}) = h(\boldsymbol{x}) \exp\left\{ \sum_{j=1}^{k} t_j(\boldsymbol{x}) \eta_j - A(\boldsymbol{\eta}) \right\}\]

em que: - \(\boldsymbol{\eta} = (\eta_1, \dots, \eta_k)^\top\) é o vetor de parâmetros canônicos (naturais), com \(\eta_j = \eta_j(\boldsymbol{\theta})\) para \(j = 1, \dots, k\); - \(\boldsymbol{\theta} = (\theta_1, \dots, \theta_k)^\top\); - \(A(\boldsymbol{\eta})\) é a função de partição (ou cumulante logarítmica).

Considere o caso uniparamétrico (\(k = 1\))

Para \(k = 1\), a densidade simplifica-se para:

\[f_{\boldsymbol{X}}(\boldsymbol{x}; \eta) = h(\boldsymbol{x}) \exp\left\{ t(\boldsymbol{x})\eta - A(\eta) \right\}\]

No caso contínuo, pela propriedade de integração da função densidade:

\[\int_{\mathbb{R}^n} f_{\boldsymbol{X}}(\boldsymbol{x}; \eta) \, d\boldsymbol{x} = 1\]

Logo:

\[\int_{\mathbb{R}^n} h(\boldsymbol{x}) \exp\{t(\boldsymbol{x})\eta - A(\eta)\} \, d\boldsymbol{x} = 1\]

\[\int_{\mathbb{R}^n} h(\boldsymbol{x}) \exp\{t(\boldsymbol{x})\eta\} \exp\{-A(\eta)\} \, d\boldsymbol{x} = 1\]

\[\int_{\mathbb{R}^n} h(\boldsymbol{x}) \exp\{t(\boldsymbol{x})\eta\} \, d\boldsymbol{x} = \exp\{A(\eta)\}\]

Aplicando o logaritmo natural em ambos os lados:

\[A(\eta) = \log \left[ \int_{\mathbb{R}^n} h(\boldsymbol{x}) \exp\{t(\boldsymbol{x})\eta\} \, d\boldsymbol{x} \right]\]

Propriedades dos Momentos via Diferenciação de \(A(\eta)\)

Esperança: \(\mathbb{E}[T(\boldsymbol{X})]\)

Diferenciando \(A(\eta)\) em relação a \(\eta\):

\[\frac{d A(\eta)}{d\eta} = \frac{\frac{d}{d\eta} \displaystyle\int_{\mathbb{R}^n} h(\boldsymbol{x}) \exp\{t(\boldsymbol{x})\eta\} \, d\boldsymbol{x}}{\displaystyle\int_{\mathbb{R}^n} h(\boldsymbol{x}) \exp\{t(\boldsymbol{x})\eta\} \, d\boldsymbol{x}}\]

Sob as condições de regularidade (permitindo a permuta entre derivada e integral):

\[\int_{\mathbb{R}^n} \frac{d}{d\eta} \left[ h(\boldsymbol{x}) \exp\{t(\boldsymbol{x})\eta\} \right] d\boldsymbol{x} = \int_{\mathbb{R}^n} h(\boldsymbol{x}) t(\boldsymbol{x}) \exp\{t(\boldsymbol{x})\eta\} \, d\boldsymbol{x}\]

Multiplicando o numerador e o denominador por \(\exp\{-A(\eta)\}\):

\[\frac{d A(\eta)}{d\eta} = \frac{\displaystyle\int_{\mathbb{R}^n} t(\boldsymbol{x}) h(\boldsymbol{x}) \exp\{t(\boldsymbol{x})\eta - A(\eta)\} \, d\boldsymbol{x}}{\underbrace{\displaystyle\int_{\mathbb{R}^n} h(\boldsymbol{x}) \exp\{t(\boldsymbol{x})\eta - A(\eta)\} \, d\boldsymbol{x}}_{= 1}}\]

Portanto:

\[\frac{d A(\eta)}{d\eta} = \mathbb{E}[T(\boldsymbol{X})]\]

Variância: \(\mathrm{Var}(T(\boldsymbol{X}))\)

Tomando a segunda derivada:

\[\frac{d^2 A(\eta)}{d\eta^2} = \frac{d}{d\eta} \left[ \frac{d A(\eta)}{d\eta} \right] = \frac{d}{d\eta} \mathbb{E}[T(\boldsymbol{X})]\]

\[\frac{d^2 A(\eta)}{d\eta^2} = \frac{d}{d\eta} \left[ \int_{\mathbb{R}^n} t(\boldsymbol{x}) h(\boldsymbol{x}) \exp\{t(\boldsymbol{x})\eta - A(\eta)\} \, d\boldsymbol{x} \right]\]

Diferenciando sob o sinal de integração:

\[\int_{\mathbb{R}^n} t(\boldsymbol{x}) h(\boldsymbol{x}) \exp\{t(\boldsymbol{x})\eta - A(\eta)\} \left[ t(\boldsymbol{x}) - \frac{d A(\eta)}{d\eta} \right] d\boldsymbol{x}\]

\[= \int_{\mathbb{R}^n} t^2(\boldsymbol{x}) h(\boldsymbol{x}) \exp\{t(\boldsymbol{x})\eta - A(\eta)\} \, d\boldsymbol{x} - \mathbb{E}[T(\boldsymbol{X})] \int_{\mathbb{R}^n} t(\boldsymbol{x}) h(\boldsymbol{x}) \exp\{t(\boldsymbol{x})\eta - A(\eta)\} \, d\boldsymbol{x}\]

\[= \mathbb{E}[T^2] - \big(\mathbb{E}[T]\big)^2 = \mathrm{Var}(T(\boldsymbol{X}))\]

Logo:

\[\frac{d^2 A(\eta)}{d\eta^2} = \mathrm{Var}(T(\boldsymbol{X}))\] Generalização para o Caso Multivariado

Em geral, para \(j, l = 1, \dots, k\):

\[\frac{\partial A(\boldsymbol{\eta})}{\partial \eta_j} = \mathbb{E}[T_j(\boldsymbol{X})]\]

\[\frac{\partial^2 A(\boldsymbol{\eta})}{\partial \eta_j \partial \eta_l} = \mathrm{Cov}(T_j(\boldsymbol{X}), T_l(\boldsymbol{X}))\]

Exemplo 1: Seja \(X \sim \mathrm{Poisson}(\lambda)\) e uma a.a. \(X_1, \dots, X_n\). A densidade conjunta é:

\[f_{\boldsymbol{X}}(\boldsymbol{x}; \lambda) = \prod_{i=1}^{n} \frac{e^{-\lambda} \lambda^{x_i}}{x_i!} = \frac{e^{-n\lambda} \lambda^{\sum_{i=1}^{n} x_i}}{\prod_{i=1}^{n} x_i!} = \frac{1}{\prod_{i=1}^{n} x_i!} \exp\left\{ \left(\sum_{i=1}^{n} x_i\right) \log(\lambda) - n\lambda \right\}\]

Identificando os componentes da FEN: - \(h(\boldsymbol{x}) = \dfrac{1}{\prod_{i=1}^n x_i!}\) - \(t(\boldsymbol{x}) = \displaystyle\sum_{i=1}^{n} X_i\) - \(\eta = \log(\lambda) \implies \lambda = e^\eta\) - \(A(\eta) = n\lambda = n e^\eta\)

Calculando os momentos:

\[\frac{d A(\eta)}{d\eta} = \frac{d}{d\eta}[n e^\eta] = n e^\eta = \mathbb{E}\left[ \sum_{i=1}^{n} X_i \right] = n\lambda\]

\[\frac{d^2 A(\eta)}{d\eta^2} = n e^\eta = \mathrm{Var}\left[ \sum_{i=1}^{n} X_i \right] = n\lambda\]

Exemplo 2: Seja \(X \sim N(\mu, \sigma^2)\) e uma a.a. \(X_1, \dots, X_n\):

\[f_{\boldsymbol{X}}(\boldsymbol{x}; \mu, \sigma^2) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{ -\frac{1}{2\sigma^2} (x_i - \mu)^2 \right\}\]

\[= (2\pi\sigma^2)^{-n/2} \exp\left\{ -\frac{1}{2\sigma^2} \sum_{i=1}^{n} (x_i - \mu)^2 \right\}\]

\[= \exp\left\{ -\frac{1}{2\sigma^2} \left( \sum_{i=1}^{n} x_i^2 - 2\mu \sum_{i=1}^{n} x_i + n\mu^2 \right) - \frac{n}{2} \log(2\pi\sigma^2) \right\}\]

\[= \exp\left\{ \left(\sum_{i=1}^{n} x_i\right) \frac{\mu}{\sigma^2} + \left(\sum_{i=1}^{n} x_i^2\right) \left(-\frac{1}{2\sigma^2}\right) - \frac{n\mu^2}{2\sigma^2} - \frac{n}{2}\log(2\pi\sigma^2) \right\}\]

Componentes canônicos: - \(h(\boldsymbol{x}) = 1\) - \(t_1(\boldsymbol{x}) = \displaystyle\sum_{i=1}^{n} X_i \quad \implies \quad \eta_1 = \frac{\mu}{\sigma^2}\) - \(t_2(\boldsymbol{x}) = \displaystyle\sum_{i=1}^{n} X_i^2 \quad \implies \quad \eta_2 = -\frac{1}{2\sigma^2}\)

Inversão dos parâmetros: \[\sigma^2 = -\frac{1}{2\eta_2}, \qquad \mu = -\frac{\eta_1}{2\eta_2}\]

Determinando \(A(\boldsymbol{\eta})\):

\[A(\boldsymbol{\eta}) = \frac{n}{2} \frac{\left(-\frac{\eta_1}{2\eta_2}\right)^2}{-\frac{1}{2\eta_2}} + \frac{n}{2} \log\left[ 2\pi \left(-\frac{1}{2\eta_2}\right) \right] = -\frac{n \eta_1^2}{4\eta_2} + \frac{n}{2} \log\left( -\frac{\pi}{\eta_2} \right)\]

Momentos via derivadas parciais:

\[\frac{\partial A}{\partial \eta_1} = -\frac{n\eta_1}{2\eta_2} = n\left(-\frac{\eta_1}{2\eta_2}\right) = n\mu = \mathbb{E}\left[ \sum_{i=1}^{n} X_i \right]\]

\[\frac{\partial A}{\partial \eta_2} = -\frac{n\eta_1^2}{4} \left(-\frac{1}{\eta_2^2}\right) + \frac{n}{2} \left(-\frac{\eta_2}{\pi}\right) \left(\frac{\pi}{\eta_2^2}\right) = \frac{n\eta_1^2}{4\eta_2^2} - \frac{n}{2\eta_2}\]

\[= n \left(-\frac{\eta_1}{2\eta_2}\right)^2 + n\left(-\frac{1}{2\eta_2}\right) = n\mu^2 + n\sigma^2 = n(\mu^2 + \sigma^2) = \mathbb{E}\left[ \sum_{i=1}^{n} X_i^2 \right]\]

Exemplo 3: Seja \(X \sim \mathrm{Gama}(\alpha, \beta)\) e uma a.a. \(X_1, \dots, X_n\), sob a parametrização com densidade \(f(x) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x}\):

\[f_{\boldsymbol{X}}(\boldsymbol{x}; \alpha, \beta) = \prod_{i=1}^{n} \frac{\beta^\alpha}{\Gamma(\alpha)} x_i^{\alpha-1} e^{-\beta x_i} = \frac{\beta^{n\alpha}}{[\Gamma(\alpha)]^n} \left( \prod_{i=1}^{n} x_i^{\alpha-1} \right) \exp\left\{ -\beta \sum_{i=1}^{n} x_i \right\}\]

\[= \frac{1}{\prod_{i=1}^{n} x_i} \exp\left\{ \left(\sum_{i=1}^{n} x_i\right)(-\beta) + \left(\sum_{i=1}^{n} \log x_i\right)\alpha + n\alpha \log(\beta) - n \log[\Gamma(\alpha)] \right\}\]

Componentes canônicos: - \(h(\boldsymbol{x}) = \dfrac{1}{\prod_{i=1}^n x_i}\) - \(t_1(\boldsymbol{x}) = \displaystyle\sum_{i=1}^{n} X_i \quad \implies \quad \eta_1 = -\beta \implies \beta = -\eta_1\) - \(t_2(\boldsymbol{x}) = \displaystyle\sum_{i=1}^{n} \log(X_i) \quad \implies \quad \eta_2 = \alpha \implies \alpha = \eta_2\) - \(A(\boldsymbol{\eta}) = -n\eta_2 \log(-\eta_1) + n \log[\Gamma(\eta_2)]\)

Derivadas parciais:

\[\frac{\partial A}{\partial \eta_1} = -n\eta_2 \left(\frac{1}{-\eta_1}\right)(-1) = -\frac{n\eta_2}{\eta_1} = -\frac{n\alpha}{-\beta} = \frac{n\alpha}{\beta} = \mathbb{E}\left[ \sum_{i=1}^{n} X_i \right]\]

\[\frac{\partial A}{\partial \eta_2} = -n \log(-\eta_1) + n \frac{\Gamma'(\eta_2)}{\Gamma(\eta_2)} = -n \log(-\eta_1) + n\psi(\eta_2) = n[\psi(\alpha) - \log(\beta)]\]

em que \(\psi(\cdot)\) denota a função digama.

Estatística Ancilar

Definição: Dizemos que uma estatística \(T(\boldsymbol{X})\) é ancilar para um parâmetro (ou vetor de parâmetros) \(\boldsymbol{\theta}\) se a sua distribuição amostral não depende de \(\boldsymbol{\theta}\).

Exemplo: Seja \(X \sim N(\mu, \sigma^2)\) e uma amostra aleatória \(X_1, X_2\) (\(n = 2\)). Considere a estatística:

\[T(X_1, X_2) = \frac{X_1}{X_2}\]

\(T\) é ancilar para \(\sigma^2\)?

Note que, sob \(\mu = 0\), \(\dfrac{X_i}{\sigma} \sim N(0, 1)\) para \(i = 1, 2\). Logo:

\[T = \frac{\frac{X_1}{\sigma}}{\frac{X_2}{\sigma}}\]

O numerador e o denominador têm distribuições que não dependem de \(\sigma^2\). Portanto, \(T\) é ancilar para \(\sigma^2\). (Mostra-se que \(T \sim \mathrm{Cauchy}(0, 1)\)).

Estatística Completa

Definição: Dizemos que uma família de distribuições induzida por uma estatística \(T(\boldsymbol{X})\) é completa (ou que \(T(\boldsymbol{X})\) é uma estatística completa) se, para qualquer função mensurável \(g\) bem definida:

\[\mathbb{E}_{\boldsymbol{\theta}}[g(T)] = 0, \quad \forall \boldsymbol{\theta} \in \Theta \implies g(T) = 0 \quad \text{quase certamente (q.c.)}\]

Em outros termos, \(g(T)\) é degenerada em zero:

\[\mathbb{P}_{\boldsymbol{\theta}}(g(T) = 0) = 1, \quad \forall \boldsymbol{\theta} \in \Theta\]

Teorema de Basu

Definição: Se \(T\) é uma estatística suficiente e completa para um parâmetro \(\theta\) e \(S\) é uma estatística ancilar para \(\theta\), então \(T\) e \(S\) são independentes.

Prova (caso contínuo):

Temos que mostrar que \(f_{T,S}(t,s) = f_T(t)f_S(s)\), no suporte conjunto de \((T,S)\).

Como \(T\) é suficiente, a distribuição de \(X | T=t\) não depende de \(\theta\). Isso significa que a distribuição de \(S | T=t\) também não depende de \(\theta\), ou seja, \(f_{S|T}(s|t)\) não depende de \(\theta\) em qualquer ponto \(s\) do suporte de \(S\).

Ainda temos: \[ f_S(s) = \int_{-\infty}^{\infty} f_{S,T}(s,t) dt = \int_{-\infty}^{\infty} f_{S|T}(s|t) f_T(t) dt \] –>

Como \(\int_{-\infty}^{\infty} f_T(t) dt = 1\), podemos reescrever \(f_S(s)\) como: \[ f_S(s) = f_S(s) \int_{-\infty}^{\infty} f_T(t) dt = \int_{-\infty}^{\infty} f_S(s) f_T(t) dt \]

Defina uma função \(g(t) = f_{S|T}(s|t) - f_S(s)\), com \(s\) fixo, variando em \(t\). Note que, desta forma, \(g(T)\) é uma estatística. Como \(T\) é suficiente e completa, \(E[g(T)] = 0 \implies g(T) \equiv 0\), para qualquer função \(g\) e \(\forall \theta \in \Theta\).

Supondo \(E[g(T)] = 0\), então: \[ E[g(T)] = \int_{-\infty}^{\infty} g(t) f_T(t) dt \] \[ E[g(T)] = \int_{-\infty}^{\infty} [f_{S|T}(s|t) - f_S(s)] f_T(t) dt \] \[ E[g(T)] = \int_{-\infty}^{\infty} f_{S|T}(s|t) f_T(t) dt - \int_{-\infty}^{\infty} f_S(s) f_T(t) dt \] \[ E[g(T)] = f_S(s) - f_S(s) = 0 \] Isto vale \(\forall s\) no suporte de \(S\) e \(\forall \theta \in \Theta\).

Isto implica que \(g(T) \equiv 0, \forall \theta \in \Theta\), ou seja: \[ g(t) = f_{S|T}(s|t) - f_S(s) = 0 \implies f_{S|T}(s|t) = f_S(s) \] \(\forall s\) no suporte de \(S\) e para qualquer \(t\) no suporte de \(T\).

Mas sabemos que \(f_{S|T}(s|t) = \frac{f_{S,T}(s,t)}{f_T(t)}\). Portanto: \[ \frac{f_{S,T}(s,t)}{f_T(t)} = f_S(s) \implies f_{S,T}(s,t) = f_S(s) f_T(t) \] Logo, \(S\) e \(T\) são independentes.

Exemplo 1: (Aplicação do Teorema de Basu) Seja \(X \sim \text{Exp}(\theta)\) e uma a.a. \(X_1, \dots, X_n\). Considere a estatística: \[ S = \frac{X_1}{X_1 + \dots + X_n} \]

Poderíamos pensar em obter o valor esperado de \(S\). Porém, \(X_1\) não é independente (a princípio) de \(\frac{1}{X_1 + \dots + X_n}\). Contudo, note que: \[ \frac{X_1}{X_1 + \dots + X_n} = \frac{\theta X_1}{\theta (X_1 + \dots + X_n)} \]

Seja \(Y_1 = \theta X_1\). A sua f.d.a. é: \[ F_{Y_1}(y) = P(Y_1 \le y) = P(\theta X_1 \le y) = P\left(X_1 \le \frac{y}{\theta}\right) \] Derivando para obter a densidade: \[ f_{Y_1}(y) = \frac{d F_{Y_1}(y)}{dy} = \frac{d F_{X_1}(y/\theta)}{dy} = \frac{d}{dy} \left[ 1 - e^{-\theta \left(\frac{y}{\theta}\right)} \right] \] \[ f_{Y_1}(y) = \frac{d}{dy} [1 - e^{-y}] = e^{-y}, \quad y > 0 \] Logo \(Y_1 \sim \text{Exp}(1)\), cuja distribuição não depende de \(\theta\).

Por outro lado, é possível mostrar que a soma de exponenciais independentes resulta em \(T = \sum_{i=1}^n X_i \sim \text{Gama}(n, \theta)\). Definindo \(W = \theta T\), temos: \[ F_W(w) = P(W \le w) = P(\theta T \le w) = P\left(T \le \frac{w}{\theta}\right) = F_T\left(\frac{w}{\theta}\right) \] A densidade de \(W\) será: \[ f_W(w) = \frac{d F_W(w)}{dw} = \frac{d F_T(w/\theta)}{dw} = \frac{1}{\theta} f_T\left(\frac{w}{\theta}\right) \] \[ f_W(w) = \frac{1}{\theta} \frac{\theta^n}{\Gamma(n)} \left(\frac{w}{\theta}\right)^{n-1} e^{-\theta \left(\frac{w}{\theta}\right)} = \frac{w^{n-1}}{\Gamma(n)} e^{-w}, \quad w > 0 \] Logo, \(W \sim \text{Gama}(n, 1)\), que também não depende de \(\theta\).

Assim, \(S = \frac{X_1}{X_1 + \dots + X_n} = \frac{Y_1}{W}\) é uma estatística ancilar para \(\theta\). Ainda, é sabido que \(T = \sum_{i=1}^n X_i\) é suficiente e completa para \(\theta\). Pelo Teorema de Basu, \(S\) e \(T\) são independentes.

Logo, podemos calcular a esperança de \(X_1\) separando os termos: \[ E[X_1] = E\left[ \frac{X_1}{\sum X_i} \cdot \left(\sum X_i\right) \right] = E\left[ \frac{X_1}{\sum X_i} \right] E\left[ \sum X_i \right] \] \[ E(X_1) = E\left[ \frac{X_1}{\sum X_i} \right] \sum_{i=1}^n E(X_i) \] \[ \frac{1}{\theta} = E\left[ \frac{X_1}{\sum X_i} \right] \cdot \frac{n}{\theta} \implies E\left[ \frac{X_1}{\sum X_i} \right] = \frac{1}{n} \]

Família Exponencial e Completude

Resultado: Se uma a.a. \(X_1, \dots, X_n\) tem distribuição pertencente à Família Exponencial (F.E.) \(k\)-paramétrica, com densidade conjunta: \[ f_{\mathbf{X}}(\mathbf{x}; \boldsymbol{\theta}) = h(\mathbf{x}) \exp\left\{ \sum_{j=1}^k t_j(\mathbf{x}) \eta_j(\boldsymbol{\theta}) + C(\boldsymbol{\theta}) \right\} \] Então a estatística \(\mathbf{T} = (T_1, \dots, T_k)\) é completa se, no espaço paramétrico, for possível obter um retângulo de dimensão \(k\) aberto. (Prova baseada em Barndorff-Nielsen, 1978, utilizando a Transformada de Laplace).

Exemplo 2: (Normal com parâmetros dependentes) Seja \(X \sim N(\theta, \theta^2)\), com \(\theta \in \mathbb{R}\), e uma a.a. \(X_1, \dots, X_n\). Temos: \[ f_{\mathbf{X}}(\mathbf{x}; \theta) = \prod_{i=1}^n f_{X_i}(x_i; \theta) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\theta^2}} e^{-\frac{1}{2\theta^2}(x_i - \theta)^2} \] \[ f_{\mathbf{X}}(\mathbf{x}; \theta) = (2\pi\theta^2)^{-n/2} \exp\left\{ -\frac{1}{2\theta^2} \sum_{i=1}^n (x_i - \theta)^2 \right\} \] Expandindo o polinómio: \[ = \exp\left\{ -\frac{1}{2\theta^2} \left[ \sum x_i^2 - 2\theta \sum x_i + n\theta^2 \right] - \frac{n}{2}\log(2\pi\theta^2) \right\} \] \[ = \exp\left\{ \sum x_i^2 \left(-\frac{1}{2\theta^2}\right) + \sum x_i \left(\frac{1}{\theta}\right) - \frac{n}{2} - \frac{n}{2}\log(2\pi\theta^2) \right\} \]

Sejam: * \(h(\mathbf{x}) = 1\) * \(t_1(\mathbf{x}) = \sum_{i=1}^n x_i^2 \implies \eta_1(\theta) = -\frac{1}{2\theta^2}\) * \(t_2(\mathbf{x}) = \sum_{i=1}^n x_i \implies \eta_2(\theta) = \frac{1}{\theta}\) * \(C(\theta) = -\frac{n}{2}[1 + \log(2\pi\theta^2)]\)

A estatística \(\mathbf{T} = (T_1, T_2) = (\sum X_i^2, \sum X_i)\) é suficiente para \(\eta_1\) e \(\eta_2\), mas não é completa, pois não é possível obter um retângulo aberto no espaço paramétrico \(\Theta\). Note que os parâmetros naturais estão restritos a uma parábola \(\eta_1 = -\frac{1}{2} \eta_2^2\), o que impede a formação de um espaço bidimensional (retângulo) exigido pelo teorema.

Exemplo 3: (Distribuição de Bernoulli) Seja \(X \sim \text{Ber}(p)\), com \(0 < p < 1\) e uma a.a. \(X_1, \dots, X_n\). Temos: \[ f_{\mathbf{X}}(\mathbf{x}; p) = \prod_{i=1}^n p^{x_i}(1-p)^{1-x_i} = p^{\sum x_i} (1-p)^{n-\sum x_i} \] \[ = \left[ \frac{p}{1-p} \right]^{\sum x_i} (1-p)^n = \exp\left\{ \sum_{i=1}^n x_i \log\left[\frac{p}{1-p}\right] + n\log(1-p) \right\} \]

Sejam: * \(h(\mathbf{x}) = 1\) e \(t(\mathbf{x}) = \sum_{i=1}^n x_i\) * \(\eta(p) = \log\left[\frac{p}{1-p}\right]\) e \(C(p) = n\log(1-p)\)

Temos que \(T = \sum_{i=1}^n X_i\) é suficiente para \(p\). Vamos mostrar (via força bruta) que \(T\) é completa para \(p\). Sabemos que \(T \sim \text{Bin}(n, p)\). Considere uma função \(g(T)\) tal que \(E[g(T)] = 0\). Então: \[ E[g(T)] = \sum_{t=0}^n g(t) f_T(t; p) = \sum_{t=0}^n g(t) \binom{n}{t} p^t (1-p)^{n-t} = 0 \] Fatorando \((1-p)^n\): \[ (1-p)^n \sum_{t=0}^n g(t) \binom{n}{t} \left(\frac{p}{1-p}\right)^t = 0 \]

Note que esta esperança assume a forma de um polinómio: \[ E[g(T)] = a_0 + a_1 y + a_2 y^2 + \dots + a_n y^n = 0 \] Em que \(a_j = g(j) \binom{n}{j}\) e a variável \(y = \frac{p}{1-p}\). Como \(p \in (0, 1)\), então \(y \in (0, \infty)\), o que constitui um intervalo aberto (contém um “retângulo” 1-dimensional). Para que o polinómio seja nulo em todo este intervalo contínuo, todos os seus coeficientes devem ser estritamente nulos (\(a_j = 0\)). Como \(\binom{n}{j} \neq 0\), conclui-se que \(g(j) = 0, \forall j\). Logo, \(T\) é completa.

Se \(E[g(T)]=0\), necessariamente, por igualdade de polinômios, \(a_j=0, \forall j=0,\dots,n\), pois \(y > 0, \forall p \in (0,1)\). Como \(\binom{n}{j} > 0, \forall j \in \{0,\dots,n\}\), necessariamente \(g(j) = 0, \forall j\). Logo \(g(T) \equiv 0\).

Informação de Fisher e desigualdade de Cramér-Rao

Função Escore

Definição: Seja uma população \(X \sim f_X(x; \theta)\) e uma a.a. \(X_1, \dots, X_n\). A função escore para \(\theta\) é dada por: \[ U(\theta) = \frac{d}{d\theta} \log L(\theta) = \frac{d l(\theta)}{d\theta} \] em que \(L(\theta)\) é a função de verossimilhança e \(l(\theta)\) é o seu logaritmo.

Note que, se pudermos trocar a ordem entre a integração no suporte de \(X\) e derivadas em \(\theta\) (condição de regularidade), temos: \[ E[U(\theta)] = \int_{-\infty}^{\infty} U(\theta) f_{\mathbf{X}}(\mathbf{x}; \theta) d\mathbf{x} \] \[ E[U(\theta)] = \int_{-\infty}^{\infty} \left[ \frac{d}{d\theta} \log f_{\mathbf{X}}(\mathbf{x}; \theta) \right] f_{\mathbf{X}}(\mathbf{x}; \theta) d\mathbf{x} \] Pela regra da cadeia para a derivada do logaritmo: \[ E[U(\theta)] = \int_{-\infty}^{\infty} \frac{1}{f_{\mathbf{X}}(\mathbf{x}; \theta)} \left[ \frac{d}{d\theta} f_{\mathbf{X}}(\mathbf{x}; \theta) \right] f_{\mathbf{X}}(\mathbf{x}; \theta) d\mathbf{x} \] Cancelando os termos de \(f_{\mathbf{X}}(\mathbf{x}; \theta)\): \[ E[U(\theta)] = \int_{-\infty}^{\infty} \frac{d}{d\theta} f_{\mathbf{X}}(\mathbf{x}; \theta) d\mathbf{x} \] Trocando a ordem da integral com a derivada: \[ E[U(\theta)] = \frac{d}{d\theta} \int_{-\infty}^{\infty} f_{\mathbf{X}}(\mathbf{x}; \theta) d\mathbf{x} = \frac{d}{d\theta} (1) = 0 \]

Resultado: Em problemas (distribuições) regulares, \(E[U(\theta)] = 0\).

Informação de Fisher

Definição: A informação de Fisher para \(\theta\) é definida por: \[ I(\theta) = E[U^2(\theta)] \]

Observação: No caso multiparamétrico (k-paramétrico), temos o vetor escore e a matriz de informação de Fisher dados, respectivamente, por: \[ \mathbf{U}(\boldsymbol{\theta}) = \left( U_1(\boldsymbol{\theta}), \dots, U_k(\boldsymbol{\theta}) \right)^T_{k \times 1} \] \[ \mathbf{I}(\boldsymbol{\theta}) = E\left[ \mathbf{U}(\boldsymbol{\theta}) \cdot \mathbf{U}(\boldsymbol{\theta})^T \right]_{k \times k} \] Aqui, \(U_j(\boldsymbol{\theta}) = \frac{\partial l(\boldsymbol{\theta})}{\partial \theta_j}, \quad j = 1, \dots, k\).

Relação Alternativa para a Informação de Fisher: Observe que partindo da identidade provada acima: \[ \frac{d}{d\theta} E[U(\theta)] = 0 \] \[ \frac{d}{d\theta} \int_{-\infty}^{\infty} \left[ \frac{d}{d\theta} \log f_{\mathbf{X}}(\mathbf{x}; \theta) \right] f_{\mathbf{X}}(\mathbf{x}; \theta) d\mathbf{x} = 0 \] Aplicando a regra do produto para a derivada dentro da integral: \[ \int_{-\infty}^{\infty} \frac{d}{d\theta} \left\{ \left[ \frac{d}{d\theta} \log f_{\mathbf{X}}(\mathbf{x}; \theta) \right] f_{\mathbf{X}}(\mathbf{x}; \theta) \right\} d\mathbf{x} = 0 \] \[ \int_{-\infty}^{\infty} \left\{ \left[ \frac{d^2}{d\theta^2} \log f_{\mathbf{X}}(\mathbf{x}; \theta) \right] f_{\mathbf{X}}(\mathbf{x}; \theta) + \left[ \frac{d}{d\theta} \log f_{\mathbf{X}}(\mathbf{x}; \theta) \right] \frac{d}{d\theta} f_{\mathbf{X}}(\mathbf{x}; \theta) \right\} d\mathbf{x} = 0 \]

Analisando o segundo termo, lembrando que \(\frac{d}{d\theta} f_{\mathbf{X}}(\mathbf{x}; \theta) = \left[ \frac{d}{d\theta} \log f_{\mathbf{X}}(\mathbf{x}; \theta) \right] f_{\mathbf{X}}(\mathbf{x}; \theta)\): \[ \int_{-\infty}^{\infty} \left[ \frac{d^2}{d\theta^2} \log f_{\mathbf{X}}(\mathbf{x}; \theta) \right] f_{\mathbf{X}}(\mathbf{x}; \theta) d\mathbf{x} + \int_{-\infty}^{\infty} \left[ \frac{d}{d\theta} \log f_{\mathbf{X}}(\mathbf{x}; \theta) \right] \left[ \frac{d}{d\theta} \log f_{\mathbf{X}}(\mathbf{x}; \theta) \right] f_{\mathbf{X}}(\mathbf{x}; \theta) d\mathbf{x} = 0 \] \[ \int_{-\infty}^{\infty} \left[ \frac{d^2}{d\theta^2} \log f_{\mathbf{X}}(\mathbf{x}; \theta) \right] f_{\mathbf{X}}(\mathbf{x}; \theta) d\mathbf{x} + \int_{-\infty}^{\infty} \left[ \frac{d}{d\theta} \log f_{\mathbf{X}}(\mathbf{x}; \theta) \right]^2 f_{\mathbf{X}}(\mathbf{x}; \theta) d\mathbf{x} = 0 \]

O primeiro termo é, por definição, a esperança da segunda derivada do log-verossimilhança. O segundo termo é, por definição, \(E[U^2(\theta)]\), que é a Informação de Fisher \(I(\theta)\). Portanto: \[ E\left[ \frac{d^2 l(\theta)}{d\theta^2} \right] + \int_{-\infty}^{\infty} U^2(\theta) f_{\mathbf{X}}(\mathbf{x}; \theta) d\mathbf{x} = 0 \] \[ E\left[ \frac{d^2 l(\theta)}{d\theta^2} \right] + I(\theta) = 0 \] Resultado: Em problemas regulares: \[ I(\theta) = -E\left[ \frac{d^2 l(\theta)}{d\theta^2} \right] \]

Exemplo 1: (Distribuição Exponencial) Seja \(X \sim \text{Exp}(\theta)\) (com \(E(X) = 1/\theta\)). O log-verossimilhança para uma amostra de tamanho \(n\) é: \[ l(\theta) = n\log(\theta) - \theta \sum_{i=1}^n x_i \]

A função escore é: \[ U(\theta) = \frac{n}{\theta} - \sum_{i=1}^n x_i \]

A esperança do escore é: \[ E[U(\theta)] = E\left[ \frac{n}{\theta} - \sum_{i=1}^n X_i \right] = \frac{n}{\theta} - E\left( \sum_{i=1}^n X_i \right) \] \[ E[U(\theta)] = \frac{n}{\theta} - \sum_{i=1}^n E(X_i) = \frac{n}{\theta} - \sum_{i=1}^n \frac{1}{\theta} = \frac{n}{\theta} - \frac{n}{\theta} = 0 \]

Assumindo que a distribuição é regular (usando a segunda derivada): \[ \frac{d^2 l(\theta)}{d\theta^2} = \frac{d}{d\theta} U(\theta) = \frac{d}{d\theta} \left[ \frac{n}{\theta} - \sum X_i \right] = -\frac{n}{\theta^2} \] \[ I(\theta) = -E\left[ \frac{d^2 l(\theta)}{d\theta^2} \right] = -E\left[ -\frac{n}{\theta^2} \right] = \frac{n}{\theta^2} \]

Pela definição direta da Informação de Fisher (\(I(\theta) = E[U^2(\theta)]\)): \[ I(\theta) = E\left[ \left( \frac{n}{\theta} - \sum_{i=1}^n X_i \right)^2 \right] = E\left[ \frac{n^2}{\theta^2} - \frac{2n}{\theta} \sum_{i=1}^n X_i + \left( \sum_{i=1}^n X_i \right)^2 \right] \] \[ I(\theta) = \frac{n^2}{\theta^2} - \frac{2n}{\theta} E\left( \sum_{i=1}^n X_i \right) + E\left[ \left( \sum_{i=1}^n X_i \right)^2 \right] \]

Lembrando que \(E(W^2) = Var(W) + [E(W)]^2\). Sendo \(W = \sum X_i\), sabemos que \(E(\sum X_i) = \frac{n}{\theta}\) e \(Var(\sum X_i) = \frac{n}{\theta^2}\). \[ E\left[ \left( \sum X_i \right)^2 \right] = Var\left( \sum X_i \right) + \left[ E\left( \sum X_i \right) \right]^2 = \frac{n}{\theta^2} + \left( \frac{n}{\theta} \right)^2 \] Substituindo de volta na equação: \[ I(\theta) = \frac{n^2}{\theta^2} - \frac{2n}{\theta} \left( \frac{n}{\theta} \right) + \left[ \frac{n}{\theta^2} + \frac{n^2}{\theta^2} \right] \] \[ I(\theta) = \frac{n^2}{\theta^2} - \frac{2n^2}{\theta^2} + \frac{n}{\theta^2} + \frac{n^2}{\theta^2} = \frac{n}{\theta^2} \]

Ambos os métodos levam à mesma Informação de Fisher.

Observação: Se \(\sigma^2\) está fixo, é possível mostrar que \(\bar{X}\) é suficiente e completa para \(\mu\) na Normal. Por outro lado, a variância amostral \(S^2 = \frac{1}{n-1}\sum(X_i-\bar{X})^2\) é ancilar para \(\mu\). Logo, \(\bar{X}\) e \(S^2\) são independentes, e conseguimos facilmente a densidade conjunta.

Exemplo 2: (Matriz de Informação de Fisher para a Normal) Seja \(X \sim N(\mu, \sigma^2)\) e uma a.a. \(X_1, \dots, X_n\). Vamos derivar a matriz de Informação de Fisher para o vetor de parâmetros \(\boldsymbol{\theta} = (\mu, \sigma^2)^T\).

A função de verossimilhança é: \[ L(\mu, \sigma^2) = \prod_{i=1}^n f_{X_i}(x_i; \mu, \sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{1}{2\sigma^2}(x_i - \mu)^2} \] \[ L(\mu, \sigma^2) = (2\pi\sigma^2)^{-n/2} \exp\left\{ -\frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2 \right\} \]

O log-verossimilhança é: \[ l(\mu, \sigma^2) = -\frac{n}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2 \]

Derivadas de Primeira Ordem (Vetor Escore): Em relação a \(\mu\): \[ \frac{\partial l(\mu, \sigma^2)}{\partial \mu} = \frac{1}{\sigma^2} \sum_{i=1}^n (x_i - \mu) \] Em relação a \(\sigma^2\): \[ \frac{\partial l(\mu, \sigma^2)}{\partial (\sigma^2)} = -\frac{n}{2} \cdot \frac{2\pi}{2\pi\sigma^2} + \frac{1}{2(\sigma^2)^2} \sum_{i=1}^n (x_i - \mu)^2 \] \[ \frac{\partial l(\mu, \sigma^2)}{\partial (\sigma^2)} = -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4} \sum_{i=1}^n (x_i - \mu)^2 \]

O vetor escore é: \[ \mathbf{U}(\mu, \sigma^2) = \left( \frac{\partial l}{\partial \mu}, \frac{\partial l}{\partial \sigma^2} \right)^T = \begin{pmatrix} \frac{1}{\sigma^2} \sum_{i=1}^n (x_i - \mu) \\ -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4} \sum_{i=1}^n (x_i - \mu)^2 \end{pmatrix} \]

Verificando \(E[\mathbf{U}] = (0, 0)^T\): \[ E\left[ \frac{\partial l}{\partial \mu} \right] = E\left[ \frac{1}{\sigma^2} \sum (X_i - \mu) \right] = \frac{1}{\sigma^2} \sum [E(X_i) - \mu] = 0 \] \[ E\left[ \frac{\partial l}{\partial \sigma^2} \right] = E\left[ -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4} \sum (X_i - \mu)^2 \right] = -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4} \sum E[(X_i - \mu)^2] \] Como \(E[(X_i - \mu)^2] = Var(X_i) = \sigma^2\): \[ E\left[ \frac{\partial l}{\partial \sigma^2} \right] = -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4} \sum_{i=1}^n \sigma^2 = -\frac{n}{2\sigma^2} + \frac{n\sigma^2}{2\sigma^4} = 0 \]

Derivadas de Segunda Ordem (Hessiana): \[ \frac{\partial^2 l}{\partial \mu^2} = -\frac{n}{\sigma^2} \] \[ \frac{\partial^2 l}{\partial \mu \partial (\sigma^2)} = \frac{\partial^2 l}{\partial (\sigma^2) \partial \mu} = -\frac{1}{\sigma^4} \sum_{i=1}^n (x_i - \mu) \] \[ \frac{\partial^2 l}{\partial (\sigma^2)^2} = \frac{n}{2(\sigma^2)^2} - \frac{2}{2(\sigma^2)^3} \sum_{i=1}^n (x_i - \mu)^2 = \frac{n}{2\sigma^4} - \frac{1}{\sigma^6} \sum_{i=1}^n (x_i - \mu)^2 \]

Esperança das Derivadas de Segunda Ordem: \[ -E\left[ \frac{\partial^2 l}{\partial \mu^2} \right] = \frac{n}{\sigma^2} \] \[ -E\left[ \frac{\partial^2 l}{\partial \mu \partial (\sigma^2)} \right] = -E\left[ -\frac{1}{\sigma^4} \sum (X_i - \mu) \right] = 0 \] \[ -E\left[ \frac{\partial^2 l}{\partial (\sigma^2)^2} \right] = -E\left[ \frac{n}{2\sigma^4} - \frac{1}{\sigma^6} \sum_{i=1}^n (X_i - \mu)^2 \right] \] \[ = -\left[ \frac{n}{2\sigma^4} - \frac{1}{\sigma^6} \sum_{i=1}^n E[(X_i - \mu)^2] \right] = -\left[ \frac{n}{2\sigma^4} - \frac{n\sigma^2}{\sigma^6} \right] \] \[ = -\left[ \frac{n}{2\sigma^4} - \frac{n}{\sigma^4} \right] = -\left[ \frac{n - 2n}{2\sigma^4} \right] = \frac{n}{2\sigma^4} \]

Matriz de Informação de Fisher: Agrupando os resultados, a matriz de Informação de Fisher \(\mathbf{I}(\mu, \sigma^2)\) é dada por: \[ \mathbf{I}(\mu, \sigma^2) = \begin{pmatrix} \frac{n}{\sigma^2} & 0 \\ 0 & \frac{n}{2\sigma^4} \end{pmatrix} \]

Observação: Em problemas regulares, é possível obter uma “cota inferior” para a variância de estimadores não viesados para um parâmetro de interesse \(\theta\). Ainda, podemos comparar estimadores definindo o conceito de eficiência ou eficiência relativa (Limite Inferior de Cramér-Rao).

Limite Inferior de Cramér-Rao (LICR)

Considere \(\hat{\theta}\) um estimador não viesado para uma função \(g(\theta)\) – função de um parâmetro, ou seja, \(E[\hat{\theta}] = g(\theta)\). Então, \[ Var(\hat{\theta}) \ge \frac{[g'(\theta)]^2}{I(\theta)} \] em que \(g'(\theta) = \frac{d g(\theta)}{d\theta}\).

Prova:

Lembre que se \(U(\theta)\) é a função escore para \(\theta\), a correlação entre qualquer estimador \(\hat{\theta}\) e o escore é limitada: \[ -1 \le Cor[\hat{\theta}, U(\theta)] \le 1 \] \[ 0 \le Cor^2[\hat{\theta}, U(\theta)] \le 1 \]

Sabendo que \(Cor(X,Y) = \frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}\), temos que: \[ Cov^2[\hat{\theta}, U(\theta)] \le Var(\hat{\theta}) \cdot Var[U(\theta)] \] Como \(Var[U(\theta)] = I(\theta)\) (pois \(E[U(\theta)] = 0\)), temos: \[ Cov^2[\hat{\theta}, U(\theta)] \le Var(\hat{\theta}) I(\theta) \implies Var(\hat{\theta}) \ge \frac{Cov^2[\hat{\theta}, U(\theta)]}{I(\theta)} \]

Note que a covariância pode ser expandida como: \[ Cov[\hat{\theta}, U(\theta)] = E[\hat{\theta} \cdot U(\theta)] - E[\hat{\theta}]E[U(\theta)] \] Como provado anteriormente, em problemas regulares \(E[U(\theta)] = 0\). Portanto: \[ Cov[\hat{\theta}, U(\theta)] = E[\hat{\theta} \cdot U(\theta)] \]

Substituindo a definição do escore: \[ Cov[\hat{\theta}, U(\theta)] = E\left[ \hat{\theta}(\mathbf{X}) \frac{d}{d\theta} \log f_{\mathbf{X}}(\mathbf{x}; \theta) \right] \] \[ = \int_{-\infty}^{\infty} \hat{\theta}(\mathbf{x}) \left[ \frac{d}{d\theta} \log f_{\mathbf{X}}(\mathbf{x}; \theta) \right] f_{\mathbf{X}}(\mathbf{x}; \theta) d\mathbf{x} \] Lembrando que \(\frac{d}{d\theta} \log f_{\mathbf{X}} = \frac{1}{f_{\mathbf{X}}} \frac{d}{d\theta} f_{\mathbf{X}}\): \[ = \int_{-\infty}^{\infty} \hat{\theta}(\mathbf{x}) \left[ \frac{1}{f_{\mathbf{X}}(\mathbf{x}; \theta)} \frac{d}{d\theta} f_{\mathbf{X}}(\mathbf{x}; \theta) \right] f_{\mathbf{X}}(\mathbf{x}; \theta) d\mathbf{x} \] Cancelando a densidade conjunta, e assumindo condições de regularidade (a derivada pode sair da integral): \[ = \int_{-\infty}^{\infty} \hat{\theta}(\mathbf{x}) \frac{d}{d\theta} f_{\mathbf{X}}(\mathbf{x}; \theta) d\mathbf{x} = \frac{d}{d\theta} \int_{-\infty}^{\infty} \hat{\theta}(\mathbf{x}) f_{\mathbf{X}}(\mathbf{x}; \theta) d\mathbf{x} \]

A integral final é, por definição, a esperança do estimador: \[ \frac{d}{d\theta} E[\hat{\theta}(\mathbf{X})] = \frac{d}{d\theta} g(\theta) = g'(\theta) \]

Logo, substituindo a covariância ao quadrado na desigualdade, obtemos o limite inferior: \[ Var(\hat{\theta}) \ge \frac{[g'(\theta)]^2}{I(\theta)} \]

Observação: Se queremos estimar o próprio parâmetro \(\theta\), então \(g(\theta) = \theta \implies g'(\theta) = 1\). Logo: \[ Var(\hat{\theta}) \ge \frac{1}{I(\theta)} = I^{-1}(\theta) \] Chamamos este valor de Limite Inferior de Cramér-Rao (LICR).

Eficiência

Definição: Definimos a função eficiência para um estimador \(T(\mathbf{X})\) para \(g(\theta)\) por: \[ \mathcal{E}(\theta) = \frac{LICR(\theta)}{Var(T)} \]

Se \(\mathcal{E}(\theta) = 1\), dizemos que \(T\) é um estimador eficiente para \(g(\theta), \forall \theta \in \Theta\).

Exemplo: Eficiência da Variância Amostral

Seja \(X \sim N(\mu, \sigma^2)\), com \(\mu\) conhecido e uma a.a. \(X_1, \dots, X_n\). Considere o estimador para \(\sigma^2\): \[ S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2 \]

\(S^2\) é eficiente para \(\sigma^2\)?

É possível mostrar que \(S^2\) é não viesado para \(\sigma^2\), ou seja, \(E[S^2] = \sigma^2\). Portanto, \(g(\sigma^2) = \sigma^2\) e a derivada é \(1\). Logo, \(LICR(\sigma^2) = I^{-1}(\sigma^2)\).

Temos: \[ L(\sigma^2) = \prod_{i=1}^n f_{X_i}(x_i; \sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{-\frac{1}{2\sigma^2}(x_i - \mu)^2\right\} \] \[ L(\sigma^2) = (2\pi\sigma^2)^{-n/2} \exp\left\{-\frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2\right\} \] \[ l(\sigma^2) = -\frac{n}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2 \]

A primeira derivada em relação a \(\sigma^2\) (nota-se a regra da cadeia no logaritmo): \[ \frac{dl(\sigma^2)}{d(\sigma^2)} = -\frac{n}{2} \cdot \frac{2\pi}{2\pi\sigma^2} + \frac{1}{2(\sigma^2)^2} \sum (x_i - \mu)^2 \] \[ \frac{dl}{d(\sigma^2)} = -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4} \sum_{i=1}^n (x_i - \mu)^2 \]

A segunda derivada: \[ \frac{d^2l}{d(\sigma^2)^2} = \frac{n}{2\sigma^4} - \frac{2}{2\sigma^6} \sum_{i=1}^n (x_i - \mu)^2 = \frac{n}{2\sigma^4} - \frac{1}{\sigma^6} \sum_{i=1}^n (x_i - \mu)^2 \]

A Informação de Fisher é: \[ I(\sigma^2) = -E\left[ \frac{d^2 l}{d(\sigma^2)^2} \right] = -E\left[ \frac{n}{2\sigma^4} - \frac{1}{\sigma^6} \sum_{i=1}^n (X_i - \mu)^2 \right] \] \[ I(\sigma^2) = -\frac{n}{2\sigma^4} + \frac{1}{\sigma^6} \sum_{i=1}^n E[(X_i - \mu)^2] \] Como \(E[(X_i - \mu)^2] = \sigma^2\): \[ I(\sigma^2) = -\frac{n}{2\sigma^4} + \frac{1}{\sigma^6} \sum_{i=1}^n \sigma^2 = -\frac{n}{2\sigma^4} + \frac{n\sigma^2}{\sigma^6} \] \[ I(\sigma^2) = -\frac{n}{2\sigma^4} + \frac{n}{\sigma^4} = \frac{-n + 2n}{2\sigma^4} = \frac{n}{2\sigma^4} \]

Assim, o Limite Inferior de Cramér-Rao é: \[ LICR(\sigma^2) = I^{-1}(\sigma^2) = \frac{2\sigma^4}{n} \]

Variância do Estimador \(S^2\): Sabemos que a quantidade pivotal para a variância é distribuída como Qui-quadrado: \[ \frac{(n-1)S^2}{\sigma^2} \sim \chi^2_{(n-1)} \] Logo: \[ Var(S^2) = Var\left[ \frac{\sigma^2}{(n-1)} \frac{(n-1)S^2}{\sigma^2} \right] = \frac{\sigma^4}{(n-1)^2} Var\left[ \frac{(n-1)S^2}{\sigma^2} \right] \] A variância de uma distribuição Qui-quadrado com \(k\) graus de liberdade é \(2k\). Então: \[ Var(S^2) = \frac{\sigma^4}{(n-1)^2} \cdot 2(n-1) = \frac{2\sigma^4}{n-1} \]

Eficiência: \[ \mathcal{E}_{S^2}(\sigma^2) = \frac{LICR(\sigma^2)}{Var(S^2)} = \frac{\frac{2\sigma^4}{n}}{\frac{2\sigma^4}{n-1}} = \frac{2\sigma^4}{n} \cdot \frac{n-1}{2\sigma^4} \] \[ \mathcal{E}_{S^2}(\sigma^2) = \frac{n-1}{n} \]

Como \(\frac{n-1}{n} < 1\), então \(S^2\) não é eficiente para \(\sigma^2\) (em amostras finitas). No entanto, para \(n\) “grande” (\(n \to \infty\)), \(\mathcal{E}_{S^2}(\sigma^2) \approx 1\), ou seja, \(S^2\) é assintoticamente eficiente.

Teorema de Rao-Blackwell

Definição: Seja \(T(\underset{\sim}{X})\) um estimador não viesado para \(g(\theta)\). Considere uma estatística \(S(\underset{\sim}{X})\). Definindo \(\phi(S) = E(T|S)\), temos:

\(E[\phi(S)] = g(\theta)\)
\(Var[\phi(S)] \le Var[T]\)

Prova:

Temos que \(E[\phi(S)] = E[E(T|S)] = E(T) = g(\theta)\).

É fácil mostrar que, se \(X\) e \(Y\) são variáveis aleatórias (v.a.’s), \(E[E(X|Y)] = E(X)\). Temos: \[ E(X|Y=y) = \int_{-\infty}^{\infty} x f_{X|Y}(x|y) dx \]

Portanto, podemos definir a v.a. \(E(X|Y) = \int_{-\infty}^{\infty} x f_{X|Y}(x|Y) dx\). Logo: \[ E[E(X|Y)] = \int_{-\infty}^{\infty} \left[ \int_{-\infty}^{\infty} x f_{X|Y}(x|y) dx \right] f_Y(y) dy \] \[ = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} x \frac{f(x,y)}{f_Y(y)} f_Y(y) dy dx \] \[ = \int_{-\infty}^{\infty} x \left[ \int_{-\infty}^{\infty} f(x,y) dy \right] dx \]] \[ = \int_{-\infty}^{\infty} x f_X(x) dx = E(X) \]

Teorema de Lehmann-Sheffé

Definição: Seja \(T(\underset{\sim}{X})\) um estimador não viesado para \(g(\theta)\). Considere uma estatística \(S(\underset{\sim}{X})\) suficiente e completa para \(\theta\) (ou \(g(\theta)\)). Definindo \(\phi(S) = E(T|S)\), então \(\phi\) é o único estimador não viesado função de \(S\).

Além disso, se \(T^*\) é outro estimador não viesado para \(g(\theta)\): \[ Var[\phi] \le Var[T^*], \quad \forall \theta \in \Theta \] Neste caso, dizemos que \(\phi\) é o Estimador Não Viesado de Variância Uniformemente Mínima para \(g(\theta)\) (ENVVUM).

Prova:

Pelo Teorema de Rao-Blackwell, temos que \(E[\phi] = g(\theta)\). Temos que mostrar que \(\phi(S)\) é o único estimador função de \(S\) e que \(\phi\) tem variância menor ou igual à variância de qualquer outro estimador não viesado para \(g(\theta)\).

Considere dois estimadores não viesados para \(g(\theta)\) que sejam funções de \(S\), digamos \(\phi_1(S)\) e \(\phi_2(S)\). Note que: \[ E[\phi_1(S) - \phi_2(S)] = g(\theta) - g(\theta) = 0, \quad \forall \theta \in \Theta \]

Definindo \(\phi^*(S) = \phi_1(S) - \phi_2(S)\), temos: \[ E[\phi^*(S)] = 0 \implies \phi^*(S) \equiv 0 \implies \phi_1(S) \equiv \phi_2(S) \]

Agora, temos que mostrar que para qualquer outro estimador \(T^*\) não viesado para \(g(\theta)\), \(Var[\phi] \le Var[T^*]\). Como \(\phi\) é único, podemos escrever \(\phi(S) = E(T^*|S)\). Portanto, pelo Teorema de Rao-Blackwell, \(Var[\phi] \le Var[T^*]\).

Como isso vale para qualquer estimador \(T^*\) não viesado para \(g(\theta)\), então \(\phi\) é ENVVUM para \(g(\theta)\).

Exemplo 1: (Distribuição de Bernoulli) Seja \(X \sim \text{Ber}(p)\) e uma a.a. \(X_1, \dots, X_n\), com \(\Theta = (0,1)\). A função de probabilidade conjunta é: \[ f_{\mathbf{X}}(\mathbf{x}; p) = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i} \] \[ = p^{\sum x_i} (1-p)^{n-\sum x_i} \] \[ = (1-p)^n \left( \frac{p}{1-p} \right)^{\sum x_i} \] \[ = \exp\left\{ \sum_{i=1}^n x_i \log\left(\frac{p}{1-p}\right) + n \log(1-p) \right\} \]

Sendo \(h(\mathbf{x}) = 1\), \(S(\mathbf{x}) = \sum_{i=1}^n x_i\) e \(c(p) = \log\left(\frac{p}{1-p}\right)\), \(\mathbf{X}\) tem distribuição na Família Exponencial (fatorada). Logo, a estatística \(S(\mathbf{X}) = \sum_{i=1}^n X_i\) é suficiente para \(p\). Ainda, é possível obter um intervalo aberto em \(\Theta = (0,1)\). Logo, \(S(\mathbf{X})\) é completa para \(p\).

Considere uma função \(\phi(S) = \frac{S}{n} = \frac{1}{n} \sum_{i=1}^n X_i = \bar{X}\). Temos que: \[ E[\phi] = p \] Portanto, \(\phi\) é o ENVVUM para \(p\).

Contudo, \(\phi\) é eficiente?

Função de Verossimilhança e log-verossimilhança: \[ L(p) = p^{\sum x_i} (1-p)^{n-\sum x_i} \] \[ l(p) = \sum_{i=1}^n x_i \log(p) + \left(n - \sum_{i=1}^n x_i \right) \log(1-p) \]

Função Escore: \[ U(p) = \frac{dl(p)}{dp} = \frac{\sum x_i}{p} - \frac{n - \sum x_i}{1-p} \]

Derivada de segunda ordem: \[ \frac{d^2l(p)}{dp^2} = -\frac{\sum x_i}{p^2} - \frac{n - \sum x_i}{(1-p)^2} \]

Informação de Fisher: \[ I(p) = -E\left[ \frac{d^2l(p)}{dp^2} \right] = E\left[ \frac{\sum X_i}{p^2} \right] + E\left[ \frac{n - \sum X_i}{(1-p)^2} \right] \] \[ I(p) = \frac{np}{p^2} + \frac{n - np}{(1-p)^2} = \frac{n}{p} + \frac{n(1-p)}{(1-p)^2} \] \[ I(p) = \frac{n(1-p) + np}{p(1-p)} = \frac{n - np + np}{p(1-p)} = \frac{n}{p(1-p)} \]

Limite Inferior de Cramér-Rao (LICR): \[ LICR(p) = I^{-1}(p) = \frac{p(1-p)}{n} \]

Variância do Estimador \(\phi\): \[ Var[\phi] = Var[\bar{X}] = Var\left[ \frac{1}{n} \sum_{i=1}^n X_i \right] = \frac{1}{n^2} \sum_{i=1}^n Var(X_i) \] \[ Var[\phi] = \frac{1}{n^2} \sum_{i=1}^n p(1-p) = \frac{n \cdot p(1-p)}{n^2} = \frac{p(1-p)}{n} \]

Eficiência: \[ \mathcal{E}_{\phi}(p) = \frac{LICR(p)}{Var[\phi]} = \frac{\frac{p(1-p)}{n}}{\frac{p(1-p)}{n}} = 1 \]

Assim, \(\phi\) é eficiente para \(p\).

Estimação invervalar. Quantidades pivotais

Definição: Seja \(X_1, \dots, X_n\) uma amostra aleatória (a.a.) de \(X \sim f_X(x; \theta)\). Dizemos que uma função \(Q: \mathcal{S}_{\mathbf{X}} \times \Theta \to \mathbb{R}\) é uma quantidade pivotal para \(\theta\) se a distribuição de \(Q\) não depende do parâmetro \(\theta\). A função \(Q\) depende da amostra \(\mathbf{X}\) e do parâmetro \(\theta\), ou seja, \(Q = Q(\mathbf{X}; \theta)\). Portanto, não é uma estatística (uma vez que depende de um parâmetro desconhecido), mas é uma variável aleatória (v.a.).

Exemplo: (Distribuição Exponencial) Seja \(X_1, \dots, X_n\) uma a.a. de \(X \sim \text{Exp}(\theta)\). Considere a função: \[Q(\mathbf{X}; \theta) = 2\theta T, \quad \text{em que } T = \sum_{i=1}^n X_i\]. Sabemos que \(T \sim \text{Gama}(n, \theta)\), com densidade parametrizada pela taxa (rate): \[f_T(t; \theta) = \frac{\theta^n}{\Gamma(n)} t^{n-1} e^{-\theta t} I_{(0,\infty)}(t)\]

Ainda, pelo método da função de distribuição acumulada (f.d.a.): \[F_Q(q) = P(Q \le q) = P(2\theta T \le q) = P\left(T \le \frac{q}{2\theta}\right) = F_T\left(\frac{q}{2\theta}\right)\]

Derivando em relação a \(q\) para obter a função densidade de probabilidade (f.d.p.), e aplicando a regra da cadeia, temos: \[f_Q(q) = \frac{d F_Q(q)}{dq} = f_T\left(\frac{q}{2\theta}\right) \cdot \frac{1}{2\theta}\] \[f_Q(q) = \frac{\theta^n}{\Gamma(n)} \left(\frac{q}{2\theta}\right)^{n-1} e^{-\theta \left(\frac{q}{2\theta}\right)} \cdot \frac{1}{2\theta}\]

Reorganizando os termos e cancelando \(\theta\) (pois \(\frac{\theta^n}{\theta^{n-1} \cdot \theta} = 1\)): \[f_Q(q) = \frac{(1/2)^n}{\Gamma(n)} \cdot q^{n-1} e^{-\frac{1}{2}q}\]

Assim: \[Q \sim \text{Gama}(n, \frac{1}{2})\] Ou seja, \(Q \sim \text{Gama}\left(\frac{2n}{2}, \frac{1}{2}\right)\), que corresponde exatamente a: \[Q \sim \chi^2_{(2n)}\]

Em geral, fixado um nível de confiança \(\gamma \in (0, 1)\), obtemos os quantis de ordens \(\frac{1-\gamma}{2}\) e \(1 - \frac{1-\gamma}{2} = \frac{1+\gamma}{2}\), tais que \(P(q_1 \le Q \le q_2) = \gamma\).

Fixado o valor de \(\gamma\), podemos trabalhar na desigualdade, de tal forma que o valor verdadeiro de \(\theta\) pertença a um intervalo (aleatório). No exemplo, temos: \[P(q_1 \le Q \le q_2) = \gamma\] \[P(q_1 \le 2\theta T \le q_2) = \gamma\] \[P\left(\frac{q_1}{2T} \le \theta \le \frac{q_2}{2T}\right) = \gamma\]

Note que o intervalo \(\left[\frac{q_1}{2T}; \frac{q_2}{2T}\right]\) é aleatório, pois seus limites dependem da amostra. Este intervalo é chamado Intervalo de Confiança para \(\theta\). O valor de \(\gamma\) é chamado de nível de confiança do intervalo. Em geral, fixamos um valor “alto” para o nível de confiança \(\gamma\).

A seguir veremos alguns casos particulares de Intervalos de Confiança (IC) Em inglês: “Confidence Interval (CI) for \(\theta\)”

Intervalos de confiança para a média (variância conhecida ou desconhecida)

IC para a média com variância conhecida

Seja \(X_1, \dots, X_n\) uma a.a. de \(X \sim \mathcal{N}(\mu, \sigma^2)\), com \(\sigma^2\) conhecida. Considere a quantidade pivotal: \[Q(\mathbf{X}; \mu) = \frac{\sqrt{n}(\bar{X} - \mu)}{\sigma}\]

Temos que \(\bar{X} \sim \mathcal{N}\left(\mu, \frac{\sigma^2}{n}\right)\). Então, verificando as propriedades de \(Q\):

Esperança: \[E(Q) = E\left[ \frac{\sqrt{n}(\bar{X} - \mu)}{\sigma} \right]\] \[E(Q) = \frac{\sqrt{n}}{\sigma} E[\bar{X} - \mu]\] \[E(Q) = \frac{\sqrt{n}}{\sigma} [E(\bar{X}) - E(\mu)]\] \[E(Q) = \frac{\sqrt{n}}{\sigma} (\mu - \mu) = 0\]

Variância: \[Var(Q) = Var\left[ \frac{\sqrt{n}(\bar{X} - \mu)}{\sigma} \right]\] \[Var(Q) = \frac{n}{\sigma^2} Var(\bar{X} - \mu)\] \[Var(Q) = \frac{n}{\sigma^2} Var(\bar{X})\] \[Var(Q) = \frac{n}{\sigma^2} \cdot \frac{\sigma^2}{n} = 1\]

Logo, \(Q \sim \mathcal{N}(0, 1)\). Portanto, \(Q\) é uma quantidade pivotal para \(\mu\).

Fixado um nível de confiança \(\gamma\), podemos obter os quantis \(q_1\) e \(q_2\) de ordens \(\frac{1-\gamma}{2}\) e \(\frac{1+\gamma}{2}\), tais que \(P(q_1 \le Q \le q_2) = \gamma\).

Como a distribuição \(\mathcal{N}(0,1)\) é simétrica em torno de zero, \(q_1 = -q_2\). Portanto: \[P(-q_2 \le Q \le q_2) = \gamma\] Em que \(q_2\) é o quantil de ordem \(\frac{1+\gamma}{2}\) da \(\mathcal{N}(0,1)\). Substituindo \(Q\):

\[P\left(-q_2 \le \frac{\sqrt{n}(\bar{X} - \mu)}{\sigma} \le q_2\right) = \gamma\] \[P\left(-\frac{q_2 \sigma}{\sqrt{n}} \le (\bar{X} - \mu) \le \frac{q_2 \sigma}{\sqrt{n}}\right) = \gamma\]

Isso implica, por equivalência de eventos, em isolar o parâmetro \(\mu\): \[P\left(-\frac{q_2 \sigma}{\sqrt{n}} \le \mu - \bar{X} \le \frac{q_2 \sigma}{\sqrt{n}}\right) = \gamma\] \[P\left(\bar{X} - \frac{q_2 \sigma}{\sqrt{n}} \le \mu \le \bar{X} + \frac{q_2 \sigma}{\sqrt{n}}\right) = \gamma\]

Logo: \[IC(\mu; \gamma) = \left[ \bar{X} - \frac{q_2 \sigma}{\sqrt{n}} ; \bar{X} + \frac{q_2 \sigma}{\sqrt{n}} \right]\]

Intervalos de confiança para a diferença de médias (variâncias conhecidas ou desconhecidas)

Intervalos de confiança para a diferença de médias (amostras pareadas)

Intervalos de confiança para a variância

Intervalos de confiança aproximados

Testes de hipóteses - Conceitos iniciais

Tipos de hipóteses e região de rejeição (região crítica)

Tipos de erro, tamanho e poder dos testes

Testes mais poderosos e uniformemente mais poderosos. Lema de Neyman-Pearson

Testes para a média (variância conhecida ou desconhecida)

Testes para a variância

Bibliografia

Bickel, P.J.; Doksum, K. A. (2001). Mathematical Statistics: Basic Ideas and Selected Topics. Holden Day, San Francisco.
Bolfarine, H.; Sandoval, M.C. (2001). Introdução à Inferência Estatística. Coleção Matemática Aplicada, Sociedade Brasileira de Matemática.
Casella, G.; Berger, R. (1990). Statistical Inference. Wadsworth & Brooks, California.
Cordeiro, G. M. (1999). Introdução à Teoria Assintótica. XXII Colóquio Brasileiro de Matemática.
Dudewicz, E. J.; Mishra, S. N. (1988). Modern Mathematical Statistics. John Wiley & Sons.
Hogg, R.; Craig, A. (1994). Introduction to Mathematical Statistics. 5th ed. Prentice Hall.
Lehmann, E.; Casella, G. (1998). Theory of Point Estimation. 2nd ed. Springer, New York.
Lindgren, B. W. (1993). Statistical Theory. 4th ed. Chapman and Hall, New York.
Mood, A.; Graybill, F.; Boes, D. (1974). Introduction to the Theory of Statistics. McGraw-Hill, New York.
Silvey, S. D. (1975). Statistical Inference. Chapman and Hall, London.

Notas de Aulas: Inferência Estatística (PGE951 - PGEST/UFPE)

Cleo Decker Anacleto

2026-10-09

Ementa

População, amostra, estatísticas e estimadores

Estimação pontual - Método dos Momentos

Estimação Pontual - Método de Máxima Verossimilhança

Viés, Erro Quadrático Médio e Consistência de Estimadores

Propriedades de Estimadores Pontuais

Suficiência e estatísticas suficientes

Teorema da Fatoração (Neyman-Fisher)

Família exponencial. Completividade e estatísticas suficientes e completas

Família Exponencial Natural

Estatística Ancilar

Estatística Completa

Teorema de Basu

Informação de Fisher e desigualdade de Cramér-Rao

Função Escore

Informação de Fisher

Limite Inferior de Cramér-Rao (LICR)

Eficiência

Exemplo: Eficiência da Variância Amostral

Teorema de Rao-Blackwell

Teorema de Lehmann-Sheffé

Estimação invervalar. Quantidades pivotais

Intervalos de confiança para a média (variância conhecida ou desconhecida)

Intervalos de confiança para a diferença de médias (variâncias conhecidas ou desconhecidas)

Intervalos de confiança para a diferença de médias (amostras pareadas)

Intervalos de confiança para a variância

Intervalos de confiança aproximados

Testes de hipóteses - Conceitos iniciais

Tipos de hipóteses e região de rejeição (região crítica)

Tipos de erro, tamanho e poder dos testes

Testes mais poderosos e uniformemente mais poderosos. Lema de Neyman-Pearson

Testes para a média (variância conhecida ou desconhecida)

Testes para a variância

Bibliografia