\(\require{cancel}\)
Apresentamos, neste documento, as notas de aula da disciplina PGE951 – Inferência Estatística, ofertada pelo Programa de Pós-Graduação em Estatística (PGEST) da Universidade Federal de Pernambuco (UFPE), no período letivo de 2026.2.
A disciplina possui carga horária de 75 horas e é ministrada pelo Professor Doutor Roberto Ferreira Manghi. As aulas contemplam tanto a motivação e a fundamentação para a utilização das técnicas estatísticas quanto o desenvolvimento e a demonstração matemática dos principais resultados. Ao longo da disciplina, são apresentados exemplos e propostos exercícios para a consolidação dos conteúdos abordados.
Além das notas de aula, serão incluídos, sempre que pertinentes, exemplos e aplicações desenvolvidos em R, com finalidade exclusivamente didática, buscando ilustrar e complementar os conceitos teóricos apresentados.
O documento encontra-se em processo de atualização e de contínua verificação quanto à consistência da notação utilizada. Eventuais equívocos ou inconsistências poderão ocorrer e serão objeto de revisão e correção ao longo do processo de atualização.
A bibliografia recomendada encontra-se apresentada ao final deste documento.
Amostras e distribuições amostrais. Estimação pontual. Método dos momentos. Método da máxima verossimilhança. Suficiência, completude, ancilaridade. Famílias exponenciais. Estimadores não-viesados de variância uniformemente mínima. Teoremas de Rao-Blackwell e Lehmann-Scheffé. Informação de Fisher. Desigualdade de Cramér-Rao. Estimação intervalar. Testes de hipóteses. Teorema de Neyman-Pearson. Testes da razão de verossimilhança, Wald e escore.
Vamos caracterizar uma população por uma variável aleatória \(X \sim f_X(x;\theta)\), em que \(\theta\) é chamado de parâmetro.
Definição: Um parâmetro é uma quantidade populacional (fixa e desconhecida) que influencia o comportamento de \(X\).
Vamos caracterizar cada elemento da amostra por uma variável aleatória \(X_i\) (para o \(i\)-ésimo indivíduo) com \(X_i \sim f_X(x_i;\theta)\).
Definição: As variáveis aleatórias \(X_1, X_2, \ldots, X_n\) compõem uma amostra aleatória (a.a.) de \(X\). Podemos definir o vetor aleatório \(\underset{\sim}{X} = (X_1, X_2, \ldots, X_n)'\). Se as variáveis aleatórias \(X_i\) são independentes e identicamente distribuídas (i.i.d.), a função de densidade (ou probabilidade) conjunta é dada por: \[ f_{\underset{\sim}{X}}(\underset{\sim}{x};\theta) = \prod_{i=1}^n f_X(x_i;\theta), \quad \text{em que } \underset{\sim}{x} = (x_1, x_2, \ldots, x_n)^T \in \mathbb{R}^n. \]
Definição: Uma função \(g(\underset{\sim}{X})\), em que \(g:\mathbb{R}^n \rightarrow \mathbb{R}\), é chamada de estatística (uma função mensurável que depende exclusivamente da amostra aleatória \(X_1, \ldots, X_n\)). Exemplos de estatísticas:
\[ \bar{X} = \frac{1}{n}\sum_{i=1}^n X_i \qquad \text{(média amostral)} \] \[ S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2 \qquad \text{(variância amostral)} \] \[ X_{(1)} = \min\{X_1, \ldots, X_n\} \qquad \text{(mínimo amostral)} \] \[ X_{(n)} = \max\{X_1, \ldots, X_n\} \qquad \text{(máximo amostral)} \]
Definição: Seja uma variável aleatória populacional \(X \sim f_X(x;\theta)\). O espaço paramétrico, denotado por \(\Theta\), é o conjunto de todos os valores admissíveis que o parâmetro \(\theta\) (ou vetor de parâmetros \(\boldsymbol{\theta}\)) pode assumir, tal que \(\theta \in \Theta \subseteq \mathbb{R}^k\).
Definição: Seja \(X \sim f_X(x;\theta)\) uma população e \(X_1, \ldots, X_n\) uma a.a. Um estimador para o parâmetro \(\theta\) é uma estatística \(g(\underset{\sim}{X})\) cujo contradomínio (suporte) satisfaz \(I_{g} \subseteq \Theta\).
Observação: Todo estimador é uma estatística, mas nem toda estatística é um estimador admissível para \(\theta\).
Exemplo: Seja uma população \(X \sim \operatorname{Exp}(\theta)\) e duas estatísticas obtidas a partir de uma a.a. \(X_1, \ldots, X_n\): \[ g_1(\underset{\sim}{X}) = \bar{X} = \frac{1}{n} \sum_{i=1}^n X_i \] \[ g_2(\underset{\sim}{X}) = \bar{X} - 1 \]
Qual(is) estatística(s) pode(m) ser estimador(es) para \(\theta\)?
Note que o espaço paramétrico é \(\Theta = (0, \infty)\). O suporte de \(g_1\) é \(I_{g_1} = (0, \infty) \subseteq \Theta\), logo \(g_1(\underset{\sim}{X})\) é um estimador para \(\theta\). Por sua vez, o suporte de \(g_2\) é \(I_{g_2} = (-1, \infty) \not\subseteq \Theta\), portanto \(g_2(\underset{\sim}{X})\) não é um estimador admissível para \(\theta\).
Distribuições Amostrais: A distribuição de probabilidade associada a uma estatística \(T = g(\underset{\sim}{X})\) é denominada distribuição amostral.
Exemplo 1: Se \(X \sim \mathcal{N}(\mu,\sigma^2)\), a partir de uma a.a. \(X_1, \ldots, X_n\), obtém-se: \[ \bar{X} \sim \mathcal{N}\left(\mu, \frac{\sigma^2}{n}\right) \] \[ \frac{(n-1)S^2}{\sigma^2} \sim \chi^2_{n-1}, \qquad \text{com } \sigma^2 \text{ fixo}. \]
Exemplo 2: Seja uma a.a. \(X_1, \ldots, X_n\) de uma população \(X \sim \operatorname{Ber}(p)\), e sejam as estatísticas \(g_1(\underset{\sim}{X}) = \sum_{i=1}^n X_i\) e \(g_2(\underset{\sim}{X}) = \prod_{i=1}^n X_i\). Quais são as distribuições amostrais de \(g_1\) e \(g_2\)?
Para \(g_1(\underset{\sim}{X})\), pela propriedade reprodutiva da distribuição de Bernoulli com ensaios independentes: \[ g_1(\underset{\sim}{X}) = \sum_{i=1}^n X_i \sim \operatorname{Bin}(n, p) \]
Para \(g_2(\underset{\sim}{X})\), note que o contradomínio é \(I_{g_2} = \{0, 1\}\). Dado que as variáveis são i.i.d., temos: \[ \operatorname{Pr}(g_2(\underset{\sim}{X}) = 1) = \operatorname{Pr}(X_1 = 1, \ldots, X_n = 1) = \prod_{i=1}^n \operatorname{Pr}(X_i = 1) = p^n \] \[ \operatorname{Pr}(g_2(\underset{\sim}{X}) = 0) = 1 - \operatorname{Pr}(g_2(\underset{\sim}{X}) = 1) = 1 - p^n \]
Portanto: \[ g_2(\underset{\sim}{X}) = \prod_{i=1}^n X_i \sim \operatorname{Ber}(p^n) \]
A partir de uma amostra aleatória \(X_1, \ldots, X_n\), o objetivo será propor um valor (estimar) para o parâmetro \(\theta\). Desta forma, vamos “inferir” a respeito do verdadeiro valor de \(\theta\).
Existem algumas técnicas para realizar inferência estatística.
\[ \left\{ \begin{array}{l} \text{Estimação} \begin{cases} \text{Pontual} \\ \text{Intervalar} \end{cases} \\[2ex] \text{Testes de Hipóteses} \end{array} \right. \]
Em cada técnica mais geral, existem métodos mais específicos. Por exemplo, métodos de estimação pontual e métodos de estimação intervalar.
Suponha uma população caracterizada por \(X \sim f_X(x;\theta)\) e um parâmetro de interesse \(\theta \in \Theta\). Dado um estimador \(\hat{\theta} = g(\underset{\sim}{X})\), o valor numérico observado de \(\hat{\theta}\) fornece uma aproximação para o verdadeiro valor do parâmetro \(\theta\).
Definição: Uma estimativa para um parâmetro \(\theta\) é o valor numérico observado do estimador \(\hat{\theta}\).
Observação: Note que \(\hat{\theta} = \hat{\theta}(\underset{\sim}{X})\). Se \(\underset{\sim}{x} = (x_1, \ldots, x_n)^T\) representa o vetor de valores observados do vetor \(\underset{\sim}{X}\), então a estimativa de \(\theta\) será o valor \(\hat{\theta}(\underset{\sim}{x})\).
Seja \(X\) uma população com distribuição \(f_X(x;\theta)\), em que \(\underset{\sim}{\theta} = (\theta_1, \ldots, \theta_k)^T\) é um vetor de parâmetros (distribuição k-paramétrica). Definimos o momento (não central) de ordem \(r\) por:
\[ \mathcal{M}_r = \mathbb{E}(X^r), \qquad \text{com } r \in \mathbb{N} \text{ fixado.} \] Note que \(\mathcal{M}_r\) é função de \(\underset{\sim}{\theta}\). Definimos o momento amostral de ordem \(r\), a partir de uma a.a. \(X_1, \ldots, X_n\), por: \[ M_r = \frac{1}{n} \sum_{i=1}^n X_i^r, \qquad \text{com } r \in \mathbb{N} \text{ fixado.} \]
Os estimadores de momentos para \(\theta_1, \ldots, \theta_k\) são obtidos resolvendo em \(\underset{\sim}{\theta}\) o sistema: \(\mathcal{M}_r = M_r\), para um grupo de valores finitos de \(r = 1,2, \ldots, k\).
Exemplo 1: Seja \(X \sim \mathcal{N}(\mu, \sigma^2)\). Temos \(\underset{\sim}{\theta} = (\theta_1,\theta_2)^T\), com \(\theta_1 = \mu\) e \(\theta_2 = \sigma^2\). Ainda:
\[\begin{align*} \mathcal{M}_1 &= \mathbb{E}(X) = \mu \qquad &M_1 = \frac{1}{n} \sum_{i=1}^n X_i = \bar{X} \\ \mathcal{M}_2 &= \mathbb{E}(X^2) = Var(X) + \mathbb{E}^2(X) = \sigma^2 + \mu^2 \qquad &M_2 = \frac{1}{n} \sum_{i=1}^n X_i^2 \end{align*}\]
O sistema de equações é: \[ \mathcal{M}_1 = M_1 \qquad \rightarrow \qquad \mu = \bar{X} \qquad \rightarrow \qquad \hat{\mu} = \bar{X} \] \[ \mathcal{M}_2 = M_2 \qquad \rightarrow \qquad \sigma^2 + \mu^2 = \frac{1}{n} \sum_{i=1}^n X_i^2 \qquad \rightarrow \qquad \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2 \] Note que:
\[ \hat{\sigma}^2 = \frac{1}{n} \left[ \sum_{i=1}^n X_i^2 - n\bar{X}^2 \right] \] Por outro lado, temos:
\[\begin{align*} \sum_{i=1}^n \left( X_i - \bar{X} \right)^2 &= \sum_{i=1}^n \left( X_i^2 - 2X_î \bar{X} +\bar{X}^2 \right) \\ &= \sum_{i=1}^n X_i^2 - 2n \bar{X}^2 + n \bar{X}^2 \\ &= \sum_{i=1}^n X_i^2 - n \bar{X}^2 \end{align*}\]
Portanto:
\[ \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n \left( X_i - \bar{X}\right)^2 \] Note que, se a variância amostral é
\[ S^2 = \frac{1}{n-1} \sum_{i=1}^n \left( X_i - \bar{X}\right)^2, \] então o estimador de momentos para \(\sigma^2\) é \(\hat{\sigma}^2 = \frac{(n-1)}{n}S^2\). Para \(n\) “grande” \(\hat{\sigma}^2 \approx S^2\).
Exemplo 2: Seja uma população \(X \sim Gama(\alpha, \beta)\) e uma a.a. \(X_1, \ldots, X_n\), temos: \(\underset{\sim}{\theta} = (\theta_1,\theta_2)\), com \(\theta_1=\alpha\) e \(\theta_2=\beta\). Assim:
\[\begin{align*} \mathcal{M}_1 &= \mathbb{E}(X) = \frac{\alpha}{\beta} \\ \mathcal{M}_2 &= \mathbb{E}(X^2) = Var(X) + \mathbb{E}^2(X) = \frac{\alpha}{\beta^2} + \frac{\alpha^2}{\beta^2} = \frac{\alpha(1+\alpha)}{\beta^2} \end{align*}\]
O sistema de equações é:
\[ \mathcal{M}_1 = M_1 \qquad \rightarrow \qquad \frac{\alpha}{\beta} = \bar{X} \] \[ \mathcal{M}_2 = M_2 \qquad \rightarrow \qquad \frac{\alpha(1+\alpha)}{\beta^2} = \frac{1}{n} \sum_{i=1}^n X_i^2 \] Substituindo a 1ª equação na 2ª e desenvolvendo, temos:
\[\begin{align*} \frac{\alpha}{\beta} \frac{1+\alpha}{\beta} &= \frac{1}{n} \sum_{i=1}^n X_1^2 \\ \frac{\alpha}{\beta} \left( \frac{1}{\beta} + \frac{\alpha}{\beta} \right) &= \frac{1}{n} \sum_{i=1}^n X_1^2 \\ \bar{X} \left( \frac{1}{\beta} + \bar{X} \right) &= \frac{1}{n} \sum_{i=1}^n X_1^2 \\ \frac{1}{\beta} + \bar{X} &= \frac{M_2}{\bar{X}} \\ \frac{1}{\beta} &= \frac{M_2}{\bar{X}} - \bar{X} \\ \frac{1}{\beta} &= \frac{M_2 - \bar{X}^2}{\bar{X}} \\ \hat{\beta} &= \frac{\bar{X}}{M_2 - \bar{X}^2} \\ \hat{\beta} &= \frac{\bar{X}}{\left( \frac{n-1}{n} \right)S^2} \end{align*}\]
Substituindo na 1ª:
\[ \hat{\alpha} = \hat{\beta} \bar{X} \qquad \rightarrow \qquad \hat{\alpha} = \frac{\bar{X}^2}{\left( \frac{n-1}{n} \right)S^2} \]
Exemplo 3: Seja uma população \(X \sim Exp(\theta)\), com densidade \(f_X (x,\theta) = \theta e^{-\theta x} I_{\mathbb{R}^+} (x)\). Temos \(\mathcal{M}_1 = \frac{1}{\theta}\).
Portanto, a partir de uma a.a. \(X_1, \ldots, X_n\): \(\mathcal{M}_1 = \frac{1}{\theta}\) e \(M_1 = \bar{X}\).
Logo o sistema terá apenas uma equação:
\[ \frac{1}{\theta} = \bar{X} \qquad \rightarrow \qquad \hat{\theta} = \frac{1}{\bar{X}} \]
Exemplo 4: Seja uma população \(X \sim \mathcal{N} (0, \sigma^2)\), considerando \(\mu=0\), o único parâmetro a ser estimado é \(\sigma^2\).
Assim, vamos utilizar apenas a segunda equação:
\[\begin{align*} \mathcal{M}_2 &= M_2 \\ \sigma^2 + 0^2 &= \frac{1}{n} \sum_{i=1}^n X_i^2 \\ \hat{\sigma}^2 &= \frac{1}{n} \sum_{i=1}^n X_i^2 \end{align*}\]
Observe que \(\Theta = (0, \infty)\), mas como \(\hat{\sigma}^2\) pode assumir zero. Contudo, \(\operatorname{Pr}(\hat{\sigma}^2 = 0) = 0\).
Exemplo 5: Seja uma população \(X \sim Ber(p)\). Se \(\Theta = (0,1)\), teríamos \(\mathcal{M}_1 = \mathbb{E}(X) = p\) e \(M_1 = \bar{X}\), portanto, \(\hat{p} = \bar{X}\).
Mas se \(X_1 = 0, \ldots, X_n = 0\), a estimativa é \(\hat{p} = 0\). Por outro lado, se \(X_1 = 1, \ldots, X_n = 1\), a estimativa é \(\hat{p} = 1\).
Em ambos os casos, \(\hat{p}\) não seria um estimador para \(p\).
Contudo, note que:
\[\begin{align*} \operatorname{Pr}(X_1 = 0, \ldots, X_n = 0) &= \operatorname{Pr}(X_1 = 0) \times \ldots \times \operatorname{Pr}(X_n = 0) = (1-p)^n \qquad \text{e} \\ \operatorname{Pr}(X_1 = 1, \ldots, X_n = 1) &= \operatorname{Pr}(X_1 = 1) \times \ldots \times \operatorname{Pr}(X_n = 1) = p^n \end{align*}\]
Para \(n\) “grande”, as duas probabilidades estão próximas de zero.
Princípios da Verossimilhança: A amostra realmente representa informações sobre a distribuição populacional (informações sobre os valores verdadeiros dos parâmetros). Sobre esse princípio, definimos a função de verossimilhança com a própria distribuição conjunta de a.a. Se esta função realmente possui informações sobre os parâmetros, nos valores observados da amostra, vamos escrevera função segundo os parâmetros (fixada a amostra).
Definição: Seja uma população \(X \sim f_X (x_i;\theta)\) e \(\underset{\sim}{\theta} = (\theta_1, \ldots, \theta_k)^T\). A partir de uma a.a. \(X_1, \ldots, X_n\), a função de verossimilhança é definida por:
\[ \operatorname{L}(\underset{\sim}{\theta}) = f_{\underset{\sim}{X}}(\underset{\sim}{X};\underset{\sim}{\theta}) = \prod_{i=1}^n f_{x_i} (x_i;\underset{\sim}{\theta}) \] Note que \(\operatorname{L}\) é uma função da forma \(\operatorname{L}:\Theta \rightarrow \mathbb{R}\).
O estimador de máxima verossimilhança é a estatística que, em seu valor observado, maximiza a função de verossimilhança \(\operatorname{L}(\underset{\sim}{\theta})\).
Em alguns casos, o ponto de máximo de \(\operatorname{L}(\underset{\sim}{\theta})\) existe e é único em função da a.a.
Exemplo 1: Seja uma população \(X \sim \mathcal{N}(\mu,\sigma^2)\), assumindo \(\sigma^2\) conhecida. Neste caso, queremos estimar a média populacional \(\mu\). Temos:
\[\begin{align*} \operatorname{L}(\mu) &= \prod_{i=1}^n f_{X_i} (x_i,\mu) \\ &= \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} e^{- \frac{1}{2\sigma^2}(x_i - \mu)^2} \\ &= (2\pi\sigma^2)^{- \frac{n}{2}} e^{- \frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2} \end{align*}\]
Temos \(\Theta = \mathbb{R}\).
Uma forma de maximizar \(\operatorname{L}(\mu)\) em \(\mathbb{R}\) é utilizar \(\ell(\mu) = \log(\operatorname{L}(\mu))\).
Portanto, temos:
\[ \ell(\mu) = - \frac{n}{2} \log (2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2 \] Fazendo \(\dfrac{\partial \ell}{\partial \mu} = 0\), temos:
\[\begin{align*} \frac{1}{\sigma^2} \sum_{i=1}^n (x_i - \mu) &= 0 \\ \sum_{i=1}^n (x_i - \mu) &= 0 \\ n\bar{X} - n\mu &= 0 \\ n(\bar{X}-\mu) &= 0 \\ \mu &= \bar{X} \end{align*}\]
Note que \(\dfrac{\partial^2 \ell}{\partial \mu^2} = - \frac{n}{\sigma^2} \lt 0, \forall \mu \in \mathbb{R}\).
Logo \(\mu = \bar{x}\) é ponto de máximo para \(\ell(\mu)\) e \(\operatorname{L}(\mu)\). Então o Estimador de Máxima Verossimilhança (EMV) para \(\mu\) é \(\hat{\mu} = \bar{X}\).
Exemplo 2: Seja \(X \sim \mathcal{U} [0,\theta]\), ou seja, \(X\) tem densidade \(f_X(x;\theta) = \frac{1}{\theta} I_{[0,\theta]}(x)\). A partir de uma a.a. \(X_1, \ldots, X_n\), a função de verossimilhança é dada por:
\[ \operatorname{L}(\theta) = \prod_{i=1}^n f_{X_i} (x_i;\theta) = \prod_{i=1}^n \frac{1}{\theta} = \frac{1}{\theta^n} \]
O logaritmo da função de verossimilhança é \(\ell(\theta) = \log \operatorname{L}(\theta) = -n \log \theta\).
Note que:
\[ f_{X_i} (x_i;\theta) = \frac{1}{\theta} I_{[0,\theta]} (x_i) \]
Aqui \(\Theta = (0,\infty)\).
Assumindo que todos os elementos da amostra estão no intervalo \([0,\theta]\):
\[ \operatorname{L}(\theta) = \frac{1}{\theta^n} I_{[0,\theta]} (x_1) \times I_{[0,\theta]} (x_2) \times \cdots \times I_{[0,\theta]} (x_n) \\ \operatorname{L}(\theta) = \frac{1}{\theta^n} I_{[0,\theta]} (x_{(n)}) \text{ , ou seja, } x_{(n)} \leq \theta \rightarrow \\ \theta \geq x_{(n)} \text{ , em que, } x_{(n)} = \max\{x_1, \ldots, x_n\} \]
Sob a restrição \(\theta \geq x_{(n)}\), a estatística que maximiza a função de verossimilhança é \(X_{(n)} = \max\{X_1, \ldots, X_n\}\). Logo o estimador de máxima verossimilhança para \(\theta\) é \(\hat{\theta} = X_{(n)}\).
Definição: Seja uma população \(X \sim f_X (x;\theta)\) e uma a.a. \(X_1, \ldots , X_n\). Dizemos que um estimador \(\hat{\theta}\) para \(\theta\) é não viesado se:
\[ \mathbb{E}[\hat{\theta} - \theta] = 0, \forall \theta \in \Theta \]
Neste caso, definimos a função viés por:
\[ \mathbb{B}_{\hat{\theta}} (\theta) = \mathbb{E} [\hat{\theta}-\theta] = \mathbb{E} (\hat{\theta}) - \theta, \forall \theta \in \Theta \]
Portanto, se um estimador \(\hat{\theta}\) é não viesado, \(\mathbb{B}_{\hat{\theta}} (\theta) = 0, \forall \theta \in \Theta\).
Exemplo 1: Seja uma população \(X \sim \mathcal{N} (\mu,\sigma^2)\), com variância conhecida e uma a.a. \(X_1, \ldots, X_n\). Se \(\hat{\mu} = \bar{X}\), temos:
\[\begin{align*} \mathbb{E}(\hat{\mu}) &= \mathbb{E} \left( \frac{1}{n} \sum_{i=1}^n X_i \right) \\ &= \frac{1}{n} \sum_{i=1}^n \mathbb{E}(X_i) \\ &= \frac{1}{n} \sum_{i=1}^n \mu \\ &= \frac{n\mu}{n} \\ &= \mu \end{align*}\]
Logo:
\[\begin{align*} \mathbb{B}_{\hat{\mu}}(\mu) &= \mathbb{E}(\hat{\mu}) - \mu \\ &= \mathbb{E}(\bar{X}) - \mu \\ &= \mu - \mu = 0, \forall \mu \in \mathbb{R} \end{align*}\]
Portanto, \(\hat{\mu}\) é não viesado para \(\mu\).
Se \(\sigma^2\) é desconhecida, vimos que um estimador para \(\sigma^2\) é da forma:
\[ \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 = \frac{(n-1)}{n}S^2 \]
É possível mostrar que, se \(X \sim \mathcal{N}(\mu, \sigma^2)\), então para uma a.a. \(X_1, \ldots, X_n\),
\[ \frac{(n-1)}{n}S^2 \sim \chi^2_{n-1} \] com \(\sigma^2\) o valor verdadeiro da variância.
Neste caso,
\[ \mathbb{E}\left[ \frac{(n-1)}{\sigma^2}S^2\right] = n-1 \\ \mathbb{E}\left[ (n-1)S^2 \right] = (n-1)\sigma^2 \\ \mathbb{E}(S^2) = \sigma^2 \]
Portanto,
\[ \mathbb{E}(\hat{\sigma}^2) = \mathbb{E}\left[ \frac{(n-1)}{n} S^2\right] = \frac{(n-1)}{n}\sigma^2 \] Logo,
\[\begin{align*} \mathbb{B}_{\hat{\sigma}^2}(\sigma^2) &= \mathbb{E}(\hat{\sigma^2}) - \sigma^2 \\ &= \left[ \frac{(n-1)}{n} \right]\sigma^2 - \sigma^2 \\ &= \frac{(n-1)\sigma^2 - n\sigma^2}{n} \\ &= \frac{-\sigma^2}{n} \end{align*}\]
Então, \(\mathbb{B}_{\hat{\sigma}^2}(\sigma^2) = \frac{-\sigma^2}{n} <0\), \(\forall \sigma^2 \in (0,\infty)\). Contudo, \(\lim_{n \rightarrow \infty} \mathbb{B}_{\hat{\sigma}^2} (\sigma^2) = 0\), \(\forall \sigma^2 \in (0,\infty)\).
Definição: Seja uma população \(X \sim f_X(x;\theta)\) e uma a.a. \(X_1, \ldots, X_n\), dizemos que um estimador \(\hat{\theta}\) para \(\theta\) é assintoticamente não viesado para \(\theta\), se, possivelmente \(\mathbb{B}_{\hat{\theta}} (\theta) \neq 0\), mas \(\lim_{n \rightarrow \infty} \mathbb{B}_{\hat{\theta}} (\theta) = 0\), \(\forall \theta \in \Theta\).
Exemplo 1: No exemplo de \(X \sim \mathcal{U}[0,\theta]\), com \(\Theta = (0,\infty)\), o EMV para \(\theta\) é \(\hat{\theta} = X_{(n)}\). Pergunta: \(\hat{\theta}\) é não viesado para \(\theta\)?
Temos que obter \(\mathbb{B}_{\hat{\theta}} (\theta) = \mathbb{E}(\hat{\theta})-\theta\). Para isto, temos que obter \(\mathbb{E}(X_{(n)})\).
Note que o suporte de \(X_{(n)}\) é \(\mathcal{I}_{X_{(n)}} = [0,\theta]\). Assim: \(\Pr(X_{(n)} \leq x) = \Pr(X_1 \leq x, \ldots, X_n \leq x)\).
Note que:
\[ \Pr(X_{(n)} \leq x) = \operatorname{F}_{X_{(n)}}(x) = \prod_{i-1}^n \Pr(X_i \leq x) = \prod_{i=1}^n \operatorname{F}_{X_i}(x) \] \[\begin{align*} \operatorname{F}_{X_i} (x) &= 0, \text{se } x < 0 \\ &= \text{?}, \text{se } [0,\theta] \\ &= 1, \text{se } x > \theta \end{align*}\]
\[ \int_0^{\theta} \frac{1}{\theta}dx \rightarrow \frac{1}{\theta} \int_0^{\theta} dx \rightarrow \frac{x}{\theta} \]
Portanto:
\[ \operatorname{F}_{X_{(n)}}(x) = \prod_{i-1}^n \left( \frac{x}{n}\right) \rightarrow \operatorname{F}_{X_{(n)}}(x) = \frac{x^n}{\theta^n}, \text{se } x \in [0,\theta] \] \[\begin{align*} \operatorname{F}_{X_{(n)}}(x) &= 0, \text{se } x < 0 \\ &= \frac{x^n}{\theta^n}, \text{se } [0,\theta] \rightarrow f_{X_{(n)}} (x) = \frac{nx^{n-1}}{\theta^n} \\ &= 1, \text{se } x> \theta \end{align*}\]
A Esperança:
\[\begin{align*} \mathbb{E}[X_{(n)}] &= \int_{-\infty}^{+\infty} x f_{X_{(n)}}(x) \, dx \\ &= \int_0^{\theta} x \cdot \frac{n x^{n-1}}{\theta^n} \, dx \\ &= \frac{n}{\theta^n} \int_0^{\theta} x^n \, dx \\ &= \frac{n}{\theta^n} \left[ \frac{x^{n+1}}{n+1} \right]_0^{\theta} \\ &= \frac{n}{\theta^n} \cdot \frac{\theta^{n+1}}{n+1} \\ &= \frac{n}{n+1}\theta \end{align*}\]
O viés:
\[\begin{align*} \mathbb{B}_{\hat{\theta}} (\theta) &= \frac{n}{n+1}\theta - \theta \\ &= \frac{n\theta - (n+1)\theta}{n+1} \\ &= \frac{-\theta}{n+1} < 0, \forall \theta \in (0,\infty) \end{align*}\]
\(\hat{\theta}\) é viesado para \(\theta\).
Considere o estimador:
\[ \tilde{\theta} = \frac{(n+1)}{n} X_{(n)} \] Temos:
\[\begin{align*} \mathbb{E}(\tilde{\theta}) &= \frac{(n+1)}{n} \cdot \mathbb{E}(X_{(n)}) \\ &= \frac{(n+1)}{n} \cdot \frac{n\theta}{(n+1)} \\ &= \theta \end{align*}\]
Logo:
\[ \mathbb{B}_{\tilde{\theta}} (\theta) = \mathbb{E}(\tilde{\theta}) - \theta \rightarrow \theta - \theta = 0, \forall\theta \in\Theta \]
Portanto, \(\tilde{\theta}\) é não viesado para \(\theta\).
Ainda:
\[ \lim_{n\to \infty} \mathbb{B}_{\hat{\theta}} (\theta) = \lim_{n\to \infty} \frac{-\theta}{n+1} = 0 \] Portanto, \(\hat{\theta} = X_{(n)}\) é assintoticamente não viesado para \(\theta\).
Definição: Seja uma população \(X \sim f_X(x;\theta)\) e uma a.a. \(X_1, \ldots, X_n\), o erro quadrático médio de um estimador \(\hat{\theta}\) para \(\theta\) é definido por:
\[ \operatorname{EQM}_{\hat{\theta}} (\theta) = \mathbb{E}[(\hat{\theta} - \theta)^2], \forall \theta \in \Theta \]
Note que, se \(\mathbb{E}(\hat{\theta}) - \theta = 0\), então \(\operatorname{EQM}_{\hat{\theta}} (\theta) = \operatorname{Var} (\hat{\theta})\).
Se \(\hat{\theta}\) é viesado, temos:
\[\begin{align*} \operatorname{EQM}(\hat{\theta}) &= \mathbb{E}\left[ (\hat{\theta} - \theta)^2 \right] \\ &= \mathbb{E}\left[ \left( (\hat{\theta} - \mathbb{E}[\hat{\theta}]) + (\mathbb{E}[\hat{\theta}] - \theta) \right)^2 \right] \\ &= \mathbb{E}\left[ (\hat{\theta} - \mathbb{E}[\hat{\theta}])^2 + 2(\hat{\theta} - \mathbb{E}[\hat{\theta}])(\mathbb{E}[\hat{\theta}] - \theta) + (\mathbb{E}[\hat{\theta}] - \theta)^2 \right] \\ &= \mathbb{E}\left[ (\hat{\theta} - \mathbb{E}[\hat{\theta}])^2 \right] + 2(\mathbb{E}[\hat{\theta}] - \theta)\underbrace{\mathbb{E}\left[ \hat{\theta} - \mathbb{E}[\hat{\theta}] \right]}_{= 0} + (\mathbb{E}[\hat{\theta}] - \theta)^2 \\ &= \mathbb{E}\left[ (\hat{\theta} - \mathbb{E}[\hat{\theta}])^2 \right] + (\mathbb{E}[\hat{\theta}] - \theta)^2 \\ &= \operatorname{Var}(\hat{\theta}) + \mathbb{B}_{\hat{\theta}}^2 (\theta) \end{align*}\]
Resultado: \(\operatorname{EQM}(\hat{\theta}) = \operatorname{Var}(\hat{\theta}) + \mathbb{B}_{\hat{\theta}}^2 (\theta)\).
Exemplo: Suponha uma população com \(X \sim \mathcal{N}(\mu, \sigma^2)\), considerando 2 estimadores para a variância:
\[\begin{align*} \hat{\sigma}^2 &= \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 = \frac{(n-1)}{n} S^2 \quad \text{(Estimador 1)} \\ S^2 &= \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2 \quad \text{(Estimador 2)} \end{align*}\]
É possível mostrar que: \[ \frac{(n-1) S^2}{\sigma^2} \sim \chi^2_{n-1} \]
Desta forma: \[\begin{align*} \mathbb{E}\left[ \frac{(n-1) S^2}{\sigma^2} \right] &= n - 1 \\ \operatorname{Var}\left[ \frac{(n-1) S^2}{\sigma^2} \right] &= 2(n - 1) \end{align*}\]
Lembre que, se \(Y \sim \chi^2_q\), então \(Y \sim \operatorname{Gama}\left( \frac{q}{2}, \frac{1}{2} \right)\).
Ainda: \[ \mathbb{E}[S^2] = \sigma^2 \quad \text{e} \quad \operatorname{Var}(S^2) = \frac{2\sigma^4}{n-1} \]
\[\begin{align*} \mathbb{E}(\hat{\sigma}^2) &= \mathbb{E}\left[ \frac{(n-1)}{n} S^2 \right] = \frac{(n-1)}{n} \mathbb{E}(S^2) = \frac{(n-1)}{n} \sigma^2 \\[1.5ex] B_{\hat{\sigma}^2}(\sigma^2) &= \mathbb{E}(\hat{\sigma}^2) - \sigma^2 \\ &= \frac{(n-1)}{n} \sigma^2 - \sigma^2 \\ &= \frac{(n-1)\sigma^2 - n\sigma^2}{n} \\ &= -\frac{\sigma^2}{n} \\[2ex] \operatorname{Var}(\hat{\sigma}^2) &= \operatorname{Var}\left[ \frac{(n-1)}{n} S^2 \right] \\ &= \frac{(n-1)^2}{n^2} \operatorname{Var}(S^2) \\ &= \frac{(n-1)^2}{n^2} \frac{2\sigma^4}{(n-1)} \\ &= \frac{2(n-1)\sigma^4}{n^2} \end{align*}\]
Como \(S^2\) é não viciado para \(\sigma^2\), \(B_{S^2}(\sigma^2) = 0, \; \forall \, \sigma^2 > 0\).
Portanto:
\[ \operatorname{EQM}_{S^2}(\sigma^2) = \operatorname{Var}(S^2) = \frac{2\sigma^4}{(n-1)} \quad \text{(Estimador 2)} \]
\[\begin{align*} \operatorname{EQM}_{\hat{\sigma}^2}(\sigma^2) &= \operatorname{Var}(\hat{\sigma}^2) + B^2_{\hat{\sigma}^2}(\sigma^2) \\ &= \frac{2(n-1)\sigma^4}{n^2} + \frac{\sigma^4}{n^2} \\ &= \frac{2n\sigma^4 - 2\sigma^4 + \sigma^4}{n^2} \\ &= \frac{(2n-1)\sigma^4}{n^2} \quad \text{(Estimador 1)} \end{align*}\]
Vamos comparar \(\operatorname{EQM}_{\hat{\sigma}^2}(\sigma^2)\) com \(\operatorname{EQM}_{S^2}(\sigma^2)\). Por exemplo, podemos avaliar: \[ \frac{\operatorname{EQM}_{\hat{\sigma}^2}(\sigma^2)}{\operatorname{EQM}_{S^2}(\sigma^2)} \]
\[ \frac{\dfrac{(2n-1)\sigma^4}{n^2}}{\dfrac{2\sigma^4}{(n-1)}} = \frac{(2n-1)\cancel{\sigma^4}}{n^2} \cdot \frac{(n-1)}{2\cancel{\sigma^4}} \]
\[ \frac{(2n-1)(n-1)}{2n^2} \]
Avaliando em \(n \in \{2, 3, \ldots\}\): \[ \frac{\text{EQM}_{\hat{\sigma}^2}(\sigma^2)}{\text{EQM}_{S^2}(\sigma^2)} < 1 \] Portanto, o estimador 1 (\(\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2\)) é preferível em termos de EQM.
Dizemos que um estimador \(\hat{\theta}\) é para um parâmetro \(\theta\) se: \[ \lim_{n \to \infty} \text{EQM}_{\hat{\theta}}(\theta) = 0, \quad \forall \, \theta \in \Theta. \]
Dizemos que um estimador \(\hat{\theta}\) é para um parâmetro \(\theta\) se: \[ \forall \, \varepsilon > 0, \quad \lim_{n \to \infty} P(|\hat{\theta} - \theta| > \varepsilon) = 0, \quad \forall \, \theta \in \Theta. \]
Se um estimador \(\hat{\theta}\) é consistente em EQM para um parâmetro \(\theta\), então ele é consistente para \(\theta\).
Vamos mostrar que, \(\forall \, \varepsilon > 0\), \[ P(|\hat{\theta} - \theta| > \varepsilon) \le \frac{\text{EQM}_{\hat{\theta}}(\theta)}{\varepsilon^2} \]
Seja \(Y = |\hat{\theta} - \theta|\), com densidade \(f_Y(y)\) em algum suporte \(\mathcal{S}_Y \subseteq [0, \infty)\). Temos: \[\begin{align*} P(Y > \varepsilon) &= \int_{\varepsilon}^{\infty} f_Y(y) \, dy \\ &= \frac{1}{\varepsilon^2} \int_{\varepsilon}^{\infty} \varepsilon^2 f_Y(y) \, dy \end{align*}\]
Veja que: \[\begin{align*} \frac{1}{\varepsilon^2} \int_{\varepsilon}^{\infty} \varepsilon^2 f_Y(y) \, dy &\le \frac{1}{\varepsilon^2} \int_{\varepsilon}^{\infty} y^2 f_Y(y) \, dy \\ &\le \frac{1}{\varepsilon^2} \int_{0}^{\infty} y^2 f_Y(y) \, dy \\ &= \frac{1}{\varepsilon^2} \mathbb{E}[Y^2] \\ &= \frac{1}{\varepsilon^2} \mathbb{E}\left[(\hat{\theta} - \theta)^2\right] \\ &= \frac{1}{\varepsilon^2} \text{EQM}_{\hat{\theta}}(\theta) \end{align*}\]
Aplicando o limite em ambos os lados, temos: \[ 0 \le P(|\hat{\theta} - \theta| > \varepsilon) \le \frac{1}{\varepsilon^2} \text{EQM}_{\hat{\theta}}(\theta) \]
\[\begin{align*} \lim_{n \to \infty} 0 &\le \lim_{n \to \infty} P(|\hat{\theta} - \theta| > \varepsilon) \le \lim_{n \to \infty} \frac{1}{\varepsilon^2} \text{EQM}_{\hat{\theta}}(\theta) \\[1.5ex] 0 &\le \lim_{n \to \infty} P(|\hat{\theta} - \theta| > \varepsilon) \le 0 \end{align*}\]
Pelo Teorema do Confronto (Sanduíche): \[ \lim_{n \to \infty} P(|\hat{\theta} - \theta| > \varepsilon) = 0, \quad \forall \, \varepsilon > 0. \]
Logo, o estimador \(\hat{\theta}\) é consistente para \(\theta\).
Observação 1: A desigualdade é conhecida como desigualdade de Chabychev (caso particular da desigualdade de Markov).
Observação 2: Se um estimador \(\hat{\theta}\) é consistente para um parâmetro \(\theta\), podemos afirmar que ele converge em probabilidade para o parâmetro \(\theta\). Notação: \(\hat{\theta} \xrightarrow{P} \theta\).
A partir de uma amostra aleatória \(X_1, \ldots ,X_n\), podemos utilizar uma estatística \(T(\underset{\sim}X)\) para resumir a informação a respeito de um parâmetro a partir da amostra. Uma estatística é suficiente quando concentra toda a informação possível de ser obtida na amostra a respeito do parâmetro. Este é o princípio de suficiência.
Definição: Dizemos que uma estatística \(T(\underset{\sim}X)\) é suficiente para um parâmetro \(\theta\) se a distribuição condicional da amostra \(\underset{\sim}X = (X_1, \ldots, X_n)\) dado o valor observado de \(T\) não depende de \(\theta\), ou seja, se \(f_{\underset{\sim}X|T} (\underset{\sim}x|t)\) não depende de \(\theta\), em que \(\underset{\sim}x\) é a amostra observada e \(t\) é o valor observado de \(T\).
Exemplo: Seja \(X \sim \operatorname{Ber}(p)\) e uma amostra aleatória \(X_1, \ldots, X_n\). Considere \(T(\boldsymbol{X}) = \sum_{i=1}^n X_i\).
Sabemos que \(T \sim \operatorname{Bin}(n, p)\). Portanto, a função de probabilidade de \(T\) é: \[ f_T(t; p) = \binom{n}{t} p^t (1-p)^{n-t} \mathbb{I}_{\{0, 1, \dots, n\}}(t) \]
A função de probabilidade condicional de \(\boldsymbol{X} = (X_1, \ldots, X_n)\) dado \(T = t\) é dada por: \[ f_{\boldsymbol{X}|T}(\boldsymbol{x} \mid t) = \frac{f_{\boldsymbol{X}, T}(\boldsymbol{x}, t)}{f_T(t)} \]
Observe que \(f_{\boldsymbol{X}, T}(\boldsymbol{x}, t) = P(X_1 = x_1, \ldots, X_n = x_n, T = t)\).
Note que: se \(n = 4\) e \(t = 3\), o evento \(\{X_1 = x_1, X_2 = x_2, X_3 = x_3, X_4 = x_4, T = 3\}\) não será vazio apenas nos valores de \(\boldsymbol{x}\) que gerem \(t = 3\).
Então, em geral: \[ \{\boldsymbol{X} = \boldsymbol{x}\} \cap \{T = t\} = \begin{cases} \{\boldsymbol{X} = \boldsymbol{x}\}, & \text{se } T(\boldsymbol{x}) = t \\ \emptyset, & \text{se } T(\boldsymbol{x}) \ne t \end{cases} \]
\[ \Rightarrow f_{\boldsymbol{X}, T}(\boldsymbol{x}, t) = \begin{cases} f_{\boldsymbol{X}}(\boldsymbol{x}), & \text{se } T(\boldsymbol{x}) = t \\ 0, & \text{se } T(\boldsymbol{x}) \ne t \end{cases} \]
Como as variáveis são independentes e identicamente distribuídas: \[ f_{\boldsymbol{X}}(\boldsymbol{x}) = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i} = p^{\sum_{i=1}^n x_i} (1-p)^{n - \sum_{i=1}^n x_i} \]
Para o caso em que \(T(\boldsymbol{x}) = \sum_{i=1}^n x_i = t\): \[\begin{align*} f_{\boldsymbol{X}|T}(\boldsymbol{x} \mid t) &= \frac{p^{\sum_{i=1}^n x_i} (1-p)^{n - \sum_{i=1}^n x_i}}{\binom{n}{t} p^t (1-p)^{n-t}} \\ &= \frac{\cancel{p^t (1-p)^{n-t}}}{\binom{n}{t} \cancel{p^t (1-p)^{n-t}}} \\ &= \frac{1}{\binom{n}{t}}, \quad \text{que não depende de } p. \end{align*}\]
Logo, \(T = \sum_{i=1}^n X_i\) é uma estatística suficiente para \(p\).
Seja \(X \sim f_X(x; \theta)\) e uma amostra aleatória (a.a.) \(\underset{\sim}{X} = (X_1, \dots, X_n)\). Uma estatística \(T(\underset{\sim}{X})\) é suficiente para \(\theta\) se, e somente se, a distribuição conjunta da amostra pode ser fatorada na forma:
\[ f_{\underset{\sim}{X}}(\underset{\sim}{x}; \theta) = h(\underset{\sim}{x}) \, g\big(t(\underset{\sim}{x}); \theta\big) \]
em que: - \(h(\underset{\sim}{x})\) é uma função não negativa que depende apenas dos dados observados \(\underset{\sim}{x}\) (não depende do parâmetro \(\theta\)); - \(g(t; \theta)\) é uma função que depende do parâmetro \(\theta\) e depende da amostra \(\underset{\sim}{x}\) exclusivamente por meio do valor observado da estatística \(t = t(\underset{\sim}{x})\).
Prova:
\((\Rightarrow)\) Ida: Supondo que \(T(\underset{\sim}{X})\) é suficiente para \(\theta\)
Por definição de suficiência, a distribuição condicional \(f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t)\) não depende do parâmetro \(\theta\), para todo ponto amostral \(\underset{\sim}{x} = (x_1, \dots, x_n)\) e para qualquer valor possível \(t = t(\underset{\sim}{x})\).
Como o vetor \(\underset{\sim}{x}\) determina univocamente o valor de \(t = t(\underset{\sim}{x})\), a distribuição conjunta pode ser expressa como: \[ f_{\underset{\sim}{X}}(\underset{\sim}{x}) = f_{\underset{\sim}{X}, T}\big(\underset{\sim}{x}, t(\underset{\sim}{x})\big) = f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t) \, f_T(t) \]
Sendo \(T\) suficiente, \(f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t)\) independe de \(\theta\). Portanto, podemos definir: \[ h(\underset{\sim}{x}) = f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t) \quad \text{e} \quad g(t; \theta) = f_T(t) \]
Substituindo, obtemos: \[ f_{\underset{\sim}{X}}(\underset{\sim}{x}) = h(\underset{\sim}{x}) \, g(t; \theta) \] o que conclui a fatoração.
\((\Leftarrow)\) Volta: Supondo que \(f_{\underset{\sim}{X}}(\underset{\sim}{x}) = h(\underset{\sim}{x}) \, g(t; \theta)\)
Devemos mostrar que a distribuição condicional \(f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t)\) não depende de \(\theta\). Pela definição de probabilidade condicional:
\[ f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t) = \frac{f_{\underset{\sim}{X}, T}(\underset{\sim}{x}, t)}{f_T(t)} = \frac{f_{\underset{\sim}{X}}(\underset{\sim}{x})}{f_T(t)} = \frac{h(\underset{\sim}{x}) \, g(t; \theta)}{f_T(t)} \quad \text{(Equação 1)} \]
Calculando a distribuição marginal de \(T\) para o caso discreto: \[ \begin{aligned} f_T(t) &= \sum_{\underset{\sim}{x} \in \mathcal{S}_{\underset{\sim}{X}} \\ t(\underset{\sim}{x}) = t} f_{\underset{\sim}{X}, T}(\underset{\sim}{x}, t) \\ &= \sum_{\underset{\sim}{x} \in \mathcal{S}_{\underset{\sim}{X}} \\ t(\underset{\sim}{x}) = t} f_{\underset{\sim}{X}}(\underset{\sim}{x}) \\ &= \sum_{\underset{\sim}{x} \in \mathcal{S}_{\underset{\sim}{X}} \\ t(\underset{\sim}{x}) = t} h(\underset{\sim}{x}) \, g(t; \theta) \\ &= g(t; \theta) \sum_{\underset{\sim}{x} \in \mathcal{S}_{\underset{\sim}{X}} \\ t(\underset{\sim}{x}) = t} h(\underset{\sim}{x}) \end{aligned} \]
Substituindo \(f_T(t)\) de volta na Equação 1:
\[ f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t) = \frac{h(\underset{\sim}{x}) \cancel{g(t; \theta)}}{\cancel{g(t; \theta)} \displaystyle\sum_{\substack{\underset{\sim}{x} \in \mathcal{S}_{\underset{\sim}{X}} \\ t(\underset{\sim}{x}) = t}} h(\underset{\sim}{x})} = \frac{h(\underset{\sim}{x})}{\displaystyle\sum_{\substack{\underset{\sim}{x} \in \mathcal{S}_{\underset{\sim}{X}} \\ t(\underset{\sim}{x}) = t}} h(\underset{\sim}{x})} \] Como a expressão final não contém \(\theta\), segue que \(f_{\underset{\sim}{X} \mid T}(\underset{\sim}{x} \mid t)\) não depende de \(\theta\). Logo, \(T(\underset{\sim}{X})\) é uma estatística suficiente para \(\theta\).
Exemplo 1: Distribuição Exponencial
Seja \(X \sim \text{Exp}(\theta)\), com função densidade de probabilidade (fdp): \[ f_X(x; \theta) = \theta e^{-\theta x} \, \mathbb{I}_{(0, \infty)}(x), \quad \Theta = (0, \infty) \]
Para uma a.a. \(\underset{\sim}{X} = (X_1, \dots, X_n)\), a fdp conjunta é: \[ f_{\underset{\sim}{X}}(\underset{\sim}{x}; \theta) = \prod_{i=1}^n f_{X_i}(x_i; \theta) = \prod_{i=1}^n \theta e^{-\theta x_i} = \theta^n \exp\left\{ -\theta \sum_{i=1}^n x_i \right\} \mathbb{I}_{(0, \infty)}(\min x_i) \]
Fatorando nos termos \(h(\underset{\sim}{x})\) e \(g(t; \theta)\): - \(h(\underset{\sim}{x}) = 1\) (ou \(\mathbb{I}_{(0, \infty)}(\min x_i)\)); - \(t = t(\underset{\sim}{x}) = \displaystyle\sum_{i=1}^n x_i\); - \(g(t; \theta) = \theta^n e^{-\theta t}\).
Conclusão: \(T = \displaystyle\sum_{i=1}^n X_i\) é uma estatística suficiente para \(\theta\).
Exemplo 2: Distribuição Poisson
Seja \(X \sim \text{Poisson}(\lambda)\), com função de probabilidade: \[ f_X(x; \lambda) = \frac{e^{-\lambda} \lambda^x}{x!} \, \mathbb{I}_{\{0, 1, 2, \dots\}}(x), \quad \Theta = (0, \infty) \]
Para uma a.a. \(\underset{\sim}{X} = (X_1, \dots, X_n)\): \[ f_{\underset{\sim}{X}}(\underset{\sim}{x}; \lambda) = \prod_{i=1}^n \frac{e^{-\lambda} \lambda^{x_i}}{x_i!} = \frac{e^{-n\lambda} \lambda^{\sum_{i=1}^n x_i}}{\prod_{i=1}^n x_i!} = h(\underset{\sim}{x}) \, g(t; \lambda) \]
Identificando os componentes: \[ h(\underset{\sim}{x}) = \frac{1}{\displaystyle\prod_{i=1}^n x_i!}, \quad t = \sum_{i=1}^n x_i \quad \text{e} \quad g(t; \lambda) = e^{-n\lambda} \lambda^t \]
Conclusão: \(T = \displaystyle\sum_{i=1}^n X_i\) é suficiente para \(\lambda\).
Exemplo 3: Distribuição Gama
Seja \(X \sim \text{Gama}(\alpha, \beta)\), com fdp: \[ f_X(x; \alpha, \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x} \, \mathbb{I}_{(0, \infty)}(x), \quad \underset{\sim}{\Theta} = (0, \infty) \times (0, \infty) \]
Para uma a.a. \(\underset{\sim}{X} = (X_1, \dots, X_n)\): \[ \begin{aligned} f_{\underset{\sim}{X}}(\underset{\sim}{x}; \alpha, \beta) &= \prod_{i=1}^n \frac{\beta^\alpha}{\Gamma(\alpha)} x_i^{\alpha-1} e^{-\beta x_i} \\ &= \frac{\beta^{n\alpha}}{\Gamma^n(\alpha)} \left( \prod_{i=1}^n x_i \right)^{\alpha-1} e^{-\beta \sum_{i=1}^n x_i} \\ &= \left( \frac{1}{\prod_{i=1}^n x_i} \right) \cdot \left[ \frac{\beta^{n\alpha}}{\Gamma^n(\alpha)} \left( \prod_{i=1}^n x_i \right)^\alpha e^{-\beta \sum_{i=1}^n x_i} \right] \end{aligned} \]
Definindo: - \(h(\underset{\sim}{x}) = \dfrac{1}{\displaystyle\prod_{i=1}^n x_i}\); - \(\underset{\sim}{t} = (t_1, t_2) = \left( \displaystyle\prod_{i=1}^n x_i, \; \sum_{i=1}^n x_i \right)\); - \(g(\underset{\sim}{t}; \underset{\sim}{\theta}) = \dfrac{\beta^{n\alpha}}{\Gamma^n(\alpha)} t_1^\alpha e^{-\beta t_2}\), em que \(\underset{\sim}{\theta} = (\alpha, \beta)\).
Conclusão: O vetor \(\underset{\sim}{T} = (T_1, T_2) = \left( \displaystyle\prod_{i=1}^n X_i, \; \sum_{i=1}^n X_i \right)\) é conjuntamente suficiente para \(\underset{\sim}{\theta} = (\alpha, \beta)\).
Observação: a distribuição da amostra é sempre fatorável. Note que: \(f_{\underset{\sim}X} = h(\underset{\sim}x) g(t;\theta)\), em que \(h(\underset{\sim}x) = 1\) e \(g(t;\theta) = f_X(\underset{\sim}x)\), com \(t=\underset{\sim}x\).
Definição: Dizemos que a distribuição de uma variável aleatória \(X\) pertence à Família Exponencial \(k\)-paramétrica se sua função de densidade ou de probabilidade pode ser escrita na forma:
\[ f_X(x; \underset{\sim}{\theta}) = h(x) \exp\left\{ \sum_{j=1}^k t_j(x) \, g_j(\underset{\sim}{\theta}) + c(\underset{\sim}{\theta}) \right\} \]
em que: - \(h(x) \ge 0\) depende exclusivamente de \(x\); - \(t_j(x)\) são funções reais que dependem apenas de \(x\), para \(j = 1, \dots, k\); - \(g_j(\underset{\sim}{\theta})\) são funções reais do vetor de parâmetros \(\underset{\sim}{\theta} = (\theta_1, \dots, \theta_k)\); - \(c(\underset{\sim}{\theta})\) é uma função que depende unicamente de \(\underset{\sim}{\theta}\).
Observação 1: No caso uinparamétrico, temos:
\[ f_X(x; \theta) = h(x) \exp\big\{ t(x) g(\theta) + c(\theta) \big\} \] > Observação 2: Nesta família o suporte não depende do valor do parâmetro (não depende do espaço paramétrico).
Exemplo 1: Exponencial (\(k=1\)) Para \(X \sim \text{Exp}(\theta)\) com \(x > 0\): \[ f_X(x; \theta) = \theta e^{-\theta x} = \exp\big\{ x(-\theta) + \log\theta \big\} \] - \(h(x) = 1\) - \(t(x) = x\) - \(g(\theta) = -\theta\) - \(c(\theta) = \log\theta\)
Exemplo 2: Poisson (\(k=1\)) Para \(X \sim \text{Poisson}(\lambda)\) com \(x \in \{0, 1, 2, \dots\}\): \[ f_X(x; \lambda) = \frac{e^{-\lambda} \lambda^x}{x!} = \frac{1}{x!} \exp\big\{ x \log\lambda - \lambda \big\} \] - \(h(x) = \dfrac{1}{x!}\) - \(t(x) = x\) - \(g(\lambda) = \log\lambda\) - \(c(\lambda) = -\lambda\)
Exemplo 3: Normal Biparamétrica (\(k=2\)) Para \(X \sim \mathcal{N}(\mu, \sigma^2)\) com \(x \in \mathbb{R}\) e \(\underset{\sim}{\theta} = (\mu, \sigma^2) \in \mathbb{R} \times (0, \infty)\): \[ \begin{aligned} f_X(x; \mu, \sigma^2) &= \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left\{ -\frac{1}{2\sigma^2}(x - \mu)^2 \right\} \\ &= \exp\left\{ -\frac{1}{2\sigma^2}(x^2 - 2x\mu + \mu^2) - \frac{1}{2}\log(2\pi\sigma^2) \right\} \\ &= \exp\left\{ x\left(\frac{\mu}{\sigma^2}\right) + x^2\left(-\frac{1}{2\sigma^2}\right) - \frac{\mu^2}{2\sigma^2} - \frac{1}{2}\log(2\pi\sigma^2) \right\} \end{aligned} \]
Identificação dos termos: - \(h(x) = 1\) - \(t_1(x) = x \quad \implies \quad g_1(\mu, \sigma^2) = \dfrac{\mu}{\sigma^2}\) - \(t_2(x) = x^2 \quad \implies \quad g_2(\mu, \sigma^2) = -\dfrac{1}{2\sigma^2}\) - \(c(\mu, \sigma^2) = -\dfrac{\mu^2}{2\sigma^2} - \dfrac{1}{2}\log(2\pi\sigma^2)\)
Observação: Para uma a.a. \(\underset{\sim}{X} = (X_1, \dots, X_n)\), a distribuição conjunta assume a estrutura vetorial: \[ f_{\underset{\sim}{X}}(\underset{\sim}{x}; \underset{\sim}{\theta}) = h(\underset{\sim}{x}) \exp\left\{ \underset{\sim}{t}(\underset{\sim}{x})^T \underset{\sim}{g}(\underset{\sim}{\theta}) + n \, c(\underset{\sim}{\theta}) \right\} \] em que: \[ \underset{\sim}{t}(\underset{\sim}{x}) = \left( \sum_{i=1}^n t_1(x_i), \dots, \sum_{i=1}^n t_k(x_i) \right)^T \quad \text{e} \quad \underset{\sim}{g}(\underset{\sim}{\theta}) = \big( g_1(\underset{\sim}{\theta}), \dots, g_k(\underset{\sim}{\theta}) \big)^T \]
Definição: Dizemos que a distribuição de \(\underset{\sim}{X}\) pertence à Família Exponencial Natural se ela é expressa diretamente em termos do parâmetro natural \(\underset{\sim}{\eta}\):
\[ f_{\underset{\sim}{X}}(\underset{\sim}{x}; \underset{\sim}{\eta}) = h(\underset{\sim}{x}) \exp\left\{ \underset{\sim}{t}(\underset{\sim}{x})^T \underset{\sim}{\eta} - A(\underset{\sim}{\eta}) \right\} \]
em que: - \(\underset{\sim}{\eta} = (\eta_1, \dots, \eta_k)^T\) é o vetor de parâmetros naturais; - \(A(\underset{\sim}{\eta}) = -n\, c(\underset{\sim}{\theta}(\underset{\sim}{\eta}))\) é a função log-partição (ou função acumuladora).
No caso Uniparamétrico, temos: \[ f_X(x; \eta) = h(x) \exp\big\{ t(x)\eta - A(\eta) \big\} \] com \(\eta = g(\theta)\) denominado parâmetro natural.
Conversão dos Exemplos para a Forma Natural
| Distribuição | Parâmetro Natural (\(\eta\) ou \(\underset{\sim}{\eta}\)) | Função \(A(\eta)\) ou \(A(\underset{\sim}{\eta})\) | Estatística \(t(x)\) ou \(\underset{\sim}{t}(x)\) | \(h(x)\) |
|---|---|---|---|---|
| Exponencial | \(\eta = -\theta < 0\) | \(A(\eta) = -\log(-\eta)\) | \(t(x) = x\) | \(1\) |
| Poisson | \(\eta = \log\lambda \in \mathbb{R}\) | \(A(\eta) = e^\eta\) | \(t(x) = x\) | \(\dfrac{1}{x!}\) |
| Normal | \(\underset{\sim}{\eta} = \begin{pmatrix} \frac{\mu}{\sigma^2} \\ -\frac{1}{2\sigma^2} \end{pmatrix} = \begin{pmatrix} \eta_1 \\ \eta_2 \end{pmatrix}\) | \(A(\underset{\sim}{\eta}) = -\dfrac{\eta_1^2}{4\eta_2} + \dfrac{1}{2}\log\left(-\dfrac{\pi}{\eta_2}\right)\) | \(\underset{\sim}{t}(x) = \begin{pmatrix} x \\ x^2 \end{pmatrix}\) | \(1\) |
Bickel, P.J.; Doksum, K. A. (2001). Mathematical Statistics: Basic Ideas and Selected Topics. Holden Day, San Francisco.
Bolfarine, H.; Sandoval, M.C. (2001). Introdução à Inferência Estatística. Coleção Matemática Aplicada, Sociedade Brasileira de Matemática.
Casella, G.; Berger, R. (1990). Statistical Inference. Wadsworth & Brooks, California.
Cordeiro, G. M. (1999). Introdução à Teoria Assintótica. XXII Colóquio Brasileiro de Matemática.
Dudewicz, E. J.; Mishra, S. N. (1988). Modern Mathematical Statistics. John Wiley & Sons.
Hogg, R.; Craig, A. (1994). Introduction to Mathematical Statistics. 5th ed. Prentice Hall.
Lehmann, E.; Casella, G. (1998). Theory of Point Estimation. 2nd ed. Springer, New York.
Lindgren, B. W. (1993). Statistical Theory. 4th ed. Chapman and Hall, New York.
Mood, A.; Graybill, F.; Boes, D. (1974). Introduction to the Theory of Statistics. McGraw-Hill, New York.
Silvey, S. D. (1975). Statistical Inference. Chapman and Hall, London.