Naïve Bayes

FUNDAMENTOS O teorema de Bayes

\[P(B \mid A) = \frac{P(A \mid B)\, P(B)}{P(A)}\]

• Trata de problemas em que queremos a probabilidade de um evento dada uma condição: a probabilidade de \(B\), sabendo que \(A\) já ocorreu.

EXEMPLO Determinar se uma pessoa está gripada

FUNDAMENTOS As quatro peças do teorema

flowchart LR
    PR["<b>Prior</b><br/>P(Gripe)<br/><i>quão comum é a gripe</i>"] --> X(("×"))
    VE["<b>Verossimilhança</b><br/>P(sintomas | Gripe)<br/><i>quão típicos são esses<br/>sintomas entre os gripados</i>"] --> X
    X --> D(("÷"))
    EV["<b>Evidência</b><br/>P(sintomas)<br/><i>quão comuns são esses<br/>sintomas em geral</i>"] --> D
    D --> PO["<b>Posterior</b><br/>P(Gripe | sintomas)<br/><i>o que queremos saber</i>"]
    classDef prior fill:#C9DCEE,stroke:#8FB6D9,color:#12283F
    classDef veros fill:#8FB6D9,stroke:#3A7CB0,color:#12283F
    classDef evid fill:#F3F7FB,stroke:#C9DCEE,color:#6B7280
    classDef post fill:#12283F,stroke:#12283F,color:#ffffff
    classDef op fill:#ffffff,stroke:#3A7CB0,color:#12283F
    class PR prior
    class VE veros
    class EV evid
    class PO post
    class X,D op

\[\underbrace{P(y_i \mid \mathbf{x})}_{\text{posterior}} = \frac{\overbrace{P(\mathbf{x} \mid y_i)}^{\text{verossimilhança}}\;\overbrace{P(y_i)}^{\text{prior}}}{\underbrace{P(\mathbf{x})}_{\text{evidência}}}\]

NAÏVE BAYES Por que “ingênuo”?

NAÏVE BAYES Em fórmulas

Dada a classe, \(P(\mathbf{x} \mid y_i)\) se decompõe em \(P(x^1 \mid y_i) \times \cdots \times P(x^d \mid y_i)\):

\[P(y_i \mid \mathbf{x}) = \frac{P(\mathbf{x} \mid y_i)\,P(y_i)}{P(\mathbf{x})} = \frac{\prod_{j=1}^{d} P(x^j \mid y_i)\; P(y_i)}{P(\mathbf{x})}\]

NAÏVE BAYES Regra de decisão: MAP

Calculamos o posterior (não normalizado) para cada classe e escolhemos o maior — estimativa por MAP (Maximum A Posteriori):

\[\hat{y} = \underset{y_i \in \{\text{classes}\}}{\arg\max}\; P(y_i) \prod_{j=1}^{d} P(x^j \mid y_i)\]

NAÏVE BAYES Por que usar logaritmos?

• Multiplicar muitas probabilidades pequenas gera valores ainda menores — o computador acaba arredondando para zero (underflow).
• Como o log é crescente, ele preserva qual classe tem o maior valor — e transforma o produto em soma:

\[\hat{y} = \underset{y_i}{\arg\max}\; \Big[\log P(y_i) + \sum_{j=1}^{d} \log P(x^j \mid y_i)\Big]\]

EXEMPLO Jogar tênis

EXEMPLO Quais probabilidades precisamos?

\[\begin{aligned}\text{MAP} = \underset{y_i \in \{\text{Sim},\,\text{Não}\}}{\arg\max}\;\; & P(y_i)\, P(\text{Ensolarado} \mid y_i)\, P(\text{Fria} \mid y_i) \\ & \times P(\text{Alta} \mid y_i)\, P(\text{Forte} \mid y_i)\end{aligned}\]

EXEMPLO Classificando o novo dia

\(\mathbf{x}'\) = (Aparência = Ensolarado, Temperatura = Fria, Umidade = Alta, Vento = Forte)

\[\begin{aligned} \text{Sim:}&\quad \tfrac{9}{14} \times \tfrac{2}{9} \times \tfrac{3}{9} \times \tfrac{3}{9} \times \tfrac{3}{9} = 0{,}0053 \\[4pt] \text{Não:}&\quad \tfrac{5}{14} \times \tfrac{3}{5} \times \tfrac{1}{5} \times \tfrac{4}{5} \times \tfrac{3}{5} = 0{,}0206 \end{aligned}\]

EXEMPLO Resultado

FREQUÊNCIA ZERO Um valor que nunca apareceu

flowchart TB
    Z["P(Nublado | Não) = 0/5"] --> P["5/14 × <b>0</b> × 1/5 × 4/5 × 3/5"]
    P --> R["P(Não | Nublado, …) = 0"]
    R --> C["“Não” fica <b>impossível</b>,<br/>não importa o resto"]
    classDef zero fill:#C9DCEE,stroke:#3A7CB0,color:#12283F
    classDef passo fill:#F3F7FB,stroke:#8FB6D9,color:#12283F
    classDef fim fill:#12283F,stroke:#12283F,color:#ffffff
    class Z zero
    class P,R passo
    class C fim

FREQUÊNCIA ZERO Por que isso é um problema?

• A probabilidade a posteriori também será zero: \(P(\text{Não} \mid \text{Nublado}, \dots) = 0\).
  • Como as probabilidades são multiplicadas, um único zero anula tudo;
  • não importam as probabilidades dos outros atributos.
• A base de treinamento pode não ser totalmente representativa.
  • Classes minoritárias podem ter valores raros — nunca ter visto não significa ser impossível.

FREQUÊNCIA ZERO Estimador de Laplace

Adicionar uma unidade fictícia a cada combinação valor-classe — valores nunca vistos passam a ter 1 exemplo:

\[P(x^j = v \mid y_i) = \frac{\text{contagem}(x^j = v,\ y_i) + 1}{n_{y_i} + k}\]

(\(n_{y_i}\): exemplos da classe; \(k\): número de valores possíveis do atributo)

FREQUÊNCIA ZERO Refazendo a conta com Laplace

Dia (Nublado, Fria, Alta, Forte), com Laplace em todas as variáveis:

\[\begin{aligned} \text{Sim:}&\quad \tfrac{9}{14} \times \tfrac{4+1}{9+3} \times \tfrac{3+1}{9+3} \times \tfrac{3+1}{9+2} \times \tfrac{3+1}{9+2} = 0{,}0118 \\[4pt] \text{Não:}&\quad \tfrac{5}{14} \times \tfrac{0+1}{5+3} \times \tfrac{1+1}{5+3} \times \tfrac{4+1}{5+2} \times \tfrac{3+1}{5+2} = 0{,}0046 \end{aligned}\]

FREQUÊNCIA ZERO Estimativa m

Adicionar m unidades fictícias para cada combinação valor-classe — solução mais geral:

\[P(x^j = v \mid y_i) = \frac{\text{contagem}(x^j = v,\ y_i) + m \cdot p}{n_{y_i} + m}\]

\(p\): estimativa a priori (em geral, \(p = 1/k\)); \(m\): peso dessa estimativa.

VALORES AUSENTES E se faltar o valor de um atributo?

flowchart LR
    A(["Observação com<br/>valor ausente"]) --> T{"Em qual<br/>etapa?"}
    T -- treinamento --> T1["Imputar o valor,<br/>se possível"]
    T1 -- "não é possível" --> T2["Excluir a observação<br/>do conjunto de treinamento"]
    T -- teste --> S1["Usar apenas os<br/>demais atributos"]
    S1 --> S2["o fator ausente<br/>simplesmente sai do produto"]
    classDef ini fill:#C9DCEE,stroke:#3A7CB0,color:#12283F
    classDef dec fill:#ffffff,stroke:#1B4F7A,color:#12283F
    classDef passo fill:#F3F7FB,stroke:#8FB6D9,color:#12283F
    classDef fim fill:#12283F,stroke:#12283F,color:#ffffff
    class A ini
    class T dec
    class T1,S1 passo
    class T2,S2 fim

CONTÍNUOS E se os atributos forem contínuos?

CONTÍNUOS E se os atributos forem contínuos?

CONTÍNUOS Exemplo: temperatura em °F

Temperatura nos dias com Jogar = Sim: \(\mu = 73\), \(\sigma = 6{,}2\). Para um novo dia com temperatura 66:

\[f(\text{temperatura} = 66 \mid \text{Sim}) = \frac{1}{\sqrt{2\pi}\;6{,}2} \exp\!\left[-\frac{1}{2}\left(\frac{66 - 73}{6{,}2}\right)^{2}\right] = 0{,}034\]

Esse valor substitui \(P(\text{Temperatura} \mid \text{Sim})\) no produto. Atenção: é uma densidade (pode até ser maior que 1), mas serve para comparar as classes.

USO PRÁTICO Vantagens

Referências