Redes Neurais Artificiais
HISTÓRIA Uma ideia antiga, com altos e baixos
A ideia tem mais de 80 anos. O que mudou recentemente foi a combinação de muitos dados, computadores rápidos (GPUs) e melhores técnicas de treino.
O NEURÔNIO Um neurônio desenha uma reta
- A regra “\(z > 0\)” separa o plano com uma reta: de um lado, saída 1; do outro, saída 0.
- E e OU são fáceis. Mas no OU exclusivo (XOR) — “um ou outro, mas não os dois” — nenhuma reta separa os 1 dos 0.
CAMADAS O que a camada escondida faz, visualmente
Os pontos \((0,1)\) e \((1,0)\) viram o mesmo ponto \((1,1)\) no novo espaço. Essa é a grande ideia das redes neurais: transformar os dados até que o problema fique fácil.
CAMADAS A rede multicamadas (MLP)
- Entrada: uma “bolinha” por variável; só repassa os valores.
- Escondidas: cada neurônio recebe todas as saídas da camada anterior e cria uma nova variável.
- Saída: a resposta final (um número, uma probabilidade, uma classe).
- Cada linha do desenho é um peso a ser aprendido. Esta rede pequena já tem 32 pesos (mais 9 vieses).
CAMADAS Propagação para frente: um exemplo
Ativação: sigmoide (transforma qualquer número em um valor entre 0 e 1).
Neurônio \(h_1\) (pesos 0,4 e 0,3):
\(z = 0{,}4 \times 0{,}5 + 0{,}3 \times 1 = 0{,}50\) → \(h_1 = \sigma(0{,}50) = 0{,}62\)
Neurônio \(h_2\) (pesos −0,2 e 0,6; viés 0,1):
\(z = -0{,}2 \times 0{,}5 + 0{,}6 \times 1 + 0{,}1 = 0{,}60\) → \(h_2 = 0{,}65\)
Saída (pesos 0,7 e −0,5; viés 0,1):
\(z = 0{,}7 \times 0{,}62 - 0{,}5 \times 0{,}65 + 0{,}1 = 0{,}21\)
\(\hat{y} = \sigma(0{,}21) = 0{,}55\)
É só isso, repetido: somar, ativar, passar adiante.
ATIVAÇÃO As principais funções de ativação
| Função | Ideia | Onde usar |
|---|---|---|
| Sigmoide | “espreme” qualquer número entre 0 e 1 | saída de classificação binária (probabilidade) |
| Tanh | parecida, mas entre −1 e 1 | camadas escondidas (redes mais antigas, sequências) |
| ReLU | negativo vira 0; positivo passa como está | camadas escondidas: o padrão atual |
APRENDIZADO Medindo o erro: a função de perda
Regressão — erro quadrático médio:
\[\text{perda} = \text{média de } (y - \hat{y})^2\]
Erros grandes pesam muito mais que erros pequenos.
Classificação — entropia cruzada: olha a probabilidade que a rede deu para a classe certa:
\[\text{perda} = -\log(\text{prob. da classe certa})\]
Acertar com confiança → perda perto de zero. Errar com confiança → perda enorme.
APRENDIZADO Gradiente descendente, de novo
É a mesma montanha da aula de gradient boosting:
- A altitude é a perda (o erro da rede).
- A posição são os valores de todos os pesos.
- Com os olhos vendados, sentimos a inclinação em cada direção e damos um passo morro abaixo.
peso novo = peso atual − taxa de aprendizado × inclinação
A diferença: aqui a montanha tem milhares (ou bilhões) de direções — uma para cada peso.
BACKPROPAGATION A regra da cadeia: efeito em cadeia
Pergunta: se eu mexer um pouquinho em um peso lá do começo da rede, quanto muda o erro lá no final?
Como engrenagens: se a 1ª gira a 2ª 2 vezes mais, a 2ª gira a 3ª 3 vezes mais e a 3ª gira a 4ª 2 vezes mais, então a 1ª gira a 4ª 2 × 3 × 2 = 12 vezes mais. Essa é a regra da cadeia: o efeito total é o produto dos efeitos de cada elo.
BACKPROPAGATION Uma rede mínima para acompanhar
- Um caminho só, com dois pesos para aprender: \(w_1\) (entrada → escondida) e \(w_2\) (escondida → saída).
- A perda \(L\) mede o erro da previsão \(\hat{y}\) em relação à resposta certa \(y = 1\).
- Numa rede de verdade há milhares de caminhos assim, mas a lógica é exatamente a mesma.
BACKPROPAGATION Passo ① para frente: fazer a previsão
- Os valores fluem da esquerda para a direita: cada neurônio calcula e passa adiante.
- A rede previu \(\hat{y} = 3\), mas a resposta certa é \(y = 1\): previu alto demais, e a perda é \(L = 2\).
- Guardamos os valores intermediários (\(h = 1\), \(\hat{y} = 3\)): eles serão usados na volta.
PASSO ② PARA TRÁS Elo 1: do erro até ŷ
Começamos pelo fim: quanto o erro muda se ŷ mudar um pouquinho?
Como \(L = \tfrac{1}{2}(\hat{y} - y)^2\):
\[\frac{\partial L}{\partial \hat{y}} = \hat{y} - y = 3 - 1 = \mathbf{2}\]
Lê-se: “cada unidade a mais em ŷ aumenta o erro em cerca de 2 unidades”.
Conferindo: ŷ de 3 para 3,01
\(L = \tfrac{1}{2}(3{,}01 - 1)^2 = 2{,}0200\)
O erro subiu 0,020 ≈ 2 × 0,01 ✔
PASSO ② PARA TRÁS Elo 2: de ŷ até h (e w₂)
\(\hat{y} = 3h\): h mexe em ŷ 3 vezes mais. A regra da cadeia multiplica os efeitos:
\[\frac{\partial L}{\partial h} = \underbrace{\frac{\partial L}{\partial \hat{y}}}_{2\ \text{(elo 1)}} \times \underbrace{\frac{\partial \hat{y}}{\partial h}}_{w_2\ =\ 3} = 2 \times 3 = \mathbf{6}\]
Idem para w₂: culpa \(= 2 \times h = 2 \times 1 = \mathbf{2}\).
Conferindo: h de 1 para 1,01
ŷ = 3 × 1,01 = 3,03 → erro sobe 0,060 ≈ 6 × 0,01 ✔
w₂ de 3 para 3,01 → erro sobe 0,020 ≈ 2 × 0,01 ✔
PASSO ② PARA TRÁS Elo 3: de h até w₁
Com a ReLU ativa, \(h = w_1 \cdot x = 2 w_1\): w₁ mexe em h 2 vezes mais.
\[\frac{\partial L}{\partial w_1} = \underbrace{\frac{\partial L}{\partial h}}_{6\ \text{(elo 2)}} \times \underbrace{\frac{\partial h}{\partial w_1}}_{x\ =\ 2} = \mathbf{12}\]
Reaproveitamos o 6 do elo anterior: nada de refazer contas desde o erro.
Conferindo: w₁ de 0,5 para 0,51
h = 1,02 → ŷ = 3,06 → erro sobe 0,122 ≈ 12 × 0,01 ✔
PASSO ② PARA TRÁS A cadeia completa
\[\frac{\partial L}{\partial w_1} \;=\; \underbrace{\frac{\partial L}{\partial \hat{y}}}_{\large 2} \;\times\; \underbrace{\frac{\partial \hat{y}}{\partial h}}_{\large 3} \;\times\; \underbrace{\frac{\partial h}{\partial w_1}}_{\large 2} \;=\; \mathbf{12}\]
Regra da cadeia = multiplicar os efeitos de cada elo, como nas engrenagens. O backpropagation faz isso de trás para frente, guardando os resultados parciais (2 → 6 → 12): por isso é eficiente mesmo com milhões de pesos.
BACKPROPAGATION Passo ③ descer a montanha: ajustar os pesos
peso novo = peso − taxa × culpa (taxa = 0,02)
| Peso | Antes | Culpa | Depois |
|---|---|---|---|
| \(w_1\) | 0,5 | 12 | 0,5 − 0,02 × 12 = 0,26 |
| \(w_2\) | 3 | 2 | 3 − 0,02 × 2 = 2,96 |
Nova previsão: \(\hat{y} = 1{,}54\) (antes: 3). A perda caiu de 2 para 0,15 em um único passo!
BACKPROPAGATION Repetindo: a descida na superfície de perda
Começando de um ponto ruim (\(w_1 = 0{,}05\), \(w_2 = 0{,}3\): a rede prevê \(\hat{y} \approx 0\)), com taxa 0,1. Cada ponto vermelho é uma rodada completa: ① para frente → ② para trás (regra da cadeia) → ③ ajuste. A rede desce até o vale, onde \(\hat{y} \approx 1\).
APRENDIZADO Treinando de verdade: a perda caindo
- Taxa pequena (0,05): aprende, mas devagar.
- Taxa adequada (0,5): desce rápido e estabiliza.
- Taxa grande (5): os passos “pulam” o mínimo e a perda oscila.
TREINAMENTO Otimizadores: descendo a montanha com mais esperteza
- SGD: passo simples na direção da inclinação. Momentum: como uma bola rolando, ganha velocidade nas direções consistentes.
- Adam: momentum + uma taxa de aprendizado própria para cada peso — o otimizador padrão hoje.
TREINAMENTO O problema do gradiente que desaparece
- A cada camada que o erro atravessa para trás, ele é multiplicado pela inclinação da ativação — na sigmoide, no máximo 0,25.
- Depois de 10 camadas: \(0{,}25^{10} \approx\) um milionésimo! As primeiras camadas quase não aprendem.
Solução: a ReLU tem inclinação 1 para valores positivos — o sinal atravessa as camadas sem encolher. Foi um dos segredos para treinar redes profundas.
OVERFITTING Muitos pesos, muito risco de decorar
- Mais neurônios → mais pesos → a rede consegue decorar o treino (erro de treino cai), mas generaliza pior (erro de teste não melhora ou piora).
- É o mesmo dilema viés × variância de todas as aulas anteriores.
OVERFITTING Regularização: weight decay
- Weight decay (regularização L2): penaliza pesos grandes. Pesos menores → rede mais “comportada” → fronteira mais suave.
- Mesma ideia da regressão ridge e do λ do XGBoost: um freio na complexidade.
OVERFITTING Dropout e early stopping
Dropout
A cada passo do treino, desliga aleatoriamente alguns neurônios. A rede não pode depender de nenhum neurônio específico — como um time que treina sem saber quem vai faltar.
Early stopping
Acompanhar o erro de validação a cada época e parar quando ele começa a subir.
Resumo
- Um neurônio faz uma soma ponderada das entradas e aplica uma função de ativação; sozinho, separa os dados com uma reta.
- Empilhando neurônios em camadas escondidas, a rede cria novas variáveis e resolve problemas não lineares, como o XOR.
- A função de ativação é essencial: sem ela, a rede inteira seria linear. ReLU nas escondidas; a saída depende do problema.
- A rede aprende medindo o erro (função de perda), distribuindo a culpa (backpropagation) e ajustando os pesos (gradiente descendente).
- Muitos pesos → risco de overfitting: use weight decay, dropout e early stopping.
Referências
- GOODFELLOW, I.; BENGIO, Y.; COURVILLE, A. Deep Learning. MIT Press, 2016.
- HASTIE, T.; TIBSHIRANI, R.; FRIEDMAN, J. The Elements of Statistical Learning. 2. ed. Springer, 2009.
- HAYKIN, S. Redes Neurais: princípios e prática. 2. ed. Porto Alegre: Bookman, 2001.
- JAMES, G.; WITTEN, D.; HASTIE, T.; TIBSHIRANI, R. An Introduction to Statistical Learning. 2. ed. Springer, 2021. (Capítulo 10)
- MCCULLOCH, W. S.; PITTS, W. A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics, 5(4), p. 115–133, 1943.
- MINSKY, M.; PAPERT, S. Perceptrons. MIT Press, 1969.
- ROSENBLATT, F. The perceptron: a probabilistic model for information storage and organization in the brain. Psychological Review, 65(6), p. 386–408, 1958.
- RUMELHART, D. E.; HINTON, G. E.; WILLIAMS, R. J. Learning representations by back-propagating errors. Nature, 323, p. 533–536, 1986.
