Análise Exploratória de Dados para Aprendizado de Máquina

TIPOS DE VARIÁVEIS Tipos de variáveis: qualitativas e quantitativas

• Qualitativa (esquerda): candidata a one-hot/ordinal encoding.
• Quantitativa (direita): candidata a normalização, padronização e transformação.

TIPOS DE VARIÁVEIS Tipos de variável e pré-processamento em modelos de ML

• Variáveis categóricas não têm ordem aritmética — somar ou tirar média de códigos numéricos atribuídos a categorias produz números sem significado.
• Algoritmos baseados em distância (k-NN, k-means, SVM) e em gradiente (redes neurais, regressão logística) só operam sobre números — toda variável categórica precisa virar número de forma explícita.
• Modelos baseados em árvores (decision trees, Random Forest, XGBoost) lidam melhor com variáveis categóricas e são mais tolerantes a escalas diferentes entre variáveis.
• A escolha de codificação afeta diretamente a dimensionalidade e a interpretabilidade do modelo final.

TIPOS DE VARIÁVEIS Cardinalidade de variáveis categóricas

• Cardinalidade é o número de categorias distintas de uma variável (ex.: “UF” tem 27; “CEP” pode ter milhares).
• Alta cardinalidade + one-hot encoding gera centenas ou milhares de colunas — aumenta dimensionalidade, esparsidade e risco de overfitting.
• Categorias raras (poucas observações) tornam algumas colunas one-hot quase sempre zero, pouco informativas para o modelo.

MEDIDAS DE POSIÇÃO Média, mediana e moda

• Média (x̄): soma dos valores dividida pelo total — sensível a cada observação, inclusive extremas.
• Mediana: valor central da distribuição ordenada — robusta a outliers e a caudas longas.
• Moda: valor mais frequente — única medida de posição aplicável a variáveis nominais.
• Quartis e percentis generalizam a mediana, dividindo a distribuição em partes iguais de probabilidade.

MEDIDAS DE POSIÇÃO Média e mediana em distribuições assimétricas

MEDIDAS DE POSIÇÃO Medidas de posição e imputação de dados ausentes

• Imputação pela média: apropriada quando a variável é aproximadamente simétrica e sem outliers relevantes.
• Imputação pela mediana: preferível em variáveis assimétricas ou com valores extremos — não distorce o restante da distribuição.
• Imputação pela moda: única opção sensata para variáveis categóricas com valores faltantes.
• Métodos mais avançados (KNN imputer, imputação por regressão, MICE) estimam o valor faltante a partir de outras variáveis correlacionadas.
• Criar uma coluna indicadora (“valor foi imputado?”) preserva a informação de que aquele dado era originalmente ausente.
• A escolha errada de imputação introduz viés sistemático antes mesmo do modelo ser treinado.

MEDIDAS DE DISPERSÃO Medidas de dispersão

• Amplitude: diferença entre máximo e mínimo — simples, mas extremamente sensível a outliers.
• Variância (s²) e desvio-padrão (s): medem o espalhamento em torno da média; o desvio-padrão devolve a escala original da variável.
• Intervalo interquartil (IQR = Q3 − Q1): dispersão robusta, baseada em quartis — não é afetado por outliers extremos.
• Coeficiente de variação (CV = s / x̄): dispersão relativa, útil para comparar variáveis em escalas diferentes.
• Essas medidas alimentam diretamente os métodos de escalonamento usados antes de treinar um modelo.

MEDIDAS DE DISPERSÃO Exemplo: mesma média, dispersões diferentes

Os dois grupos têm média aproximadamente igual, mas o Grupo B tem desvio-padrão maior. Essa diferença afeta diretamente algoritmos baseados em distância.

MEDIDAS DE DISPERSÃO Escala das variáveis em algoritmos baseados em distância

• Se “idade” varia de 0 a 100 e “renda” varia de 0 a 100.000, a distância euclidiana entre dois pontos é dominada quase inteiramente pela renda.
• Isso afeta k-NN, k-means, SVM com kernel e qualquer método baseado em distância ou produto interno.
• Redes neurais e métodos de gradiente também convergem mais devagar (ou de forma instável) quando as variáveis têm dispersões muito diferentes.
• Modelos baseados em árvores (Random Forest, XGBoost) são invariantes à escala — nesses casos, a padronização não é estritamente necessária.

MEDIDAS DE FORMA A distribuição normal como referência

• Muitos métodos estatísticos clássicos (testes t, regressão linear com inferência) assumem, explícita ou implicitamente, resíduos aproximadamente normais.
• Em ML, vários modelos não exigem normalidade das variáveis, mas se beneficiam de distribuições mais simétricas para uma convergência mais estável.
• Verificar a forma da distribuição (via assimetria, curtose ou gráfico) evita aplicar um método fora de suas condições de validade.

GRÁFICOS Gráficos para variáveis qualitativas e quantitativas

• Qualitativa → gráfico de barras (ordenado por frequência).
• Quantitativa → histograma, boxplot ou dispersão, conforme a pergunta.

GRÁFICOS Matriz de correlação e seleção de variáveis

GRÁFICOS Multicolinearidade e VIF

• Duas ou mais variáveis fortemente correlacionadas entre si tornam os coeficientes de um modelo linear instáveis e difíceis de interpretar.
• O VIF (Variance Inflation Factor) quantifica o quanto a variância de um coeficiente é inflada pela correlação com as demais features.
• Regra prática: VIF > 5 (ou 10, dependendo da área) sinaliza multicolinearidade relevante — considerar remover ou combinar variáveis redundantes.

CARACTERIZAÇÃO DE DADOS Tabela descritiva (“Tabela 1”)

Esse tipo de tabela, comum em artigos científicos, também serve como ficha técnica inicial de uma base usada para treinar um modelo.

CARACTERIZAÇÃO DE DADOS Caracterização da base como etapa inicial do pipeline de ML

• Antes de qualquer linha de código de modelagem, é preciso responder: quantas observações? Quantas variáveis? Quais tipos? Quantos valores faltantes?
• Essa etapa expõe inconsistências (categorias digitadas de formas diferentes, unidades trocadas) antes que elas se propaguem para o modelo.
• Uma base bem caracterizada é também um documento de comunicação: permite que outra pessoa entenda os dados sem precisar reexecutar toda a análise.

EXPLORAÇÃO DE DADOS Objetivos da análise exploratória de dados (EDA)

• Objetivo 1: entender a estrutura da base — dimensões, tipos, faixas de valores plausíveis.
• Objetivo 2: detectar problemas — valores ausentes, outliers, inconsistências — antes que virem erros silenciosos no modelo.
• Objetivo 3: gerar hipóteses sobre relações entre variáveis que orientarão a escolha de variáveis e do próprio modelo.
• Objetivo 4: evitar vazamento de dados (data leakage) — estatísticas de imputação, escalonamento e encoding devem ser calculadas apenas no conjunto de treino, nunca na base completa antes da divisão dos dados.

EXPLORAÇÃO DE DADOS Mecanismos de dados ausentes

• MCAR (Missing Completely At Random): a ausência não depende de nenhuma variável, observada ou não. Imputação simples costuma ser segura.
• MAR (Missing At Random): a ausência depende de outras variáveis observadas (ex.: renda ausente com mais frequência entre respondentes mais jovens). Imputação usando essas variáveis é mais adequada.
• MNAR (Missing Not At Random): a ausência depende do próprio valor não observado (ex.: quem tem renda muito alta tende a não informar). Nenhuma imputação corrige totalmente esse viés — é preciso investigar a causa.

EXPLORAÇÃO DE DADOS Valores ausentes e outliers

O padrão de valores ausentes e a presença de outliers influenciam a estratégia de imputação e podem afetar os coeficientes de modelos lineares. Uma regra prática comum para detectar outliers univariados é sinalizar valores além de 1,5×IQR acima de Q3 ou abaixo de Q1 — a mesma regra usada para desenhar os “bigodes” do boxplot.