• Correlação e regressão são métodos para estimar o relacionamento entre duas variáveis numéricas

• É uma medida da dependência entre duas variáveis
• A correlação, r, é um valor entre -1 e 1
• Quanto mais distante de 0, mais forte é a correlação
• A correlação pode ser positiva (> 0) ou negativa (< 0)
• Exemplo mais comum é a correlação linear
• Indica que a relação entre as variáveis é uma equação linear (1o grau):
• Ex.: para variáveis x e y, y = a*x + b (onde a e b são constantes)

• De acordo com seu valor, a correlação pode ser:
• -1.0 a -0.5 ou 1.0 a 0.5: Forte
• -0.5 a -0.3 ou 0.3 a 0.5: Moderada
• -0.3 a -0.1 ou 0.1 a 0.3: Fraca
• -0.1 a 0.1: Muito fraca ou nenhuma
• Essa classificação é subjetiva. Você pode encontrar outros valores em outros lugares.

# Data set mtcars:
#   mpg = milhas por galão (consumo)
#   hp = horsepower
plot(mtcars$hp, mtcars$mpg) 

cor.test(mtcars$hp, mtcars$mpg)  ## teste de significância

## 
##  Pearson's product-moment correlation
## 
## data:  mtcars$hp and mtcars$mpg
## t = -6.7424, df = 30, p-value = 1.788e-07
## alternative hypothesis: true correlation is not equal to 0
## 95 percent confidence interval:
##  -0.8852686 -0.5860994
## sample estimates:
##        cor 
## -0.7761684

# uma correlação pode ser alta e
# não ser estatisticamente significativa!

• Correlação linear de Pearson (paramétrico). Pressupostos: normalidade, ausência de outliers, linearidade e homocedasticidade.
• Correlação de Spearman (não-paramétrico). Mede se existe uma relação monotônica entre as variáveis (ex.: as duas crescem ou as duas diminuem).
• Correlação de Kendall (não-paramétrico). Como Spearman, porém mais adequado quando há valores iguais e amostras pequenas
• Cada método tem seus pressupostos

cor.test(mtcars$hp, mtcars$mpg, method="spearman") 

## Warning in cor.test.default(mtcars$hp, mtcars$mpg, method = "spearman"):
## Cannot compute exact p-value with ties

## 
##  Spearman's rank correlation rho
## 
## data:  mtcars$hp and mtcars$mpg
## S = 10337, p-value = 5.086e-12
## alternative hypothesis: true rho is not equal to 0
## sample estimates:
##        rho 
## -0.8946646

• A regressão linear, além de medir a força da dependência entre duas variáveis (como a correlação), também estima os parâmetros a e b da reta que relaciona as variáveis
• É uma técnica para modelagem estatística
• Regressão linear: estimar a e b na equação linear y = ax + b de forma a obter a reta que se ajusta melhor nos dados

modelo <- lm(mpg ~ hp, data=mtcars)
plot(mtcars$hp, mtcars$mpg)
abline(modelo, col="red")

• O valor de b é chamado de Intercept.

print(modelo)

## 
## Call:
## lm(formula = mpg ~ hp, data = mtcars)
## 
## Coefficients:
## (Intercept)           hp  
##    30.09886     -0.06823

• O coeficiente de determinação, R², mede a força da relação linear entre as variáveis
• Varia de 0 (mais fraco) até 1 (mais forte)
• R² é o quadrado da correlação de Pearson entre as variáveis

Detalhes do modelo de regressão podem ser obtidos com summary(modelo)

## 
## Call:
## lm(formula = mpg ~ hp, data = mtcars)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -5.7121 -2.1122 -0.8854  1.5819  8.2360 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept) 30.09886    1.63392  18.421  < 2e-16 ***
## hp          -0.06823    0.01012  -6.742 1.79e-07 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 3.863 on 30 degrees of freedom
## Multiple R-squared:  0.6024, Adjusted R-squared:  0.5892 
## F-statistic: 45.46 on 1 and 30 DF,  p-value: 1.788e-07

Na regressão múltipla, consideram-se 2 ou mais variáveis independentes.

modelo <- lm(formula = mpg ~ hp + wt + cyl, data = mtcars)
print(modelo)

## 
## Call:
## lm(formula = mpg ~ hp + wt + cyl, data = mtcars)
## 
## Coefficients:
## (Intercept)           hp           wt          cyl  
##    38.75179     -0.01804     -3.16697     -0.94162

## 
## Call:
## lm(formula = mpg ~ hp + wt + cyl, data = mtcars)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -3.9290 -1.5598 -0.5311  1.1850  5.8986 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept) 38.75179    1.78686  21.687  < 2e-16 ***
## hp          -0.01804    0.01188  -1.519 0.140015    
## wt          -3.16697    0.74058  -4.276 0.000199 ***
## cyl         -0.94162    0.55092  -1.709 0.098480 .  
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 2.512 on 28 degrees of freedom
## Multiple R-squared:  0.8431, Adjusted R-squared:  0.8263 
## F-statistic: 50.17 on 3 and 28 DF,  p-value: 2.184e-11

• Tipo de regressão em que a variável de saída (dependente) é binária (0 ou 1)

• A regressão modela os dados através de uma curva sigmoidal
• Sendo:
• x a variável independente (numérica)
• y a variável dependente (binária: 0 ou 1)
• Então o valor previsto pelo modelo de y para um determinado x é
• 0, se f(x) < 0.5
• 1, se f(x) >= 0.5

• Vamos tentar prever o tipo de motor de um carro a partir da sua potência
• 0 = motor em V; 1 = motor reto

library(MLmetrics, warn.conflicts = FALSE)

# vs: tipo de motor (0 = motor em V, 1 = motor reto)
# hp: potência do motor, em cavalos
# Cria modelo de regressão logística
logreg <- glm(formula = vs ~ hp,
              family = binomial(link = "logit"), data = mtcars)

# Usa o modelo para prever o tipo de motor
dados <- mtcars %>% 
  select(hp, vs) %>%
  mutate(vsPrevisto = ifelse(logreg$fitted.values < 0.5, 0, 1))

• O modelo de regressão logística prevê o valor da variável de saída (0 ou 1)
• O valor pode estar certo ou errado
• Podemos montar uma tabela de contingência com a combinação resultado real, resultado previsto

xtabs(~ vsPrevisto + vs, data=dados)

##           vs
## vsPrevisto  0  1
##          0 15  2
##          1  3 12

• Acurácia: acertos / total de registros
• = (TP + TN) / (TP + TN + FP + FN)
• = proporção de elementos na diagonal principal da tabela de contingência

• Ponderação entre precisão e recall
• F = 2 * precisão * recall / (precisão + recall)

Accuracy(y_pred = dados$vsPrevisto, y_true = dados$vs)

## [1] 0.84375

Precision(y_pred = dados$vsPrevisto, y_true = dados$vs)

## [1] 0.8823529

Recall(y_pred = dados$vsPrevisto, y_true = dados$vs)

## [1] 0.8333333

F1_Score(y_pred = dados$vsPrevisto, y_true = dados$vs)

## [1] 0.8571429