Investigação dos dados ausentes

Investigando os valores NAs nos campos presentes, percebe-se nenhum valor ausente para os campos selling_price, year, owner e km_driven. Mas encontra-se quantidade considerável de valores faltantes para o campo ex_showroom_price.

ex_showroom_price
    Informado Não informado 
          626           435 

Figura 1 - Representação visual da frequência dos dados preço de showroom por tipo de informação.

Tratamento dos dados ausentes

Rubin [1] classificou os problemas de dados perdidos em três categorias. Em sua teoria, cada ponto de dados tem alguma probabilidade de estar faltando. O processo que governa essas probabilidades é chamado de mecanismo de dados ausentes ou mecanismo de resposta. O modelo para o processo é chamado de modelo de dados ausentes ou modelo de resposta. É usual definir três tipos de classificações para os dados não informados. Classifica-os em Dados ausentes com distribuição completamente aleatória, Dados ausentes aleatoriamente distribuídos e Dados ausentes não aleatoriamente distribuídos.

No conjunto de dados de estudo, os dados ausentes não são aleatoriamente distribuídos. Vê-se que o ano da compra está diretamente relacionado a presença de dado ausente para a variável preço em showroom para a respectiva motocicleta.

Figura 2 - Proporção de dados ausentes na categoria showroom por ano.

Desta forma, é possível perceber graficamente que a exclusão dos dados faltantes resultará na exclusão dos dados com ano de compra inferior a 2001, e ainda valores dos anos 2002 e 2003. Há assim duas possibilidades: Remover os dados ausentes ou remover a coluna com grande quantidade de dados ausentes. Optamos por permanecer a coluna, pois o campo ex_showroom_price (em tradução livre: preço em showroom) é a variável com maior correlação com a variável resposta. Desta forma, excluí-la não é uma boa opção. Mais informações a respeito desta decisão serão vistas na seção de análise exploratória dados.

Analisando a variável Ano

Figura 06 - Densidade da variável ano.

Realizando seleção manual do modelo.

Parte-se de um modelo com todos as variáveis possíveis e as interações que fazem-se expressivas através das análises gráficas supracitadas. Desta forma, o modelo a seguir exemplifica este pensamento.

Tem-se, contudo, algumas variáveis sem significância estatística. Desta forma, removeremos uma-a-uma, como também as variáveis provenientes a partir delas.

Continua o processo de remoção de variáveis por teste de significância estatística, objetiva-se 5% de significância.

Como x3 não tem significância, considera-se alteração do campo tipo de proprietário. Parece que a manutenção de múltiplas categorias para o campo tipo de proprietário parece não estar correta. Isto é, a quantidade múltipla de categorias afeta a significância estatística dos testes. Repare que a simples remoção de x3 torna a variável em binária.

Desta forma, obtemos o seguinte modelo. As estatísticas de testes para cada variável explicativa tem significância estatística, bem como o modelo em geral.

Método de seleção Stepwise

Em estatística, a regressão stepwise é um método de ajuste de modelos de regressão em que a escolha das variáveis preditivas é realizada por um procedimento automático. Em cada etapa, uma variável é considerada para adição ou subtração do conjunto de variáveis explicativas com base em algum critério pré-especificado. Normalmente, isso assume a forma de uma sequência direta, inversa ou combinada de testes F ou testes t. No modelo abaixo, utiliza-se a medida AIC para determinar qual modelo será escolhido. O AIC estima a quantidade relativa de informação perdida por um determinado modelo: quanto menos informações um modelo perde, maior a qualidade desse modelo e menor a pontuação AIC.

Há uma indicação que a variável ano de forma categórica poderá ser uma boa transformação para a modelagem estatística. Desta forma, transformaremos a variável ano para o tipo categórica e utilizaremos o modelo stepwise para ajuste do modelo.

Comparação entre os modelos

Analysis of Variance Table

Model 1: y ~ x1 + x2 + x5 + x2 * x5
Model 2: y ~ x5 + x1 + x3 + x4 + x5:x1 + x5:x3 + x1:x4
Model 3: y ~ x5 + x1_new + x2 + x4 + x5:x2 + x2:x4
  Res.Df        RSS Df   Sum of Sq      F    Pr(>F)    
1    621 1.8497e+11                                    
2    618 1.1281e+11  3  7.2164e+10 131.78 < 2.2e-16 ***
3    619 2.5294e+11 -1 -1.4012e+11 767.63 < 2.2e-16 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

         R2      R2aj        QM      AIC           pr
1 0.9175263 0.9169951 297865636 13998.10 220629337246
2 0.9497017 0.9491320 182541475 13694.54 144479611273
3 0.8872249 0.8861318 408619747 14197.98 295051827902

É notório que a utilização da variável ano como categórica prejudica o ajuste do modelo. Por esse motivo, a variável ano será mantida em sua condição inicial, de forma a ter o melhor modelo ajustado, desde a explicação da variação da variável resposta a qualidade preditora. Repare que como nosso objetivo é a predição do modelo, a métrica Quadrado Médio dos resíduos e PRESS terão maior peso na decisão final. O modelo ajustado manualmente teve performance melhor ao stepwise com variável ano transformada, contudo, o modelo stepwise com os nenhuma transformação em variáveis, tem o melhor desempenho e, portanto, há de ser o modelo ajustado para continuidade da modelagem estatística.

Homoscedasticidade

Com a regressão, assume-se que cada ponto de dados contribui com uma explicação igual para a variabilidade que estamos tentando modelar. Se alguns pontos de dados contribuíram com mais explicações do que outros, nossa linha de regressão será puxada para os pontos com mais informações. homoscedasticidade é o termo para designar variância constante de erros/resíduos para observações distintas.

Figura 12.1 - Modelo de resíduos por valores ajustados.

Figura 12.2 - Modelo de resíduos por valores ajustados. (Escala limitada)

    Breusch-Pagan test

data:  formula(ajuste)
BP = 753.2, df = 7, p-value < 2.2e-16

Percebendo os gráficos de pontos entre valores ajustados e resíduos, percebe-se que a suposição de homoscedasticidade não é perfeitamente aceitável. Há ainda o teste Breusch-Pagan que nos mostra a necessidade de rejeição da hipótese nula, em outras palavras. Assume-se heterocedasticidade. Serão realizadas a remoção de pontos influentes para tentativa de garantia desta suposição.

Normalidade

Figura 13 - Distribuição dos resíduos.

Figura 14 - QQlot para ajuste a normalidade

    Shapiro-Wilk normality test

data:  res_t
W = 0.87146, p-value < 2.2e-16

    One-sample Kolmogorov-Smirnov test

data:  res_t
D = 0.083951, p-value = 0.0002944
alternative hypothesis: two-sided

    Lilliefors (Kolmogorov-Smirnov) normality test

data:  res_t
D = 0.093379, p-value = 3.561e-14

Apesar do gráfico de distribuição dos resíduos e o gráfico qqplot, que compara os quantis observados e os quantis teóricos de uma normal padrão, aparentar boa proximidade da suposição de normalidade dos resíduos, os testes estatísticos referentes a suposição de normalidade, mostram não ser correto assumir normalidade dos erros. Para alcançar a suposição de normalidade, será realizado a transformação na variável reposta a partir da transformação de box cox.

Transformação de box-cox

Figura 14 - Gráfico de Box-Cox

[1] 0.755

O gráfico de box-cox e a transformação indicada serão implementadas a fim da correção para a suposição de normalidade.

Call:
lm(formula = y^0.75 ~ x5 + x1 + x4 + x2 + x5:x2 + x1:x4 + x5:x1 + 
    x4:x2)

Residuals:
     Min       1Q   Median       3Q      Max 
-3059.53  -365.47   -35.66   295.14  2823.11 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -2.241e+05  3.107e+04  -7.213 1.61e-12 ***
x5          -3.306e+00  2.711e-01 -12.196  < 2e-16 ***
x1           1.122e+02  1.543e+01   7.269 1.10e-12 ***
x4           1.505e+00  4.188e-01   3.592 0.000354 ***
x2          -6.679e+02  1.925e+02  -3.470 0.000556 ***
x5:x2        5.825e-03  7.480e-04   7.788 2.89e-14 ***
x1:x4       -7.540e-04  2.080e-04  -3.625 0.000313 ***
x5:x1        1.652e-03  1.346e-04  12.271  < 2e-16 ***
x4:x2        1.140e-02  4.915e-03   2.319 0.020711 *  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 608.4 on 617 degrees of freedom
Multiple R-squared:  0.9306,    Adjusted R-squared:  0.9297 
F-statistic:  1034 on 8 and 617 DF,  p-value: < 2.2e-16

Repare que o modelo ajustado ganha significância estatística em todas as suas variáveis, sendo isso bom indicativo. Nas seções abaixo, iremos investigar o impacto desta transformação nas suposição anteriormente percebidas como violadas.

Checando suposições de normalidade no modelo ajustado

    Shapiro-Wilk normality test

data:  rstudent(ajuste_t)
W = 0.95306, p-value = 3.178e-13

    One-sample Kolmogorov-Smirnov test

data:  rstudent(ajuste_t)
D = 0.065889, p-value = 0.008719
alternative hypothesis: two-sided

    Lilliefors (Kolmogorov-Smirnov) normality test

data:  rstudent(ajuste_t)
D = 0.068578, p-value = 2.164e-07

Percebe-se aumento do p-valor no teste de Kolmogorov-Smirnov, contudo, não há significância estatística para a aceitação da hipótese de normalidade.

Potentially influential observations of
     lm(formula = y^0.75 ~ x5 + x1 + x4 + x2 + x5:x2 + x1:x4 + x5:x1 +      x4:x2) :

    dfb.1_  dfb.x5  dfb.x1  dfb.x4 dfb.x2 dfb.x5:2 dfb.x1:4 dfb.x5:1 dfb.x4:2
7    0.05   -0.05   -0.06   -0.02   0.30  -0.10     0.02     0.05    -0.24   
9    0.15   -0.24   -0.15    0.01  -0.01   0.09    -0.01     0.24    -0.01   
11   0.00    0.02    0.00    0.01   0.03   0.00    -0.01    -0.02    -0.06   
21   0.00    0.00    0.00    0.01  -0.02   0.00    -0.01     0.00     0.04   
57  -0.02    0.00    0.02   -0.04  -0.03   0.01     0.04     0.00     0.03   
    dffit   cov.r   cook.d  hat    
7   -0.32    1.03    0.01    0.05_*
9    0.41_*  1.06_*  0.02    0.07_*
11   0.09    1.05_*  0.00    0.03  
21  -0.05    1.06_*  0.00    0.04  
57   0.31    1.24_*  0.01    0.19_*
 [ reached getOption("max.print") -- omitted 48 rows ]

    Breusch-Pagan test

data:  formula(ajuste)
BP = 753.2, df = 7, p-value < 2.2e-16

Normalidade

Figura 15 - Distribuição dos resíduos.

Figura 16 - QQlot para ajuste a normalidade

    Shapiro-Wilk normality test

data:  res_t
W = 0.95306, p-value = 3.178e-13

    One-sample Kolmogorov-Smirnov test

data:  res_t
D = 0.065889, p-value = 0.008719
alternative hypothesis: two-sided

    Lilliefors (Kolmogorov-Smirnov) normality test

data:  res_t
D = 0.068578, p-value = 2.164e-07

Conforme os gráficos anteriores, a suposição de normalidade não é viável quando reparado os valores extremos dos resíduos. Parece ter bom ajuste entre os quantis teóricos da normal e a distribuição dos erros para valores próximos a área central da curva gaussiana. Contudo, estendendo-se as periferias, não se vê o mesmo. Os testes estatísticos corroboram com esta percepção. Ao nível de significância estatística de 5%, não é possível garantir normalidade dos erros. Segundo Knief [2], a violação de normalidade pode ser um dos menores problemas. Há ainda, outras corroborações para a não existência de normalidade dos modelos em de predição de preço. Na literatura acadêmica existe a defesa de não transformação para ajuste a normalidade em valores muito grandes [3], pois tais transformações são muitas vezes desnecessárias e, pior, podem enviesar as estimativas do modelo.

homoscedasticidade

Figura 17 - Modelo de resíduos por valores ajustados. (Escala limitada)

    Breusch-Pagan test

data:  formula(reg)
BP = 277.53, df = 8, p-value < 2.2e-16

É perceptível a violação da homoscedasticidade, isto é, existem pontos influenciados mais na variância dos ajustes que outros. Ainda que a remoção de pontos influentes possa ser eficaz na resolução ou amenização deste problema, não foi o caso quando aplicado no modelo ajustado. Houve ainda detrimento das métricas de predição, perda de informação e explicação da variação dos dados. Desta maneira, opta-se pela manutenção do modelo com os pontos de influência.