Capítulo 2 - O Modelo de Regressão Linear Múltiplo
Considere a seguinte situação: temos uma variável de interesse, \(Y\), cujo valor é difícil ou impossível de ser observado diretamente, mas acreditamos que essa variável esteja relacionada com outras variáveis para as quais temos fácil acesso: \(X_1\), \(X_2\), \(\ldots\), \(X_k\). Queremos prever o valor de \(Y\) ou, mais precisamente, o valor esperado para \(Y\), a partir da observação dos valores de \(X_1\), \(X_2\), \(\ldots\), \(X_k\). Este é o cenário clássico de um problema de regressão.
2.1 A Formulação do Modelo
O Modelo de Regressão Linear Múltiplo é o modelo que assume que existe uma relação linear entre o valor esperado de \(Y\) e os valores das variáveis observadas \(X_1\), \(X_2\), \(\ldots\), \(X_{k}\). Isto é:
\[E(Y|\mathbf{X}=\mathbf{x}) = \beta_0 + \beta_1 x_1 + \ldots + \beta_k x_k ,\]
em que \(Y\) representa a variável de interesse, \(\mathbf{X} = (X_1,X_2,\ldots,X_k)^T\) as variáveis explicativas, e observadas, e \(\beta_j\), \(j = 1, \ldots, k\) os parâmetros do modelo.
Na prática, considere \(n\) observações das variáveis \(Y\), \(X_1\), \(X_2\), \(\ldots\), \(X_k\). O valor esperado da variável resposta correspondente à \(i\)-ésima observação pode ser expresso como como uma transformação linear dos valores das \(i\)-ésimas observações das variáveis \(X_1\), \(\ldots\), \(X_k\).
\[E(Y_i) = \beta_0 + \beta_1 x_{i,1} + \ldots + \beta_k x_{i,k}\]
Importante. O modelo de regressão linear não tem como objetivo estimar exatamente o valor observado \(Y_i\), mas sim o valor esperado de \(Y_i\) condicionado às variáveis explicativas. As diferenças entre os valores observados e os valores previstos serão modeladas por meio dos erros (ou resíduos), que serão introduzidos na próxima seção.
A Figura 1 mostra um exemplo simples, no qual \(Y\) será explicado por uma única variável independente \(X_1\). Os pontos estão dispersos em torno de uma reta, e é possível ver que quanto maior o valor de \(X_1\) maior é o valor de \(Y\). Este é um exemplo onde a hipótese de linearidade entre \(E(Y)\) e \(X_1\) é válida.
O objetivo consiste em estimar os parâmetros do modelo, isto é, obter estimativas para os coeficientes \(\beta_0\), \(\beta_1\), \(\ldots\), \(\beta_k\), permitindo estimar o valor de \(Y_i\) a partir das observações de \(\mathbf{X}_i\).
A estimação dos parâmetros será feita a partir de observações tanto para a variável resposta \(Y\) como para as variáveis explicativas \(X_j\). A estimação baseia-se na seguinte ideia: a partir de uma base de dados com \(n\) observações de \(Y\) e de \(X_j\), \(j = 1 \ldots, k\), e, a partir dessas observações, desejamos estimar os parâmetros assumindo a hipótese de linearidade.
\[\hat{Y} \mid \mathbf{X} = \hat{\beta}_0 + \hat{\beta}_1 x_1 + \ldots + \hat{\beta}_k x_k \quad \text{ ou } \quad \hat{y}_i = \hat{\beta}_0 + \hat{\beta}_1 x_{i,1} + \ldots + \hat{\beta}_k x_{i,k}\]
A equação acima fornece uma estimativa do valor esperado da variável resposta para a observação \(i\), \(\hat{y}_i\), em termos dos valores observados para as variáveis \(X_j\), \(j=1, \ldots, k\). Observe que \(\hat{y}_i\) representa uma estimativa do valor esperado de \(Y_i\) e não necessariamente o valor observado da variável resposta.
Supondo conhecidos ou estimados os valores de \(\beta\), é possível calcular valores para \(\hat{y}_i\) e a Figura 2 apresenta novamente o caso simplificado de uma única variável independente com o acréscimo da reta de regressão, que definem os valores previstos para \(Y\) para cada valor observado de \(X_1\).
2.2 Medidas de Erro
Atribuídos valores aos parâmetros \(\beta\), o erro na estimativa da observação \(i\) é dados pela diferença entre o valor observado e o valor estimado pelo modelo:
\[\varepsilon_i = y_i - \hat{y_i} = y_i - ({\beta}_0 + {\beta}_1 x_{i,1} + \ldots + {\beta}_k x_{i,k})\]
Veja que o erro então é função dos valores de \(\beta\). Se mudarmos o valores de \(\beta\), mudamos os valores dos erros.
A Figura 3 acrescenta ao gráfico do exemplo de uma regressão linear simples alguns erros calculados a partir da diferença entre os valores observados e estimados pelo modelo.
O vetor de erros \(\boldsymbol{\varepsilon}\) pode ser escrito também na forma matricial:
\[\boldsymbol{\varepsilon} = \mathbf{y} - X \boldsymbol{\beta}\]
sendo \(\boldsymbol{\varepsilon}\), \(\boldsymbol{\beta}\) e \(y\) vetores e \(X\) uma matriz como definidos a seguir.
\[\pmatrix{ \varepsilon_1\\ \varepsilon_2\\ \varepsilon_3\\ \vdots\\ \varepsilon_n }_{n \times 1} = \pmatrix{ y_1\\ y_2\\ y_3\\ \vdots\\ y_n }_{n \times 1} - \pmatrix{ 1 & x_{1,1} & x_{1,2} & \ldots & x_{1,k}\\ 1 & x_{2,1} & x_{2,2} & \ldots & x_{2,k}\\ 1 & x_{3,1} & x_{3,2} & \ldots & x_{3,k}\\ \vdots & \vdots & \vdots & \ddots & \vdots\\ 1 & x_{n,1} & x_{n,2} & \ldots & x_{n,k}}_{n \times k} \pmatrix{ \beta_0\\ \beta_1\\ \beta_2\\ \vdots\\ \beta_k }_{k \times 1}\]
2.3 Função de Custo
A partir da definição dos erros podemos criar uma função de custo, que penaliza valores de \(\beta\) que resultam em maiores erros na previsão. A função de custo para um problema de regressão é geralmente definida pela soma dos erros ao quadrado.
\[J(\beta) = \sum_{i=1}^n \varepsilon_i^2 = \sum_{i=1}^n (y_i - \hat{y}_i)^2 = \sum_{i=1}^n (y_i - (\beta_0 + \beta_1 x_{i,1} + \ldots + \beta_k x_{i,k}))^2 \]
A função de custo \(J\) pode também ser escrita na forma matricialmente:
\[\begin{array}{lcl} J(\boldsymbol{\beta}) &=& \boldsymbol{\varepsilon}^T\boldsymbol{\varepsilon} \\ & =& (\mathbf{y} - X\boldsymbol{\beta})^T(\mathbf{y} - X\boldsymbol{\beta})\\ & =& (\mathbf{y}^T - \boldsymbol{\beta}^TX^T)(\mathbf{y} - X\boldsymbol{\beta})\\ & =& \mathbf{y}^T\mathbf{y}^T - \mathbf{y}^TX\boldsymbol{\beta} - \boldsymbol{\beta}^TX^T\mathbf{y} + \boldsymbol{\beta}^TX^TX\boldsymbol{\beta}\\ & =& \mathbf{y}^T\mathbf{y}^T - \boldsymbol{\beta}^TX^T\mathbf{y} - \boldsymbol{\beta}^TX^T\mathbf{y} + \boldsymbol{\beta}^TX^TX\boldsymbol{\beta}\\ & =& \mathbf{y}^T\mathbf{y}^T - 2 \boldsymbol{\beta}^TX^T\mathbf{y} + \boldsymbol{\beta}^TX^TX\boldsymbol{\beta}\\ \end{array}\]
2.4 Mínimos Quadrados
O estimador para \(\boldsymbol{\beta}\) por mínimos quadrados é aquele que minimiza a soma dos quadrados dos erros. Ou seja, aquele que minimiza a função de custo \(J\).
\[\boldsymbol{\hat\beta} = \arg\min J(\boldsymbol{\beta})\]
Para encontrar o ponto de mínimo da função \(J\) podemos usar métodos numéricos, como o gradiente descendente. Mas, diferentemente da maioria dos modelos de aprendizado de máquina, a regressão linear admite uma solução analítica para o problema de minimização.
Para buscar o ponto de mínimo da função \(J\) vamos buscar o ponto onde o seu gradiente é nulo e depois verificar que este de fato é um ponto de mínimo. Para isso precisamos derivar \(J\) em relação a todas as suas variáveis, no caso, em relação a \(\boldsymbol{\beta}\).
\[\nabla J (\boldsymbol{\beta}) = \dfrac{\partial{J}}{\partial \boldsymbol{\beta}} (\boldsymbol{\beta}) = \dfrac{\partial}{\partial \boldsymbol{\beta}} \left( \mathbf{y}^T\mathbf{y}^T - 2 \boldsymbol{\beta}^TX^T\mathbf{y} + \boldsymbol{\beta}^TX^TX\boldsymbol{\beta} \right) = - 2 X^T\mathbf{y} + 2 X^TX\boldsymbol{\beta}\] O ponto que anula o gradiente de \(J\) é aquele que satisfaz
\[- 2 X^T\mathbf{y} + 2 X^TX\boldsymbol{\beta} = \mathbf{0}\]
Veja que a equação acima descreve um sistema linear de \(k\) equações e \(k\) variáveis. A sua solução depende da existência da inversa da matriz \(X^TX\) e é dada por:
\[ 2 X^TX\boldsymbol{\beta} = 2 X^T\mathbf{y} \Rightarrow \hat{\boldsymbol{\beta}} = (X^TX)^{-1}X^T\mathbf{y}\]
A verificação de que esse ponto é um ponto de mínimo, e não de máximo ou de sela, pode ser feita verificando-se que a matriz Hessiana da função \(J\), avaliada em \(\hat{\boldsymbol{\beta}}\), é positiva definida. No entanto, quando a função \(J\) é dada pela soma dos quadrados dos erros, essa conclusão pode ser obtida de forma mais simples, pois \(J\) é uma função convexa. Como toda função convexa não possui máximos locais nem pontos de sela no interior de seu domínio, qualquer ponto crítico de \(J\) é necessariamente um ponto de mínimo.
2.5 O Modelo Estatístico
Na prática tanto os estatísticos quando os cientistas de dados trabalham com modelos de regressão linear. A diferença entre a abordagem deles e que, o modelo estatístico supõe que a variável resposta assume distribuição normal. Neste caso, podemos também escrever:
\[Y_i = \beta_0 + \beta_1 x_{i,1} + \ldots + \beta_k x_{i,k} + \epsilon_i, \quad \epsilon_i \sim N(0,\sigma^2)\]
Veja que agora acrescentamos mais uma suposição do modelo: além de supor que a média de \(Y\) se relaciona de forma linear com as variáveis explicativas, assumimos também que \(Y\) segue uma distribuição normal. Caso esta seja uma suposição razoável, apersar de maior restrição do modelo, ganhamos inferências sobre os parâmetros. Como por exemplo, é possível derivar intervalos de confiança para os parâmetros \(\beta_j\), cujo resultado é apresentado a seguir.
\[IC({\beta_j})_{100(1-\alpha)\%} = \left[ \hat{\beta}_j - t_{1 - \frac{\alpha}{2}, n - k - 1} \sqrt{MSE \ C_{j+1,j+1}} \ \ , \ \ \hat{\beta}_j + t_{1 - \frac{\alpha}{2}, n - k - 1} \sqrt{MSE \ C_{j+1,j+1}} \right]\] sendo \(C\) é a matriz \((X^TX)^{-1}\) e \(C_{k+1,k+1}\) o valor na sua posição \((k+1,k+1)\). A demonstração deste resultado pode ser encontrada em Kutner et al. (2005) ou Montgomery et al. (2012).
Veja que uma vez tendo um intervalo de confiança bilateral para \(\beta_j\) podemos também criar regras de decisão para testar as hipóteses:
\[H_0: \beta_j = 0 \quad \text{ versus } \quad H_1: \beta_j \neq 0.\] A regra de decisão: “Rejeita \(H_0\) se \(0 < \hat{\beta}_j - t_{1 - \frac{\alpha}{2}, n - k - 1} \sqrt{MSE \ C_{j+1,j+1}}\) ou \(0 > \hat{\beta}_j + t_{1 - \frac{\alpha}{2}, n - k - 1} \sqrt{MSE \ C_{j+1,j+1}}\), isto é, rejeitamos \(H_0\) se o \(0\) pertence ao intervalo de confiança para \(\beta_j\)“ resulta em um teste com nível de confiança \(\alpha\).
A suposição de normalidade para a variável resposta nor permite também buscar pela estimativa de máxima verossimilhça para os parâmetros \(\beta\), que coincide com a solução por mínimos quadrados e por isso não será apresentada neste texto.
2.6 Avaliação do Modelo
Em muitas situações nos perguntamos: será que o modelo obtido é bom? Para responder essa pergunta faremos o uso de medidas de qualidade para a avaliação do mdoelo.
Soma dos Erros Quadráticos (SSE - Sum of Squared Errors)
A Soma dos Erros Quadráticos, que já foi definida anteriormente, muitas vezes também é chamada de SSE.
\[ SSE = \sum_{i=1}^n (y_i - \hat{y}_i)^2\] Quanto menor o valor do SSE, melhor será o desempenho do modelo de regressão.
Erro Quadrático Médio (MSE - Mean Squared Error)
O Erro Quadrático Médio é definido por
\[ MSE = \dfrac{1}{N} \sum_{i=1}^N (y_i - \hat{y}_i)^2\] E assim como o SSE, quanto menor o valor do MSE, melhor será o desempenho do modelo de regressão.
Raiz do Erro Quadrático Médio (RMSE - Root Mean Squared Error)
Como o nome já diz, é a raíz da medida anterior, o MSE. A sua vantagem é que quando estraímos a raíz a unidade da medida de erro passa a ser a mesma unidade da veriável resposta \(Y\), o que facilita a sua interpretação.
\[ RMSE = \sqrt{\dfrac{1}{N} \sum_{i=1}^N (y_i - \hat{y}_i)^2}\] Quanto menor o valor do RMSE, melhor será o desempenho do modelo de regressão.
Erro Absoluto Médio (MAE - Mean Absotule Error)
É mais uma medida de erro que considera agora a média dos erros em valores absolutos. ão.
\[ MAE = \dfrac{1}{N} \sum_{i=1}^N |y_i - \hat{y}_i|\] Quanto menor o valor do MAE, melhor será o desempenho do modelo de regressão.
Coeficiente de Determinação \(R^2\)
O Coeficiente de Determinação \(R^2\) é uma medida que compara o desempenho do modelo de regressão obtido com o desempenho de um modelo mais simples possível, aqueçe que prevê o valor de \(Y\) pela média dos valores observados para essa variável. Dessa forma ele nos dá um valor comparativo pela própria natureza da medida, vejamos.
Primeiro definimos a Soma Total dos Quadrado (SST - Total Sum of Squares), que é a soma dos quadrados dos erros do modelo trivial, dado pela média amostral da variável resposta.
\[ SST = \sum_{i=1}^n (y_i - \bar{y})^2 \] O Coeficiente de Determinação \(R^2\) é então definido por:
\[ R^2 = 1 - \dfrac{SSE}{SST}\] Veja algumas possíveis interpretações do \(R^2\):
Se \(R^2 = 0 \Rightarrow\) as previsões do modelo são tão boas (ou tão ruins) quanto as do modelo trivial.
Se \(R^2 > 0 \Rightarrow\) as previsões do modelo são melhores que as do modelo trivial.
Se \(R^2 < 0 \Rightarrow\) as previsões do modelo são piores que as do modelo trivial.
Quanto maior o valor do \(R^2\), melhor a qualidade das previsõs.
O valor de \(R^2\) é sempre menor que \(1\). Ou seja, quanto mais perto de 1 for o \(R^2\) melhor o modelo de regressão.
2.7 Seleção de Variáveis
Quando dois modelos apresentam capacidade preditiva semelhante, deve-se preferir aquele que utiliza o menor número de variáveis ou possui menor complexidade (princípio da parcimônia). Por isso, uma das etapas importante do modelo de regressão liner é a seleção das variáveis.
O aumento desnecessário da complexidade de um modelo, isto é, o aumentono número de parâmetros sem a melhora significativa da capacidade preditiva, pode trazer problemas como o sobreajuste (overfitting) e a multicolinearidade.
Sobreajuste
O sobreajuste ocorre quando um mdoelo se ajusta aos dados de treinamento sem que tenha entendido a relação entre as variáveis, somente pelo ecesso de parâmetros. Com isso as medidas de qualidade na base de treino são boas, mas quando analisamos a sua capacidade preditiva em novos dados, o seu desempenho é bem pior.
Multicolinearidade
A multicolinearidade ocorre quando duas ou mais variáveis explicativas são muito correlacionadas. A forte correlação entre elas já é uma justificativa para ficar com uma e não todas. Além disso, de forma práticas, manter variáveis muito correlacionadas na base faz com que a matriz \(X^TX\) tenha algum autovalor próximo de zero. Isso gera alguns problemas na estimativa, como por exemplo, um auto valor perto de zero faz com que \(\det(X^TX)\) seja muito pequeno e, logo, a sua inversa com v alores instáveis uma vez que a inversa é produto de \(\dfrac{1}{\det(X^TX)}\) valores grandes. Isso traz valores grandes (e instáveis) não só para a estimativa dos \(\beta\) como também aumenta a amplitude dos seus intervalos de confiança.
Métodos de Seleção
A seguir serão apresentados métodos de seleções de variáveis. Mas, antes mesmo de aplicar os métodos, é possível fazer uma seleção prévia entre as variáveis quantitativas de forma a eliminar o problema de multicolinearidade. Para isso, construa a matriz de correlação entre as variáveis explicativas quantitativas e verifique se existe alguma correlação com valor absoluto maior que 0,7. Caso exista, elimine alguma das variáveis com alta correlação com outras e repita o processo até que a matriz de correlação não apresente valores absolutos maiores que 0,7.
Critério de inclusão ou exclusão de variáveis
Os critérios AIC (Akaike Information Criterion) e BIC (Bayesian Information Criterion) são medidas utilizadas para comparar modelos, equilibrando qualidade do ajuste e complexidade. Ambos penalizam modelos que utilizam muitos parâmetros, seguindo o princípio da parcimônia.
\[AIC = -2\log(L) + 2p \quad \text{ e } \quad BIC = -2\log(L) + \log(n)p\]
sendo \(L\) a função de verossimilhança do modelo; \(p = k+1\) o número de parâmetros estimados (incluindo o intercepto) e \(n\) é o número de observações.
Quanto menor os valores de AIC e/ou BIC, melhor é o modelo de acordo com o critério.
Forward Selection
O método Forward Selection começa com um modelo sem variável alguma. Na primeira etapa são comparados os desempenhos (AIC ou BIC) de todos os modelo simples (aqueles com uma variável) e seleciona-se o com melhor desepenho. Na segunda etapa, o modelo existente é acrescido com uma nova variável e a variável selecionada para entrar é aquela que proporciona melhor melhoria. Em cada etapa, avalia-se qual das variáveis ainda não selecionadas proporciona a maior melhoria no modelo. Essa variável é então adicionada ao modelo. O processo termina quando não há melhoria com o acréscimo de uma variável.
Backward Elimination
O método Backward Elimination começa com o modelo completo, isto é, com todas as variáveis disponíveis. Na primeira etapa são comparados os desempenhos (AIC ou BIC) de todos os modelo gerados a partir do modelo completo com a eliminação de uma variável e seleciona-se aquele o com melhor desepenho. Na segunda etapa, são comparados os modelos gerados a partir do modelo final da etapa anterior com a eliminação de uma nova variável. A variável selecionada para sair é aquela que proporciona melhor melhoria. Em cada etapa, identifica-se a variável menos relevante e ela é removida. O processo continua até que a retirada de uma nova variável não melhora o critério escolhido para comparação.
Stepwise Selection
O Stepwise Selection combina as duas estratégias anteriores.
O procedimento normalmente começa como o Forward Selection, adicionando variáveis uma a uma. Entretanto, após cada inclusão, verifica-se se alguma das variáveis já presentes deixou de ser importante. Se isso ocorrer, essa variável é removida.
2.8 Regularização
A regularização, adota em vários problemas de regressão, não só na regressão linear, são técnicas que buscam diminuir a complexidade do modelo de forma a evitar sobreajuste. Isso pode ser feito de várias maneira, e para os modelos de regressão linear, a ideia principal é penalizar coeficientes grandes no momento de estimativa dos parâmetros.
Ridge
Este é um método de regularização que substituí a função de custo \(J\), antes definida pelo soma dos quadrados dos erros, para
\[J(\beta) = \sum_{i=1}^n (y_i - \hat{y}_i)^2 + \lambda \sum_{j=1}^k \beta_j^2\]
sendo \(\lambda > 0\) um parâmetro de regularização que controla o grau de penalização aplicado aos coeficientes: quanto maior o valor de \(\lambda\), maior será essa penalização. Como consequência, os coeficientes são reduzidos em direção a zero (e também uns em direção aos outros) (Hastie 2009).
As soluções obtidas pelo método Ridge não são invariantes à escala das variáveis explicativas. Por esse motivo, é prática comum padronizar as variáveis de entrada antes de resolver o problema de otimização. Além disso, observe que o intercepto \(\beta_0\) foi excluído do termo de penalização.
Lasso
O LASSO é um método de regularização, assim como o Ridge, mas apresenta diferenças sutis e, ao mesmo tempo, importantes. A estimativa dos coeficientes pelo método LASSO é definida por
\[J(\beta) = \sum_{i=1}^n (y_i - \hat{y}_i)^2 + \lambda \sum_{j=1}^k |\beta_j|\]
O termo de penalização do Ridge, dado pela soma dos \(\beta\) ao quadrado, reduz a magnitude de todos os coeficientes, aproximando-os de zero, mas não faz com que eles sejam exatamente iguais a zero (exceto no caso extremo em que \(\lambda \to \infty\)) (Huang 2014). Embora isso não represente, em geral, um problema para a capacidade preditiva do modelo, pode dificultar sua interpretação, especialmente quando o número de variáveis explicativas é elevado.
Aí entra a grande vantagem: o LASSO realiza simultaneamente regularização e seleção automática de variáveis. A penalização do LASSO, dada pela soma dos valores absolutos dos parâmetros, tem como efeito forçar alguns deles ao valor zero quando o parâmetro de regularização \(\lambda\) é razoavelmente grande.
Referências
Hastie, Trevor. 2009. The elements of statistical learning: data mining, inference, and prediction. Springer.
Huang, Jianhua Z. 2014. An Introduction to Statistical Learning: With Applications in R By Gareth James, Trevor Hastie, Robert Tibshirani, Daniela Witten: Publisher: Springer, 2013. ISBN 978-1-4614-7137-0. Springer.
Kutner, Michael H., Christopher J. Nachtsheim, John Neter, e William Li. 2005. Applied Linear Statistical Models. 5th ed. McGraw-Hill/Irwin.
Montgomery, Douglas C., Elizabeth A. Peck, e G. Geoffrey Vining. 2012. Introduction to Linear Regression Analysis. 5th ed. A John Wiley & Sons.