Monitoria 3 de Econometria II - Regressão Múltipla
Viés de Variável Omitida
No exemplo da pontuação do teste e do tamanho da turma, é fácil encontrar variáveis que possam causar tal viés, se omitidas do modelo. Uma variável altamente relevante poderia ser a percentagem de alunos de inglês no distrito escolar: é plausível que a capacidade de falar, ler e escrever inglês seja um factor importante para uma aprendizagem bem sucedida. Portanto, os alunos que ainda estão aprendendo inglês provavelmente terão pior desempenho nos testes do que os falantes nativos. Além disso, é concebível que a percentagem de estudantes que aprendem inglês seja maior nos distritos escolares onde as turmas são relativamente grandes: pensemos nos distritos urbanos pobres onde vivem muitos imigrantes.
Pensemos em um possível viés induzido pela omissão da parcela de estudantes que aprendem inglês ( \(PctEL\) ) tendo em vista (6.1). Quando o modelo de regressão estimado não inclui \(PctEL\) como regressor, embora o verdadeiro processo de geração de dados (DGP) seja
\[TestScore = \beta_0 + \beta_1 \times STR + \beta_2 \times PctEL \tag{6,2}\]
onde \(STR\) e \(PctEL\) estão correlacionados, temos
\[\text{cor}(STR,PctEL) \neq0.\]
Vamos investigar isso usando o R. Depois de definir nossas variáveis podemos calcular a correlação entre \(STR\) e \(PctEL\), bem como a correlação entre \(STR\) e \(TestScore\).
# load the AER package
library(AER)
# load the data set
data(CASchools)
DT::datatable(head(CASchools))# define variables
CASchools$STR <- CASchools$students/CASchools$teachers
CASchools$score <- (CASchools$read + CASchools$math)/2
# compute correlations
cor(CASchools$STR, CASchools$score)## [1] -0.2263627## [1] 0.1876424Como \(\text{cor}(STR, PctEL) = -0.2264\), a omissão de \(PctEL\) é motivo de preocupação que e leva a uma estimativa com viés negativo \(\hat\beta_1\), já que isso indica que \(cor(X,u) < 0\). Como consequência esperamos \(\hat\beta_1\), o coeficiente em \(STR\), ser muito grande em valor absoluto. Dito de outra forma, a estimativa OLS de \(\hat\beta_1\) sugere que turmas pequenas melhoram os resultados dos testes, mas que o efeito das turmas pequenas é superestimado, pois também capta o efeito de ter menos alunos de inglês.
O que acontece com a magnitude de \(\hat\beta_1\) se adicionarmos a variável $PctEL $à regressão, isto é, se estimarmos o modelo
\[TesteScore = \beta_0 + \beta_1 \times STR + \beta_2 \times PctEL + u\]
E o que esperamos do sinal de \(\hat\beta_2\), o coeficiente estimado em \(PctEL\)? Seguindo o raciocínio acima, ainda deveríamos terminar com um resultado negativo, mas maior estimativa do coeficiente \(\hat\beta_1\) do que antes e uma estimativa negativa \(\hat\beta_2\).
Vamos estimar ambos os modelos de regressão e comparar. Realizar uma
regressão múltipla em R é simples. Pode-se simplesmente adicionar
variáveis adicionais ao lado direito do formula argumento da função
lm() usando seus nomes e o operador + .
O Modelo de Regressão Múltipla
O modelo de regressão múltipla amplia o conceito básico do modelo de regressão simples. Um modelo de regressão múltipla nos permite estimar o efeito sobre \(Y_i\) da mudança de um regressor \(X_{1i}\) se os regressores restantes \(X_{2i},X_{3i}\dots,X_{ki}\) não variam . A interpretação do coeficiente na proporção aluno-professor (\(STR\)) é o efeito nas pontuações dos testes (\(TestScore\)) de uma mudança de uma unidade na proporção aluno-professor (\(STR\)) se a porcentagem de alunos de inglês (\(PctEL\)) for mantida constante.
Assim como no modelo de regressão simples, assumimos que a verdadeira relação entre \(Y\) e \(X_{1i},X_{2i}\dots\dots,X_{ki}\) é linear. Em média, esta relação é dada pela função de regressão populacional
\[ E(Y_i\vert X_{1i}=x_1, X_{2i}=x_2,\dots, X_{ki}=x_k) = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \dots + \beta_k x_k \]
Assim como no modelo de regressão simples, a relação \[Y_i = \beta_0 + \beta_1 X_{1i} + \beta_2 X_{2i} + \dots + \beta_k X_{ki}\] não é exatamente verdade, uma vez que existem influências perturbadoras na variável dependente \(Y\) que não podemos observar como variáveis explicativas. Portanto, adicionamos um termo de erro \(u\) que representa os desvios das observações da linha de regressão populacional para ( 6.3 ). Isso produz o modelo de regressão múltipla populacional \[ Y_i = \beta_0 + \beta_1 X_{1i} + \beta_2 X_{2i} + \dots + \beta_k X_{ki} + u_i, \ i= 1,\dots,n. \tag{6.4} \]
O Conceito Chave 6.2 resume os conceitos centrais do modelo de regressão múltipla.
Definição
O modelo de regressão múltipla é
\[Y_i = \beta_0 + \beta_1 X_{1i} + \beta_2 X_{2i} + \beta_3 X_{3i} + \dots + \beta_k X_{ki} + u_i \ \ , \ \ i=1,\dots,n\] .
As designações são semelhantes às do modelo de regressão simples:
\(Y_i\) é a \(i^{th}\) observação na variável dependente. As observações sobre os \(k\) regressores são denotadas por \(X_{1i},X_{2i},\dots,X_{ki}\) e \(u_i\) é o termo de erro.
A relação média entre \(Y\) e os regressores é dada pela linha de regressão populacional
\(\beta_0\) é o intercepto; é o valor esperado de \(Y\) quando todos os \(X\) são iguais a \(0\)
\(\beta_j \ , \ j=1,\dots,k\) são os coeficientes em \(X_j \ , \ j=1,\dots,k\)
\(\beta_1\) mede a mudança esperada em \(Y_i\) que resulta de uma mudança de uma unidade em \(X_{1i}\) enquanto mantém todos os outros regressores constantes.
Como podemos estimar os coeficientes do modelo de regressão múltipla? Não entraremos muito em detalhes sobre esse assunto pois nosso foco está no uso do R. Contudo, cabe ressaltar que, à semelhança do modelo de regressão simples, os coeficientes do modelo de regressão múltipla podem ser estimados por meio de MQO. Como no modelo simples, procuramos minimizar a soma dos erros quadráticos escolhendo estimativas \(b_0,b_1,\dots,b_k \beta_0,\beta_1,\dots,\beta_k\)
\[\sum_{i=1}^n (Y_i - b_0 - b_1 X_{1i} - b_2 X_{2i} - \dots - b_k X_{ki})^2\]
é minimizado.
Observe que é simplesmente uma extensão de \(RSS\) no caso com apenas um regressor e uma constante. Os estimadores que minimizam são, portanto, denotados \(\hat\beta_0,\hat\beta_1,\dots,\hat\beta_ke\), como no modelo de regressão simples, nós os chamamos de estimadores de mínimos quadrados ordinários de \(\beta_0,\beta_1,\dots,\beta_k\). Para o valor previsto de \(Y_i\) dado os regressores e as estimativas \(\hat\beta_0,\hat\beta_1,\dots,\hat\beta_k\).
Nós temos
\[\hat{Y}_i = \hat\beta_0 + \hat\beta_1 X_{1i} + \dots +\hat\beta_k X_{ki}\] A diferença entre Sim_ie seu valor previsto \(\hat{Y}_i\) é chamado de resíduo de observação OLS eu: \(\hat{u} = Y_i - \hat{Y}_i\).
Cálculo do estimador de MQO para regressão múltipla manualmente (em notação matricial)
O estimador de \(\beta\) em notação matricial é
\[\beta=(X'X)^{-1}X'y\]
Para calcular manualmente no R, vamos separar cada operação matricial realizada.
Preparando os dados
\(Y\) (Variável Dependente)
## [1] 690.80 661.20 643.60 647.70 640.85 605.55\(X\) (Variáveis independentes, regressores ou covariadas)
## [,1] [,2] [,3]
## [1,] 1 17.88991 0.000000
## [2,] 1 21.52466 4.583333
## [3,] 1 18.69723 30.000002
## [4,] 1 17.35714 0.000000
## [5,] 1 18.67133 13.857677
## [6,] 1 21.40625 12.408759Realizando o cálculo das matrizes passo a passo
\((X'X)\)
## [,1] [,2] [,3]
## [1,] 420.000 8248.979 6622.625
## [2,] 8248.979 163513.030 132790.993
## [3,] 6622.625 132790.993 244529.766\((X'X)^{-1}\)
## [,1] [,2] [,3]
## [1,] 0.2625332458 -1.336368e-02 1.468819e-04
## [2,] -0.0133636795 6.911896e-04 -1.341804e-05
## [3,] 0.0001468819 -1.341804e-05 7.398080e-06\((X'X)^{-1}X'\)
## [,1] [,2] [,3] [,4] [,5]
## [1,] 2.345824e-02 -0.024442263 0.0170759767 3.057795e-02 1.505103e-02
## [2,] -9.983610e-04 0.001452445 -0.0008428935 -1.366603e-03 -6.441946e-04
## [3,] -9.316558e-05 -0.000108029 0.0001179442 -8.601691e-05 -1.130492e-06
## [,6] [,7] [,8] [,9] [,10]
## [1,] -2.171039e-02 0.0120349172 -0.0097915521 3.810901e-04 -0.0095897278
## [2,] 1.265596e-03 -0.0008075429 0.0004480129 2.013031e-05 0.0004764797
## [3,] -4.854698e-05 0.0003936111 0.0002139337 1.017554e-04 0.0001656767
## [,11] [,12] [,13] [,14] [,15]
## [1,] -0.0135136272 -0.0100828143 -0.0064839866 -1.834096e-03 0.0333844569
## [2,] 0.0006058577 0.0004185434 0.0003016280 1.902670e-04 -0.0019781644
## [3,] 0.0002533763 0.0002691118 0.0001865048 3.032218e-05 0.0004977428
## [,16] [,17] [,18] [,19] [,20]
## [1,] -8.495772e-04 0.0482106684 0.0505539420 -0.0295652794 0.0037643105
## [2,] -2.876252e-05 -0.0027765280 -0.0027426964 0.0012958374 -0.0002697331
## [3,] 2.407027e-04 0.0005519019 0.0003611541 0.0004119337 0.0002482417
## [,21] [,22] [,23] [,24] [,25]
## [1,] 0.0235078770 -3.735943e-02 0.0092534009 -6.652259e-02 -0.0025059525
## [2,] -0.0012377409 2.052857e-03 -0.0005260502 3.428120e-03 -0.0001017292
## [3,] 0.0002018519 -3.669458e-05 0.0002193917 9.980938e-05 0.0004366338
## [,26] [,27] [,28] [,29] [,30]
## [1,] 0.0188156899 -0.0319389201 0.0153431136 0.0135022508 -1.040482e-02
## [2,] -0.0009939442 0.0014377313 -0.0009861778 -0.0008091833 6.886948e-04
## [3,] 0.0001957584 0.0003857279 0.0004063120 0.0003025976 -4.696062e-05
## [,31] [,32] [,33] [,34] [,35]
## [1,] -0.0010393781 -0.0098026134 -0.0156992554 0.0043884703 -0.0133793862
## [2,] -0.0001994398 0.0003544529 0.0006478434 -0.0003229855 0.0006169118
## [3,] 0.0004653311 0.0003311713 0.0003396902 0.0002749881 0.0002310942
## [,36] [,37] [,38] [,39] [,40]
## [1,] -0.0244591290 0.0258255581 0.0504179638 0.0158595045 -6.541097e-04
## [2,] 0.0012735501 -0.0014475139 -0.0025813290 -0.0009866947 -6.007453e-05
## [3,] 0.0001158674 0.0003161552 0.0001687824 0.0003742069 2.673078e-04
## [,41] [,42] [,43] [,44] [,45]
## [1,] -0.0373545273 -0.0040541074 2.107333e-03 -0.0399003605 0.0104611023
## [2,] 0.0018579930 0.0001620372 -7.055819e-05 0.0019745291 -0.0005403533
## [3,] 0.0002057125 0.0002062753 1.052382e-04 0.0002220122 0.0001606161
## [,46] [,47] [,48] [,49] [,50]
## [1,] -4.441762e-02 -0.0132960167 -1.436975e-02 0.0126290959 -0.0226342603
## [2,] 2.335998e-03 0.0006123582 8.780659e-04 -0.0006062797 0.0010782310
## [3,] 5.825532e-05 0.0002314787 -3.138488e-05 0.0001052404 0.0002434209
## [,51] [,52] [,53] [,54] [,55]
## [1,] 3.820487e-04 -0.0192943656 -1.122690e-04 -2.351524e-03 -3.287035e-02
## [2,] -6.144883e-05 0.0010076745 2.482462e-06 4.323062e-05 1.734162e-03
## [3,] 2.033075e-04 0.0001194916 1.550254e-04 2.462817e-04 7.557158e-05
## [,56] [,57] [,58] [,59] [,60]
## [1,] -4.074913e-02 -0.0062982206 1.492024e-04 -2.997783e-02 -0.020041160
## [2,] 2.216240e-03 0.0003386948 1.343942e-05 1.570498e-03 0.001029368
## [3,] -2.522922e-05 0.0001285543 1.247955e-04 9.598701e-05 0.000139832
## [,61] [,62] [,63] [,64] [,65]
## [1,] 0.0076681675 0.0312423180 -0.0222159617 -2.607552e-02 9.346259e-03
## [2,] -0.0003966445 -0.0015930000 0.0010250930 1.464619e-03 -3.712649e-04
## [3,] 0.0001587409 0.0001538438 0.0002830802 -1.961416e-05 2.070596e-05
## [,66] [,67] [,68] [,69] [,70]
## [1,] 2.158577e-02 -0.0092776106 -3.736060e-02 -0.0200834892 0.0224065108
## [2,] -9.441333e-04 0.0005131790 2.050549e-03 0.0009155877 -0.0012693195
## [3,] -4.196012e-05 0.0001001708 -3.374534e-05 0.0002842380 0.0003110329
## [,71] [,72] [,73] [,74] [,75]
## [1,] -0.0245876229 -1.802783e-02 4.360633e-02 -0.0143369439 0.0076119884
## [2,] 0.0014547130 1.063367e-03 -2.173437e-03 0.0007307014 -0.0005527526
## [3,] -0.0001016356 -3.020008e-05 9.270946e-05 0.0001500880 0.0003567482
## [,76] [,77] [,78] [,79] [,80]
## [1,] 1.254596e-02 2.721877e-02 2.615413e-02 5.843341e-02 7.544173e-02
## [2,] -5.808016e-04 -1.224193e-03 -1.173183e-03 -2.807330e-03 -3.687025e-03
## [3,] 7.877826e-05 -5.036385e-05 -4.638212e-05 -5.804814e-05 -4.097064e-05
## [,81] [,82] [,83] [,84] [,85]
## [1,] -0.0075822937 4.646696e-02 -0.0145226304 0.0339190194 0.0277142162
## [2,] 0.0004040089 -2.264414e-03 0.0007563611 -0.0017411292 -0.0013855052
## [3,] 0.0001286351 2.461018e-05 0.0001299029 0.0001685962 0.0001191418
## [,86] [,87] [,88] [,89] [,90]
## [1,] 4.787610e-03 -1.216538e-02 -0.0132663062 -5.362649e-03 -0.0701546774
## [2,] -4.313892e-05 6.658272e-04 0.0005574487 4.133685e-04 0.0038142757
## [3,] -9.889492e-05 9.317562e-05 0.0002979885 -2.379046e-05 -0.0001508336
## [,91] [,92] [,93] [,94] [,95]
## [1,] 2.038482e-02 -0.0046424237 0.0178948171 0.0186460943 1.124518e-02
## [2,] -8.449830e-04 0.0004511666 -0.0009347945 -0.0007494698 -4.666543e-04
## [3,] -8.929649e-05 -0.0001165468 0.0001804838 -0.0000979973 1.909288e-05
## [,96] [,97] [,98] [,99] [,100]
## [1,] -1.786597e-03 6.407484e-03 -0.0055625567 -0.0295770524 -9.946031e-03
## [2,] 2.497866e-04 -2.293508e-04 0.0002902303 0.0015153530 5.624230e-04
## [3,] -4.682637e-05 3.031532e-05 0.0001422654 0.0001392571 8.122427e-05
## [,101] [,102] [,103] [,104] [,105]
## [1,] 9.832892e-03 -6.179918e-03 -9.358834e-05 -7.318769e-03 1.184154e-03
## [2,] -3.733786e-04 4.685005e-04 1.997349e-04 5.036510e-04 4.906108e-05
## [3,] -7.523048e-06 -4.063116e-05 -9.185212e-05 -1.218907e-05 1.479046e-05
## [,106] [,107] [,108] [,109] [,110]
## [1,] 6.885075e-03 -0.0411012372 6.008701e-03 6.846897e-03 -2.069948e-02
## [2,] -2.734141e-04 0.0022334330 -1.899818e-04 -1.509685e-04 1.229518e-03
## [3,] 5.491106e-05 -0.0000243138 6.568555e-06 -9.518284e-05 -6.772013e-05
## [,111] [,112] [,113] [,114] [,115]
## [1,] 0.0240204033 -1.770919e-02 1.377570e-02 0.0066380295 2.027163e-03
## [2,] -0.0012687992 1.073257e-03 -5.911796e-04 -0.0003815824 5.893870e-05
## [3,] 0.0002080335 -6.272651e-05 1.371573e-05 0.0002053102 -5.097562e-05
## [,116] [,117] [,118] [,119] [,120]
## [1,] -0.0106597858 -0.0117253476 1.718810e-04 -0.0033409691 0.0296939420
## [2,] 0.0005391100 0.0005076867 -3.339616e-05 0.0003796819 -0.0015271980
## [3,] 0.0001555279 0.0002622448 1.816944e-04 -0.0001100441 0.0001700788
## [,121] [,122] [,123] [,124] [,125]
## [1,] 2.147421e-02 7.908382e-03 1.607399e-02 1.054765e-03 0.0062803430
## [2,] -9.460365e-04 -2.834516e-04 -7.320228e-04 1.425605e-04 -0.0001673672
## [3,] -3.251462e-05 2.516401e-06 4.339139e-05 -9.346447e-05 -0.0000388268
## [,126] [,127] [,128] [,129] [,130]
## [1,] -4.003747e-02 0.0175620787 -0.0164818793 -2.340451e-03 -2.249249e-02
## [2,] 2.192038e-03 -0.0009466141 0.0008052320 2.300670e-04 1.288125e-03
## [3,] -4.021667e-05 0.0002163080 0.0001932841 1.286069e-05 -2.700813e-05
## [,131] [,132] [,133] [,134] [,135]
## [1,] 5.648676e-02 -3.569845e-02 -2.166511e-03 0.0081353853 0.038248270
## [2,] -2.712036e-03 2.017134e-03 1.576783e-04 -0.0002066142 -0.002059370
## [3,] -5.328919e-05 -9.753601e-05 9.199525e-05 -0.0001075866 0.000290433
## [,136] [,137] [,138] [,139] [,140]
## [1,] 3.679029e-02 -1.345403e-02 -0.0194656244 1.901183e-02 8.555984e-03
## [2,] -1.754836e-03 8.324362e-04 0.0011942077 -8.932177e-04 -2.995059e-04
## [3,] 3.576151e-06 -3.262375e-05 -0.0001019885 5.785685e-05 -1.855684e-05
## [,141] [,142] [,143] [,144] [,145]
## [1,] 0.0076038530 3.349275e-03 -0.0183758181 2.827580e-02 4.296570e-02
## [2,] -0.0003538477 -5.061207e-05 0.0009106866 -1.247533e-03 -2.007316e-03
## [3,] 0.0001095131 1.631157e-06 0.0001820440 -8.832842e-05 -7.357877e-05
## [,146] [,147] [,148] [,149] [,150]
## [1,] 4.245348e-04 3.333627e-02 2.712009e-02 0.0007116138 -0.0335845464
## [2,] 9.604269e-05 -1.528014e-03 -1.187758e-03 -0.0001043373 0.0019476006
## [3,] 4.445569e-06 -5.989797e-05 -8.948884e-05 0.0002358277 -0.0001449888
## [,151] [,152] [,153] [,154] [,155]
## [1,] -0.0039433478 1.008101e-02 5.907978e-02 -1.758334e-02 8.914616e-04
## [2,] 0.0004076741 -3.851341e-04 -2.840761e-03 1.027074e-03 1.342287e-04
## [3,] -0.0001067083 -8.616135e-06 -5.739914e-05 -1.318317e-05 -7.272994e-05
## [,156] [,157] [,158] [,159] [,160]
## [1,] -0.0134413295 -0.0004792973 -2.088526e-02 -2.620866e-03 -0.0035905451
## [2,] 0.0006995658 -0.0000220609 1.198133e-03 2.620831e-04 0.0002007593
## [3,] 0.0001320707 0.0002088726 -1.684609e-05 -9.234150e-06 0.0001286453
## [,161] [,162] [,163] [,164] [,165]
## [1,] 2.644157e-02 2.095901e-02 -7.733555e-03 -0.0015832666 -2.005625e-02
## [2,] -1.152664e-03 -9.451637e-04 5.900223e-04 0.0000663394 1.126140e-03
## [3,] -9.017011e-05 -9.284722e-07 -9.346564e-05 0.0001687759 2.025165e-05
## [,166] [,167] [,168] [,169] [,170]
## [1,] -0.0172731857 -3.586273e-03 0.0391150158 -3.465434e-02 -2.969803e-02
## [2,] 0.0010893396 3.546845e-04 -0.0020385195 1.948354e-03 1.590754e-03
## [3,] -0.0001104095 -6.335109e-05 0.0002094935 -7.808188e-05 5.301146e-05
## [,171] [,172] [,173] [,174] [,175]
## [1,] 2.161360e-02 1.049479e-02 -3.961212e-04 4.337019e-02 4.123180e-02
## [2,] -9.844489e-04 -3.793423e-04 1.981332e-04 -2.042180e-03 -1.952315e-03
## [3,] 6.490692e-06 -4.207194e-05 -7.067073e-05 -5.580592e-05 -3.212465e-05
## [,176] [,177] [,178] [,179] [,180]
## [1,] 4.481316e-02 -3.460734e-03 2.204790e-02 3.394069e-03 4.298708e-02
## [2,] -2.150451e-03 3.039408e-04 -9.254162e-04 3.938789e-05 -2.008422e-03
## [3,] -1.245801e-05 -8.107468e-06 -9.458166e-05 -1.133114e-04 -7.355731e-05
## [,181] [,182] [,183] [,184] [,185]
## [1,] 0.0436401982 -6.184008e-02 1.845699e-02 9.789072e-03 -0.0182620229
## [2,] -0.0022274560 3.338881e-03 -7.396888e-04 -3.137601e-04 0.0011451004
## [3,] 0.0001578458 -8.599652e-05 -9.818718e-05 -7.900342e-05 -0.0001171528
## [,186] [,187] [,188] [,189] [,190]
## [1,] -1.306563e-02 2.065065e-02 -0.0023997394 -0.0254422234 -0.036608858
## [2,] 8.283396e-04 -8.531482e-04 0.0003277712 0.0015038948 0.002077835
## [3,] -5.215301e-05 -9.598459e-05 -0.0001050772 -0.0001086974 -0.000115407
## [,191] [,192] [,193] [,194] [,195]
## [1,] -4.097832e-02 2.754307e-02 0.0251890519 5.076054e-03 -0.0401176203
## [2,] 2.174080e-03 -1.296849e-03 -0.0013665913 -4.760692e-05 0.0022796053
## [3,] 4.182008e-05 1.956856e-05 0.0002557265 -1.116225e-04 -0.0001442049
## [,196] [,197] [,198] [,199] [,200]
## [1,] 4.692841e-03 3.049117e-02 -1.283342e-03 -8.036133e-03 -1.706848e-02
## [2,] -2.778655e-05 -1.362115e-03 2.388801e-04 5.314536e-04 1.036996e-03
## [3,] -1.120073e-04 -8.610404e-05 -6.515739e-05 -1.324799e-06 -5.819313e-05
## [,201] [,202] [,203] [,204] [,205]
## [1,] -0.0033996360 0.0126407178 -0.0545313409 4.791423e-03 -1.010240e-03
## [2,] 0.0003775554 -0.0006032962 0.0029843340 -7.649611e-05 2.101488e-04
## [3,] -0.0001036748 0.0001007872 -0.0001078944 -5.758786e-05 -4.669023e-05
## [,206] [,207] [,208] [,209] [,210]
## [1,] 0.060454818 3.319526e-02 -0.0243898252 7.825999e-03 -0.0806385509
## [2,] -0.002984643 -1.501975e-03 0.0012947705 -1.978084e-04 0.0043297092
## [3,] 0.000034614 -8.338895e-05 0.0000850406 -9.893393e-05 -0.0001279685
## [,211] [,212] [,213] [,214] [,215]
## [1,] 1.914570e-02 2.333074e-02 3.711520e-02 -2.392721e-02 -0.0126159489
## [2,] -7.753103e-04 -1.132971e-03 -1.760335e-03 1.417993e-03 0.0008617985
## [3,] -9.749566e-05 8.258633e-05 -1.017981e-05 -9.778161e-05 -0.0001223471
## [,216] [,217] [,218] [,219] [,220]
## [1,] 0.0381662825 -1.442583e-02 0.0558591148 -2.711853e-03 -0.0186296345
## [2,] -0.0018655259 9.320456e-04 -0.0026991306 3.356796e-04 0.0009880937
## [3,] 0.0000541847 -9.506423e-05 -0.0000295589 -9.513375e-05 0.0001017244
## [,221] [,222] [,223] [,224] [,225]
## [1,] -9.998550e-03 4.681783e-03 2.848297e-02 -0.0178784960 1.037534e-02
## [2,] 6.769717e-04 -6.365922e-05 -1.335395e-03 0.0011211891 -4.206011e-04
## [3,] -5.812413e-05 -6.662394e-05 7.971896e-06 -0.0001116923 1.689436e-05
## [,226] [,227] [,228] [,229] [,230]
## [1,] -0.0385382056 -0.0185688796 -0.0054095215 0.0727454372 1.663274e-02
## [2,] 0.0022032213 0.0011366369 0.0004940451 -0.0035475690 -6.856980e-04
## [3,] -0.0001492277 -0.0000871503 -0.0001213067 -0.0000436779 -4.974503e-05
## [,231] [,232] [,233] [,234] [,235]
## [1,] 1.489947e-02 -0.0172489959 -0.0190762525 0.0186187264 -1.389355e-02
## [2,] -6.113289e-04 0.0011018204 0.0011948441 -0.0009815265 8.365316e-04
## [3,] -3.245493e-05 -0.0001274895 -0.0001274747 0.0001927824 -9.851003e-06
## [,236] [,237] [,238] [,239] [,240]
## [1,] 8.154234e-04 -9.793988e-05 0.0020670349 1.676442e-02 1.204783e-02
## [2,] 4.495527e-05 1.684206e-04 0.0001030488 -6.521468e-04 -4.309808e-04
## [3,] 4.328905e-05 -5.257174e-05 -0.0001084467 -9.988663e-05 -7.624432e-05
## [,241] [,242] [,243] [,244] [,245]
## [1,] 8.604857e-05 4.755236e-03 -2.093428e-02 -0.0456011807 -1.749589e-02
## [2,] 1.409248e-04 -5.425582e-05 1.164154e-03 0.0025590267 1.062385e-03
## [3,] -2.999208e-05 -8.299489e-05 2.858636e-05 -0.0001444836 -6.271202e-05
## [,246] [,247] [,248] [,249] [,250]
## [1,] 1.288731e-02 -1.371796e-02 5.491015e-03 -3.470885e-03 -0.0136616258
## [2,] -4.547632e-04 8.723102e-04 -1.067598e-04 2.738091e-04 0.0009204439
## [3,] -9.986027e-05 -6.555203e-05 -6.425955e-05 3.006759e-05 -0.0001290786
## [,251] [,252] [,253] [,254] [,255]
## [1,] -3.317587e-02 -1.147819e-02 -1.285392e-02 5.820716e-03 2.690353e-02
## [2,] 1.849421e-03 7.577170e-04 7.631356e-04 -9.417482e-05 -1.188564e-03
## [3,] -4.861641e-05 -6.486138e-05 1.563702e-05 -1.008444e-04 -7.475042e-05
## [,256] [,257] [,258] [,259] [,260]
## [1,] 0.039547319 4.208779e-02 1.824149e-04 -0.0355056534 2.561679e-02
## [2,] -0.001996829 -1.962896e-03 1.255395e-04 0.0020513399 -1.111267e-03
## [3,] 0.000130149 -7.323133e-05 -1.693991e-05 -0.0001523693 -8.942545e-05
## [,261] [,262] [,263] [,264] [,265]
## [1,] -0.0102736768 -2.749986e-03 -3.606865e-03 -2.205043e-02 -1.159203e-02
## [2,] 0.0007281364 8.143197e-05 2.692917e-04 1.185901e-03 7.886886e-04
## [3,] -0.0001044053 2.239691e-04 4.431804e-05 7.228351e-05 -9.621923e-05
## [,266] [,267] [,268] [,269] [,270]
## [1,] -3.438687e-03 -1.979020e-02 1.143576e-02 -1.119725e-02 1.918783e-02
## [2,] 3.647643e-04 1.207957e-03 -3.875975e-04 7.436450e-04 -8.384719e-04
## [3,] -8.526595e-05 -9.853005e-05 -9.146487e-05 -6.515056e-05 -2.149468e-05
## [,271] [,272] [,273] [,274] [,275]
## [1,] 1.120289e-02 -0.0156494711 -3.363327e-03 -0.0002847336 0.0086002466
## [2,] -3.717270e-04 0.0010243484 3.343179e-04 0.0002215949 -0.0004356130
## [3,] -9.646383e-05 -0.0001324324 -5.212186e-05 -0.0001069581 0.0001481676
## [,276] [,277] [,278] [,279] [,280]
## [1,] -1.571669e-02 -0.0036691101 -0.0152584485 0.0059879074 0.0082973876
## [2,] 9.717056e-04 0.0003917162 0.0010019912 -0.0000981225 -0.0002142191
## [3,] -6.259885e-05 -0.0001042234 -0.0001293831 -0.0001065304 -0.0001083881
## [,281] [,282] [,283] [,284] [,285]
## [1,] 2.718257e-02 -7.098131e-03 4.697885e-03 0.0108954080 -0.0089192280
## [2,] -1.195946e-03 5.499013e-04 -2.804743e-05 -0.0003485926 0.0006620628
## [3,] -8.325163e-05 -8.378991e-05 -1.120022e-04 -0.0001057795 -0.0001080034
## [,286] [,287] [,288] [,289] [,290]
## [1,] 8.613356e-03 2.376084e-02 3.691568e-03 9.445205e-03 -0.0035929645
## [2,] -3.514467e-04 -1.026743e-03 -5.531834e-05 -3.509140e-04 0.0003894647
## [3,] 4.250074e-05 -7.700381e-05 -1.421469e-05 -1.091767e-05 -0.0001062480
## [,291] [,292] [,293] [,294] [,295]
## [1,] 1.370441e-02 -0.0065438860 -0.0517883739 -0.0243153121 6.397508e-03
## [2,] -6.281220e-04 0.0005497782 0.0028745561 0.0014725587 -1.289054e-04
## [3,] 6.425113e-05 -0.0001187863 -0.0001451138 -0.0001411335 -9.416439e-05
## [,296] [,297] [,298] [,299] [,300]
## [1,] -3.762419e-03 -0.0813387908 1.430461e-02 0.0118666830 -1.632994e-04
## [2,] 3.015023e-04 0.0043857989 -6.323645e-04 -0.0005855255 2.002967e-04
## [3,] 1.406242e-05 -0.0001534239 3.147139e-05 0.0001277410 -8.813082e-05
## [,301] [,302] [,303] [,304] [,305]
## [1,] 1.600845e-02 -1.400324e-02 -2.898840e-03 -1.601771e-02 -2.567717e-02
## [2,] -7.023230e-04 7.781611e-04 2.918858e-04 9.695817e-04 1.502783e-03
## [3,] 1.055467e-05 6.981009e-05 -2.872681e-05 -4.086321e-05 -9.241338e-05
## [,306] [,307] [,308] [,309] [,310]
## [1,] -2.939099e-03 -5.646529e-04 2.341503e-02 4.324739e-03 -0.0070322067
## [2,] 2.798481e-04 1.785392e-04 -1.052720e-03 -2.804980e-05 0.0005746137
## [3,] -1.117982e-05 -3.557681e-05 -2.271701e-05 -8.833478e-05 -0.0001187519
## [,311] [,312] [,313] [,314] [,315]
## [1,] -1.895070e-02 -0.0493098165 -3.287411e-02 -0.0028018382 2.488749e-02
## [2,] 1.165166e-03 0.0027363860 1.874676e-03 0.0003133037 -1.075089e-03
## [3,] -9.847075e-05 -0.0001302002 -9.921058e-05 -0.0000615562 -8.823625e-05
## [,316] [,317] [,318] [,319] [,320]
## [1,] 6.637575e-02 8.642756e-03 -0.0164661865 -0.0018606802 0.0016486692
## [2,] -3.232672e-03 -2.544427e-04 0.0010589038 0.0002825766 0.0001296626
## [3,] -3.194699e-05 -8.018952e-05 -0.0001236785 -0.0000829705 -0.0001150639
## [,321] [,322] [,323] [,324] [,325]
## [1,] -0.0138780731 1.955725e-02 1.268580e-02 -0.069418167 1.562998e-02
## [2,] 0.0009314345 -7.965963e-04 -5.451246e-04 0.003779359 -6.490549e-04
## [3,] -0.0001290413 -9.708243e-05 2.547082e-05 -0.000154051 -3.179251e-05
## [,326] [,327] [,328] [,329] [,330]
## [1,] 0.0220386918 0.0285774436 -2.305814e-02 3.154290e-04 -7.681456e-03
## [2,] -0.0009481727 -0.0013834365 1.363138e-03 3.880957e-05 5.490275e-04
## [3,] -0.0000656528 0.0000618202 -8.456998e-05 8.265310e-05 -4.570763e-05
## [,331] [,332] [,333] [,334] [,335]
## [1,] -0.0380270871 -1.739536e-02 1.938333e-02 -0.0058752102 7.744086e-03
## [2,] 0.0021524970 1.031778e-03 -7.889734e-04 0.0005067553 -2.354076e-04
## [3,] -0.0001184614 -3.096458e-05 -9.554702e-05 -0.0001076046 -4.690643e-05
## [,336] [,337] [,338] [,339] [,340]
## [1,] 0.0013340511 -1.591601e-02 1.733682e-02 6.451146e-03 3.836393e-03
## [2,] 0.0001459351 1.010267e-03 -7.048059e-04 -1.279223e-04 -4.410251e-06
## [3,] -0.0001153798 -9.798967e-05 -7.059665e-05 -9.879059e-05 -8.680924e-05
## [,341] [,342] [,343] [,344] [,345]
## [1,] -2.588652e-02 4.762716e-03 -0.0093691438 -0.0174124210 2.492491e-03
## [2,] 1.503028e-03 -3.140061e-05 0.0006979833 0.0011071023 8.516029e-05
## [3,] -7.944067e-05 -1.119371e-04 -0.0001242119 -0.0001237042 -1.131472e-04
## [,346] [,347] [,348] [,349] [,350]
## [1,] 4.805129e-03 -0.0164879700 -0.0167310761 -0.0127016859 4.275292e-03
## [2,] -3.359426e-05 0.0010461496 0.0010787275 0.0008718845 -3.247910e-05
## [3,] -1.118946e-04 -0.0001064108 -0.0001315714 -0.0001294726 -7.968191e-05
## [,351] [,352] [,353] [,354] [,355]
## [1,] -0.0037294120 0.0106314401 2.041182e-02 6.966278e-03 -0.0314677040
## [2,] 0.0003935936 -0.0003349398 -8.407958e-04 -1.768374e-04 0.0018424911
## [3,] -0.0001027376 -0.0001060446 -9.622439e-05 -7.053219e-05 -0.0001483149
## [,356] [,357] [,358] [,359] [,360]
## [1,] -2.496724e-02 -8.976796e-03 4.689575e-02 1.881517e-02 3.689505e-03
## [2,] 1.468894e-03 6.411605e-04 -2.293743e-03 -7.796293e-04 2.118429e-05
## [3,] -9.522455e-05 -7.831718e-05 3.394729e-05 -7.115404e-05 -1.093736e-04
## [,361] [,362] [,363] [,364] [,365]
## [1,] 0.009838215 4.660928e-02 5.417481e-02 0.0125604806 1.798046e-02
## [2,] -0.000293913 -2.327856e-03 -2.587068e-03 -0.0004355372 -7.309540e-04
## [3,] -0.000106841 9.460515e-05 -6.232407e-05 -0.0001030807 -7.884623e-05
## [,366] [,367] [,368] [,369] [,370]
## [1,] 2.353924e-02 0.0098051533 -0.0090619953 -0.0050686796 -5.657253e-02
## [2,] -1.012351e-03 -0.0002922030 0.0006827983 0.0004770939 3.076648e-03
## [3,] -8.087785e-05 -0.0001068742 -0.0001247768 -0.0001218085 -9.342804e-05
## [,371] [,372] [,373] [,374] [,375]
## [1,] 2.722767e-02 3.965642e-03 -0.0004341537 0.0122501616 5.028657e-02
## [2,] -1.193322e-03 9.825275e-06 0.0002370206 -0.0004186625 -2.385963e-03
## [3,] -8.938081e-05 -1.127375e-04 -0.0001166960 -0.0001044192 -6.622813e-05
## [,376] [,377] [,378] [,379] [,380]
## [1,] -3.262156e-03 2.236133e-02 0.0361902362 5.641786e-03 6.662495e-03
## [2,] 2.959928e-04 -9.502400e-04 -0.0016722992 -8.548213e-05 -1.556797e-04
## [3,] -1.080136e-05 -8.353903e-05 -0.0000611749 -1.003242e-04 -7.762023e-05
## [,381] [,382] [,383] [,384] [,385]
## [1,] 0.0006656119 -0.0116301808 0.0142023085 0.0557055832 5.983307e-02
## [2,] 0.0001786075 0.0008016809 -0.0005227856 -0.0027336816 -2.945950e-03
## [3,] -0.0001136840 -0.0001099825 -0.0000985293 0.0000232138 2.584907e-05
## [,386] [,387] [,388] [,389] [,390]
## [1,] 0.0265925735 2.78049e-02 -0.0355934238 1.274762e-02 0.0210257672
## [2,] -0.0011604736 -1.23118e-03 0.0020428473 -4.754379e-04 -0.0008886928
## [3,] -0.0000900185 -7.88325e-05 -0.0001362248 -6.524989e-05 -0.0000755009
## [,391] [,392] [,393] [,394] [,395]
## [1,] -0.0081669228 1.387193e-02 0.0116661751 -0.0101554454 0.0133525268
## [2,] 0.0006373397 -6.057261e-04 -0.0003884579 0.0007401891 -0.0004781556
## [3,] -0.0001249194 2.573147e-05 -0.0001050056 -0.0001269160 -0.0001002270
## [,396] [,397] [,398] [,399] [,400]
## [1,] -1.329828e-02 -2.998014e-02 2.649492e-02 -2.329223e-02 4.115937e-02
## [2,] 8.674242e-04 1.706599e-03 -1.175072e-03 1.369299e-03 -1.985756e-03
## [3,] -8.608168e-05 -7.339021e-05 -6.564194e-05 -7.739908e-05 1.412115e-05
## [,401] [,402] [,403] [,404] [,405]
## [1,] 0.0011637119 3.212164e-02 3.186134e-02 3.158358e-02 4.554217e-02
## [2,] 0.0001454921 -1.455150e-03 -1.493437e-03 -1.454323e-03 -2.153767e-03
## [3,] -0.0001040253 -7.362492e-05 -9.427018e-06 -4.053185e-05 -5.455987e-05
## [,406] [,407] [,408] [,409] [,410]
## [1,] 2.635411e-02 -0.0063305368 1.879607e-02 6.874991e-02 6.872191e-03
## [2,] -1.162568e-03 0.0005371572 -7.713233e-04 -3.362835e-03 -1.519318e-04
## [3,] -7.228635e-05 -0.0001165962 -8.028828e-05 -2.038616e-05 -9.558714e-05
## [,411] [,412] [,413] [,414] [,415]
## [1,] 3.054794e-02 6.063304e-02 2.428995e-02 5.680952e-02 1.072405e-02
## [2,] -1.368416e-03 -2.937439e-03 -1.049316e-03 -2.730118e-03 -3.516655e-04
## [3,] -8.185594e-05 -3.548507e-05 -8.244331e-05 -5.123544e-05 -9.108489e-05
## [,416] [,417] [,418] [,419] [,420]
## [1,] 4.325890e-02 2.451703e-02 -2.637853e-02 -0.0069767980 8.872102e-03
## [2,] -2.057384e-03 -1.080634e-03 1.438034e-03 0.0005584943 -2.730824e-04
## [3,] -2.981025e-05 -5.783541e-05 3.271655e-05 -0.0001021880 -7.151726e-05Realizando o cálculo das matrizes diretamente
## [,1]
## [1,] 686.0322445
## [2,] -1.1012956
## [3,] -0.6497768Agora vamos voltar ao exemplo das pontuações dos testes e do tamanho
das turmas. O objeto do modelo estimado é mod_reg_mult. Podemos usar
summary() para obter informações sobre coeficientes
estimados e estatísticas do modelo.
Portanto, o modelo de regressão múltipla estimado é
\[\widehat{TestScore} = 686,03 - 1,10 \times STR - 0,65 \times PctEL \tag{6,6}\].
Ao contrário do modelo de regressão simples, onde os dados podem ser representados por pontos no sistema de coordenadas bidimensional, agora temos três dimensões. Portanto, as observações podem ser representadas por pontos no espaço tridimensional. Portanto agora é mais uma linha de regressão, mas um plano de regressão. Esta ideia se estende a dimensões superiores quando expandimos ainda mais o número de regressores \(k\) . Dizemos então que o modelo de regressão pode ser representado por um hiperplano no espaço dimensional \(k+1\) . Já é difícil imaginar tal espaço se \(k=3\) e é melhor nos atermos à ideia geral de que, no modelo de regressão múltipla, a variável dependente é explicada por uma combinação linear dos regressores. Porém, no presente caso podemos visualizar a situação. A figura a seguir é uma visualização 3D interativa dos dados e do plano de regressão estimado.
Observamos que o plano de regressão estimado se ajusta razoavelmente bem aos dados - pelo menos no que diz respeito à forma e posição espacial dos pontos. A cor dos marcadores é um indicador do desvio absoluto do plano de regressão previsto. As observações com coloração mais avermelhada ficam próximas ao plano de regressão, enquanto a cor muda para azul com o aumento da distância. Uma anomalia que pode ser observada no gráfico é que pode haver heterocedasticidade: vemos que a dispersão dos erros de regressão cometidos, ou seja, a distância das observações ao plano de regressão tende a diminuir à medida que aumenta a proporção de alunos aprendendo inglês.
Medidas de Ajuste
Na regressão múltipla, estatísticas resumidas comuns são \(SER\), \(R^2\) e o ajustado \(R^2\).
Pegando o código da Seção 6.2 , basta usar
summary(mod_reg_mult) para obter o \(SER\), \(R^2\) e \(R^2\) ajustado. Para modelos de regressão
múltipla, o \(SER\) é calculado
como
\[SER = s_{\hat u} = \sqrt{s_{\hat u}^2}\] onde modificar o denominador do fator pré-multiplicado em \(s_{\hat u}^2\) para acomodar regressores adicionais. Por isso,
\[s_{\hat u}^2 = \frac{1}{nk-1} \, SSR\]
com \(k\) denotando o número de regressores excluindo a interceptação.
Enquanto summary() calcula o \(R^2\) tal como no caso de um único
regressor, não é uma medida fiável para modelos de regressão múltiplos.
Isso é devido ao \(R^2\) aumentando
sempre que um regressor adicional é adicionado ao modelo. Adicionar um
regressor diminui o \(SSR\) pelo menos
a menos que o respectivo coeficiente estimado sejaexatamente zero, o que
praticamente nunca acontece (veja o Capítulo 6.4 do livro para um
argumento detalhado). O \(R^2\)
ajustado leva isso em consideração ao “punir” a adição de regressores
utilizando um fator de correção. Então o ajustado \(R^2\), ou simplesmente, \(\bar{R}^2\)é uma versão modificada do \(R^2\). É definido como
\[\bar{R}^2 = 1-\frac{n-1}{nk-1} \, \frac{SSR}{TSS}\].
Como você já deve ter suspeitado, summary() ajusta a
fórmula para \(SER\) e calcula \(\bar{R}^2\) e \(R^2\) e claro por padrão, deixando assim o
decisão de qual medida confiar no usuário.
Você pode encontrar ambas as medidas na parte inferior da saída
produzida chamando summary(mod_reg_mult)
##
## Call:
## lm(formula = score ~ STR + english, data = CASchools)
##
## Residuals:
## Min 1Q Median 3Q Max
## -48.845 -10.240 -0.308 9.815 43.461
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 686.03224 7.41131 92.566 < 2e-16 ***
## STR -1.10130 0.38028 -2.896 0.00398 **
## english -0.64978 0.03934 -16.516 < 2e-16 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 14.46 on 417 degrees of freedom
## Multiple R-squared: 0.4264, Adjusted R-squared: 0.4237
## F-statistic: 155 on 2 and 417 DF, p-value: < 2.2e-16Também podemos calcular as medidas manualmente usando as fórmulas
acima. Vamos verificar se os resultados coincidem com os valores
fornecidos por summary().
# define the components
n <- nrow(CASchools) # number of observations (rows)
k <- 2 # number of regressors
y_mean <- mean(CASchools$score) # mean of avg. test-scores
SSR <- sum(residuals(mod_reg_mult)^2) # sum of squared residuals
TSS <- sum((CASchools$score - y_mean )^2) # total sum of squares
ESS <- sum((fitted(mod_reg_mult) - y_mean)^2) # explained sum of squares
# compute the measures
SER <- sqrt(1/(n-k-1) * SSR) # standard error of the regression
Rsq <- 1 - (SSR / TSS) # R^2
adj_Rsq <- 1 - (n-1)/(n-k-1) * SSR/TSS # adj. R^2
# print the measures to the console
c("SER" = SER, "R2" = Rsq, "Adj.R2" = adj_Rsq)## SER R2 Adj.R2
## 14.4644831 0.4264315 0.4236805Agora, o que podemos dizer sobre o ajuste do nosso modelo de
regressão múltipla para resultados de testes com a percentagem de alunos
de inglês como regressor adicional? Melhora o modelo simples, incluindo
apenas uma interceptação e uma medida do tamanho da turma? A resposta é
sim: compare \(\bar{R}^2\) com o obtido
para o modelo de regressão simples mod .
Incluindo \(PctEL\) como um regressor melhora o \(\bar{R}^2\), que consideramos mais confiável tendo em vista a discussão acima. Observe que a diferença entre \(R^2\) e \(\bar{R}^2\) é pequeno desde \(k=2\) e n é grande. Resumindo, o ajuste de melhora enormemente o ajuste do modelo de regressão simples com \(STR\) como o único regressor. Comparando os erros de regressão, descobrimos que a precisão do modelo de regressão múltipla melhora em relação ao modelo simples, pois adicionamos \(PctEL\) reduz o \(SER\) de \(18,6\) para \(14,5\) unidades de pontuação do teste.
Como já mencionado, \(\bar{R}^2\) pode ser usado para quantificar o quão bom um modelo se ajusta aos dados. Contudo, raramente é uma boa ideia maximizar estas medidas enchendo o modelo com regressores. Você não encontrará nenhum estudo sério que faça isso. Em vez disso, é mais útil incluir regressores que melhorem a estimativa do efeito causal de interesse que não é avaliado por meio do \(R^2\) do modelo.