Capítulo 7: Modelo de Regressão Linear Múltipla Multivariada em R

DES4033: Análise Multivariada em Biologia

Bastão de Asclépio & Distribuição Normal

suppressMessages(library(apaTables, warn.conflicts=FALSE))
suppressMessages(library(aplpack, warn.conflicts=FALSE))
suppressMessages(library(calculus, warn.conflicts=FALSE))
suppressMessages(library(car, warn.conflicts=FALSE))
suppressMessages(library(cellWise, warn.conflicts=FALSE))
suppressMessages(library(cluster, warn.conflicts=FALSE))
suppressMessages(library(DescTools, warn.conflicts=FALSE))
suppressMessages(library(diptest, warn.conflicts=FALSE))
suppressMessages(library(dplyr, warn.conflicts=FALSE))
suppressMessages(library(ellipse, warn.conflicts=FALSE))
suppressMessages(library(far, warn.conflicts=FALSE))
suppressMessages(library(FlexReg, warn.conflicts=FALSE))
suppressMessages(library(fmsb, warn.conflicts=FALSE))
suppressMessages(library(forecast, warn.conflicts=FALSE))
suppressMessages(library(GGally, warn.conflicts=FALSE))
suppressMessages(library(ggfortify, warn.conflicts=FALSE))
suppressMessages(library(gplots, warn.conflicts=FALSE))
suppressMessages(library(ggplot2, warn.conflicts=FALSE))
suppressMessages(library(HSAUR2, warn.conflicts=FALSE))
suppressMessages(library(knitr, warn.conflicts=FALSE))
suppressMessages(library(lawstat, warn.conflicts=FALSE))
suppressMessages(library(lfda, warn.conflicts=FALSE))
suppressMessages(library(lmtest, warn.conflicts=FALSE))
suppressMessages(library(MASS, warn.conflicts=FALSE))
suppressMessages(library(MatchIt, warn.conflicts=FALSE)) # distancia robusta
suppressMessages(library(matlib, warn.conflicts=FALSE))
suppressMessages(library(matrixcalc, warn.conflicts=FALSE))
suppressMessages(library(MatrixModels, warn.conflicts=FALSE))
suppressMessages(library(matrixNormal, warn.conflicts=FALSE))
suppressMessages(library(matrixStats, warn.conflicts=FALSE))
suppressMessages(library(MomTrunc, warn.conflicts=FALSE))
suppressMessages(library(MVA, warn.conflicts=FALSE)) # An Introduction to Applied Multivariate Analysis with R
suppressMessages(library(MVar.pt, warn.conflicts=FALSE))
# suppressMessages(library(MVLM, warn.conflicts=FALSE))
suppressMessages(library(MVN, warn.conflicts=FALSE))
suppressMessages(library(mvtnorm, warn.conflicts=FALSE))
suppressMessages(library(olsrr, warn.conflicts=FALSE))
suppressMessages(library(plotly, warn.conflicts=FALSE))
suppressMessages(library(ppcor, warn.conflicts=FALSE))
suppressMessages(library(pracma, warn.conflicts=FALSE))
suppressMessages(library(rcompanion, warn.conflicts=FALSE))
suppressMessages(library(reticulate, warn.conflicts=FALSE))
suppressMessages(library(rgl, warn.conflicts=FALSE))
suppressMessages(library(scatterplot3d, warn.conflicts=FALSE))

suppressMessages(library(knitr, warn.conflicts=FALSE))
source("summarySEwithin2.R")

Incluir

• matrixNormal::I, matrixNormal::J, matrixNormal::tr

• biotools::cov2pcov: Partial Covariance Matrix

• biotools::D2.disc: Discriminant Analysis Based on Mahalanobis Distance

• biotools::mvpaircomp: Multivariate Pairwise Comparisons

• biotools::singh: Importance of Variables According to the Singh (1981) Criterion

• bruceR

  • bruceR::cor_diff
  • bruceR::Corr
  • bruceR::Describe
  • bruceR::RECODE
  • bruceR::model_summary
  • bruceR::regress
  • bruceR::EMMEANS
  • bruceR::GLM_summary
  • bruceR::HLM_summary
  • bruceR::TTEST
  • bruceR::MANOVA: https://psychbruce.github.io/bruceR/reference/MANOVA.html

• HH::regr2.plot()

• Advanced Statistics: LibreTexts Statistics

• Sawa’s bayesian information criterion: olsrr::ols_sbic

• Classical Multivariate Regression

• Alexopoulos E. C. (2010). Introduction to multivariate regression analysis. Hippokratia, 14(Suppl 1), 23–28. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3049417/

• Notes for Predictive Modeling: 4.3 Multivariate multiple linear model: Eduardo García-Portugués, 2023: https://bookdown.org/egarpor/PM-UC3M/lm-iii-mult.html

• The Epidemiologist: R Handbook: 19 Univariate and multivariable regression: https://epirhandbook.com/en/univariate-and-multivariable-regression.html

Material

• HTML de Rmarkdown em RPubs
• Livro-texto:
  • JOHNSON, RA & WICHERN, DW (2007) Applied multivariate statistical analysis. 6^th ed. NJ: Prentice Hall.
  • JOHNSON, RA & WICHERN, DW (2007) Applied multivariate statistical analysis: Solutions Manual. 6^th ed. NJ: Prentice Hall.
• Arquivos de dados do livro-texto:
  • JW6Data
• Prof. José Siqueira: ResearchGate

Pensamento

“Não é paradoxo dizer que nos nossos momentos de inspiração mais teórica podemos estar o mais próximo possível de nossas aplicações mais práticas.”

WHITEHEAD, AN apud BOYER, CB (1974) História da matemática. São Paulo: Blücher/EDUSP, p. 419.

Sumário

1. Aspectos de análise multivariada
2. Álgebra matricial e vetor estocástico
3. Geometria amostral e amostragem aleatória
4. Distribuição normal multivariada
5. Inferência sobre vetor de média
6. Comparação de várias médias multivariadas
7. Modelo de regressão linear multivariada
8. Componentes principais
9. Análise de fatores e inferência sobre matriz de covariância
10. Análise de correlação canônica
11. Discriminação e classificação
12. Clusterização, métodos de distância e ordination

Pré-requisitos do Capítulo 7

• Análise de Correlação em R

• Análise de Regressão Linear Simples & Regressão de Deming em R

• Análise de Covariância (ANCOVA) em R

• Análise de Série Temporal Aplicada à Medicina em R

Introdução

A análise de regressão linear, um caso particular do modelo linear geral (GLM), é a metodologia estatística para prever valores de uma ou mais variáveis de resposta (dependentes) a partir de uma coleção de valores de variáveis preditoras (independentes) (modelo preditivo). Também pode ser usada para avaliar os efeitos das variáveis preditoras nas respostas (modelo explicativo). Modelo preditivo de regressão utiliza método de seleção de variáveis preditoras por meio, por exemplo, de stepwise. Modelo explicativo utiliza o método enter, i.e., sem seleção de variáveis explicativas. Portanto, modelo preditivo necessita dos dados brutos e modelo explicativo não necessita dos dados brutos.

Infelizmente, o nome “regressão”, derivado do título do primeiro artigo sobre o assunto por Galton (1886), de forma alguma reflete a importância ou a amplitude de aplicação deste método.

Neste capítulo, discutimos primeiramente o modelo de regressão linear múltipla univariado (UMLR) para a previsão de uma única resposta. Esse modelo é então generalizado para lidar com a previsão de várias variáveis dependentes (MMLR). Nosso tratamento deve ser um tanto conciso, pois existe uma vasta literatura sobre o assunto.

Se houver interessado em aprofundar-se na análise de regressão linear, consulte os seguintes livros, em ordem ascendente de dificuldade:

• Sem R
  • Kutner, Nachtsheim, Neter & Li (2005)
  • Draper & Smith (1998)
  • Mittelhammer, Judge & Miller (2000)
• Com R
  • Weisberg (2005)
  • Fox (2018)

Nosso tratamento abreviado destaca as suposições da regressão linear e suas consequências, formulações alternativas do modelo de regressão e a aplicabilidade geral das técnicas de regressão em situações aparentemente distintas.

Notação de processo gerador de dados (DGP)

• \(\text{ID}\): variáveis aleatórias independentemente distribuídas

• \(\text{IID}\): variáveis aleatórias identicamente e independentemente distribuídas

• \(\mathcal{N}\text{ID}\): variáveis aleatórias normalmente e independentemente distribuídas

• \(\mathcal{N}\text{IID}\): variáveis aleatórias normalmente, identicamente e independentemente distribuídas

Modelo Clássico de Regressão Linear Múltipla Univariada (UMLR)

Sejam \(z_1, z_2, \ldots, z_r\) as variáveis intervalares determinísticas preditoras que se acredita estarem relacionadas com uma variável aleatória de resposta intervalar \(Y\).

Por exemplo, com \(r = 4\), poderíamos ter o seguinte modelo de regressão hedônica:

• \(Y\): valor de mercado atual do imóvel

e

• \(z_1\): metros quadrados de área habitável
• \(z_2\): localização (indicador para a zona da cidade central ou não central)
• \(z_3\): valor avaliado no ano passado
• \(z_4\): qualidade da construção (preço por metro quadrado)

O modelo de regressão linear clássico afirma que \(Y\) é composto por uma média, que depende de maneira contínua das variáveis \(z_i\), e um erro (ou resíduo) aleatório \(\varepsilon\), que contabiliza o erro de medição e os efeitos de outras variáveis não explicitamente consideradas no modelo. Os valores das variáveis preditoras registrados no experimento ou definidos pelo pesquisador são tratados como fixos (sem erro de medição). O erro (e, portanto, a resposta) é visto como uma variável aleatória cujo comportamento é caracterizado por um conjunto de pressupostos distribucionais.

Erro de Medição

Conforme Kutner et al. (2005, p. 165), em modelo de regressão, em geral, não se considera explicitamente a presença de erros de medição nas observações, seja na variável de resposta \(Y\) ou na variável preditora ou explicativa (VE) \(Z\). Na regressão linear simples, a VD pode ser considerada com erro de medição, mas a VE é considerada sem erro de medição. Na regressão de Deming, VD e VE são consideradas com erro de medição, conforme Silveira et al. (2024). Há uma explicação didática sobre as duas regressões em Análise de Regressão Linear Simples & Regressão de Deming em R.

Erro de medição na variável dependente (VD)

Quando erros de medição aleatórios estão presentes nas observações da variável de resposta \(Y\), não são criados novos problemas quando esses erros são não correlacionados e não tendenciosos (erros de medição positivos e negativos tendem a se anular). Considere, por exemplo, um estudo da relação entre o tempo necessário para completar uma tarefa (\(Y\)) e a complexidade da tarefa (\(Z\)). O tempo para completar a tarefa pode não ser medido com precisão porque a pessoa operando o cronômetro pode não fazê-lo nos instantes precisos necessários. Contanto que esses erros de medição sejam de natureza aleatória, não correlacionados e não tendenciosos, esses erros de medição são simplesmente absorvidos no termo de erro do modelo \(\varepsilon\). O termo de erro do modelo sempre reflete os efeitos compostos de um grande número de fatores não considerados no modelo, um dos quais agora seria a variação aleatória devido à imprecisão no processo de medição de \(Y\).

Erro de medição na variável preditora (VE)

Infelizmente, uma situação diferente ocorre quando as observações na variável preditora \(Z\) estão sujeitas a erros de medição. Frequentemente, é claro, as observações em \(Z\) são precisas, sem erros de medição, como quando a variável preditora é o preço de um produto em diferentes lojas, o número de variáveis em diferentes problemas de otimização ou a taxa salarial para diferentes classes de empregados. Em outros momentos, no entanto, erros de medição podem entrar no valor observado para a variável preditora, por exemplo, quando a variável preditora é a pressão em um tanque, a temperatura em um forno, a velocidade de uma linha de produção ou a idade relatada de uma pessoa.

Regressão Linear Simples Univariada (USLR)

• \(r\): número de variáveis explicativas/ preditoras/ indepedentes/ covariáveis (intervalares)

• \(p=1, q=1, r=1\)

Tabela 1. Representações univariada e multivariada do GLM (Modelo Linear General). Chartier & Faulkner, 2008

Uma forma de definir com mais precisão o número de variáveis dependentes (VD) é \(pq\). Se \(pq=1\), o modelo é univariado. Se \(pq\ge2\), o modelo é multivariado.

Observe que Correlação Canônica não tem VD-VE, pois não é um modelo de regressão. A confusão da classificação começa ao misturar variável manifesta com variável latente. Variável latente pode ser nominal, ordinal ou intervalar (continuous). Note que a ausência de Regressão Multivariada em GLM multivariado. Note também que há a confusão e ausência de modelos para medidas repetidas. Há GLM duplamente multivariado que não consta na Tabela 1.

Figura 1. Diagramas de Venn para a) dois preditores intervalares em regressão, b) análise de variância unifatorial (trocar C por α), c) ANOVA bifatorial e d) medidas repetidas (ANCOVA pré-pós?). Chartier & Faulkner, 2008

• JW6_Cap7_RLS_ANOVA_Testet.R

suppressMessages(suppressWarnings(
  invisible(Sys.setlocale("LC_ALL", "pt_BR.UTF-8"))))
alfa <- 0.05 
# The Effect of Vitamin C on Tooth Growth in Guinea Pigs
# len: numeric  Tooth length
# supp: factor  Supplement type (VC or OJ).
#   dose:   numeric Dose in milligrams/day
Dados <- datasets::ToothGrowth
print.data.frame(Dados)

    len supp dose
1   4.2   VC  0.5
2  11.5   VC  0.5
3   7.3   VC  0.5
4   5.8   VC  0.5
5   6.4   VC  0.5
6  10.0   VC  0.5
7  11.2   VC  0.5
8  11.2   VC  0.5
9   5.2   VC  0.5
10  7.0   VC  0.5
11 16.5   VC  1.0
12 16.5   VC  1.0
13 15.2   VC  1.0
14 17.3   VC  1.0
15 22.5   VC  1.0
16 17.3   VC  1.0
17 13.6   VC  1.0
18 14.5   VC  1.0
19 18.8   VC  1.0
20 15.5   VC  1.0
21 23.6   VC  2.0
22 18.5   VC  2.0
23 33.9   VC  2.0
24 25.5   VC  2.0
25 26.4   VC  2.0
26 32.5   VC  2.0
27 26.7   VC  2.0
28 21.5   VC  2.0
29 23.3   VC  2.0
30 29.5   VC  2.0
31 15.2   OJ  0.5
32 21.5   OJ  0.5
33 17.6   OJ  0.5
34  9.7   OJ  0.5
35 14.5   OJ  0.5
36 10.0   OJ  0.5
37  8.2   OJ  0.5
38  9.4   OJ  0.5
39 16.5   OJ  0.5
40  9.7   OJ  0.5
41 19.7   OJ  1.0
42 23.3   OJ  1.0
43 23.6   OJ  1.0
44 26.4   OJ  1.0
45 20.0   OJ  1.0
46 25.2   OJ  1.0
47 25.8   OJ  1.0
48 21.2   OJ  1.0
49 14.5   OJ  1.0
50 27.3   OJ  1.0
51 25.5   OJ  2.0
52 26.4   OJ  2.0
53 22.4   OJ  2.0
54 24.5   OJ  2.0
55 24.8   OJ  2.0
56 30.9   OJ  2.0
57 26.4   OJ  2.0
58 27.3   OJ  2.0
59 29.4   OJ  2.0
60 23.0   OJ  2.0

Dados$supp <- factor(Dados$supp,
                     levels=c("VC", "OJ"))
Dados$dose <- factor(Dados$dose)
boxplot(len~supp,
        data=Dados)

alfaBonf <- alfa/length(unique(Dados$supp))
gplots::plotmeans(len~supp,
                  connect=FALSE,
                  col="black",
                  barcol="black",
                  p=1-alfaBonf,
                  main="Porquinho-da-Índia",
                  data=Dados)

# Solução 1: lm(len~supp, data=Dados), car::Anova e summary
fit <- lm(len~supp,
          data=Dados)
print(sai <- car::Anova(fit))

Anova Table (Type II tests)

Response: len
          Sum Sq Df F value  Pr(>F)  
supp       205.4  1  3.6683 0.06039 .
Residuals 3246.9 58                  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

print(out <- summary(fit))

Call:
lm(formula = len ~ supp, data = Dados)

Residuals:
     Min       1Q   Median       3Q      Max 
-12.7633  -5.7633   0.4367   5.5867  16.9367 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   16.963      1.366  12.418   <2e-16 ***
suppOJ         3.700      1.932   1.915   0.0604 .  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 7.482 on 58 degrees of freedom
Multiple R-squared:  0.05948,   Adjusted R-squared:  0.04327 
F-statistic: 3.668 on 1 and 58 DF,  p-value: 0.06039

R2 <- out$r.squared
df1 <- sai$Df[1]
df2 <- sai$Df[2]
F_omnibus <- (R2/df1)/((1-R2)/df2) # Pestana & Gageiro, 2005, p. 77
pv <- 1-pf(F_omnibus, df1, df2)
if(pv<2.2e-16) p_omnibus <- "< 2.2e-16"
if(pv>2.2e-16) p_omnibus <- paste0("= ", formatC(pv, format="e", digits=2))
Fcrit <- qf(1-alfa, df1, df2)
cat("Omnibus F(",df1, ",", df2, ") = ", round(Fcrit,4), 
    ", F = ", round(F_omnibus,4), 
    ", p ", p_omnibus, ", R^2 = eta^2 = ", round(R2,4), sep="")

Omnibus F(1,58) = 4.0069, F = 3.6683, p = 6.04e-02, R^2 = eta^2 = 0.0595

print(effectsize::eta_squared(fit,
                              partial = TRUE,
                              generalized = FALSE,
                              ci = 1-alfa,
                              alternative = "two.sided",
                              verbose = TRUE), 
      digits=2)

For one-way between subjects designs, partial eta squared is equivalent
  to eta squared. Returning eta squared.

# Effect Size for ANOVA

Parameter | Eta2 |       95% CI
-------------------------------
supp      | 0.06 | [0.00, 0.21]

# Solução 2: lm(Dados$len~supp.num) e model.matrix(~supp, data=Dados) 
supp.num <- as.numeric(Dados$supp)
xtabs(~Dados$supp)

Dados$supp
VC OJ 
30 30 

xtabs(~supp.num)

supp.num
 1  2 
30 30 

fit <- lm(Dados$len~supp.num)
print(car::Anova(fit))

Anova Table (Type II tests)

Response: Dados$len
          Sum Sq Df F value  Pr(>F)  
supp.num   205.3  1  3.6683 0.06039 .
Residuals 3246.9 58                  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

print(summary(fit))

Call:
lm(formula = Dados$len ~ supp.num)

Residuals:
     Min       1Q   Median       3Q      Max 
-12.7633  -5.7633   0.4367   5.5867  16.9367 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   13.263      3.055   4.342 5.73e-05 ***
supp.num       3.700      1.932   1.915   0.0604 .  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 7.482 on 58 degrees of freedom
Multiple R-squared:  0.05948,   Adjusted R-squared:  0.04327 
F-statistic: 3.668 on 1 and 58 DF,  p-value: 0.06039

r <- cor(Dados$len, supp.num)
r

[1] 0.2438927

R2 <- r^2
dm <- model.matrix(~supp, data=Dados)
print(dm)

   (Intercept) suppOJ
1            1      0
2            1      0
3            1      0
4            1      0
5            1      0
6            1      0
7            1      0
8            1      0
9            1      0
10           1      0
11           1      0
12           1      0
13           1      0
14           1      0
15           1      0
16           1      0
17           1      0
18           1      0
19           1      0
20           1      0
21           1      0
22           1      0
23           1      0
24           1      0
25           1      0
26           1      0
27           1      0
28           1      0
29           1      0
30           1      0
31           1      1
32           1      1
33           1      1
34           1      1
35           1      1
36           1      1
37           1      1
38           1      1
39           1      1
40           1      1
41           1      1
42           1      1
43           1      1
44           1      1
45           1      1
46           1      1
47           1      1
48           1      1
49           1      1
50           1      1
51           1      1
52           1      1
53           1      1
54           1      1
55           1      1
56           1      1
57           1      1
58           1      1
59           1      1
60           1      1
attr(,"assign")
[1] 0 1
attr(,"contrasts")
attr(,"contrasts")$supp
[1] "contr.treatment"

n <- dim(dm)[1]
df1 <- dim(dm)[2] - 1
df2 <- dim(dm)[1] - 2
# n <- nrow(Dados)
# df1 <- 1
# df2 <- n - 2
F_omnibus <- (R2/df1)/((1-R2)/df2) # Pestana & Gageiro, 2005, p. 77
pv <- 1-pf(F_omnibus, df1, df2)
if(pv<2.2e-16) p_omnibus <- "< 2.2e-16"
if(pv>2.2e-16) p_omnibus <- paste0("= ", formatC(pv, format="e", digits=2))
Fcrit <- qf(1-alfa, df1, df2)
cat("Omnibus F(",df1, ",", df2, ") = ", round(Fcrit,4), 
    ", F = ", round(F_omnibus,4), 
    ", p ", p_omnibus, ", R^2 = eta^2 = ", round(R2,4), "\n", sep="")

Omnibus F(1,58) = 4.0069, F = 3.6683, p = 6.04e-02, R^2 = eta^2 = 0.0595

print(effectsize::eta_squared(fit,
                              partial = TRUE,
                              generalized = FALSE,
                              ci = 1-alfa,
                              alternative = "two.sided",
                              verbose = TRUE), digits=2)

For one-way between subjects designs, partial eta squared is equivalent
  to eta squared. Returning eta squared.

# Effect Size for ANOVA

Parameter | Eta2 |       95% CI
-------------------------------
supp.num  | 0.06 | [0.00, 0.21]

confint(fit)

                 2.5 %    97.5 %
(Intercept)  7.1490593 19.377607
supp.num    -0.1670064  7.567006

len.media <- mean(Dados$len)
VC.media <- mean(supp.num)
len.sd <- sd(Dados$len)
VC.sd <- sd(supp.num)
beta1_hat <- r*len.sd/VC.sd
beta0.hat <- len.media - beta1_hat*VC.media
y.hat <- beta0.hat + beta1_hat*supp.num
MSE <- sum((Dados$len-y.hat)^2)/(df2)
sqrt(MSE)

[1] 7.482001

beta1.se <- sqrt(MSE/((n-1)*(VC.sd)^2))
t.obs <- beta1_hat/beta1.se
beta1.LI <- beta1_hat - qt(1-alfa/2, df2)*beta1.se
beta1.LS <- beta1_hat + qt(1-alfa/2, df2)*beta1.se
cat("\nIC95%(beta1) = [", round(beta1.LI,4), ", ", 
    round(beta1.LS,4), "]", "\n", sep="")

IC95%(beta1) = [-0.167, 7.567]

confint(fit)

                 2.5 %    97.5 %
(Intercept)  7.1490593 19.377607
supp.num    -0.1670064  7.567006

# Solução 3: DescTools::TTestA
len.mean <- aggregate(len~supp, FUN=mean, data=Dados)
len.sd <- aggregate(len~supp, FUN=sd, data=Dados)
len.n <- aggregate(len~supp, FUN=length, data=Dados)
DescTools::TTestA(mx=len.mean[2,2],
                  sx=len.sd[2,2],
                  nx=len.n[2,2],
                  my=len.mean[1,2],
                  sy=len.sd[1,2],
                  ny=len.n[1,2],
                  paired=FALSE,
                  var.equal=TRUE,
                  conf.level=1-alfa)

Registered S3 method overwritten by 'DescTools':
  method         from  
  reorder.factor gplots

    Two Sample t-test

data:  x and y
t = 1.9153, df = 58, p-value = 0.06039
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -0.1670064  7.5670064
sample estimates:
mean of x mean of y 
 20.66333  16.96333 

# Solução 4: Fórmula com n, média e desvio-padrão
nA <- len.n[2,2]
nB <- len.n[1,2]
mediaA <- len.mean[2,2]
mediaB <- len.mean[1,2]
dpA <- len.sd[2,2]
dpB <- len.sd[1,2]
dif <- mediaA - mediaB
dfA <- nA - 1
dfB <- nB - 1
df <- dfA + dfB
sdp <- sqrt((dfA*dpA^2+dfB*dpB^2)/df)
ep <- sdp*sqrt((1/nA+1/nB))
t <- dif/ep
p <- 2*pt(-abs(t),df)
eta2 <- t^2/(t^2 + df)
mag_eta2 <- effectsize::interpret_eta_squared(eta2)
cat("\nAnálise de significância estatística: valor p\n")

Análise de significância estatística: valor p

cat("\tt = ",t,"\n",sep="")

    t = 1.915268

cat("\tdf = ",df,"\n",sep="")

    df = 58

cat("\tValor-p = ",p,"\n",sep="")

    Valor-p = 0.06039337

cat("Análise de significância prática: tamanho de efeito\n")

Análise de significância prática: tamanho de efeito

cat("\tEta^2 = ",eta2, "\n", sep="")

    Eta^2 = 0.05948365

print(mag_eta2)

[1] "small"
(Rules: field2013)

\[\Diamond\]

Modelo de Regressão Linear Múltipla Univariada (UMLR)

Especificamente, o modelo de regressão linear univariada múltipla com uma única resposta tem a forma:

\[ \begin{align} Y &= \sum_{i=0}^{r}{\beta_iz_i} + \varepsilon\\ z_0&=1 \end{align} \]

\[ \text{resposta} = \text{média (dependendo de } z_1, z_2, \ldots, z_r) + \text{erro} \]

O termo “linear” refere-se ao fato de que a média é uma função linear dos parâmetros desconhecidos \(\beta_0, \beta_1, \ldots, \beta_r\). As variáveis preditoras podem ou não entrar no modelo como termos de primeira ordem.

Com \(n\) observações independentes em \(Y\) e os valores associados de \(z_i\), o modelo completo torna-se:

\[ \begin{aligned} Y_1 & = \beta_0z_{10} + \beta_1z_{11} + \beta_2z_{12} + \cdots + \beta_rz_{1r} + \varepsilon_1 \\ Y_2 & = \beta_0z_{20} + \beta_1z_{21} + \beta_2z_{22} + \cdots + \beta_rz_{2r} + \varepsilon_2 \\ & \vdots \\ Y_n & = \beta_0z_{n0} + \beta_1z_{n1} + \beta_2z_{n2} + \cdots + \beta_rz_{nr} + \varepsilon_n \end{aligned} \tag{7-1} \]

ou

\[ Y_i = \sum_{k=0}^{r} \beta_k \,z_{ik} + \varepsilon_i\\ i = 1, 2, \ldots, n \]

Em que \(z_{10}=z_{20}=\cdots=z_{n0}=1\).

Os termos de erro são assumidos ter as seguintes propriedades (7-2):

1. \(\mathbb{E}(\varepsilon_i) = 0\)
2. \(\mathbb{V}(\varepsilon_i) = \sigma^2\) (homocedasticidade)
3. \(\mathbb{C}(\varepsilon_i, \varepsilon_j) = 0\), para \(i \neq j\)

Em notação de matriz, a equação (7-1) torna-se:

\[ \begin{bmatrix} Y_1 \\ Y_2 \\ \vdots \\ Y_n \end{bmatrix} = \begin{bmatrix} 1 & z_{11} & z_{12} & \cdots & z_{1r} \\ 1 & z_{21} & z_{22} & \cdots & z_{2r} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & z_{n1} & z_{n2} & \cdots & z_{nr} \end{bmatrix} \begin{bmatrix} \beta_0 \\ \beta_1 \\ \beta_2 \\ \vdots \\ \beta_r \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{bmatrix} \]

ou

\[ \underset{n \times 1}{\mathbf{Y}} = \underset{n \times (r+1)}{\mathbf{z}}\underset{(r+1) \times 1}{\boldsymbol{\beta}} + \underset{n \times 1}{\boldsymbol{\varepsilon}} \]

E as especificações em (7-2) tornam-se:

1. \(\mathbb{E}(\boldsymbol{\varepsilon}) = \mathbf{0}\)
2. \(\mathbb{C}(\boldsymbol{\varepsilon}) = \mathbb{E}(\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}^{\prime}) = \sigma^2\mathbf{I}\)

	Estocástico	Determinístico
Observável	\(\mathbf{Y}\)	\(\mathbf{z}\)
Estimável	\(\boldsymbol{\varepsilon}\)	\(\boldsymbol{\beta}\)

Observe que o valor 1 na primeira coluna da matriz de planejamento (design matrix) \(\mathbf{z}\) é o multiplicador do termo constante \(\beta_0\). É costumeiro introduzir a variável artificial igual a 1.

Cada coluna de \(\mathbf{z}\) consiste nos \(n\) valores da variável preditora correspondente, enquanto a \(i\)-ésima linha de \(\mathbf{z}\) contém os valores para todas as variáveis preditoras na \(i\)-ésima observação.

Modelo Clássico de Regressão Linear Univariada Múltipla (UMLR)

\[ \begin{align} \underset{n\times1}{\mathbf{Y}} &= \mathbf{z}\boldsymbol{\beta} + \underset{n\times1}{\boldsymbol{\varepsilon}}\\\\ \mathbb{E}(\boldsymbol{\varepsilon}) &= \mathbf{0}\\ \mathbb{C}(\boldsymbol{\varepsilon}) &= \sigma^2\mathbf{I} \end{align} \tag{7-3} \]

em que \(\underset{(r+1)\times1}{\boldsymbol{\beta}}\) e \(\sigma^2\) são parâmetros desconhecidos, e a matriz de planejamento \(\underset{n \times (r+1)}{\mathbf{z}}\) tem como linha \(i\):

\[ [z_{i0} \; z_{i1} \; \cdots\; z_{ir}] \]

Embora as suposições do termo de erro em (7-2) sejam muito modestas, mais tarde precisaremos adicionar a suposição de multinormalidade para intervalos de confiança e testar hipóteses.

Agora, forneceremos alguns exemplos do modelo de regressão linear.

Exemplo 7.1: Ajustando um modelo de regressão linear para uma reta

Determine o modelo de regressão linear para ajustar uma reta

\[ \mathbb{E}(Y|z_1) = \beta_0 + \beta_1 z_1 \]

para os dados

\(z_1\)	0	1	2	3	4
\(y\)	1	4	3	8	9

Antes das respostas serem observadas, os erros são estocásticos:

\[ \mathbf{Y} = \mathbf{z}\boldsymbol{\beta} + \boldsymbol{\varepsilon} \]

em que

\[ \boldsymbol{\varepsilon}^{\prime} = [\varepsilon_1 \; \varepsilon_2\; \cdots \; \varepsilon_5] \]

A equação para da \(i\)-ésimo observação é

\[ Y_i = \beta_0 + \beta_1 z_{i1} + \varepsilon_i \]

em que:

• vetor de resposta

\[ \mathbf{Y} = \begin{bmatrix} Y_1 \\ Y_2 \\ Y_3 \\ Y_4 \\ Y_5 \end{bmatrix} \]

• matriz de planejamento (design):

\[ \mathbf{z} = \begin{bmatrix} 1 & z_{11} \\ 1 & z_{21} \\ 1 & z_{31} \\ 1 & z_{41} \\ 1 & z_{51} \end{bmatrix} \]

• vetor de erro

\[ \boldsymbol{\varepsilon} = \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\ \varepsilon_4 \\ \varepsilon_5 \end{bmatrix} \]

• vetor de parâmetro

\[ \boldsymbol{\beta} = \begin{bmatrix} \beta_0 \\ \beta_1 \end{bmatrix} \]

Os dados para esse modelo de regressão linear simples estão contidos no vetor de resposta observada \(\mathbf{y}\) e na matriz de design \(\mathbf{z}\), em que

\[ \mathbf{y} = \begin{bmatrix} y_1 \\ y_2 \\ y_3 \\ y_4 \\ y_5 \end{bmatrix} = \begin{bmatrix} 1 \\ 4 \\ 3 \\ 8 \\ 9 \end{bmatrix} \]

e

\[ \mathbf{z} = \begin{bmatrix} 1 & z_{11} \\ 1 & z_{21} \\ 1 & z_{31} \\ 1 & z_{41} \\ 1 & z_{51} \end{bmatrix} = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \\ 1 & 3 \\ 1 & 4 \end{bmatrix} \]

Note a seguir que podemos lidar com uma expressão quadrática para a resposta média introduzindo o termo \(\beta_2z_2\) com \(z_2 = z_{1}^2\). Os dados para este modelo de regressão linear múltipla estão contidos no vetor de resposta observável \(\mathbf{Y}\) e na matriz de design \(\mathbf{Z}\), em que

\[ \begin{aligned} \mathbf{Y} & = \begin{bmatrix} Y_1 \\ Y_2 \\ \vdots \\ Y_n \end{bmatrix} \\ \mathbf{z} & = \begin{bmatrix} 1 & z_{11} & z_{11}^2 \\ 1 & z_{21} & z_{21}^2 \\ \vdots & \vdots & \vdots \\ 1 & z_{n1} & z_{n1}^2 \end{bmatrix} \end{aligned} \]

O modelo de regressão linear múltipla para a \(i\)-ésimo observação neste último caso pode ser:

Modelo com duas variáveis preditoras:

\[ Y_i = \beta_0 + \beta_1 z_{i1} + \beta_2 z_{i2} + \varepsilon_i \]

ou

Modelo com uma variável preditora com efeitos linear e quadrático (polinômio de ordem 2):

\[ Y_i = \beta_0 + \beta_1 z_{i1} + \beta_2 z_{i1}^2 + \varepsilon_i \]

\[\Diamond\]

Exemplo 7.2: A matriz de delineamento para ANOVA univariada como um modelo de regressão

Determine a matriz de planejamento se o modelo de regressão linear for aplicado à situação de ANOVA unifatorial univariada independente no Exemplo 6.7.

• \(p=1, q=1, g=3\; (n_1=3, n_2=2, n_3=3)\)

Considere as seguintes amostras independentes:

População 1: 9, 6, 9

População 2: 0, 2

População 3: 3, 1, 2

Criamos as chamadas variáveis indicadoras (dummy) para lidar com as três médias populacionais:

\[ \mu_1 = \mu + \tau_1\\ \mu_2 = \mu + \tau_2\\ \mu_3 = \mu + \tau_3 \]

Definimos

\[ z_{j1} = \begin{cases} 1, & \text{observação da população 1} \\ 0, & \text{c.c.} \end{cases} \]

\[ z_{j2} = \begin{cases} 1, & \text{observação da população 2} \\ 0, & \text{c.c.} \end{cases} \]

\[ z_{j3} = \begin{cases} 1, & \text{observação da população 3} \\ 0, & \text{c.c.} \end{cases} \]

e \(\beta_0 = \mu\), \(\beta_1 = \tau_1\), \(\beta_2 = \tau_2\), \(\beta_3 = \tau_3\). Então

\[ Y_j = \beta_0 + \beta_1z_{j1} + \beta_2z_{j2} + \beta_3z_{j3} + \epsilon_j\\ j = 1,2,\ldots,8 \]

em que organizamos as observações das três populações em sequência. Assim, obtemos o vetor de resposta observado e a matriz de planejamento:

\[ \begin{aligned} \underset{8 \times 1}{\mathbf{y}} &= \begin{bmatrix} 9 \\ 6 \\ 9 \\ 0 \\ 2 \\ 3 \\ 1 \\ -2 \end{bmatrix}\\ \underset{8 \times 4}{\mathbf{z}} &= \begin{bmatrix} 1 & 1 & 0 & 0 \\ 1 & 1 & 0 & 0 \\ 1 & 1 & 0 & 0 \\ 1 & 0 & 1 & 0 \\ 1 & 0 & 1 & 0 \\ 1 & 0 & 0 & 1 \\ 1 & 0 & 0 & 1 \\ 1 & 0 & 0 & 1 \end{bmatrix} \end{aligned} \]

• \(p=1, q=1, r=3\)

• JW6_Example7.2.R

suppressMessages(suppressWarnings(
  invisible(Sys.setlocale("LC_ALL", "pt_BR.UTF-8"))))
n1 <- 3
n2 <- 2
n3 <- 3
n <- n1 + n2 + n3
Grupo <- factor(c(rep("1", n1), rep("2", n2), rep("3", n3)))
y <- c(9, 6, 9, 0, 2, 3, 1, 2)
x <- data.frame(Grupo, y)
print(x)

  Grupo y
1     1 9
2     1 6
3     1 9
4     2 0
5     2 2
6     3 3
7     3 1
8     3 2

# One-way ANOVA (offset from reference group): 
# https://en.wikipedia.org/wiki/Design_matrix
X <- model.matrix(~ Grupo, 
                  data=x) # ANOVA
print(X)

  (Intercept) Grupo2 Grupo3
1           1      0      0
2           1      0      0
3           1      0      0
4           1      1      0
5           1      1      0
6           1      0      1
7           1      0      1
8           1      0      1
attr(,"assign")
[1] 0 1 1
attr(,"contrasts")
attr(,"contrasts")$Grupo
[1] "contr.treatment"

# Multiple regression: 
# https://en.wikipedia.org/wiki/Design_matrix
Um <- model.matrix(~ 1, 
                   data=x)
print(Um)

  (Intercept)
1           1
2           1
3           1
4           1
5           1
6           1
7           1
8           1
attr(,"assign")
[1] 0

z.Grupo <- model.matrix(~ -1 + Grupo, 
                        data=x)
print(z.Grupo)

  Grupo1 Grupo2 Grupo3
1      1      0      0
2      1      0      0
3      1      0      0
4      0      1      0
5      0      1      0
6      0      0      1
7      0      0      1
8      0      0      1
attr(,"assign")
[1] 1 1 1
attr(,"contrasts")
attr(,"contrasts")$Grupo
[1] "contr.treatment"

z <- cbind(Um, z.Grupo) # Regressão
print(z)

  (Intercept) Grupo1 Grupo2 Grupo3
1           1      1      0      0
2           1      1      0      0
3           1      1      0      0
4           1      0      1      0
5           1      0      1      0
6           1      0      0      1
7           1      0      0      1
8           1      0      0      1

print(dim(z))

[1] 8 4

print(qr(z)$rank)

[1] 3

info_matriz <- crossprod(z)
print(info_matriz)

            (Intercept) Grupo1 Grupo2 Grupo3
(Intercept)           8      3      2      3
Grupo1                3      3      0      0
Grupo2                2      0      2      0
Grupo3                3      0      0      3

print(round(eigen(info_matriz)$values, 4))

[1] 10.772  3.000  2.228  0.000

\[\Diamond\]

A construção de variáveis indicadoras, como no Exemplo 7.2, permite que toda a análise de variância seja tratada dentro do arcabouço de regressão linear múltipla univariada.

Análise de Covariância (ANCOVA)

• Análise de Covariância (ANCOVA) em R

Conforme Cochran (1957),

“Como Fisher (1934) expressou, a análise de covariância ‘combina as vantagens e reconcilia as exigências de dois procedimentos muito amplamente aplicáveis, conhecidos como regressão e análise de variância’.”

Notação: usa-se \(\mu^{\prime}\) para efeitos de grupo; \(G\) é a matriz de indicadores de grupo (com \(g-1\) colunas em codificação de tratamento); \(x\) é a covariável; \(n\) é o tamanho amostral.

Considere \(Y\in\mathbb{R}^n\) e o modelo completo

\[ Y = \mathbf{z}\,\theta + \varepsilon,\qquad \mathbf{z} = \big[\,\mathbf{1}_n\;\; G\;\; x_c\,\big] \]

onde \(x_c = x - \bar{x}\,\mathbf{1}_n\). Defina, para qualquer matriz de posto completo \(A\), o projetor ortogonal

\[ P(A) = A\,(A^\prime A)^{-1} A^\prime,\qquad M(A) = I_n - P(A) \]

Para Type II, os termos são testados condicionando a todos os termos de menor ordem que não os incluem.

1. Grupo dado a covariável (\(\text{Grupo}\mid x\)): modelo reduzido \(\mathbf{z}_{rx} = [\,\mathbf{1}_n\;\; x_c\,]\).
2. Covariável dada o grupo (\(x\mid \text{Grupo}\)): modelo reduzido \(\mathbf{z}_{rG} = [\,\mathbf{1}_n\;\; G\,]\).

Soma de quadrados do efeito de grupo ajustado por \(x\):

\[ \text{SS}_{\mathrm{Grupo}\mid x} = Y^\prime\left( P\left(\mathbf{z}\right) - P\left(\mathbf{z}_{rx}\right) \right) Y \]

Soma de quadrados da covariável ajustada por grupo:

\[ \text{SS}_{x\mid \mathrm{Grupo}} = Y^\prime\left( P\left(\mathbf{z}\right) - P\left(\mathbf{z}_{rG}\right) \right) Y \]

Soma de quadrados de erro (modelo completo):

\[ \text{SS}_E = Y^\prime M\left(\mathbf{z}\right) Y = Y^\prime\left( \mathbf{I}_n - P\left(\mathbf{z}\right) \right) Y \]

Soma de quadrados total corrigida (em relação ao intercepto):

\[ \text{SS}_T = Y^\prime M\left(\mathbf{1}_n\right) Y = Y^\prime\left( \mathbf{I}_n - P\left(\mathbf{1}_n\right) \right) Y \]

Os graus de liberdade são

\[ \begin{aligned} df_{\mathrm{Grupo}} &= g-1\\ df_x &= 1\\ df_E &= n - \operatorname{rank}(\mathbf{z}) = n - (g-1) - 1 - 1 = n - g - 1\\ df_T &= n-1 \end{aligned} \] Os quadrados médios e estatísticas F:

\[ \text{MS}_{\mathrm{Grupo}\mid x} = \frac{\text{SS}_{\mathrm{Grupo}\mid x}}{g-1},\quad \text{MS}_{x\mid \mathrm{Grupo}} = \frac{\text{SS}_{x\mid \mathrm{Grupo}}}{1},\quad \text{MS}_E = \frac{\text{SS}_E}{n-g-1} \]

\[ F_{\mathrm{Grupo}\mid x} = \frac{\text{MS}_{\mathrm{Grupo}\mid x}}{\text{MS}_E},\qquad F_{x\mid \mathrm{Grupo}} = \frac{\text{MS}_{x\mid \mathrm{Grupo}}}{\text{MS}_E} \]

Representação equivalente via residualização (Gram–Schmidt)

Defina \(X_1 = [\,\mathbf{1}_n\;\; x_c\,]\) e \(Z = M(X_1)\,G\) (indicadores de grupo residualizados em relação a \(\mathbf{1}_n\) e \(x_c\)). Então

\[ \text{SS}_{\mathrm{Grupo}\mid x} = Y^\prime P\left( Z \right) Y,\qquad \text{com}\; Z = M(X_1)\,G \] Analogamente, com \(X_2 = [\,\mathbf{1}_n\;\; G\,]\) e \(w = M(X_2)\,x_c\) (covariável residualizada em relação a intercepto e grupo):

\[ \text{SS}_{x\mid \mathrm{Grupo}} = Y^\prime P\big( w \big) Y,\qquad \text{com}\; w = M(X_2)\,x_c \]

Tamanho de efeito (eta parcial) e IC

\[ \eta_p^2 = \frac{\text{SS}_{\mathrm{Grupo}\mid x}}{\text{SS}_{\mathrm{Grupo}\mid x} + \text{SS}_E} = \frac{f^2}{1+f^2},\qquad f^2 = F_{\mathrm{Grupo}\mid x}\,\frac{g-1}{n-g-1} \] Para nível \(1-\alpha\), com \(F_{\mathrm{lo}} = F_{\alpha/2}(g-1, n-g-1)\) e \(F_{\mathrm{hi}} = F_{1-\alpha/2}(g-1, n-g-1)\),

\[ \eta_{p,\,\mathrm{lo}}^2 = \frac{F_{\mathrm{lo}}\,(g-1)/(n-g-1)}{1 + F_{\mathrm{lo}}\,(g-1)/(n-g-1)},\quad \eta_{p,\,\mathrm{hi}}^2 = \frac{F_{\mathrm{hi}}\,(g-1)/(n-g-1)}{1 + F_{\mathrm{hi}}\,(g-1)/(n-g-1)} \]

• ANCOVA.test.R

## --- ANCOVA Type II via projetores matriciais ---
ss_type2_matrix <- function(y, G, x) {
  stopifnot(is.numeric(y), is.matrix(G), is.numeric(x),
            length(y)==nrow(G), length(y)==length(x))
  n <- length(y)
  one <- matrix(1, n, 1)
  xc  <- x - mean(x)
  X   <- cbind(one, G, xc)
  Xrx <- cbind(one, xc)   # modelo reduzido p/ Grupo|x
  XrG <- cbind(one, G)    # modelo reduzido p/ x|Grupo
  P  <- function(A) A %*% solve(t(A) %*% A) %*% t(A)
  SS_GivenX <- drop(t(y) %*% (P(X) - P(Xrx)) %*% y)  # SS_{Grupo|x}
  SS_xGivenG<- drop(t(y) %*% (P(X) - P(XrG)) %*% y)  # SS_{x|Grupo}
  SSE       <- drop(t(y) %*% (diag(n) - P(X)) %*% y)
  list(SS_Grupo_x = SS_GivenX,
       SS_x_Grupo = SS_xGivenG,
       SSE = SSE,
       df1_G = ncol(G),
       df1_x = 1,
       df2 = n - (1 + ncol(G) + 1))
}

# IC analítico para η² parcial (distribuição F central)
.eta2_ci <- function(Fv, df1, df2, conf = 0.95) {
  alpha <- 1 - conf
  F_lower <- qf(alpha/2, df1, df2)
  F_upper <- qf(1 - alpha/2, df1, df2)
  est <- (df1 * Fv) / (df1 * Fv + df2)
  lo  <- (df1 * F_lower) / (df1 * F_lower + df2)
  hi  <- (df1 * F_upper) / (df1 * F_upper + df2)
  c(est = est, lo = lo, hi = hi)
}

# --- Monta tabela no formato car::Anova ---
anova_type2_from_raw <- function(y, G, x, conf = 0.95, eta_grupo = TRUE) {
  s <- ss_type2_matrix(y, G, x)
  df_g <- s$df1_G; df_x <- s$df1_x; df_e <- s$df2
  MS_e <- s$SSE / df_e
  Fg <- (s$SS_Grupo_x / df_g) / MS_e
  Fx <- (s$SS_x_Grupo / df_x) / MS_e
  pg <- pf(Fg, df_g, df_e, lower.tail = FALSE)
  px <- pf(Fx, df_x, df_e, lower.tail = FALSE)
  
  # η² parcial + IC95% (apenas Grupo)
  eta_g <- if (eta_grupo) .eta2_ci(Fg, df_g, df_e, conf) else c(NA, NA, NA)
  
  # R² global + IC95% analítico
  R2 <- (s$SS_Grupo_x + s$SS_x_Grupo) / (s$SS_Grupo_x + s$SS_x_Grupo + s$SSE)
  K <- df_g + df_x
  alpha <- 1 - conf
  F_lower <- qf(alpha/2, K, df_e)
  F_upper <- qf(1 - alpha/2, K, df_e)
  R2_lo <- (K * F_lower) / (K * F_lower + df_e)
  R2_hi <- (K * F_upper) / (K * F_upper + df_e)
  
  tab <- data.frame(
    check.names = FALSE,
    "Sum Sq"  = c(s$SS_Grupo_x, s$SS_x_Grupo, s$SSE),
    "Df"      = c(df_g, df_x, df_e),
    "F value" = c(Fg, Fx, NA),
    "Pr(>F)"  = c(pg, px, NA),
    "η² parcial (Grupo)" = c(eta_g["est"], NA, NA),
    "IC95% η² parcial (Grupo)" = c(
      sprintf("[%.3f, %.3f]", eta_g["lo"], eta_g["hi"]),
      NA, NA
    ),
    row.names = c("Group","Covariate","Residuals")
  )
  attr(tab, "R2") <- R2
  attr(tab, "R2_CI") <- c(R2_lo, R2_hi)
  class(tab) <- c("anova","data.frame")
  tab
}

## ---------- Exemplo ----------
set.seed(123)
n <- 60
g <- 3
Grupo <- factor(rep(1:g, each = n/g))
x <- rnorm(n)
beta <- 0.6
mu_dev <- c(-0.5, 0.0, 0.5)
y <- 2 + mu_dev[Grupo] + beta*(x - mean(x)) + rnorm(n, sd=1.2)

G <- model.matrix(~ Grupo)[, -1, drop = FALSE]
tab <- anova_type2_from_raw(y, G, x)
print(as.data.frame(tab), digits = 4)

          Sum Sq Df F value    Pr(>F) η² parcial (Grupo)
Group      12.91  2   6.361 3.241e-03             0.1851
Covariate  28.37  1  27.950 2.126e-06                 NA
Residuals  56.84 56      NA        NA                 NA
          IC95% η² parcial (Grupo)
Group               [0.001, 0.123]
Covariate                     <NA>
Residuals                     <NA>

cat(sprintf("\nR² global = %.3f; IC95%% R² = [%.3f, %.3f]\n",
            attr(tab,"R2"), attr(tab,"R2_CI")[1], attr(tab,"R2_CI")[2]))

R² global = 0.421; IC95% R² = [0.004, 0.153]

# modelo direto com o fator
fit <- lm(y ~ Grupo + x)
print(anv <- car::Anova(fit, type = 2))

Anova Table (Type II tests)

Response: y
          Sum Sq Df F value    Pr(>F)    
Grupo     12.912  2  6.3608  0.003241 ** 
x         28.368  1 27.9496 2.126e-06 ***
Residuals 56.839 56                      
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

alfa <- 0.05
eta2 <- effectsize::eta_squared(anv,
                                partial=TRUE,
                                generalized=FALSE,
                                ci=1-alfa,
                                alternative="two.sided",
                                verbose=TRUE)
eta2$interpret <- effectsize::interpret_eta_squared(eta2$Eta2)
print(eta2, digits=4)

# Effect Size for ANOVA (Type II)

Parameter | Eta2 (partial) |           95% CI | interpret
---------------------------------------------------------
Grupo     |         0.1851 | [0.0266, 0.3515] |     large
x         |         0.3329 | [0.1447, 0.4983] |     large

print(apaTables::apa.aov.table(fit,
                         conf.level=1-alfa,
                         type=3))

ANOVA results using y as the dependent variable
 

   Predictor    SS df    MS     F    p partial_eta2 CI_95_partial_eta2
 (Intercept) 33.18  1 33.18 32.69 .000                                
       Grupo 12.91  2  6.46  6.36 .003          .19         [.03, .34]
           x 28.37  1 28.37 27.95 .000          .33         [.14, .49]
       Error 56.84 56  1.02                                           

Note: Values in square brackets indicate the bounds of the 95% confidence interval for partial eta-squared 

print(summary(fit))

Call:
lm(formula = y ~ Grupo + x)

Residuals:
     Min       1Q   Median       3Q      Max 
-2.66310 -0.63342 -0.04889  0.67574  2.70089 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   1.2934     0.2262   5.718 4.36e-07 ***
Grupo2        1.1258     0.3198   3.520 0.000864 ***
Grupo3        0.7184     0.3186   2.255 0.028075 *  
x             0.7650     0.1447   5.287 2.13e-06 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.007 on 56 degrees of freedom
Multiple R-squared:  0.4037,    Adjusted R-squared:  0.3718 
F-statistic: 12.64 on 3 and 56 DF,  p-value: 2.032e-06

Análise de Regressão Multivariada por Mínimos Quadrados (MOLS)

Um dos objetivos da análise de regressão é desenvolver uma equação que permita ao pesquisador prever a resposta para valores dados das variáveis preditoras. Portanto, é necessário “ajustar” o modelo em (7-3) ao \(y_j\) observado correspondente aos valores conhecidos \(1, z_{j1}, \ldots, z_{jr}\). Ou seja, devemos determinar os valores para os coeficientes de regressão \(\boldsymbol{\beta}\) e a variância do erro \(\sigma^2\) consistentes com os dados disponíveis.

Seja \(\mathbf{b}\) os valores de tentativa para \(\boldsymbol{\beta}\). Considere a diferença \(y_j - \sum_{i=0}^{r}{b_i z_{ji}}\) entre a resposta observada \(y_j\) e o valor \(\sum_{i=0}^{r}{b_i z_{ji}}\) que seria esperado se \(\mathbf{b}\) fosse o vetor de parâmetro “verdadeiro”. Tipicamente, as diferenças \(y_j - \sum_{i=0}^{r}{b_i z_{ji}}\) não serão nulas, porque a resposta flutua (de maneira caracterizada pelas suposições do termo de erro) em torno do seu valor esperado.

O método dos mínimos quadrados seleciona \(\mathbf{b}\) de modo a minimizar a soma dos quadrados dessas diferenças:

\[ \begin{align} \text{S}(\mathbf{b})&=\sum_{j=1}^{n} \left(y_j - \sum_{i=0}^{r}{b_i z_{ji}}\right)^2\\ \text{S}(\mathbf{b})&=(\mathbf{y} - \mathbf{z}\mathbf{b})^{\prime}(\mathbf{y} - \mathbf{z}\mathbf{b}) \end{align} \tag{7-4} \]

Os coeficientes \(\mathbf{b}\) escolhidos pelo critério dos mínimos quadrados são chamados de estimativas de mínimos quadrados dos parâmetros de regressão \(\boldsymbol{\beta}\). Daqui em diante, serão denotados por \(\hat{\boldsymbol{\beta}}\) para enfatizar seu papel como estimativas de \(\boldsymbol{\beta}\).

Os coeficientes \(\hat{\boldsymbol{\beta}}\) são consistentes com os dados no sentido de que produzem respostas médias estimadas (ajustadas), \(\sum_{i=0}^{r}{\hat{\beta}_i z_{ji}}\), cuja soma dos quadrados das diferenças em relação às observações \(y_j\) é a menor possível. As diferenças

\[ \hat{\varepsilon}_j = y_j - \sum_{i=0}^{r}{\hat{\beta}_i z_{ji}}\\ j = 1, 2, \ldots,n \tag{7-5} \]

são chamadas de resíduos. O vetor de resíduo \(\hat{\boldsymbol{\varepsilon}} = \mathbf{y} - \mathbf{z} \hat{\boldsymbol{\beta}}\) contém informações sobre o parâmetro desconhecido \(\sigma^2\). (Veja o Resultado 7.2.)

O método OLS pode ser visualizado para regressão linear simples:

• demo_minimos_quadrados.R

Resultado 7.1. Seja \(\mathbf{z}\) uma matriz com posto completo \(r + 1\). A estimativa de mínimos quadrados de \(\boldsymbol{\beta}\) em (7-3) é dada por

\[ \hat{\boldsymbol{\beta}} = (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{Y} \]

Seja \(\hat{\mathbf{Y}} = \mathbf{z}\hat{\boldsymbol{\beta}} = \mathbf{H}\mathbf{Y}\) os valores estimados de \(\mathbf{Y}\), em que \(\mathbf{H} = \mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\) é chamada de matriz “chapéu” (Hat). Então, os resíduos

\[ \begin{align} \hat{\boldsymbol{\varepsilon}} &= \mathbf{Y} - \hat{\mathbf{Y}} \\ &= \left[\mathbf{I} - \mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\right]\mathbf{Y} \\ \hat{\boldsymbol{\varepsilon}} &= (\mathbf{I} - \mathbf{H})\mathbf{Y} \end{align} \]

satisfazem \(\mathbf{z}^{\prime}\hat{\boldsymbol{\varepsilon}} = \mathbf{0}\) e \(\mathbf{Y}^{\prime}\hat{\boldsymbol{\varepsilon}} = \mathbf{0}\). Além disso, a soma dos quadrados dos resíduos é

\[ \begin{align} \sum_{j=1}^{n}{\hat{\varepsilon}_j^2} &= \hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}} \\ &=\mathbf{Y}^{\prime}[\mathbf{I} - \mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}]\mathbf{Y} \\ \sum_{j=1}^{n}{\hat{\varepsilon}_j^2} &= \mathbf{Y}^{\prime}\mathbf{Y} - \mathbf{Y}^{\prime}\mathbf{z}\hat{\boldsymbol{\beta}} \end{align} \]

Se \(\mathbf{z}\) não tem posto completo, \((\mathbf{z}^{\prime}\mathbf{z})^{-1}\) é substituído por \((\mathbf{z}^{\prime}\mathbf{z})^{-}\), uma inversa generalizada de \(\mathbf{z}\mathbf{z}\). (Veja o Exercício 7.6.)

\[\Diamond\]

Resultado 7.1 mostra como as estimativas de mínimos quadrados \(\boldsymbol{\beta}\) e os resíduos \(\boldsymbol{\varepsilon}\) podem ser obtidos a partir da matriz de planejamento \(\mathbf{Z}\) e das respostas \(\mathbf{Y}\) por operações simples de matrizes.

Exemplo 7.3: Calculando as estimativas de mínimos quadrados, os resíduos e a soma dos quadrados dos resíduos

Calcule as estimativas de mínimos quadrados \(\boldsymbol{\beta}\), os resíduos \(\boldsymbol{\varepsilon}\) e a soma dos quadrados dos resíduos para um modelo de reta

\[ Y_j=\beta_0 + \beta_1 z_{j1}+\varepsilon_j \]

ajustado para os dados

\[ \begin{array}{cc} z_1 & y \\ 0 & 1 \\ 1 & 4 \\ 2 & 3 \\ 3 & 8 \\ 4 & 9 \\ \end{array} \]

Sejam \(\mathbf{z}\) a matriz de planejamento e \(\mathbf{y}\) o vetor de respostas:

\[ \mathbf{z} = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \\ 1 & 3 \\ 1 & 4 \end{bmatrix}, \quad \mathbf{y} = \begin{bmatrix} 1 \\ 4 \\ 3 \\ 8 \\ 9 \end{bmatrix} \]

A estimativa de mínimos quadrados para \(\boldsymbol{\beta}\) é dada por:

\[ \hat{\boldsymbol{\beta}} = (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{y} \]

Os resíduos são calculados como:

\[ \hat{\boldsymbol{\varepsilon}} = \mathbf{y} - \mathbf{z}\hat{\boldsymbol{\beta}} \]

E a soma dos quadrados dos resíduos é:

\[ \hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}} \]

• \(p=1, q=1, r=1\)

• JW6_Example7.3.R

suppressMessages(suppressWarnings(
  invisible(Sys.setlocale("LC_ALL", "pt_BR.UTF-8"))))
# Dados
z <- matrix(c(1, 0, 
              1, 1,
              1, 2, 
              1, 3, 
              1, 4), 
            ncol=2, byrow=TRUE)
z

     [,1] [,2]
[1,]    1    0
[2,]    1    1
[3,]    1    2
[4,]    1    3
[5,]    1    4

y <- c(1, 4, 3, 8, 9)
y

[1] 1 4 3 8 9

# Estimativas de mínimos quadrados para beta
beta_hat <- solve(crossprod(z)) %*% crossprod(z,y)
beta_hat

     [,1]
[1,]    1
[2,]    2

# Resíduos
y_hat <- z %*% beta_hat
y_hat

     [,1]
[1,]    1
[2,]    3
[3,]    5
[4,]    7
[5,]    9

residuals <- y - y_hat
round(residuals,2)

     [,1]
[1,]    0
[2,]    1
[3,]   -2
[4,]    1
[5,]    0

round(sum(residuals), 6)

[1] 0

# Soma dos quadrados dos resíduos
sqr <- crossprod(residuals)
sqr

     [,1]
[1,]    6

plot(z[, 2], y, pch=16, col='gray', 
     main='Gráfico de Regressão', xlab='z', ylab='y')
curve(beta_hat[1]+beta_hat[2]*x, min(z), max(z), col='black', add=TRUE)
legend('topleft', legend=c('Dados', 'Reta de regressão'), 
       col=c('gray', 'black'), pch=c(16, NA), lty=c(NA, 1), bty="n")
points(mean(z[, 2]),mean(y), pch=16)

Equação de regressão linear simples univariada por OLS:

\[ \hat{y} = 1 + 2z_1\\ z_1\in[0,4] \]

Este segmento de reta representa a média de \(y\) para cada valor de \(z_1\in[0,4]\). Um dos valores pelos quais a reta passa é o centróide \((\bar{y}, \bar{z}_1)\), sendo que \(\bar{y}=\frac{1}{5}(1+4+3+8+9)=5\) e \(\bar{z}_1=\frac{1}{5}(0+1+2+3+4)=2\):

\[ \begin{align} \hat{y}(\bar{z}_1)&=\bar{y}\\ \hat{y}(2)&=1+2\times 2=5 \end{align} \]

Visualização de OLS

Infinitas retas passam pelo centróide. Construindo quadrados cujos lados sejam a distância entre os valores observados \(y\) e valores os estimados \(\hat{y}\) por uma reta, a que melhor se ajusta é aquela cuja somatória das áreas dos quadrados for mínima. Esta reta ajustada pelo método de mínimos quadrados ordinários é a que foi representada no gráfico (toda reta ajustada por este método passa obrigatoriamente pelo centróide).

Execute demo_minimos_quadrados.R para visualização de OLS.

Método dos mínimos quadrados em WolframAlpha, R e SCILAB

LeastSquares[{{1,0}, {1,1}, {1,2}, {1,3}, {1,4}}, {1,4,3,8,9}]

• JW6_Example7.3_R.R

Y <- c(1,4,3,8,9)
X <- matrix(c(1, 0, 
              1, 1,
              1, 2, 
              1, 3, 
              1, 4), 
            ncol=2, byrow=TRUE)
Y

[1] 1 4 3 8 9

X

     [,1] [,2]
[1,]    1    0
[2,]    1    1
[3,]    1    2
[4,]    1    3
[5,]    1    4

b <- solve(t(X)%*%X)%*%t(X)%*%Y
b

     [,1]
[1,]    1
[2,]    2

b <- solve(crossprod(X), crossprod(X,Y))
b

     [,1]
[1,]    1
[2,]    2

y <- X%*%b
e <- Y - y
P <- X%*%solve(crossprod(X))%*%t(X)
matrixcalc::is.symmetric.matrix(P)

[1] TRUE

matrixcalc::is.idempotent.matrix(P)

[1] TRUE

Q <- crossprod(Y,e)
Q

     [,1]
[1,]    6

Q <- crossprod(e)
Q

     [,1]
[1,]    6

e.soma <- round(crossprod(e,rep(1,length(e))), 6)
e.soma

     [,1]
[1,]    0

ortg <-  round(crossprod(y,e), 6)
ortg

     [,1]
[1,]    0

n <- length(Y)
R2 <- (crossprod(y,Y)/n-mean(Y)^2)/(crossprod(Y)/n-mean(Y)^2)
R2

          [,1]
[1,] 0.8695652

plot(X[,2], Y,
     main=paste0("OLS: y = Xb\nR^2 = ", round(R2,2)),
     ylab="y",
     xlab="x",
     ylim=1.1*c(min(y), max(y)))
curve(b[1]+b[2]*x, min(X[,2]), max(X[,2]), add=TRUE)

Y=[1;4;3;8;9]
X=[1 0;1 1;1 2;1 3;1 4]
b=inv(X'*X)*X'*Y
lsq(X,Y)
y=X*b
e=Y-y
P=X*inv(X'*X)*X'
Q=Y'*e
Q=e'*e
esum=e'*[1 1 1 1 1]'
ortg=y'*e
n=length(Y)
R2=(y'*Y/n-mean(Y)^2)/(Y'*Y/n-mean(Y)^2)
quit

Scilab 2023.1.0 (May 23 2023, 09:23:00)
 Y  = 

   1.
   4.
   3.
   8.
   9.
 X  = 

   1.   0.
   1.   1.
   1.   2.
   1.   3.
   1.   4.
 b  = 

   1.0000000
   2.0000000
 ans  =

   1.0000000
   2.0000000
 y  = 

   1.0000000
   3.
   5.0000000
   7.0000000
   9.0000000
 e  = 

   3.331D-16
   1.
  -2.0000000
   1.0000000
  -1.776D-15
 P  = 

   0.6   0.4         0.2  -2.776D-17  -0.2      
   0.4   0.3         0.2   0.1        -5.551D-17
   0.2   0.2         0.2   0.2         0.2      
   0.    0.1         0.2   0.3         0.4      
  -0.2   2.776D-17   0.2   0.4         0.6      
 Q  = 

   6.0000000
 Q  = 

   6.0000000
 esum  = 

  -3.220D-15
 ortg  = 

  -2.798D-14
 n  = 

   5.
 R2  = 

   0.8695652

\[\Diamond\]

Demonstração do método de mínimos quadrados

• \(p=1, q=1, r=2\)

• Proofs involving ordinary least squares: Wikipedia

A álgebra matricial é indispensável em áreas como análise estatística multivariada, planejamento de experimentos e análise de variância e covariância.

Para dar uma ideia de tal aplicação estatística, consideramos um modelo de regressão. Suponha que nos seja dado um diagrama de dispersão consistindo de pontos \((z_i,y_i)\), \(i = 1,2, \ldots, n\), em que \(x_i\) e \(y_i\) são observações intervalares. Suponha ainda que os pontos estejam próximos de uma certa curva e que queremos ajustar uma função quadrática. a equação é:

\[ y=\beta_0+\beta_1z+\beta_2z^2 \]

em que as constantes \(\beta_0\), \(\beta_1\) e \(\beta_2\) são desconhecidas. As coordenadas \(z_i\) e \(y_i\) dos pontos não satisfazem exatamente uma equação quadrática. Portanto, escrevemos:

\[ Y_i=\beta_0+\beta_1z_i+\beta_2z_i^2+\varepsilon_i \]

em que \(\epsilon_i\) é o termo de erro.

O sistema com \(n\) equações lineares nos parâmetros pode ser escrito na forma matricial:

O sistema com \(n\) equações lineares nos parâmetros pode ser escrito na forma matricial:

\[ \mathbf{Y} = \mathbf{z}\boldsymbol{\beta} + \boldsymbol{\varepsilon} \]

Em que:

\[ \begin{align} \mathbf{Y} &= \begin{bmatrix} Y_1 \\ Y_2 \\ \vdots \\ Y_n \end{bmatrix}\\ \mathbf{z} &= \begin{bmatrix} 1 & z_1 & z_1^2 \\ 1 & z_2 & z_2^2 \\ \vdots & \vdots & \vdots \\ 1 & z_n & z_n^2 \end{bmatrix}\\ \boldsymbol{\beta} &= \begin{bmatrix} \beta_0 \\ \beta_1 \\ \beta_2 \end{bmatrix}\\ \boldsymbol{\varepsilon} &= \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{bmatrix} \end{align} \]

A equação matricial \(\mathbf{Y} = \mathbf{z}\boldsymbol{\beta} + \boldsymbol{\varepsilon}\) é chamada de modelo linear, pois é linear em \(\boldsymbol{\beta}\).

Para encontrar coeficientes adequados, aplicamos o método dos mínimos quadrados (OLS), que minimiza a soma dos quadrados dos erros:

\[ \sum_{i=1}^{n} \varepsilon_i^2 = \boldsymbol{\varepsilon}^\prime \boldsymbol{\varepsilon} \]

Isso significa que os coeficientes desconhecidos \(\beta_0\), \(\beta_1\) e \(\beta_2\) são determinados de tal forma que:

\[ \begin{align} Q &= \boldsymbol{\varepsilon}^\prime \boldsymbol{\varepsilon}\\ Q &= (\mathbf{Y} - \mathbf{z}\boldsymbol{\beta})^\prime (\mathbf{Y} - \mathbf{z}\boldsymbol{\beta}) \end{align} \]

assume o menor valor possível. A solução pode ser encontrada por métodos de álgebra matricial ou podemos aplicar cálculo diferencial. Conforme Teichroew (1964, p. 580-3) e Tay (2018):

\[ \begin{align} Q &= \boldsymbol{\varepsilon}^\prime \boldsymbol{\varepsilon} \\ &= (\mathbf{Y} - \mathbf{z}\boldsymbol{\beta})^\prime (\mathbf{Y} - \mathbf{z}\boldsymbol{\beta}) \\ Q &= \boldsymbol{\beta}^\prime \mathbf{z}^\prime \mathbf{z}\boldsymbol{\beta} - 2\mathbf{Y}^\prime \mathbf{z}\boldsymbol{\beta} + \mathbf{Y}^\prime \mathbf{Y} \end{align} \]

A condição de primeira ordem (necessária) para encontrar o mínimo de \(Q\) é:

\[ \begin{aligned} \dfrac{\partial Q}{\partial \boldsymbol{\beta}} &= 2\mathbf{z}^\prime \mathbf{z}\boldsymbol{\beta} - 2\mathbf{z}^\prime \mathbf{Y} \\ \mathbf{0} &= 2\mathbf{z}^\prime \mathbf{z}\hat{\boldsymbol{\beta}} - 2\mathbf{z}^\prime \mathbf{Y} \\ \hat{\boldsymbol{\beta}} &= (\mathbf{z}^\prime \mathbf{z})^{-1} \mathbf{z}^\prime \mathbf{Y} \end{aligned} \]

A condição de segunda ordem (suficiente) para um mínimo é:

\[ \left.\dfrac{\partial^2 Q}{\partial \boldsymbol{\beta} \partial \boldsymbol{\beta}^\prime}\right|_{\boldsymbol{\beta}=\hat{\boldsymbol{\beta}}} = 2\mathbf{z}^\prime \mathbf{z} \]

A matriz de informação \(\mathbf{z}^\prime \mathbf{z}\) é uma matriz simétrica e definida positiva (todos os autovalores são positivos), ou seja, \(\mathbf{z}^\prime \mathbf{z} > 0\). Se a segunda derivada é positiva, então o ponto crítico é de mínimo. Portanto, \(\hat{\boldsymbol{\beta}}\) é a estimativa de mínimos quadrados:

\[ \begin{align} Q_{\min} &= \mathbf{Y}^\prime (\mathbf{Y} - \mathbf{z}\hat{\boldsymbol{\beta}}) \\ &= \mathbf{Y}^\prime \hat{\boldsymbol{\varepsilon}} \\ Q_{\min} &= \hat{\boldsymbol{\varepsilon}}^\prime \hat{\boldsymbol{\varepsilon}} \end{align} \]

Em que \(\hat{\boldsymbol{\varepsilon}} = \mathbf{Y} - \mathbf{z}\hat{\boldsymbol{\beta}}\) é o vetor de resíduo. As relações adicionais incluem:

\[ \begin{aligned} \mathbf{\hat{Y}} &= \mathbf{z}\hat{\boldsymbol{\beta}} \\ \mathbf{Y} - \hat{\boldsymbol{\varepsilon}} &= \mathbf{z}\hat{\boldsymbol{\beta}} \\ \mathbf{Y} &= \mathbf{z}\hat{\boldsymbol{\beta}} + \hat{\boldsymbol{\varepsilon}} \end{aligned} \]

Além disso, a soma dos quadrados dos resíduos é nula:

\[ \hat{\boldsymbol{\varepsilon}}^\prime \mathbf{1} = 0 \]

A matriz de planejamento \(\mathbf{z}\) e o vetor das estimativas de resíduos são ortogonais (\(\mathbf{z}\) e \(\hat{\boldsymbol{\varepsilon}}\) são matematicamente independentes):

\[ \begin{aligned} \mathbf{Y} &= \mathbf{z}\hat{\boldsymbol{\beta}} \\ \mathbf{Y} - \mathbf{z}\hat{\boldsymbol{\beta}} &= 0 \\ \mathbf{z}^\prime \mathbf{Y} - \mathbf{z}^\prime \mathbf{z}\hat{\boldsymbol{\beta}} &= 0 \\ \mathbf{z}^\prime (\mathbf{Y} - \mathbf{z}\hat{\boldsymbol{\beta}}) &= 0 \\ \mathbf{z}^\prime \hat{\boldsymbol{\varepsilon}} &= 0 \end{aligned} \]

O estimador OLS de \(\beta\) é não-viesado se \(\mathbb{E}(\boldsymbol{\varepsilon}) = \mathbf{0}\):

\[ \begin{aligned} \hat{\boldsymbol{\beta}} &= (\mathbf{z}^\prime \mathbf{z})^{-1} \mathbf{z}^\prime \mathbf{Y} \\ &= (\mathbf{z}^\prime \mathbf{z})^{-1} \mathbf{z}^\prime (\mathbf{z}\boldsymbol{\beta} + \boldsymbol{\varepsilon}) \\ &= (\mathbf{z}^\prime \mathbf{z})^{-1} \mathbf{z}^\prime \mathbf{z}\boldsymbol{\beta} + (\mathbf{z}^\prime \mathbf{z})^{-1} \mathbf{z}^\prime \boldsymbol{\varepsilon} \\ \hat{\boldsymbol{\beta}} &= \boldsymbol{\beta} + (\mathbf{z}^\prime \mathbf{z})^{-1} \mathbf{z}^\prime \boldsymbol{\varepsilon} \\ \mathbb{E}(\hat{\boldsymbol{\beta}}) &= \boldsymbol{\beta} + (\mathbf{z}^\prime \mathbf{z})^{-1} \mathbf{z}^\prime \mathbb{E}(\boldsymbol{\varepsilon}) \\ \mathbb{E}(\hat{\boldsymbol{\beta}}) &= \boldsymbol{\beta} \end{aligned} \]

Os valores preditos de \(\mathbf{Y}\) são:

\[ \begin{align} \mathbf{\hat{Y}} &= \mathbf{z}\hat{\boldsymbol{\beta}} \\ &= \mathbf{z}(\mathbf{z}^\prime \mathbf{z})^{-1} \mathbf{z}^\prime \mathbf{Y} \\ \mathbf{\hat{Y}} &= \mathbf{H}\mathbf{Y} \end{align} \]

Em que \(\mathbf{H} = \mathbf{z}(\mathbf{z}^\prime \mathbf{z})^{-1} \mathbf{z}^\prime\) é chamada de matriz de projeção (Projection matrix), matriz de influência (influence matrix) ou matriz chapéu (Hat matrix).

\(\mathbf{H}\) é simétrica (\(\mathbf{H}^\prime = \mathbf{H}\)) e idempotente (\(\mathbf{H}^2 = \mathbf{H}\)).

O vetor da variável dependente predita \(\mathbf{\hat{Y}}\) e o vetor das estimativas de resíduos são ortogonais (\(\mathbf{\hat{Y}}\) e \(\hat{\boldsymbol{\varepsilon}}\) são matematicamente independentes):

\[ \mathbf{\hat{Y}}^\prime \hat{\boldsymbol{\varepsilon}} = 0 \]

Decomposição da Soma dos Quadrados

De acordo com o Resultado 7.1, \(\hat{\mathbf{y}}^{\prime}\hat{\boldsymbol{\varepsilon}} = 0\), então a soma total dos quadrados da resposta \(\mathbf{y}^{\prime}\mathbf{y}=\sum_{j=1}^{n}{y^2_j}\) satisfaz:

\[ \begin{align} \mathbf{y}^{\prime}\mathbf{y} &= (\hat{\mathbf{y}} + \mathbf{y} - \hat{\mathbf{y}})^{\prime}(\hat{\mathbf{y}} + \mathbf{y} - \hat{\mathbf{y}})\\ &= (\hat{\mathbf{y}} + \hat{\boldsymbol{\varepsilon}})^{\prime}(\hat{\mathbf{y}} + \hat{\boldsymbol{\varepsilon}})\\ \mathbf{y}^{\prime}\mathbf{y}&= \hat{\mathbf{y}}^{\prime}\hat{\mathbf{y}} + \hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}} \end{align} \tag{7-7} \]

Uma vez que a primeira coluna de \(\mathbf{z}\) é \(\mathbf{1}\), a condição \(\mathbf{z}^{\prime}\hat{\boldsymbol{\varepsilon}} = \mathbf{0}\) inclui o requisito

\[ \begin{align} 0 &= \mathbf{1}^{\prime}\hat{\boldsymbol{\varepsilon}} \\ &= \sum_{j=1}^n \hat{\varepsilon}_j \\ 0 &= \sum_{j=1}^n (y_j - \hat{y}_j) \end{align} \]

ou

\[ \bar{y} = \bar{\hat{y}} \]

Subtraindo \(n\bar{y}^2 = n\left(\bar{\hat{y}}\right)^2\) de ambos os lados da decomposição em (7-7), obtemos a decomposição básica da soma dos quadrados em relação à média:

\[ \mathbf{y}^{\prime}\mathbf{y} - n\bar{y}^2 = \hat{\mathbf{y}}^{\prime}\hat{\mathbf{y}} - n\left(\bar{\hat{y}}\right)^2 + \hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}} \]

ou

\[ \sum_{j=1}^n (y_j - \bar{y})^2 = \sum_{j=1}^n (\hat{y}_j - \bar{y})^2 + \sum_{j=1}^n \hat{\varepsilon}_j^2 \tag{7-8} \]

\[\text{SS em relação à média} = \text{SS da regressão} + \text{SS dos resíduos}\]

A decomposição da soma dos quadrados precedente sugere que a qualidade do ajuste do modelo pode ser medida pelo coeficiente de determinação \(R^2\):

\[ R^2 = \dfrac{\sum_{j=1}^n (\hat{y}_j - \bar{y})^2}{\sum_{j=1}^n (y_j - \bar{y})^2} = \dfrac{\dfrac{\mathbf{\hat{Y}}^\prime \mathbf{Y}}{n} - \bar{Y}^2}{\dfrac{\mathbf{Y}^\prime \mathbf{Y}}{n} - \bar{Y}^2} \tag{7-9} \]

A quantidade \(R^2\) fornece a proporção da variação total de \(y\) “explicada” por, ou atribuível a, as variáveis preditoras \(z_1, z_2, \ldots, z_r\). Aqui \(R^2\) (ou o coeficiente de correlação múltipla \(R = +\sqrt{R^2}\)) é igual a 1 se a equação ajustada passar por todos os pontos observados, de modo que \(\hat{\varepsilon}_j = 0\) para todos \(j\). No outro extremo, \(R^2\) é 0 se \(\hat{\beta}_0 = \bar{y}\) e \(\hat{\beta}_1 = \hat{\beta}_2 = \cdots = \hat{\beta}_r = 0\). Nesse caso, as variáveis preditoras \(z_1, z_2, \ldots, z_r\) não têm influência na resposta.

O \(R^2\) é uma medida estatística de quão próximos os dados estão da função de regressão ajustada. Esta medida varia entre 0 (ausência de ajuste) e 1 (ajuste perfeito). \(R^2\) é conhecido como o coeficiente de determinação ou o coeficiente de determinação múltipla para a regressão múltipla.

Geometria dos Mínimos Quadrados

Uma interpretação geométrica da técnica de mínimos quadrados destaca a natureza do conceito. De acordo com o modelo clássico de regressão linear,

Vetor resposta média é:

\[ \begin{align} \mathbb{E}(\mathbf{Y})&=\mathbf{z}\boldsymbol{\beta}\\ \mathbb{E}(\mathbf{Y})&=\beta_0\begin{bmatrix} 1 \\ 1 \\ \vdots \\ 1 \end{bmatrix} + \beta_1 \begin{bmatrix} z_{11} \\ z_{21} \\ \vdots \\ z_{n1} \end{bmatrix} + \cdots + \beta_r \begin{bmatrix} z_{1r} \\ z_{2r} \\ \vdots \\ z_{nr} \end{bmatrix} \end{align} \]

Assim, \(\mathbb{E}(\mathbf{Y})\) é uma combinação linear das colunas de \(\mathbf{z}\). À medida que \(\boldsymbol{\beta}\) varia, \(\mathbf{z}\boldsymbol{\beta}\) abrange o plano do modelo de todas as combinações lineares. Geralmente, o vetor de observação \(\mathbf{Y}\) não estará no plano do modelo, devido ao erro aleatório \(\boldsymbol{\varepsilon}\); ou seja, \(\mathbf{Y}\) não é (exatamente) uma combinação linear das colunas de \(\mathbf{z}\). Lembre-se de que

\[ \mathbf{Y} = \begin{array}{c} \mathbf{z}\boldsymbol{\beta} + \boldsymbol{\varepsilon} \end{array} \]

Figura 7.1 Mínimos quadrados com uma projeção para n = 3 e r = 1.

A estimativa OLS pode ser vista como uma projeção no espaço linear estendido pelos regressores. X₁ e X₂ referem-se às colunas da matriz X. Wikipedia: https://en.wikipedia.org/wiki/Ordinary_least_squares

Uma vez que as observações estejam disponíveis, a solução de mínimos quadrados é derivada do vetor de desvio

\[ \mathbf{y} - \mathbf{z}\mathbf{b} = (\text{vetor de observação}) - (\text{vetor no plano do modelo}) \]

O comprimento ao quadrado \((\mathbf{y} - \mathbf{z}\mathbf{b})^{\prime}(\mathbf{y} - \mathbf{z}\mathbf{b})\) é a soma dos quadrados \(S(\mathbf{b})\). Como ilustrado na Figura 7.1, \(S(\mathbf{b})\) é o menor possível quando \(\mathbf{b}\) é selecionado de modo que \(\mathbf{z}\mathbf{b}\) seja o ponto no plano do modelo mais próximo de \(\mathbf{y}\). Esse ponto ocorre na ponta da projeção perpendicular de \(\mathbf{y}\) no plano. Ou seja, para a escolha \(\mathbf{b} = \hat{\boldsymbol{\beta}}\), \(\hat{\mathbf{y}} = \mathbf{z}\hat{\boldsymbol{\beta}}\) é a projeção de \(\mathbf{y}\) no plano consistindo em todas as combinações lineares das colunas de \(\mathbf{z}\). O vetor residual \(\hat{\boldsymbol{\varepsilon}} = \mathbf{y} - \hat{\mathbf{y}}\) é perpendicular a esse plano. Essa geometria se mantém mesmo quando \(\mathbf{z}\) não é de posto completo.

Quando \(\mathbf{z}\) tem posto completo, a operação de projeção é expressa analiticamente como multiplicação pela matriz \(\mathbf{H}=\mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\). Para ver isso, usamos a decomposição espectral (2-16) para escrever

\[ \mathbf{z}^{\prime}\mathbf{z} = \sum_{i=1}^{r+1} \lambda_i \mathbf{e}_i \mathbf{e}_i^{\prime} \]

em que \(\lambda_1 \ge \lambda_2 \ge \cdots \ge \lambda_{r+1} > 0\) são os autovalores de \(\mathbf{z}^{\prime}\mathbf{z}\) e \(\mathbf{e}_1, \mathbf{e}_2, \ldots, \mathbf{e}_{r+1}\) são os autovetores correspondentes. Se \(\mathbf{z}\) é de posto completo,

\[ (\mathbf{z}^{\prime}\mathbf{z})^{-1} = \sum_{i=1}^{r+1} \frac{1}{\lambda_i} \mathbf{e}_i \mathbf{e}_i^{\prime} \]

Considere \(\mathbf{q}_i = \lambda_i^{-1/2} \mathbf{z} \mathbf{e}_i\), que é uma combinação linear das colunas de \(\mathbf{z}\). Então \(\mathbf{q}_i^{\prime}\mathbf{q}_j = 0\). Isso significa que os \(r + 1\) vetores \(\mathbf{q}_i\) são mutuamente perpendiculares e têm comprimento unitário. Suas combinações lineares abrangem o espaço de todas as combinações lineares das colunas de \(\mathbf{z}\). Além disso,

\[ \mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime} = \sum_{i=1}^{r+1} \mathbf{q}_i \mathbf{q}_i^{\prime} \]

De acordo com o Resultado 2A.2 e a Definição 2A.12, a projeção de \(\mathbf{y}\) em uma combinação linear de \(\{\mathbf{q}_1, \mathbf{q}_2, \ldots, \mathbf{q}_{r+1}\}\) é

\[ \sum_{i=1}^{r+1}{(\mathbf{q}_{i}^{\prime}\mathbf{y})\mathbf{q}_{i}}=\mathbf{z}\hat{\boldsymbol{\beta}} \]

Assim, a multiplicação por \(\mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\) projeta um vetor sobre o espaço abrangido pelas colunas de \(\mathbf{z}\).

Da mesma forma, \(\mathbf{I} - \mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\) é a matriz para a projeção de \(\mathbf{y}\) no plano perpendicular ao plano abrangido pelas colunas de \(\mathbf{z}\).

Se \(\mathbf{z}\) não for de posto completo, podemos usar a inversa generalizada \((\mathbf{z}^{\prime}\mathbf{z})^{-}=\sum_{i=1}^{r_1+1}{\lambda_i^{-1}\mathbf{e}_i\mathbf{e}_i^{\prime}}\) que consiste num tipo especial de inversa que pode ser usada quando a matriz não é invertível no sentido usual. No caso de \(\mathbf{z}^{\prime}\mathbf{z}\) não ser de posto completo, os autovalores \(\lambda_1\ge \lambda_2\ge \cdots \ge \lambda_{r_1+1}>0=\lambda_{r_1+2} = \cdots = \lambda_{r+1} = 0\), como descrito no Exercício 7.6. Então, \(\mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-}\mathbf{z}^{\prime}=\sum_{i=1}^{r_1+1}{\mathbf{q}_i\mathbf{q}_i^{\prime}}\) gera a projeção única de \(\mathbf{y}\) no espaço abrangido pelas colunas linearmente independentes de \(\mathbf{z}\). Isso é verdadeiro para qualquer escolha da inversa generalizada. (Veja [23].)

Propriedades Amostrais dos Estimadores de Mínimos Quadrados Clássicos

O estimador de mínimos quadrados \(\hat{\boldsymbol{\beta}}\) e os resíduos \(\hat{\boldsymbol{\varepsilon}}\) possuem as propriedades amostrais detalhadas no próximo resultado.

Resultado 7.2. Sob o modelo de regressão linear geral em (7-3), o estimador de mínimos quadrados \(\hat{\boldsymbol{\beta}} = (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{Y}\) possui

\[ \mathbb{E}\left(\hat{\boldsymbol{\beta}}\right) = \boldsymbol{\beta} \]

e

\[ \mathbb{C}\left(\hat{\boldsymbol{\beta}}\right) = \sigma^2(\mathbf{z}^{\prime}\mathbf{z})^{-1} \]

Os resíduos \(\hat{\boldsymbol{\varepsilon}}\) possuem as propriedades

\[ \begin{align} \mathbb{E}\left(\hat{\boldsymbol{\varepsilon}}\right) &= \mathbf{0}\\\\ \mathbb{C}\left(\hat{\boldsymbol{\varepsilon}}\right) &= \sigma^2\left[\mathbf{I} - \mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\right] \\ \mathbb{C}\left(\hat{\boldsymbol{\varepsilon}}\right) &= \sigma^2[\mathbf{I} - \mathbf{H}] \end{align} \]

A soma de quadrados dos resíduos é:

\[ \text{SS}_{\text{res}}=\hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}} \]

Além disso,

\[ \mathbb{E}\left(\hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}}\right) = (n - r - 1)\sigma^2 \]

portanto, definindo

\[ \begin{align} S^2 &= \dfrac{\hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}}}{n-\text{rank}(\mathbf{z})}\\ &= \dfrac{\hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}}}{n-(r+1)}\\ &= \dfrac{\text{SS}_{\text{res}}}{n - r - 1}\\ &=\dfrac{\mathbf{Y}^{\prime}\left(\mathbf{I} - \mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\right)\mathbf{Y}}{n - r - 1} \\ S^2&= \dfrac{\mathbf{Y}^{\prime}(\mathbf{I} - \mathbf{H})\mathbf{Y}}{\text{tr}(\mathbf{I} - \mathbf{H})} \end{align} \]

temos

\[ \mathbb{E}\left(S^2\right) = \sigma^2 \]

Além disso,

\[ \mathbb{C}\left(\hat{\boldsymbol{\beta}},\hat{\boldsymbol{\varepsilon}}\right)=\mathbf{0}\]

Demonstração: J&W6e, Solutions Manual, 2007, p. 164

\[\Diamond\]

O estimador de mínimos quadrados \(\hat{\boldsymbol{\beta}}\) possui uma propriedade de variância mínima que foi estabelecida por Gauss. O seguinte resultado diz respeito aos estimadores “melhores” (Best) de funções lineares paramétricas da forma \(\mathbf{c}^{\prime} \boldsymbol{\beta} = \sum_{i=1}^r c_i \beta_i\) para qualquer vetor \(\mathbf{c}\).

Resultado 7.3 (Teorema dos mínimos quadrados de Gauss). Seja \(\mathbf{Y} = \mathbf{z}\boldsymbol{\beta} + \boldsymbol{\varepsilon}\), sendo que \(\mathbb{E}(\boldsymbol{\varepsilon}) = \mathbf{0}\), \(\mathbb{C}(\boldsymbol{\varepsilon}) = \sigma^2\mathbf{I}\), e \(\mathbf{z}\) com posto completo \(r + 1\). Para qualquer vetor \(\mathbf{c}\), o estimador de \(\mathbf{c}^{\prime} \boldsymbol{\beta}\) tem a menor variância possível entre todos os estimadores lineares da forma \(\mathbf{a}^{\prime}\mathbf{Y} = \sum_{i=1}^n a_i Y_i\) que são não viesados para \(\mathbf{c}^{\prime}\boldsymbol{\beta}\).

\[ \begin{align} \mathbf{c}^{\prime}\hat{\boldsymbol{\beta}} &= \sum_{i=1}^{r}{c_i\hat{\beta}_i}\\ \mathbf{c}^{\prime}\hat{\boldsymbol{\beta}} &= \mathbf{c}^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\,\mathbf{Y}\\ \mathbf{c}^{\prime}\hat{\boldsymbol{\beta}} &= \mathbf{a^{\ast}}^{\prime} \,\mathbf{Y} \end{align} \] Portanto, \(\mathbf{a^{\ast}}^{\prime}=\mathbf{c}^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\).

Demonstração:

\[ \begin{align} \mathbb{E}(\mathbf{a}^{\prime}\mathbf{Y})&=\mathbf{c}^{\prime}\boldsymbol{\beta}\\ \mathbb{E}(\mathbf{a}^{\prime}(\mathbf{z}\boldsymbol{\beta} + \boldsymbol{\varepsilon}))&=\mathbf{a}^{\prime}\mathbf{z}\boldsymbol{\beta}\\ \end{align} \] Portanto, \(\mathbf{c}^{\prime}=\mathbf{a}^{\prime}\mathbf{z}\) para qualquer estimador não viesado.

\[ \begin{align} \mathbb{V}(\mathbf{a}^{\prime}\mathbf{Y})&=\mathbb{V}(\mathbf{a}^{\prime}(\mathbf{z}\boldsymbol{\beta} + \boldsymbol{\varepsilon}))\\ &=\sigma^2\mathbf{a}^{\prime}\mathbf{a}\\ \mathbb{V}(\mathbf{a}^{\prime}\mathbf{Y})&=\sigma^2(\mathbf{a}-\mathbf{a}^{\ast}+\mathbf{a}^{\ast})^{\prime}(\mathbf{a}-\mathbf{a}^{\ast}+\mathbf{a}^{\ast})\\ \mathbb{V}(\mathbf{a}^{\prime}\mathbf{Y})&=\sigma^2((\mathbf{a}-\mathbf{a}^{\ast})^{\prime}(\mathbf{a}-\mathbf{a}^{\ast})+\mathbf{a^{\ast}}^{\prime}\mathbf{a}^{\ast}) \end{align} \] Portanto, a variância é minimizada se \(\mathbf{a}=\mathbf{a}^{\ast}\)

\[\Diamond\]

Este resultado poderoso afirma que a substituição de \(\boldsymbol{\beta}\) por \(\hat{\boldsymbol{\beta}}\) leva ao melhor estimador de \(\mathbf{c}^{\prime}\boldsymbol{\beta}\) para qualquer \(\mathbf{c}\) de interesse. Em terminologia estatística, o estimador \(\mathbf{c}^{\prime}\hat{\boldsymbol{\beta}}\) é chamado de melhor estimador linear não-viesado de variância mínima (BLUE) de \(\mathbf{c}^{\prime}\boldsymbol{\beta}\).

Inferência sobre o Modelo de Regressão

Descrevemos procedimentos inferenciais baseados no modelo de regressão linear clássico em (7-3) com a suposição adicional (tentativa) de que os erros \(\boldsymbol{\varepsilon}\) têm uma distribuição normal. Métodos para verificar a adequação geral do modelo são considerados na Seção 7.6.

Inferências Relativas aos Parâmetros de Regressão

Antes de podermos avaliar a importância de variáveis específicas na função de regressão \[\mathbb{E}(\mathbf{Y}) = \sum_{i=0}^r \beta_i z_i \tag{7-10}\] devemos determinar as distribuições amostrais de \(\hat{\boldsymbol{\beta}}\) e a soma dos quadrados dos resíduos, \(\hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}}\). Para fazer isso, vamos supor que os erros \(\boldsymbol{\varepsilon}\) tenham uma distribuição multinormal.

Resultado 7.4. Seja \(\mathbf{Y} = \mathbf{z}\boldsymbol{\beta} + \boldsymbol{\varepsilon}\), em que \(\mathbf{z}\) tem posto completo \(r + 1\) e \(\boldsymbol{\varepsilon}\sim\mathcal{N}_n\left(\mathbf{0}, \sigma^2\mathbf{I}\right)\). Então, o estimador de máxima verossimilhança de \(\boldsymbol{\beta}\) é o mesmo que o estimador de mínimos quadrados \(\hat{\boldsymbol{\beta}}\). Além disso,

\[ \hat{\boldsymbol{\beta}} = (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{Y} \sim \mathcal{N}_{r+1}\left(\boldsymbol{\beta}, \sigma^2(\mathbf{z}^{\prime}\mathbf{z})^{-1}\right) \]

\(\hat{\boldsymbol{\beta}}\) é distribuído independentemente dos resíduos \(\hat{\boldsymbol{\varepsilon}} = \mathbf{Y} - \mathbf{z}\hat{\boldsymbol{\beta}}\). Adicionalmente,

\[ \begin{align} \hat{\sigma}^2 &= \dfrac{\hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}}}{n}\\ n\hat{\sigma}^2 &= \hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}} \sim\chi^2_{n - r - 1} \end{align} \]

em que \(\hat{\sigma}^2\) é o estimador de máxima verossimilhança de \(\sigma^2\).

Demonstração: J&W6e, Solutions Manual, 2007, p. 165

\[\Diamond\]

A região elíptica de confiança para \(\boldsymbol{\beta}\) é facilmente construída. Ela é expressa em termos da matriz de covariância estimada \(s^2 (\mathbf{z}^{\prime}\mathbf{z})^{-1}\), em que \(s^2 =\dfrac{\hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}}}{n - r - 1}\).

Resultado 7.5. Seja \(\mathbf{Y} = \mathbf{z}\boldsymbol{\beta} + \boldsymbol{\varepsilon}\), em que \(\mathbf{z}\) tem posto completo \(r + 1\) e \(\boldsymbol{\varepsilon} \sim \mathcal{N}_n(\mathbf{0}, \sigma^2\mathbf{I})\). Então,

1. Uma região de confiança de \(100(1 - \alpha)\%\) para \(\boldsymbol{\beta}\) é dada por

\[ \begin{align} (\boldsymbol{\beta}-\hat{\boldsymbol{\beta}})^{\prime}\mathbf{z}^{\prime}\mathbf{z}(\boldsymbol{\beta}-\hat{\boldsymbol{\beta}}) &\leq s^2(r + 1)F_{r + 1, \,n - (r +1)}^{1-\alpha}\\\\ (r + 1)F_{r + 1, \,n - (r +1)}^{1-\alpha}&=\dfrac{n-(r+1)}{n-1}T^2_{r+1,\,n-1}(1-\alpha)\\ (r + 1)F_{r + 1, \,n - (r + 1)}^{1-\alpha}&=W^2_{r+1,n}(1-\alpha) \end{align} \] Sendo que \(W^2_{r+1,n}=(r + 1)F_{r + 1, \,n - (r + 1)}\) é a estatística de Working-Hotelling

2. Intervalos de confiança simultâneos (Scheffé) de \(100(1 - \alpha)\%\) para os \(\beta_i\), \(i=1,2,\ldots,r\), são dados por

\[ \begin{align} \text{IC}^{1-\alpha}(\beta_i)&=\left[\hat{\beta}_i \pm \sqrt{(r + 1)F_{r + 1, \,n - (r + 1)}^{1-\alpha}\widehat{\mathbb{V}}(\hat{\beta}_i)}\right]\\ \text{IC}^{1-\alpha}(\beta_i)&=\left[\hat{\beta}_i \pm \sqrt{W^2_{r+1,n}(1-\alpha)\widehat{\mathbb{V}}(\hat{\beta}_i)}\right] \end{align} \]

em que \(\widehat{\mathbb{V}}(\hat{\beta}_i)\) é o elemento diagonal de \(s^2(\mathbf{z}^{\prime}\mathbf{z})^{-1}\) correspondente a \(\hat{\beta}_i\).

\[\Diamond\]

A região elíptica de confiança é centrada na estimativa de máxima verossimilhança \(\hat{\boldsymbol{\beta}}\), e sua orientação e tamanho são determinados pelos autovalores e autovetores de \(\mathbf{z}^{\prime}\mathbf{z}\). Se um autovalor é quase zero, o elipsoide de confiança será muito longo na direção do autovetor correspondente.

Os praticantes muitas vezes ignoram a propriedade de confiança “simultânea” das estimativas de intervalo no Resultado 7.5. Em vez disso, eles substituem \((r + 1)F_{r + 1, n - (r + 1)}^{1-\alpha}\) pelo valor t ou F equivalente um de cada vez \(t^2_{n-r-1}(1-\alpha/(2r))=F_{1,n-r-1}(1-\alpha/r)\) e usam os intervalos (com correção de Bonferroni)

\[ \text{IC}^{1-\alpha/r}(\beta_i)=\left[\hat{\beta}_i \pm \sqrt{F_{1,n-r-1}^{1-\alpha/r}\widehat{\mathbb{V}}(\hat{\beta}_i)}\right]\\ i=1,2,\ldots,r \tag{7-11} \]

quando procuram por variáveis preditoras importantes. Usando as variáveis preditoras brutas, os betas podem ter unidades de medida diferentes. Isto impede a comparação dos intervalos de confiança. Para avaliar a importância relativa das variáveis preditores é necessário que elas sejam padronizadas, inclusive a variável dependente.

Exemplo 7.4: Ajustando um modelo de regressão a dados imobiliários

Os dados de avaliação na Tabela 7.1 foram coletados de 20 residências em um bairro de Milwaukee, Wisconsin.

Tabela 7.1: dados imobiliários

\(z_1\)	\(z_2\)	\(Y\)
15.31	57.3	74.8
15.20	63.8	74.0
16.25	65.4	72.9
14.33	57.0	70.0
14.57	63.8	74.9
17.33	63.2	76.0
14.48	60.2	72.0
14.91	57.7	73.5
15.25	56.4	74.5
13.89	55.6	73.5
15.18	62.6	71.5
14.44	63.4	71.0
14.87	60.2	78.9
18.63	67.2	86.5
15.20	57.1	68.0
25.76	89.6	102.0
19.05	68.6	84.0
15.37	60.1	69.0
18.06	66.3	88.0
16.35	65.8	76.0

Ajuste o modelo de regressão

\[ Y_j = \beta_0 + \beta_1 z_{j1} + \beta_2 z_{j2} + \varepsilon_j \]

em que \(z_{j1}\) é o tamanho total da habitação (centena de pés quadrados), \(z_{j2}\) é o valor avaliado (milhar de dólares), e \(Y\) é o preço de venda (milhar de dólares), a esses dados usando o método de mínimos quadrados. Um cálculo computacional produz

\[ (\mathbf{z}^{\prime}\mathbf{z})^{-1} = \begin{bmatrix} 5.1523 & \\ 0.2544 & 0.0512 \\ -0.1463 & -0.0172 & 0.0067 \end{bmatrix} \]

e

\[ \hat{\boldsymbol{\beta}} = (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{y} = \begin{bmatrix} 30.967 \\ 2.634 \\ 0.045 \end{bmatrix} \]

Assim, a equação ajustada é

\[ \hat{y} = 30.967 + \underset{0.785}{2.634}\,z_1 + \underset{0.285}{0.045}\,z_2 \]

com \(s = 3.473\). Além disso, \(R^2 = 0.834\), indicando que os dados apresentam uma forte relação de regressão. Os números sob as estimativas das inclinações são desvios-padrão. Se os resíduos \(\hat{\boldsymbol{\varepsilon}}\) passarem nas verificações de diagnóstico descritas na Seção 7.6, a equação ajustada poderá ser usada para prever o preço de venda de outra casa no bairro a partir de seu tamanho e valor avaliado. Observamos que um intervalo de confiança de 95% com correção de Bonferroni para \(\beta_2\) é dado por

\[ \begin{align} \text{IC}^{97.5\%}(\beta_2)&=\left[\hat{\beta}_2 \pm \sqrt{F_{1,17}^{0.975}\,\widehat{\mathbb{V}}(\hat{\beta}_2)}\right] \\ &= \left[0.045 \pm 2.458\times 0.285\right]\\ \text{IC}^{97.5\%}(\beta_2)&=[−0.655,0.746] \end{align} \]

O intervalo de confiança inclui \(\beta_2 = 0\).

Se o modelo é preditivo, a variável \(z_2\) pode ser eliminada do modelo de regressão e a análise repetida com a única variável preditora \(z_1\). Dado o tamanho da habitação, o valor avaliado parece agregar pouco à previsão do preço de venda. Se o modelo é explicativo, mesmo a variável \(z_2\) não sendo significante, ela permanece no modelo.

• JW6_Example7.4.R

suppressMessages(suppressWarnings(
  invisible(Sys.setlocale("LC_ALL", "pt_BR.UTF-8"))))
Dados <- read.csv("JW6Data/T7-1.dat", sep = "", header = FALSE)
names(Dados) <- c("z1", "z2", "y")
print.data.frame(Dados)

      z1   z2     y
1  15.31 57.3  74.8
2  15.20 63.8  74.0
3  16.25 65.4  72.9
4  14.33 57.0  70.0
5  14.57 63.8  74.9
6  17.33 63.2  76.0
7  14.48 60.2  72.0
8  14.91 57.7  73.5
9  15.25 56.4  74.5
10 13.89 55.6  73.5
11 15.18 62.6  71.5
12 14.44 63.4  71.0
13 14.87 60.2  78.9
14 18.63 67.2  86.5
15 15.20 57.1  68.0
16 25.76 89.6 102.0
17 19.05 68.6  84.0
18 15.37 60.1  69.0
19 18.06 66.3  88.0
20 16.35 65.8  76.0

print(psych::describe(Dados))

   vars  n  mean   sd median trimmed  mad   min    max range skew kurtosis   se
z1    1 20 16.22 2.68  15.22   15.71 1.13 13.89  25.76 11.87 2.25     5.20 0.60
z2    2 20 63.06 7.39  62.90   61.94 4.67 55.60  89.60 34.00 2.16     5.52 1.65
y     3 20 76.55 8.07  74.25   75.25 3.71 68.00 102.00 34.00 1.67     2.45 1.80

boxplot(Dados)

suppressMessages(GGally::ggpairs(Dados) + ggplot2::theme_bw() +
  ggplot2::theme(panel.grid = ggplot2::element_blank()))

centroid <- colMeans(Dados)
rgl::plot3d(lm(y~z1+z2, data = Dados), size = 5)
rgl::points3d(centroid, size = 8, col = "purple3")
rgl::rglwidget()

z <- model.matrix(~z1+z2,
                  data=Dados)
try(infomatrix.inv <- solve(crossprod(z)))
round(eigv <- eigen(crossprod(z))$values, 2)

[1] 85975.06    24.35     0.19

round(svd(z)$d, 2)

[1] 293.22   4.93   0.44

# condition index < 30
CondIndex <- sqrt(eigv[1]/eigv[length(eigv)])
CondIndex

[1] 666.6469

y <- as.matrix(Dados["y"])
beta_hat <- infomatrix.inv%*%crossprod(z,y)
beta_hat

                      y
(Intercept) 30.96656634
z1           2.63439962
z2           0.04518386

y_hat <- z%*%beta_hat
print(round(y_hat, 2))

        y
1   73.89
2   73.89
3   76.73
4   71.29
5   72.23
6   79.48
7   71.83
8   72.85
9   73.69
10  70.07
11  73.79
12  71.87
13  72.86
14  83.08
15  73.59
16 102.88
17  84.25
18  74.17
19  81.54
20  77.01

res <- y-y_hat
n <- dim(Dados)[1]
r <- length(grep("z",colnames(Dados)))
s <- as.numeric(sqrt(crossprod(res)/(n-r-1)))
s

[1] 3.472539

R2 <- 1 - crossprod(res)/((n-1)*var(y))
R2

         y
y 0.834397

alfa <- 0.05
LL_beta2 <- beta_hat[r+1] - 
  qt(1-alfa/(2*r), n-r-1)*sqrt(diag((s^2)*infomatrix.inv)[r+1])
UL_beta2 <- beta_hat[r+1] + 
  qt(1-alfa/(2*r), n-r-1)*sqrt(diag((s^2)*infomatrix.inv)[r+1])
cat("IC98.75%(beta_2) = [", 
    round(LL_beta2,3), ",", 
    round(UL_beta2,3), "]", 
    sep="")

IC98.75%(beta_2) = [-0.656,0.746]

# GLM
fit <- lm(y~z1+z2,
          data=Dados)
print(summary(fit))

Call:
lm(formula = y ~ z1 + z2, data = Dados)

Residuals:
    Min      1Q  Median      3Q     Max 
-5.5894 -1.5411 -0.0718  1.3507  6.4605 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) 30.96657    7.88221   3.929  0.00108 **
z1           2.63440    0.78560   3.353  0.00377 **
z2           0.04518    0.28518   0.158  0.87598   
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 3.473 on 17 degrees of freedom
Multiple R-squared:  0.8344,    Adjusted R-squared:  0.8149 
F-statistic: 42.83 on 2 and 17 DF,  p-value: 2.302e-07

print(anv <- car::Anova(fit), digits=3)

Anova Table (Type II tests)

Response: y
          Sum Sq Df F value Pr(>F)   
z1         135.6  1   11.25 0.0038 **
z2           0.3  1    0.03 0.8760   
Residuals  205.0 17                  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

eta2 <- effectsize::eta_squared(anv,
                                partial=TRUE,
                                generalized=FALSE,
                                ci=1-alfa,
                                alternative="two.sided",
                                verbose=TRUE)
eta2$interpret <- effectsize::interpret_eta_squared(eta2$Eta2)
print(eta2, digits=4)

# Effect Size for ANOVA (Type II)

Parameter | Eta2 (partial) |           95% CI |  interpret
----------------------------------------------------------
z1        |         0.3981 | [0.0618, 0.6463] |      large
z2        |         0.0015 | [0.0000, 0.1597] | very small

apaTables::apa.aov.table(fit,
                         conf.level=1-alfa,
                         type=3)

ANOVA results using y as the dependent variable
 

   Predictor     SS df     MS     F    p partial_eta2 CI_95_partial_eta2
 (Intercept) 186.12  1 186.12 15.43 .001                                
          z1 135.60  1 135.60 11.25 .004          .40         [.06, .62]
          z2   0.30  1   0.30  0.03 .876          .00         [.00, .15]
       Error 204.99 17  12.06                                           

Note: Values in square brackets indicate the bounds of the 95% confidence interval for partial eta-squared 

eta2 <- effectsize::eta_squared(anv,
                                partial=FALSE,
                                generalized=FALSE,
                                ci=1-alfa,
                                alternative="two.sided",
                                verbose=TRUE)
eta2$interpret <- effectsize::interpret_eta_squared(eta2$Eta2)
print(eta2, digits=4)

# Effect Size for ANOVA (Type II)

Parameter |   Eta2 |           95% CI |  interpret
--------------------------------------------------
z1        | 0.3978 | [0.0616, 0.6460] |      large
z2        | 0.0009 | [0.0000, 0.1376] | very small

print(round(predict(fit),2))

     1      2      3      4      5      6      7      8      9     10     11 
 73.89  73.89  76.73  71.29  72.23  79.48  71.83  72.85  73.69  70.07  73.79 
    12     13     14     15     16     17     18     19     20 
 71.87  72.86  83.08  73.59 102.88  84.25  74.17  81.54  77.01 

print(round(t(y_hat), 2))

      1     2     3     4     5     6     7     8     9    10    11    12    13
y 73.89 73.89 76.73 71.29 72.23 79.48 71.83 72.85 73.69 70.07 73.79 71.87 72.86
     14    15     16    17    18    19    20
y 83.08 73.59 102.88 84.25 74.17 81.54 77.01

plot(fit, ask=FALSE)

alfa <- 0.05

# https://en.wikipedia.org/wiki/Partial_correlation
# https://en.wikiversity.org/wiki/Semi-partial_correlation
# semipartial correlation (part correlation) entre -1 e 1
# sr2 (correlação semi-parcial^2) entre 0 e 1
# Conforme Kutner et al. (2005, p. 276), beta padronizado (standardized beta) não é uma correlação e os limites superior/inferior de beta padronizado são +-1/sqrt((1-cor(Dados$z2,Dados$z1)^2))

print(apaTables::apa.reg.table(fit,
                               prop.var.conf.level = 1-alfa),
      digits=4)

Regression results using y as the criterion
 

   Predictor       b       b_95%_CI beta   beta_95%_CI sr2  sr2_95%_CI     r
 (Intercept) 30.97** [14.34, 47.60]                                         
          z1  2.63**   [0.98, 4.29] 0.88  [0.32, 1.43] .11 [-.03, .25] .91**
          z2    0.05  [-0.56, 0.65] 0.04 [-0.51, 0.59] .00 [-.01, .01] .85**
                                                                            
                                                                            
                                                                            
             Fit
                
                
                
     R2 = .834**
 95% CI[.60,.89]
                

Note. A significant b-weight indicates the beta-weight and semi-partial correlation are also significant.
b represents unstandardized regression weights. beta indicates the standardized regression weights. 
sr2 represents the semi-partial correlation squared. r represents the zero-order correlation.
Square brackets are used to enclose the lower and upper limits of a confidence interval.
* indicates p < .05. ** indicates p < .01.
 

Dadoz <- data.frame(scale(Dados))
fitstd <- lm(y~z1+z2,
             data=Dadoz)
print(summary(fitstd))

Call:
lm(formula = y ~ z1 + z2, data = Dadoz)

Residuals:
    Min      1Q  Median      3Q     Max 
-0.6925 -0.1909 -0.0089  0.1673  0.8004 

Coefficients:
             Estimate Std. Error t value Pr(>|t|)   
(Intercept) 6.319e-17  9.620e-02   0.000  1.00000   
z1          8.750e-01  2.609e-01   3.353  0.00377 **
z2          4.134e-02  2.609e-01   0.158  0.87598   
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 0.4302 on 17 degrees of freedom
Multiple R-squared:  0.8344,    Adjusted R-squared:  0.8149 
F-statistic: 42.83 on 2 and 17 DF,  p-value: 2.302e-07

print(anv <- car::Anova(fitstd), digits=3)

Anova Table (Type II tests)

Response: y
          Sum Sq Df F value Pr(>F)   
z1         2.081  1   11.25 0.0038 **
z2         0.005  1    0.03 0.8760   
Residuals  3.146 17                  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

eta2 <- effectsize::eta_squared(anv,
                                partial=TRUE,
                                generalized=FALSE,
                                ci=1-alfa,
                                alternative="two.sided",
                                verbose=TRUE)
eta2$interpret <- effectsize::interpret_eta_squared(eta2$Eta2)
print(eta2, digits=4)

# Effect Size for ANOVA (Type II)

Parameter | Eta2 (partial) |           95% CI |  interpret
----------------------------------------------------------
z1        |         0.3981 | [0.0618, 0.6463] |      large
z2        |         0.0015 | [0.0000, 0.1597] | very small

apaTables::apa.aov.table(fitstd,
                         conf.level=1-alfa,
                         type=3)

ANOVA results using y as the dependent variable
 

   Predictor   SS df   MS     F    p partial_eta2 CI_95_partial_eta2
 (Intercept) 0.00  1 0.00  0.00 1..0                                
          z1 2.08  1 2.08 11.25 .004          .40         [.06, .62]
          z2 0.00  1 0.00  0.03 .876          .00         [.00, .15]
       Error 3.15 17 0.19                                           

Note: Values in square brackets indicate the bounds of the 95% confidence interval for partial eta-squared 

eta2 <- effectsize::eta_squared(anv,
                                partial=FALSE,
                                generalized=FALSE,
                                ci=1-alfa,
                                alternative="two.sided",
                                verbose=TRUE)
eta2$interpret <- effectsize::interpret_eta_squared(eta2$Eta2)
print(eta2, digits=4)

# Effect Size for ANOVA (Type II)

Parameter |   Eta2 |           95% CI |  interpret
--------------------------------------------------
z1        | 0.3978 | [0.0616, 0.6460] |      large
z2        | 0.0009 | [0.0000, 0.1376] | very small

\[\Diamond\]

Testes de Razão de Verossimilhanças para os Parâmetros de Regressão

Parte da análise de regressão está preocupada em avaliar os efeitos de variáveis preditoras particulares na variável resposta. Uma hipótese nula de interesse afirma que certas variáveis \(z_i\) não influenciam a resposta \(Y\). Esses preditores serão rotulados \(z_{q+1}, z_{q+2}, \ldots, z_r\). Esta afirmação se traduz na hipótese estatística

\[ H_0:\beta_{q+1} = \beta_{q+2} = \cdots = \beta_r = 0 \]

ou

\[ H_0:\boldsymbol{\beta}_{(2)} = \mathbf{0} \tag{7-12} \]

em que \(\boldsymbol{\beta}_{(2)} = [\beta_{q+1}\; \beta_{q+2}\; \cdots\; \beta_r]^{\prime}\).

Definindo

\[ \mathbf{z} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 \end{bmatrix} \]

em que \(\mathbf{z}_1\) tem dimensões \(n \times (q+1)\) e \(\mathbf{z}_2\) tem dimensões \(n \times (r-q)\) e

\[ \boldsymbol{\beta}= \begin{bmatrix} \boldsymbol{\beta}_{(1)}\\ \boldsymbol{\beta}_{(2)} \end{bmatrix} \]

em que \(\boldsymbol{\beta}_{(1)}\) tem dimensões \((q+1) \times 1\) e \(\boldsymbol{\beta}_{(2)}\) tem dimensões \((r-q) \times 1\).

Podemos expressar o modelo linear geral como

\[ \begin{align} \mathbf{Y} &= \mathbf{z}\boldsymbol{\beta} + \boldsymbol{\varepsilon} \\ &= \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 \end{bmatrix} \begin{bmatrix} \boldsymbol{\beta}_{(1)} \\ \boldsymbol{\beta}_{(2)} \end{bmatrix} + \boldsymbol{\varepsilon} \\ \mathbf{Y}&= \mathbf{z}_1\boldsymbol{\beta}_{(1)} + \mathbf{z}_2\boldsymbol{\beta}_{(2)} + \boldsymbol{\varepsilon} \end{align} \]

Sob a hipótese nula \(H_0: \boldsymbol{\beta}_{(2)} = 0\), temos \(\mathbf{Y} = \mathbf{z}_1\boldsymbol{\beta}_{(1)} + \boldsymbol{\varepsilon}_1\). O teste de razão de verossimilhanças de \(H_0\) é baseado na

\[ \begin{align} \text{ExtraSS} &= \text{SS}_\text{res}(\mathbf{z}_1) - \text{SS}_\text{res}(\mathbf{z}) \\ &= \hat{\boldsymbol{\varepsilon}}_1^{\prime}\hat{\boldsymbol{\varepsilon}}_1 - \hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}} \\ &= \left(\mathbf{Y} - \mathbf{z}_1\hat{\boldsymbol{\beta}}_{(1)}\right)^{\prime}\left(\mathbf{Y} - \mathbf{z}_1\hat{\boldsymbol{\beta}}_{(1)}\right) -\left(\mathbf{Y} - \mathbf{z}\hat{\boldsymbol{\beta}}\right)^{\prime}\left(\mathbf{Y} - \mathbf{z}\hat{\boldsymbol{\beta}}\right)\\ &= \left(\mathbf{Y} - \mathbf{H}_{(1)}\mathbf{Y}\right)^{\prime}\left(\mathbf{Y} - \mathbf{H}_{(1)}\mathbf{Y}\right) -\left(\mathbf{Y} - \mathbf{H}\mathbf{Y}\right)^{\prime}\left(\mathbf{Y} - \mathbf{H}\mathbf{Y}\right)\\ &= \mathbf{Y}^{\prime}\left((\mathbf{I} - \mathbf{H}_{(1)}) - (\mathbf{I} - \mathbf{H})\right)\mathbf{Y} \\ \text{ExtraSS} &= \mathbf{Y}^{\prime}(\mathbf{H} - \mathbf{H}_{(1)})\mathbf{Y} \end{align} \tag{7-13} \]

em que \(\hat{\boldsymbol{\beta}}_{(1)} = \left(\mathbf{z}_1^{\prime}\mathbf{z}_1\right)^{-1}\mathbf{z}_1^{\prime}\mathbf{Y}\).

Resultado 7.6. Sejam \(m=1\), \(\mathbf{z}\) de posto completo \(r + 1\) e \(\boldsymbol{\varepsilon}\sim\mathcal{N}_n(\mathbf{0},\sigma^2\mathbf{I})\). O teste de razão de verossimilhanças de \(H_0: \boldsymbol{\beta}_{(2)} = \mathbf{0}\) é equivalente a um teste de \(H_0\) baseado na soma extra de quadrados em (7-13). Em particular, o teste de razão de verossimilhanças rejeita \(H_0\) se

\[ \begin{align} F&=\dfrac{\dfrac{\mathbf{Y}^{\prime}(\mathbf{H}-\mathbf{H}_{(1)})\mathbf{Y}}{\text{tr}(\mathbf{H}-\mathbf{H}_{(1)})}}{\dfrac{\mathbf{Y}^{\prime}(\mathbf{I}-\mathbf{H})\mathbf{Y}}{\text{tr}(\mathbf{I}-\mathbf{H})}}> F_{\text{tr}(\mathbf{I}-\mathbf{H}),\,\text{tr}(\mathbf{H}-\mathbf{H}_{(1)})}^{1-\alpha}\\ F&=\dfrac{\dfrac{\text{SS}_{\text{res}}(\mathbf{z}_1)-\text{SS}_{\text{res}}(\mathbf{z})}{\text{rank}(\mathbf{z})-\text{rank}(\mathbf{z}_1)}}{\dfrac{\text{SS}_{\text{res}}(\mathbf{z})}{n-\text{rank}(\mathbf{z})}}> F_{\text{rank}(\mathbf{z})-\text{rank}(\mathbf{z}_1),\,n-\text{rank}(\mathbf{z})}^{1-\alpha} \end{align} \]

Se \(\mathbf{z}\) e \(\mathbf{z}_1\) têm postos completos, então:

\[ \text{rank}(\mathbf{z})-\text{rank}(\mathbf{z}_1)=r+1-(q+1)=r-q \]

e

\[ n-\text{rank}(\mathbf{z})=n-(r+1) = n-r-1 \]

\[ \begin{align} F&= \frac{\dfrac{n}{r-q}(\hat{\boldsymbol{\sigma}}_{1}-\hat{\boldsymbol{\sigma}})}{\dfrac{n}{n-r-1}\hat{\boldsymbol{\sigma}}}\\[4pt] F&=\dfrac{\dfrac{\text{SS}_{\text{res}}(\mathbf{z}_1)-\text{SS}_{\text{res}}(\mathbf{z})}{r-q}}{\dfrac{\text{SS}_{\text{res}}(\mathbf{z})}{n-r-1}} > F_{r-q,\,n-r-1}^{1-\alpha} \end{align} \]

Demonstração:

Diante dos dados e da suposição de normalidade, a verossimilhança associada aos parâmetros \(\boldsymbol{\beta}\) e \(\sigma^{2}\) é

\[ \begin{align} \mathcal{L}\left(\boldsymbol{\beta}, \sigma^{2}\right) &= \frac{1}{(2\pi)^{n/2}\sigma^{n}} \exp\left[-\frac{(\mathbf{y}-\mathbf{z}\boldsymbol{\beta})^{\prime}(\mathbf{y}-\mathbf{z}\boldsymbol{\beta})}{2\sigma^{2}}\right] \le \left(2\pi\, e\,\hat{\sigma}^{2}\right)^{-n/2} \end{align} \]

com o máximo ocorrendo em \(\hat{\boldsymbol{\beta}} = \left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{z}^{\prime}\mathbf{y}\) e \(\hat{\sigma}^{2} = \left(\mathbf{y}-\mathbf{z}\hat{\boldsymbol{\beta}}\right)^{\prime}\left(\mathbf{y}-\mathbf{z}\hat{\boldsymbol{\beta}}\right)/n\).

Sob a restrição da hipótese nula, \(\mathbf{Y} = \mathbf{z}_{1}\boldsymbol{\beta}_{(1)} + \boldsymbol{\varepsilon}\), e

\[ \begin{align} \max_{\boldsymbol{\beta}_{(1)},\,\sigma^{2}}\;\mathcal{L}\left(\boldsymbol{\beta}_{(1)}, \sigma^{2}\right) &= \left(2\pi\, e\,\hat{\sigma}_{1}^{2}\right)^{-n/2} \end{align} \]

em que o máximo ocorre em \(\hat{\boldsymbol{\beta}}_{(1)} = \left(\mathbf{z}_{1}^{\prime}\mathbf{z}_{1}\right)^{-1}\mathbf{z}_{1}^{\prime}\mathbf{y}\) e
\(\hat{\sigma}_{1}^{2} = \left(\mathbf{y}-\mathbf{z}_{1}\hat{\boldsymbol{\beta}}_{(1)}\right)^{\prime}\left(\mathbf{y}-\mathbf{z}_{1}\hat{\boldsymbol{\beta}}_{(1)}\right)/n\).

Rejeitar \(H_{0}:\boldsymbol{\beta}_{(2)}=\mathbf{0}\) para pequenos valores da razão de verossimilhanças

\[ \begin{align} \Lambda &= \frac{\displaystyle \max_{\boldsymbol{\beta}_{(1)},\,\boldsymbol{\sigma}^2} \;\mathcal{L}\left(\boldsymbol{\beta}_{(1)}, \boldsymbol{\sigma}^2\right)} {\displaystyle \max_{\boldsymbol{\beta},\,\boldsymbol{\sigma}^2} \;\mathcal{L}\left(\boldsymbol{\beta}, \boldsymbol{\sigma}^2\right)}\\ &= \frac{\mathcal{L}\left(\hat{\boldsymbol{\beta}}_{(1)},\,\hat{\boldsymbol{\sigma}}^2_{1}\right)} {\mathcal{L}\left(\hat{\boldsymbol{\beta}},\,\hat{\boldsymbol{\sigma}}^2\right)}\\ &= \left(\frac{\hat{\boldsymbol{\sigma}}^2}{\hat{\boldsymbol{\sigma}}^2_{1}}\right)^{n/2}\\ &= \left(1-\frac{\hat{\boldsymbol{\sigma}}^2_{1}-\hat{\boldsymbol{\sigma}}^2}{\hat{\boldsymbol{\sigma}}^2_{1}}\right)^{n/2}\\ \Lambda&= \left(1-R^2_{\text{parcial}}\right)^{n/2} \end{align} \]

é equivalente a rejeitar \(H_{0}\) para grandes valores de \((\hat{\sigma}_{1}^{2}-\hat{\sigma}^{2})/\hat{\sigma}^{2}\) ou de sua versão escalonada,

\[ \begin{align} F&=\dfrac{\dfrac{n\left(\hat{\sigma}_{1}^{2}-\hat{\sigma}^{2}\right)}{r-q}}{\dfrac{n\hat{\sigma}^{2}}{n-r-1}}\\ &=\dfrac{n-r-1}{r-q}\dfrac{R^2_{\text{parcial}}}{1-R^2_{\text{parcial}}}\\ &= \dfrac{\dfrac{\mathrm{SS}_{\mathrm{res}}\left(\mathbf{z}_{1}\right)-\mathrm{SS}_{\mathrm{res}}\left(\mathbf{z}\right)}{r-q}}{\dfrac{\mathrm{SS}_{\mathrm{res}}\left(\mathbf{z}\right)}{n-r-1}}\\ F&\sim F_{r-q,n-r-1} \end{align} \]

\[\Diamond\]

Comentário. O teste de razão de verossimilhanças é implementado da seguinte forma. Para testar se todos os coeficientes em um subconjunto são zero, ajuste o modelo com e sem os termos correspondentes a esses coeficientes. A melhoria na soma dos quadrados dos resíduos (a soma extra dos quadrados) é comparada à soma dos quadrados dos resíduos para o modelo completo através da razão F. O mesmo procedimento se aplica mesmo em situações de análise de variância, em que \(\mathbf{z}\) não é de posto completo. Em situações em que \(\mathbf{z}\) não possui posto completo, \(\text{rank}(\mathbf{z})\) substitui \(r + 1\) e \(\text{rank}(\mathbf{z}_1)\) substitui \(q + 1\) no Resultado 7.6.

Mais geralmente, é possível formular hipóteses nulas concernentes a \(r - q\) combinações lineares de \(\boldsymbol{\beta}\) da forma \(H_0: \mathbf{C}\boldsymbol{\beta} = \mathbf{A}_0\). Seja a matriz \(\mathbf{C}\) de dimensões \((r - q) \times (r + 1)\) de posto completo, seja \(\mathbf{A}_0 = \mathbf{0}\), e considere

\[ H_0: \mathbf{C}\boldsymbol{\beta} = \mathbf{0} \]

Esta hipótese nula se reduz à escolha anterior quando \(\mathbf{C} = [\mathbf{0} \; \mathbf{I}]\), sendo que \(\mathbf{I}\) tem dimensões \((r-q)\times (r-q)\).

Sob o modelo completo,

\[ \mathbf{C}\hat{\boldsymbol{\beta}}\sim \mathcal{N}_{r-q}\left(\mathbf{C}\boldsymbol{\beta}, \sigma^2\mathbf{C}\mathbf{z}^{\prime}\mathbf{z}\mathbf{C}^{\prime}\right) \]

Rejeitamos \(H_0: \mathbf{C}\boldsymbol{\beta} = \mathbf{0}\) no nível \(\alpha\) se \(\mathbf{0}\) não estiver no elipsoide de confiança de \(100(1 - \alpha)\)% para \(\mathbf{C}\boldsymbol{\beta}\). Equivalentemente, rejeitamos \(H_0: \mathbf{C}\boldsymbol{\beta} = \mathbf{0}\) se

\[ F=\dfrac{\dfrac{(\mathbf{C}\hat{\boldsymbol{\beta}})^{\prime}\left(\mathbf{C}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{C}^{\prime}\right)\mathbf{C}\hat{\boldsymbol{\beta}}}{r-q}}{\dfrac{\text{SS}_{\text{res}}}{n-r-1}} > F_{r-q, \,n-r-1}(1-\alpha) \]

O teste em (7-14) é o teste de razão de verossimilhanças, e o numerador na razão F é a soma extra dos quadrados dos resíduos incorridos ao ajustar o modelo, sujeito à restrição de que \(\mathbf{C}\boldsymbol{\beta} = \mathbf{0}\) (veja [23]).

O próximo exemplo ilustra como planejamentos experimentais desbalanceados são facilmente tratados pela teoria geral que acabamos de descrever.

Exemplo 7.5: Testando a importância de preditores adicionais usando a abordagem de soma extra de quadrados

Clientes masculinos e femininos avaliaram o serviço em três estabelecimentos (locais) de uma grande rede de restaurantes. As avaliações de serviço foram convertidas em um índice. A Tabela 7.2 contém os dados para \(n = 18\) clientes. Cada ponto de dados na tabela é categorizado de acordo com o local (1, 2 ou 3) e sexo (masculino = 0 e feminino = 1). Essa categorização tem o formato de uma tabela bidimensional com números desiguais de observações por célula. Por exemplo, a combinação de local 1 e masculino tem 5 respostas, enquanto a combinação de local 2 e feminino tem 2 respostas. Introduzindo três variáveis indicadoras (dummy) para representar o local e duas variáveisindicadoras para representar o gênero, podemos desenvolver um modelo de regressão relacionando o índice de serviço F ao local, sexo e sua “interação” usando a matriz de planejamento.

O vetor de coeficientes pode ser representado como

\[ \boldsymbol{\beta}^{\prime} = [\beta_0, \beta_1, \beta_2, \beta_3, \tau_1, \tau_2, \gamma_{11}, \gamma_{12}, \gamma_{21}, \gamma_{22}, \gamma_{31}, \gamma_{32}] \]

em que os \(\beta_i (i > 0)\) representam os efeitos dos locais na determinação do serviço, os \(\tau_i\) representam os efeitos do sexo no índice de serviço, e os \(\gamma_{ij}\) representam os efeitos de interação entre local e sexo.

A matriz de design \(\mathbf{z}\) não é de posto completo. (Por exemplo, a coluna 1 é igual à soma das colunas 2-4 ou colunas 5-6.) Na verdade, \(\text{rank}(\mathbf{z}) = 6<12\).

Para o modelo completo, os resultados de um programa de computador dão

\[ \text{SS}_{\text{res}}(\mathbf{z}) = 2977.4 \]

e

\[ n - \text{rank}(\mathbf{z}) = 18 - 6 = 12 \]

O modelo sem os termos de interação tem a matriz de design \(\mathbf{z}_1\) consistindo nas primeiras seis colunas de \(\mathbf{z}\).

Descobrimos que

\[ \text{SS}_{\text{res}}(\mathbf{z}_1) = 3419.1 \]

com

\[ n - \text{rank}(\mathbf{z}_1) = 18 - 4 = 14 \]

Para testar

\[ H_0: \gamma_{11} = \gamma_{12} = \gamma_{21} = \gamma_{22} = \gamma_{31} = \gamma_{32} = 0 \]

(sem interação local-sexo), calculamos

\[ \begin{align} F&=\dfrac{\dfrac{\text{SS}_{\text{res}}(\mathbf{z}_1)-\text{SS}_{\text{res}}(\mathbf{z})}{\text{rank}(\mathbf{z})-\text{rank}(\mathbf{z}_1)}}{\dfrac{\text{SS}_{\text{res}}(\mathbf{z})}{n-\text{rank}(\mathbf{z})}}\\ &=\dfrac{\dfrac{3419.1 - 2977.4}{6-4}}{\dfrac{2977.4}{18-6}}\\ F&=0.89 \end{align} \]

\[ F_{2,12}^{0.95}=3.89\quad p = 0.436 \]

Os valores p de soma extra de quadrados e do modelo completo com lm são iguais (\(p = 0.436\)). Note que os dados são desbalanceados.

• JW6_Example7.5.R

suppressMessages(suppressWarnings(
  invisible(Sys.setlocale("LC_ALL", "pt_BR.UTF-8"))))

Dados <- read.csv("JW6Data/T7-2.dat", sep = "", header = FALSE)
names(Dados) <- c("F1", "F2", "y")
Dados$F1 <- factor(Dados$F1)
Dados$F2 <- factor(Dados$F2)
print.data.frame(Dados)

   F1 F2    y
1   1  0 15.2
2   1  0 21.2
3   1  0 27.3
4   1  0 21.2
5   1  0 21.2
6   1  1 36.4
7   1  1 92.4
8   2  0 27.3
9   2  0 15.2
10  2  0  9.1
11  2  0 18.2
12  2  0 50.0
13  2  1 44.0
14  2  1 63.6
15  3  0 15.2
16  3  0 30.3
17  3  1 36.4
18  3  1 40.9

# Dados desbalanceados
xtabs(~F1+F2, data=Dados)

   F2
F1  0 1
  1 5 2
  2 5 2
  3 2 2

print(FSA::Summarize(y~F1,
                     digits=2,
                     data=Dados))

Registered S3 methods overwritten by 'FSA':
  method       from
  confint.boot car 
  hist.boot    car 

  F1 n  mean    sd  min    Q1 median    Q3  max
1  1 7 33.56 26.79 15.2 21.20  21.20 31.85 92.4
2  2 7 32.49 20.35  9.1 16.70  27.30 47.00 63.6
3  3 4 30.70 11.21 15.2 26.52  33.35 37.52 40.9

print(FSA::Summarize(y~F2,
                     digits=2,
                     data=Dados))

  F2  n  mean    sd  min    Q1 median   Q3  max
1  0 12 22.62 10.56  9.1 15.20  21.20 27.3 50.0
2  1  6 52.28 22.09 36.4 37.52  42.45 58.7 92.4

print(FSA::Summarize(y~F1+F2,
                     digits=2,
                     data=Dados))

  F1 F2 n  mean    sd  min    Q1 median    Q3  max
1  1  0 5 21.22  4.28 15.2 21.20  21.20 21.20 27.3
2  2  0 5 23.96 15.97  9.1 15.20  18.20 27.30 50.0
3  3  0 2 22.75 10.68 15.2 18.98  22.75 26.52 30.3
4  1  1 2 64.40 39.60 36.4 50.40  64.40 78.40 92.4
5  2  1 2 53.80 13.86 44.0 48.90  53.80 58.70 63.6
6  3  1 2 38.65  3.18 36.4 37.52  38.65 39.77 40.9

boxplot(y~F1+F2, 
        data=Dados,
        ylab="y")

GGally::ggpairs(Dados)+ggplot2::theme_bw()

`stat_bin()` using `bins = 30`. Pick better value with `binwidth`.

`stat_bin()` using `bins = 30`. Pick better value with `binwidth`.

alfa <- 0.05
g1 <- nlevels(Dados$F1)
g2 <- nlevels(Dados$F2)
alfaBonf1 <- alfa/g1
alfaBonf2 <- alfa/g2

gplots::plotmeans(y~F1,
                  data=Dados,
                  p=1-alfaBonf1,
                  main="CI95% Bonferroni",
                  barcol="black",
                  connect=FALSE)

gplots::plotmeans(y~F2,
                  data=Dados,
                  p=1-alfaBonf2,
                  main="CI95% Bonferroni",
                  barcol="black",
                  connect=FALSE)

# Solução 1: Soma extra de quadrados por lm e anova
fit_full <- lm(y~F1*F2,
               data=Dados)
print(summary(fit_full))

Call:
lm(formula = y ~ F1 * F2, data = Dados)

Residuals:
    Min      1Q  Median      3Q     Max 
-28.000  -7.168  -0.020   5.395  28.000 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept)   21.220      7.044   3.012  0.01082 * 
F12            2.740      9.962   0.275  0.78796   
F13            1.530     13.179   0.116  0.90950   
F21           43.180     13.179   3.276  0.00662 **
F12:F21      -13.340     18.638  -0.716  0.48784   
F13:F21      -27.280     20.538  -1.328  0.20879   
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 15.75 on 12 degrees of freedom
Multiple R-squared:  0.5857,    Adjusted R-squared:  0.4131 
F-statistic: 3.393 on 5 and 12 DF,  p-value: 0.03849

print(car::Anova(fit_full))

Anova Table (Type II tests)

Response: y
          Sum Sq Df F value   Pr(>F)   
F1         247.0  2  0.4978 0.619890   
F2        3746.7  1 15.1005 0.002164 **
F1:F2      441.8  2  0.8902 0.436021   
Residuals 2977.4 12                    
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

alfa <- 0.05
apaTables::apa.aov.table(fit_full,
                         conf.level=1-alfa,
                         type=3)

ANOVA results using y as the dependent variable
 

   Predictor      SS df      MS     F    p partial_eta2 CI_95_partial_eta2
 (Intercept) 2251.44  1 2251.44  9.07 .011                                
          F1   18.81  2    9.40  0.04 .963          .01         [.00, .06]
          F2 2663.59  1 2663.59 10.74 .007          .47         [.05, .69]
     F1 x F2  441.76  2  220.88  0.89 .436          .13         [.00, .39]
       Error 2977.39 12  248.12                                           

Note: Values in square brackets indicate the bounds of the 95% confidence interval for partial eta-squared 

fit_main <- lm(y~F1+F2,
               data=Dados)
print(summary(fit_main))

Call:
lm(formula = y ~ F1 + F2, data = Dados)

Residuals:
    Min      1Q  Median      3Q     Max 
-19.419  -9.185  -3.452   3.451  36.581 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept)   24.652      6.329   3.895  0.00162 **
F12           -1.071      8.353  -0.128  0.89976   
F13           -9.536      9.942  -0.959  0.35379   
F21           31.167      7.957   3.917  0.00155 **
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 15.63 on 14 degrees of freedom
Multiple R-squared:  0.5242,    Adjusted R-squared:  0.4223 
F-statistic: 5.142 on 3 and 14 DF,  p-value: 0.01323

print(car::Anova(fit_main))

Anova Table (Type II tests)

Response: y
          Sum Sq Df F value  Pr(>F)   
F1         247.0  2  0.5057 0.61368   
F2        3746.7  1 15.3411 0.00155 **
Residuals 3419.1 14                   
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

print(anova(fit_main, fit_full))

Analysis of Variance Table

Model 1: y ~ F1 + F2
Model 2: y ~ F1 * F2
  Res.Df    RSS Df Sum of Sq      F Pr(>F)
1     14 3419.1                           
2     12 2977.4  2    441.76 0.8902  0.436

# os valores p de soma extra de quadrados e do modelo completo são iguais (p = 0.436)

# Solução 2: Soma extra de quadrados por model.matrix
z0 <- model.matrix(~1,
                   data=Dados)
zF1 <- model.matrix(~-1+F1,
                    data=Dados)
zF2 <- model.matrix(~-1+F2,
                    data=Dados)
zF12 <- model.matrix(~-1+F1:F2,
                     data=Dados)
z <- cbind(z0,zF1,zF2,zF12)
z

   (Intercept) F11 F12 F13 F20 F21 F11:F20 F12:F20 F13:F20 F11:F21 F12:F21
1            1   1   0   0   1   0       1       0       0       0       0
2            1   1   0   0   1   0       1       0       0       0       0
3            1   1   0   0   1   0       1       0       0       0       0
4            1   1   0   0   1   0       1       0       0       0       0
5            1   1   0   0   1   0       1       0       0       0       0
6            1   1   0   0   0   1       0       0       0       1       0
7            1   1   0   0   0   1       0       0       0       1       0
8            1   0   1   0   1   0       0       1       0       0       0
9            1   0   1   0   1   0       0       1       0       0       0
10           1   0   1   0   1   0       0       1       0       0       0
11           1   0   1   0   1   0       0       1       0       0       0
12           1   0   1   0   1   0       0       1       0       0       0
13           1   0   1   0   0   1       0       0       0       0       1
14           1   0   1   0   0   1       0       0       0       0       1
15           1   0   0   1   1   0       0       0       1       0       0
16           1   0   0   1   1   0       0       0       1       0       0
17           1   0   0   1   0   1       0       0       0       0       0
18           1   0   0   1   0   1       0       0       0       0       0
   F13:F21
1        0
2        0
3        0
4        0
5        0
6        0
7        0
8        0
9        0
10       0
11       0
12       0
13       0
14       0
15       0
16       0
17       1
18       1

try(solve(crossprod(z)))

Error in solve.default(crossprod(z)) : 
  sistema é computacionalmente singular: condição recíproca número = 8.73995e-19

round(svd(z)$d, 2)

 [1] 6.23 3.37 3.26 2.52 1.63 1.48 0.00 0.00 0.00 0.00 0.00 0.00

round(infomatrix.inv_z <- matlib::Ginv(crossprod(z)), 2)

                                               
 [1,]  0.5 -0.5 -0.5 0 -0.5 0  0.5  0.5 0 0 0 0
 [2,] -0.5  1.0  0.5 0  0.5 0 -1.0 -0.5 0 0 0 0
 [3,] -0.5  0.5  1.0 0  0.5 0 -0.5 -1.0 0 0 0 0
 [4,]  0.0  0.0  0.0 0  0.0 0  0.0  0.0 0 0 0 0
 [5,] -0.5  0.5  0.5 0  1.0 0 -1.0 -1.0 0 0 0 0
 [6,]  0.0  0.0  0.0 0  0.0 0  0.0  0.0 0 0 0 0
 [7,]  0.5 -1.0 -0.5 0 -1.0 0  1.7  1.0 0 0 0 0
 [8,]  0.5 -0.5 -1.0 0 -1.0 0  1.0  1.7 0 0 0 0
 [9,]  0.0  0.0  0.0 0  0.0 0  0.0  0.0 0 0 0 0
[10,]  0.0  0.0  0.0 0  0.0 0  0.0  0.0 0 0 0 0
[11,]  0.0  0.0  0.0 0  0.0 0  0.0  0.0 0 0 0 0
[12,]  0.0  0.0  0.0 0  0.0 0  0.0  0.0 0 0 0 0

# condition index < 30
CI <- sqrt(svd(z)$d[1]/svd(z)$d[length(svd(z)$d)])
CI

[1] 1.208375e+16

y <- as.matrix(Dados["y"])
n <- nrow(Dados)
I <- diag(1,n)
SSres.z <- t(y)%*%(I-z%*%infomatrix.inv_z%*%t(z))%*%y
as.numeric(SSres.z)

[1] 2977.39

z1 <- z[,1:(ncol(z0)+ncol(zF1)+ncol(zF2))]
z1

   (Intercept) F11 F12 F13 F20 F21
1            1   1   0   0   1   0
2            1   1   0   0   1   0
3            1   1   0   0   1   0
4            1   1   0   0   1   0
5            1   1   0   0   1   0
6            1   1   0   0   0   1
7            1   1   0   0   0   1
8            1   0   1   0   1   0
9            1   0   1   0   1   0
10           1   0   1   0   1   0
11           1   0   1   0   1   0
12           1   0   1   0   1   0
13           1   0   1   0   0   1
14           1   0   1   0   0   1
15           1   0   0   1   1   0
16           1   0   0   1   1   0
17           1   0   0   1   0   1
18           1   0   0   1   0   1

try(solve(crossprod(z1)))

Error in solve.default(crossprod(z1)) : 
  sistema é computacionalmente singular: condição recíproca número = 3.65506e-18

round(svd(z1)$d, 2)

[1] 5.89 2.82 2.65 2.07 0.00 0.00

round(infomatrix.inv_z1 <- matlib::Ginv(crossprod(z1)), 2)

                                
[1,]  0.31 -0.22 -0.22 0 -0.13 0
[2,] -0.22  0.40  0.26 0 -0.06 0
[3,] -0.22  0.26  0.40 0 -0.06 0
[4,]  0.00  0.00  0.00 0  0.00 0
[5,] -0.13 -0.06 -0.06 0  0.26 0
[6,]  0.00  0.00  0.00 0  0.00 0

SSres.z1 <- t(y)%*%(I-z1%*%infomatrix.inv_z1%*%t(z1))%*%y
as.numeric(SSres.z1)

[1] 3419.149

# https://en.wikipedia.org/wiki/QR_decomposition
z.rank <- qr(z)$rank
z.rank

[1] 6

z1.rank <- qr(z1)$rank
z1.rank

[1] 4

dfnum <- z.rank-z1.rank
dfden <- n-z.rank
F <- as.numeric(((SSres.z1-SSres.z)/dfnum)/(SSres.z/dfden))
as.numeric(F)

[1] 0.8902283

alfa <- 0.05
Fcrit <- qf(1-alfa, dfnum, dfden)
F > Fcrit

[1] FALSE

pv <- 1-pf(F, dfnum, dfden)
cat("F(", dfnum,",",dfden,") = ", round(F,3), 
    " p = ", round(pv,3)," ESS = ", round(SSres.z1-SSres.z,2),"\n", sep="")

F(2,12) = 0.89 p = 0.436 ESS = 441.76

print(anova(fit_main, fit_full))

Analysis of Variance Table

Model 1: y ~ F1 + F2
Model 2: y ~ F1 * F2
  Res.Df    RSS Df Sum of Sq      F Pr(>F)
1     14 3419.1                           
2     12 2977.4  2    441.76 0.8902  0.436

## ===== SOLUÇÃO 1: lm + anova (soma extra de quadrados) =====
## Modelo sem interação (já definido): fit_main <- lm(y ~ F1 + F2, data=Dados)

## Teste do efeito principal de F1 dado F2 (F1 | F2):
fit_main <- lm(y~F2+F1,
               data=Dados)
fit_F2 <- lm(y ~ F2, data = Dados)     # modelo reduzido (só F2)
cat("\n[lm] Teste F1 | F2 (anova(fit_F2, fit_main))\n")

[lm] Teste F1 | F2 (anova(fit_F2, fit_main))

print(anova(fit_F2, fit_main))         # ExtraSS ao adicionar F1

Analysis of Variance Table

Model 1: y ~ F2
Model 2: y ~ F2 + F1
  Res.Df    RSS Df Sum of Sq      F Pr(>F)
1     16 3666.2                           
2     14 3419.1  2    247.02 0.5057 0.6137

## Teste do efeito principal de F2 dado F1 (F2 | F1):
fit_main <- lm(y~F1+F2,
               data=Dados)
fit_F1 <- lm(y ~ F1, data = Dados)     # modelo reduzido (só F1)
cat("\n[lm] Teste F2 | F1 (anova(fit_F1, fit_main))\n")

[lm] Teste F2 | F1 (anova(fit_F1, fit_main))

print(anova(fit_F1, fit_main))         # ExtraSS ao adicionar F2

Analysis of Variance Table

Model 1: y ~ F1
Model 2: y ~ F1 + F2
  Res.Df    RSS Df Sum of Sq      F  Pr(>F)   
1     15 7165.8                               
2     14 3419.1  1    3746.7 15.341 0.00155 **
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

## ===== SOLUÇÃO 2: Matricial (Ginv), análoga ao seu bloco da interação =====
## Função utilitária: SSres com projetor (generalized inverse)
SSres_from_Z <- function(y, Z) {
  I <- diag(1, nrow(Z))
  GZ <- matlib::Ginv(crossprod(Z))                  # (Z'Z)^+
  as.numeric(t(y) %*% (I - Z %*% GZ %*% t(Z)) %*% y)
}
rankZ <- function(Z) qr(Z)$rank

y <- as.matrix(Dados["y"])
n <- nrow(Dados)

## Designs que você já montou:
## z0, zF1, zF2, zF12 e z = [1 | F1 | F2 | F1:F2]
## z1 = [1 | F1 | F2]   (sem interação)   -- já calculados acima

## --- F1 | F2: compara zF2only vs z1 ---
zF2only <- cbind(z0, zF2)                           # modelo reduzido (apenas F2)
SSres_F2only <- SSres_from_Z(y, zF2only)
SSres_z1     <- SSres_from_Z(y, z1)
r_F2only <- rankZ(zF2only)
r_z1     <- rankZ(z1)

dfnum_F1 <- r_z1 - r_F2only                         # g_F1 - 1
dfden    <- n - rankZ(z1)                           # resíduos do modelo sem interação
F_F1 <- ((SSres_F2only - SSres_z1)/dfnum_F1) / (SSres_z1/dfden)
p_F1 <- pf(F_F1, dfnum_F1, dfden, lower.tail = FALSE)

cat(sprintf("\n[Matriz] F1 | F2: F(%d,%d) = %.3f, p = %.4f, ExtraSS = %.3f\n",
            dfnum_F1, dfden, F_F1, p_F1, SSres_F2only - SSres_z1))

[Matriz] F1 | F2: F(2,14) = 0.506, p = 0.6137, ExtraSS = 247.015

## --- F2 | F1: compara zF1only vs z1 ---
zF1only <- cbind(z0, zF1)                           # modelo reduzido (apenas F1)
SSres_F1only <- SSres_from_Z(y, zF1only)
r_F1only <- rankZ(zF1only)

dfnum_F2 <- r_z1 - r_F1only                         # g_F2 - 1
F_F2 <- ((SSres_F1only - SSres_z1)/dfnum_F2) / (SSres_z1/dfden)
p_F2 <- pf(F_F2, dfnum_F2, dfden, lower.tail = FALSE)

cat(sprintf("[Matriz] F2 | F1: F(%d,%d) = %.3f, p = %.4f, ExtraSS = %.3f\n",
            dfnum_F2, dfden, F_F2, p_F2, SSres_F1only - SSres_z1))

[Matriz] F2 | F1: F(1,14) = 15.341, p = 0.0015, ExtraSS = 3746.677

A razão F pode ser comparada com um ponto percentual apropriado de uma distribuição F com 2 e 12 graus de liberdade. Esta razão F não é significativa para qualquer nível de significância razoável \(\alpha\). Consequentemente, concluímos que o índice de serviço não depende de qualquer interação localização-sexo, e esses termos podem ser descartados do modelo.

Usando a abordagem de soma extra de quadrados, podemos verificar que não há diferença entre as localizações (sem efeito de localização), mas que o sexo é significante; ou seja, homens e mulheres não dão as mesmas classificações para o serviço.

Em situações de análise de variância em que as contagens de células são desiguais, a variação na resposta atribuível a diferentes variáveis preditoras e suas interações geralmente não pode ser separada em quantidades independentes. Para avaliar as influências relativas dos preditores na resposta neste caso, é necessário ajustar o modelo com e sem os termos em questão e calcular as estatísticas de teste F apropriadas.

\[\Diamond\]

Inferência a partir da Função de Regressão Estimada

Uma vez que um pesquisador esteja satisfeito com o modelo de regressão ajustado, ele pode ser usado para resolver dois problemas de predição.

Seja \(\mathbf{z}_0 = [1\;z_{01}\; \cdots\; z_{0r}]\) valores selecionados para as variáveis preditoras que pertencem ao seu domínio observado. Então, \(\mathbf{z}_0\) e \(\hat{\boldsymbol{\beta}}\) podem ser usados para (1) estimar a função de regressão \(\beta_0 + \beta_1 z_{01} + \cdots + \beta_r z_{0r}\) em \(\mathbf{z}_0\) e (2) para estimar o valor da resposta \(Y\) em \(\mathbf{z}_0\).

Estimando a Função de Regressão em \(\mathbf{z}_0\)

Seja \(Y\) o valor da resposta quando as variáveis preditoras têm valores \(\mathbf{z}_0 = [1\;z_{01}\; \cdots\; z_{0r}]\). De acordo com o modelo em (7-3), o valor esperado de \(Y\) é

\[ \mathbb{E}\left(Y | \mathbf{z}_0\right) = \sum_{i=0}^{r}{\beta_i z_{0i}} = \mathbf{z}_0^{\prime} \boldsymbol{\beta} \tag{7-15} \]

Sua estimativa de mínimos quadrados é \(\mathbf{z}_0^{\prime} \hat{\boldsymbol{\beta}}\).

Resultado 7.7. Para o modelo de regressão linear em (7-3), \(\mathbf{z}_0 \hat{\boldsymbol{\beta}}\) é o estimador linear não-viesado de \(\mathbb{E}(Y | \mathbf{z}_0)\) com variância mínima, \(\mathbb{V}(\mathbf{z}_0^{\prime} \hat{\boldsymbol{\beta}}) = \mathbf{z}_0 (\mathbf{z}^{\prime}\mathbf{z})^{-1} \mathbf{z}_0^{\prime} \sigma^2\). Se \(\boldsymbol{\varepsilon}\) têm distribuição multinormal, então um intervalo de confiança de \(100(1 - \alpha)\%\) para \(\mathbb{E}(Y | \mathbf{z}_0) = \mathbf{z}_0^{\prime} \boldsymbol{\beta}\) é fornecido por

\[ \text{IC}^{1-\alpha}(\mathbb{E}(Y|\mathbf{z}_0))=\left[\mathbf{z}_0^{\prime} \hat{\boldsymbol{\beta}} \pm \sqrt{F_{1,n-r-1}^{1-\alpha}\,\mathbf{z}_0^{\prime} (\mathbf{z}^{\prime}\mathbf{z})^{-1} \mathbf{z}_0\,s^2}\right] \]

\[\Diamond\]

Previsão de uma Nova Observação em \(\mathbf{z}_0\)

A previsão de uma nova observação, como \(Y\), em \(\mathbf{z}_0 = [1\; z_{01}\; \cdots\; z_{0r}]\) é mais incerta do que estimar o valor esperado de \(Y\). De acordo com o modelo de regressão de (7-3), temos

\[ Y = \mathbf{z}_0^{\prime}\boldsymbol{\beta} + \varepsilon_0 \]

ou

\[ \text{(nova resposta } Y\text{)} = \text{(valor esperado de } Y \text{ em } \mathbf{z}_0\text{)} + \text{(novo erro)} \]

em que \(\varepsilon_0\sim\mathcal{N}(0, \sigma^2)\) e é independente de \(\varepsilon\) e, portanto, de \(\hat{\boldsymbol{\beta}}\) e \(s^2\). Os erros \(\boldsymbol{\varepsilon}\) influenciam os estimadores \(\hat{\boldsymbol{\beta}}\) e \(s^2\) através das respostas \(\mathbf{Y}\), mas \(\varepsilon_0\) não.

Resultado 7.8. Dado o modelo de regressão linear de (7-3), uma nova observação \(Y\) tem o preditor não viesado

\[ \mathbf{z}_0^{\prime} \hat{\boldsymbol{\beta}} = \sum_{i=0}^{r}{\hat{\beta}_i z_{0i}} \]

A variância do erro de previsão \(Y - \mathbf{z}_0^{\prime} \hat{\boldsymbol{\beta}}\) é

\[ \mathbb{V}\left(Y - \mathbf{z}_0^{\prime} \hat{\boldsymbol{\beta}}\right) = \left(1 + \mathbf{z}_0^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}_0\right)\sigma^2 \]

Quando os erros \(\boldsymbol{\varepsilon }\) têm uma distribuição multinormal, um intervalo de predição de \(100(1 - \alpha)\%\) para \(Y\) é dado por

\[ \text{IP}^{1-\alpha}(Y|\mathbf{z}_0)=\left[\mathbf{z}_0^{\prime} \hat{\boldsymbol{\beta}} \pm \sqrt{F_{1,n-r-1}^{1-\alpha}\left(1 + \mathbf{z}_0^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}_0\right)s^2}\right] \]

\[\Diamond\]

O intervalo de predição para \(y_0\) é mais amplo do que o intervalo de confiança para estimar o valor da função de regressão \(\mathbb{E}(Y| \mathbf{z}_0) = \mathbf{z}_0^{\prime}\boldsymbol{\beta}\). A incerteza adicional na previsão de \(Y\), que é representada pelo termo extra \(s^2\) na expressão

\[ \left(1 + \mathbf{z}_0^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}_0\right)s^2 \]

vem da presença do termo de erro desconhecido \(\varepsilon_0\).

Intervalos de confiança e predição em regressão linear simples em R

O IC95% mostra onde deve estar a média verdadeira da estatura para pessoas com um determinado valor de cúbito. Ele mede a incerteza sobre a média prevista pelo modelo. É estreito porque considera apenas o erro da estimativa da média.

O IP95% mostra onde deve cair uma nova observação individual com aquele cúbito. Ele é mais largo porque inclui também a variabilidade natural entre indivíduos.

Quando se usa predict com interval="confidence", obtém-se o IC95%; com interval="prediction", o IP95%. Ambos usam a distribuição t de Student e valem para cada ponto separadamente, pois são intervalos pontuais. Os intervalos pontuais com t são exatamente os produzidos por predict, HH::ci.plot e investr::plotFit.

As bandas de Working–Hotelling (WH) são diferentes: em vez de considerar um ponto de cada vez, elas garantem que toda a reta de regressão esteja dentro da faixa com 95% de confiança. São intervalos simultâneos, mais conservadores e, portanto, mais largos. Não há pacote R para bandas de WH.

Resumindo:

• predict(..., "confidence"): confiança da média (pontual)
• predict(..., "prediction"): predição individual (pontual)
• Working–Hotelling: confiança ou predição simultânea ao longo de todo o eixo x

Exemplo: Cúbito de Galton

No artigo de Galton (1888), o cúbito é usado para predizer estatura de estudante masculino inglês de 21 anos.

• ICIP95_cubito.R)

suppressMessages(suppressWarnings(
  invisible(Sys.setlocale("LC_ALL", "pt_BR.UTF-8"))))
# Desenhar IC95% e IP95% em x0 = 46 cm, com reta e bandas (sem pontos)
# Base R; auto-contido.

# Dados e conversão
Dados_cubit <- psychTools::heights
Dados_cubit$cubit_cm  <- Dados_cubit$cubit  * 2.54
Dados_cubit$height_cm <- Dados_cubit$height * 2.54

# Regressao
fit <- stats::lm(height_cm ~ cubit_cm, data = Dados_cubit)
print(smm <- summary(fit), digits=3)
cat("\nErro-padrão da estimativa (SEE) = ", round(smm$sigma, 2), "\n", sep="")

# Bandas ao longo do eixo x
alpha  <- 0.05
x_seq  <- seq(min(Dados_cubit$cubit_cm), max(Dados_cubit$cubit_cm), length.out = 400)
nd     <- data.frame(cubit_cm = x_seq)
pred_c <- stats::predict(fit, newdata = nd, interval = "confidence",  level = 1 - alpha)
pred_p <- stats::predict(fit, newdata = nd, interval = "prediction", level = 1 - alpha)

# Grafico base: reta e bandas (sem pontos)
yl <- range(pred_p)
graphics::plot(NA, xlim = range(x_seq), ylim = yl,
               xlab = "Cúbito (cm)", ylab = "Estatura (cm)",
               main = "Reta e bandas 95%\ncúbito = 46 cm")
graphics::abline(fit, lwd = 2)
graphics::lines(x_seq, pred_c[, "lwr"], lty = 2, lwd = 2)  # IC 95% (media)
graphics::lines(x_seq, pred_c[, "upr"], lty = 2, lwd = 2)
graphics::lines(x_seq, pred_p[, "lwr"], lty = 3, lwd = 2)  # IP 95% (nova obs.)
graphics::lines(x_seq, pred_p[, "upr"], lty = 3, lwd = 2)
graphics::legend("topleft",
                 legend = c("Reta de regressão", "IC 95% (média)", "IP 95% (nova obs.)"),
                 lwd = 2, lty = c(1, 2, 3), bty = "n")

# x0 e previsoes pontuais
x0   <- 46
novo <- data.frame(cubit_cm = x0)
IC95 <- stats::predict(fit, newdata = novo, interval = "confidence",  level = 0.95)
IP95 <- stats::predict(fit, newdata = novo, interval = "prediction", level = 0.95)
yhat <- as.numeric(IC95[1]); IC_l <- as.numeric(IC95[2]); IC_u <- as.numeric(IC95[3])
IP_l <- as.numeric(IP95[2]); IP_u <- as.numeric(IP95[3])

# Linha vertical em x0
graphics::abline(v = x0, lty = 4)

# Ticks horizontais para IC e IP em torno de x0
dx <- diff(range(x_seq)) * 0.01
graphics::segments(x0 - dx, IC_l, x0 + dx, IC_l, lwd = 2, lty = 2) # IC lower
graphics::segments(x0 - dx, IC_u, x0 + dx, IC_u, lwd = 2, lty = 2) # IC upper
graphics::segments(x0 - dx, IP_l, x0 + dx, IP_l, lwd = 2, lty = 3) # IP lower
graphics::segments(x0 - dx, IP_u, x0 + dx, IP_u, lwd = 2, lty = 3) # IP upper

# Marcador da media prevista em x0
graphics::points(x0, yhat, pch = 16, cex = 1.1)

# Rotulos compactos (opcional)
graphics::text(x0 + 1.2*dx, yhat,  labels = sprintf("yhat=%.2f", yhat), pos = 4, cex = 0.9)
#graphics::text(x0 + 1.2*dx, IC_u, labels = sprintf("IC_up %.2f", IC_u), pos = 4, cex = 0.8)
#graphics::text(x0 + 1.2*dx, IC_l, labels = sprintf("IC_lo %.2f", IC_l), pos = 4, cex = 0.8)
graphics::text(x0 + 1.2*dx, IP_u, labels = sprintf("IP_up %.2f", IP_u), pos = 4, cex = 0.8)
graphics::text(x0 + 1.2*dx, IP_l, labels = sprintf("IP_lo %.2f", IP_l), pos = 4, cex = 0.8)

# Saida numerica
cat(sprintf("x0 = %.2f cm | yhat = %.2f cm | IC95 = [%.2f, %.2f] cm | IP95 = [%.2f, %.2f] cm\n",
            x0, yhat, IC_l, IC_u, IP_l, IP_u))

source("ICIP95_cubito.R")

Call:
stats::lm(formula = height_cm ~ cubit_cm, data = Dados_cubit)

Residuals:
    Min      1Q  Median      3Q     Max 
-11.242  -2.926  -0.386   3.303  12.662 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   65.857      4.900    13.4   <2e-16 ***
cubit_cm       2.274      0.107    21.4   <2e-16 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 3.94 on 346 degrees of freedom
Multiple R-squared:  0.568, Adjusted R-squared:  0.567 
F-statistic:  456 on 1 and 346 DF,  p-value: <2e-16


Erro-padrão da estimativa (SEE) = 3.94

x0 = 46.00 cm | yhat = 170.45 cm | IC95 = [170.04, 170.87] cm | IP95 = [162.70, 178.21] cm

• ICIP95_WH_cubito.R)

x0=46.00 cm | yhat=170.45 cm
IC95% t (pontual):   [170.04, 170.87] cm
IC95% WH (simult.):  [169.94, 170.97] cm
IP95% t (pontual):   [162.70, 178.21] cm
IP95% WH (simult.):  [160.76, 180.15] cm

Exemplo 7.6: Estimativas de intervalos para uma resposta média e uma resposta futura

Empresas considerando a compra de um computador devem primeiro avaliar suas futuras necessidades para determinar o equipamento adequado. Um cientista da computação coletou dados de sete locais semelhantes de empresas para que uma equação de previsão dos requisitos de hardware de computador para gestão de estoque pudesse ser desenvolvida. Os dados são fornecidos na Tabela 7.3 para

\[ \begin{align} z_1 &= \text{pedidos do cliente (milhar)}\\ z_2 &= \text{contagem de adição-remoção de itens (milhar)}\\ y &= \text{tempo da CPU (unidade central de processamento) (hora)} \end{align} \] Tabela 7.3: Computer Data

\(z_1\) (Orders)	\(z_2\) (Add–delete items)	\(Y\) (CPU time)
123.5	2.108	141.5
146.1	9.213	168.9
133.9	1.905	154.8
128.5	0.815	146.5
151.5	1.061	172.8
136.2	8.603	160.1
92.0	1.125	108.5

Construa um intervalo de confiança de 95% para o tempo médio da CPU, \(\mathbb{E}(Y|\mathbf{z}_0) = \beta_0 + \beta_1z_{01} + \beta_2z_{02}\) em \(\mathbf{z}_0^{\prime} = [1,130, 7.5]\). Além disso, encontre um intervalo de predição de 95% para o requisito de CPU de uma nova instalação correspondente ao mesmo \(\mathbf{z}_0\).

A função de regressão estimada é

\[ \hat{y} = 8.42 + 1.08\;z_1 + 0.42\;z_2 \]

e

\[ (\mathbf{z}^{\prime}\mathbf{z})^{-1} = \begin{bmatrix} 8.17969 & & \\ -.06411 & 0.00052 & \\ 0.08831 & -.00107 & 0.01440 \end{bmatrix} \]

com \(s = 1.204\) (residual.scale de predict). Consequentemente,

\[ \mathbf{z}_0^{\prime} \hat{\boldsymbol{\beta}} = 8.42 + 1.08\times 130 + 0.42\times7.5 = 151.84 \]

e

\[ s\sqrt{\mathbf{z}_0^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}_0} = 1.204\times0.58928 = 0.73 \]

Temos \(t_4(0.025) = 2.776\), então o intervalo de confiança de 95% para o tempo médio da CPU em \(\mathbf{z}_0\) é

\[ \begin{align} \text{IC}^{95\%}(\mathbb{E}(Y|\mathbf{z}_0))&=\left[\mathbf{z}_0^{\prime} \hat{\boldsymbol{\beta}} \pm t_{n-r-1}^{97.5\%} s\sqrt{\mathbf{z}_0^{\prime} (\mathbf{z}^{\prime}\mathbf{z})^{-1} \mathbf{z}_0}\right]\\ &= [151.84 \pm 2.776 \times 0.73]\\ \text{IC}^{95\%}(\mathbb{E}(Y|\mathbf{z}_0))&=[149.81, 153.87] \end{align} \]

Uma vez que

\[ s\sqrt{1 + \mathbf{z}_0^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}_0} = 1.204\times1.16071 = 1.40 \]

um intervalo de predição de 95% para o tempo da CPU em uma nova instalação com condições \(\mathbf{z}_0\) é

\[ \begin{align} \text{IP}^{95\%}(Y|\mathbf{z}_0)&=\left[\mathbf{z}_0^{\prime} \hat{\boldsymbol{\beta}} \pm t_{n-r-1}^{97.5\%}s\sqrt{1 + \mathbf{z}_0^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}_0}\right] \\ &= [151.84 \pm 2.776\times1.40]\\ \text{IP}^{95\%}(Y|\mathbf{z}_0)&=[147.93,155.75] \end{align} \]

• JW6_Example7.6.R

suppressMessages(suppressWarnings(
  invisible(Sys.setlocale("LC_ALL", "pt_BR.UTF-8"))))

Dados <- read.csv("JW6Data/T7-3.dat", sep = "", header = FALSE)
names(Dados) <- c("z1", "z2", "y")
print.data.frame(Dados)

     z1    z2     y
1 123.5 2.108 141.5
2 146.1 9.213 168.9
3 133.9 1.905 154.8
4 128.5 0.815 146.5
5 151.5 1.061 172.8
6 136.2 8.603 160.1
7  92.0 1.125 108.5

print(psych::describe(Dados))

   vars n   mean    sd median trimmed   mad    min    max range  skew kurtosis
z1    1 7 130.24 19.42 133.90  130.24 15.42  92.00 151.50  59.5 -0.83    -0.58
z2    2 7   3.55  3.70   1.91    3.55  1.25   0.81   9.21   8.4  0.72    -1.60
y     3 7 150.44 21.63 154.80  150.44 19.72 108.50 172.80  64.3 -0.79    -0.73
     se
z1 7.34
z2 1.40
y  8.18

boxplot(Dados)

suppressMessages(GGally::ggpairs(Dados)+ggplot2::theme_bw()+
  ggplot2::theme(panel.grid = ggplot2::element_blank()))

fit <- lm(y~z1+z2,
          data=Dados)
print(summary(fit))

Call:
lm(formula = y ~ z1 + z2, data = Dados)

Residuals:
      1       2       3       4       5       6       7 
-1.0632 -1.0315  1.1007 -0.9151  0.4650  1.1066  0.3375 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  8.42369    3.44328   2.446   0.0707 .  
z1           1.07898    0.02749  39.249 2.52e-06 ***
z2           0.41989    0.14447   2.906   0.0438 *  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.204 on 4 degrees of freedom
Multiple R-squared:  0.9979,    Adjusted R-squared:  0.9969 
F-statistic: 966.5 on 2 and 4 DF,  p-value: 4.265e-06

print(car::Anova(fit))

Anova Table (Type II tests)

Response: y
           Sum Sq Df   F value    Pr(>F)    
z1        2232.86  1 1540.4714 2.517e-06 ***
z2          12.24  1    8.4467   0.04384 *  
Residuals    5.80  4                        
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

centroid <- colMeans(Dados)
rgl::plot3d(fit, size = 5)
rgl::points3d(centroid, size = 8, col = "purple3")
rgl::rglwidget()

alfa <- 0.05
# IC95% de beta (correlação parcial) e sr2 entre -1 e 1.
print(apaTables::apa.reg.table(fit,
                               prop.var.conf.level = 1-alfa))

Regression results using y as the criterion
 

   Predictor      b       b_95%_CI beta  beta_95%_CI sr2  sr2_95%_CI     r
 (Intercept)   8.42 [-1.14, 17.98]                                        
          z1 1.08**   [1.00, 1.16] 0.97 [0.90, 1.04] .80 [.26, 1.33] 1..**
          z2  0.42*   [0.02, 0.82] 0.07 [0.00, 0.14] .00 [-.00, .01]   .45
                                                                          
                                                                          
                                                                          
              Fit
                 
                 
                 
      R2 = .998**
 95% CI[.97,1.00]
                 

Note. A significant b-weight indicates the beta-weight and semi-partial correlation are also significant.
b represents unstandardized regression weights. beta indicates the standardized regression weights. 
sr2 represents the semi-partial correlation squared. r represents the zero-order correlation.
Square brackets are used to enclose the lower and upper limits of a confidence interval.
* indicates p < .05. ** indicates p < .01.
 

z <- model.matrix(~z1+z2,
                  data=Dados)
z

  (Intercept)    z1    z2
1           1 123.5 2.108
2           1 146.1 9.213
3           1 133.9 1.905
4           1 128.5 0.815
5           1 151.5 1.061
6           1 136.2 8.603
7           1  92.0 1.125
attr(,"assign")
[1] 0 1 2

try(infomatrix.inv <- solve(crossprod(z)))
round(svd(z)$d, 2)

[1] 348.01   8.62   0.35

# condition index < 30
CI <- sqrt(svd(z)$d[1]/svd(z)$d[length(svd(z)$d)])
CI

[1] 31.54983

z_0 <- c(1, 130, 7.5)
y <- as.matrix(Dados["y"])
beta_hat <- infomatrix.inv%*%crossprod(z,y)
beta_hat

                    y
(Intercept) 8.4236890
z1          1.0789825
z2          0.4198885

n <- nrow(Dados)
z.rank <- qr(z)$rank
df <- n - z.rank
df

[1] 4

I <- diag(1,n)
SSres <- t(y)%*%(I-z%*%infomatrix.inv%*%t(z))%*%y
s <- sqrt(SSres/df)
as.numeric(s)

[1] 1.203937

y.mean_z0 <- as.numeric(crossprod(z_0,beta_hat))
cat("E^(Y|z0) = ", round(y.mean_z0,2), "\n", sep="")

E^(Y|z0) = 151.84

new <- data.frame(z1=130, z2=7.5)
out <- predict(fit, new, se.fit = TRUE)
as.numeric(out$fit)

[1] 151.8406

print(out)

$fit
       1 
151.8406 

$se.fit
[1] 0.7322769

$df
[1] 4

$residual.scale
[1] 1.203937

LL.conf <- y.mean_z0 - qt(1-alfa/2, df)*s*
           sqrt(t(z_0)%*%infomatrix.inv%*%z_0)
UL.conf <- y.mean_z0 + qt(1-alfa/2, df)*s*
           sqrt(t(z_0)%*%infomatrix.inv%*%z_0)
cat("IC95%(E(Y|z0)) = [", round(LL.conf,2), ",", round(UL.conf,2),
    "]", sep="")

IC95%(E(Y|z0)) = [149.81,153.87]

predict(fit, new, interval="confidence", level=1-alfa)

       fit      lwr      upr
1 151.8406 149.8075 153.8737

LL.pred <- y.mean_z0 - qt(1-alfa/2, df)*s*
           sqrt(1+t(z_0)%*%infomatrix.inv%*%z_0)
UL.pred <- y.mean_z0 + qt(1-alfa/2, df)*s*
           sqrt(1+t(z_0)%*%infomatrix.inv%*%z_0)
cat("\nIP95%(E(Y|z0)) = [", round(LL.pred,2), ",", round(UL.pred,2),
    "]", sep="")

IP95%(E(Y|z0)) = [147.93,155.75]

predict(fit, new, interval="prediction", level=1-alfa)

       fit      lwr     upr
1 151.8406 147.9282 155.753

fit <- lm(y ~ z1 + z2, data = Dados)

## Malha (x = z1, y = z2) — ATENÇÃO: z para surface tem linhas=y, colunas=x
lx <- seq(min(Dados$z1), max(Dados$z1), length.out = 60)  # eixo x
ly <- seq(min(Dados$z2), max(Dados$z2), length.out = 60)  # eixo y

Z_fit      <- matrix(NA_real_, nrow = length(ly), ncol = length(lx))
Z_lwr_conf <- matrix(NA_real_, nrow = length(ly), ncol = length(lx))
Z_upr_conf <- matrix(NA_real_, nrow = length(ly), ncol = length(lx))
Z_lwr_pred <- matrix(NA_real_, nrow = length(ly), ncol = length(lx))
Z_upr_pred <- matrix(NA_real_, nrow = length(ly), ncol = length(lx))

for (i in seq_along(lx)) {
  for (j in seq_along(ly)) {
    nd <- data.frame(z1 = lx[i], z2 = ly[j])
    pc <- predict(fit, nd, interval = "confidence",  level = 1-alfa)
    pp <- predict(fit, nd, interval = "prediction", level = 1-alfa)
    Z_fit     [j, i] <- pc[,"fit"]
    Z_lwr_conf[j, i] <- pc[,"lwr"];  Z_upr_conf[j, i] <- pc[,"upr"]
    Z_lwr_pred[j, i] <- pp[,"lwr"];  Z_upr_pred[j, i] <- pp[,"upr"]
  }
}

## z0 no PLANO (usar ŷ = predict)
z0 <- data.frame(z1 = 130, z2 = 7.5)
yhat_z0 <- as.numeric(predict(fit, z0))
ic_z0   <- predict(fit, z0, interval="confidence",  level=0.95)
ip_z0   <- predict(fit, z0, interval="prediction", level=0.95)

## Superfície + bandas de CONFIANÇA (95%)
p_conf <- plotly::plot_ly()
p_conf <- plotly::add_surface(p_conf, x = lx, y = ly, z = Z_fit,
                              showscale = FALSE, opacity = 0.85, name = "ŷ(z1,z2)")
p_conf <- plotly::add_surface(p_conf, x = lx, y = ly, z = Z_upr_conf,
                              showscale = FALSE, opacity = 0.25, name = "IC 95% (sup)")
p_conf <- plotly::add_surface(p_conf, x = lx, y = ly, z = Z_lwr_conf,
                              showscale = FALSE, opacity = 0.25, name = "IC 95% (inf)")
p_conf <- plotly::add_markers(p_conf, data = Dados, x = ~z1, y = ~z2, z = ~y,
                              name = "Dados", marker = list(size = 4))
p_conf <- plotly::add_markers(p_conf, x = z0$z1, y = z0$z2, z = yhat_z0,
                              name = "ŷ(z0)", marker = list(size = 4, color = "blue"))
p_conf <- plotly::add_trace(p_conf, x = c(z0$z1, z0$z1), y = c(z0$z2, z0$z2),
                            z = c(ic_z0[,"lwr"], ic_z0[,"upr"]),
                            type = "scatter3d", mode = "lines",
                            name = "IC 95% em z0", line = list(width = 6))
plotly::layout(p_conf, scene = list(
  xaxis = list(title = "z1 (Orders)"),
  yaxis = list(title = "z2 (Add–delete items)"),
  zaxis = list(title = "Y (CPU time)")
), title = "Superfície de regressão com bandas de CONFIANÇA (95%): alinhada")

## Superfície + bandas de PREDIÇÃO (95%)
p_pred <- plotly::plot_ly()
p_pred <- plotly::add_surface(p_pred, x = lx, y = ly, z = Z_fit,
                              showscale = FALSE, opacity = 0.85, name = "ŷ(z1,z2)")
p_pred <- plotly::add_surface(p_pred, x = lx, y = ly, z = Z_upr_pred,
                              showscale = FALSE, opacity = 0.18, name = "IP 95% (sup)")
p_pred <- plotly::add_surface(p_pred, x = lx, y = ly, z = Z_lwr_pred,
                              showscale = FALSE, opacity = 0.18, name = "IP 95% (inf)")
p_pred <- plotly::add_markers(p_pred, data = Dados, x = ~z1, y = ~z2, z = ~y,
                              name = "Dados", marker = list(size = 4))
p_pred <- plotly::add_markers(p_pred, x = z0$z1, y = z0$z2, z = yhat_z0,
                              name = "ŷ(z0)", marker = list(size = 4, color = "blue"))
p_pred <- plotly::add_trace(p_pred, x = c(z0$z1, z0$z1), y = c(z0$z2, z0$z2),
                            z = c(ip_z0[,"lwr"], ip_z0[,"upr"]),
                            type = "scatter3d", mode = "lines",
                            name = "IP 95% em z0", line = list(width = 6))
plotly::layout(p_pred, scene = list(
  xaxis = list(title = "z1 (Orders)"),
  yaxis = list(title = "z2 (Add–delete items)"),
  zaxis = list(title = "Y (CPU time)")
), title = "Superfície de regressão com bandas de PREDIÇÃO (95%): alinhada")

• JW6_Example7.6_rgl.R

suppressMessages(suppressWarnings(
  invisible(Sys.setlocale("LC_ALL","pt_BR.UTF-8"))))

# ---------- util ----------
safestr <- function(s) enc2native(iconv(s, to = "ASCII//TRANSLIT"))
to_mat  <- function(v, lx, ly) matrix(v, nrow = length(lx), ncol = length(ly), byrow = FALSE)

make_plot <- function(fit, lx, ly, Zlow, Zup, Dados, main_txt,
                      new, seg_int, seg_col = "black", pt_size = 4) {
  rgl::open3d()
  rgl::plot3d(fit, size = pt_size)                 # plano de regressao
  rgl::title3d(main = safestr(main_txt), xlab = "", ylab = "", zlab = "")
  rgl::surface3d(lx, ly, Zlow, color = "lightgray", alpha = 0.30)
  rgl::surface3d(lx, ly, Zup,  color = "lightgray", alpha = 0.30)
  rgl::points3d(Dados$z1, Dados$z2, Dados$y, size = pt_size, col = "black")
  # segmento vertical no ponto new
  rgl::segments3d(c(new$z1, new$z1), c(new$z2, new$z2), seg_int, col = seg_col, lwd = 3)
  rgl::spheres3d(new$z1, new$z2, mean(seg_int), radius = 0.7, color = seg_col)
  rgl::rglwidget()
}

# ---------- dados e modelo ----------
Dados <- read.csv("JW6Data/T7-3.dat", sep = "", header = FALSE)
names(Dados) <- c("z1","z2","y")
fit <- lm(y ~ z1 + z2, data = Dados)
print(summary(fit), digits = 4)

Call:
lm(formula = y ~ z1 + z2, data = Dados)

Residuals:
      1       2       3       4       5       6       7 
-1.0632 -1.0315  1.1007 -0.9151  0.4650  1.1066  0.3375 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  8.42369    3.44328   2.446   0.0707 .  
z1           1.07898    0.02749  39.249 2.52e-06 ***
z2           0.41989    0.14447   2.906   0.0438 *  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.204 on 4 degrees of freedom
Multiple R-squared:  0.9979,    Adjusted R-squared:  0.9969 
F-statistic: 966.5 on 2 and 4 DF,  p-value: 4.265e-06

# ---------- malha e predicoes (pontuais por t) ----------
alpha <- 0.05
lx <- seq(min(Dados$z1), max(Dados$z1), length.out = 80)  # x = z1
ly <- seq(min(Dados$z2), max(Dados$z2), length.out = 80)  # y = z2
grid <- expand.grid(z1 = lx, z2 = ly)

pc <- predict(fit, grid, interval = "confidence",  level = 1 - alpha)
pp <- predict(fit, grid, interval = "prediction", level = 1 - alpha)

Z_ICL <- to_mat(pc[, "lwr"], lx, ly)
Z_ICU <- to_mat(pc[, "upr"], lx, ly)
Z_PL  <- to_mat(pp[, "lwr"], lx, ly)
Z_PU  <- to_mat(pp[, "upr"], lx, ly)

# ---------- ponto new e seus intervalos ----------
new  <- data.frame(z1 = 130, z2 = 7.5)
IC0  <- predict(fit, new, interval = "confidence",  level = 1 - alpha)
IP0  <- predict(fit, new, interval = "prediction", level = 1 - alpha)
cat(sprintf("new: z1=%.2f z2=%.2f | IC95%%=[%.3f, %.3f] | IP95%%=[%.3f, %.3f]\n",
            new$z1, new$z2, IC0[,"lwr"], IC0[,"upr"], IP0[,"lwr"], IP0[,"upr"]))

new: z1=130.00 z2=7.50 | IC95%=[149.807, 153.874] | IP95%=[147.928, 155.753]

# ---------- graficos ----------
# IC95% (media)
make_plot(fit, lx, ly, Z_ICL, Z_ICU, Dados,
          "Superficie de confianca 95%", new,
          seg_int = c(IC0[,"lwr"], IC0[,"upr"]),
          seg_col = "darkgreen", pt_size = 4)

# IP95% (nova observacao) — “volume” = envelope entre as duas superficies
make_plot(fit, lx, ly, Z_PL, Z_PU, Dados,
          "Superficie de predicao 95% (volume)", new,
          seg_int = c(IP0[,"lwr"], IP0[,"upr"]),
          seg_col = "navy", pt_size = 4)

Verificação do Modelo e Outros Aspectos da Regressão

O Modelo é Adequado?

Assumindo que o modelo é “correto”, usamos a função de regressão estimada para fazer inferências. Claro, é imperativo examinar a adequação do modelo antes que a função estimada se torne parte permanente do aparelho de tomada de decisão.

Todas as informações da amostra sobre falta de ajuste estão contidas nos resíduos

\[ \hat{\epsilon}_j = Y_j - \sum_{i=1}^{r}{\hat{\beta}_i z_{ji}} \\ j=1,2,\ldots,n \]

ou

\[ \begin{align} \hat{\boldsymbol{\varepsilon}} &= \mathbf{Y} - \mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{Y} \\ \hat{\boldsymbol{\varepsilon}} &= (\mathbf{I} - \mathbf{H})\mathbf{Y} \end{align} \tag{7-16} \]

Se o modelo é válido, cada resíduo é uma estimativa do erro \(\varepsilon_j\), que se presume ser uma variável aleatória normal com média zero e variância \(\sigma^2\). Embora o vetor de resíduo \(\hat{\boldsymbol{\varepsilon}}\) tenha valor esperado nulo, sua matriz de covariância \(\sigma^2[\mathbf{I} - \mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}] = \sigma^2[\mathbf{I} - \mathbf{H}]\) não é diagonal. Os resíduos têm variâncias desiguais e correlações diferentes de zero. Felizmente, as correlações geralmente são pequenas e as variâncias são quase iguais.

Como os resíduos \(\hat{\boldsymbol{\varepsilon}}\) têm matriz de covariância \(\sigma^2[\mathbf{I} - \mathbf{H}]\), as variâncias dos \(\varepsilon_j\) podem variar muito se os elementos diagonais de \(\mathbf{H}\), os índices de alavancagem \(h_{jj}\), forem substancialmente diferentes. Consequentemente, muitos estatísticos preferem diagnósticos gráficos baseados em resíduos studentizados. Usando o quadrado médio residual \(s^2\) como uma estimativa de \(\sigma^2\), temos

\[ \widehat{\mathbb{V}}(\hat{\varepsilon}_j) = s^2(1 - h_{jj}) \\ j = 1, 2, \ldots, n \tag{7-17} \]

e os resíduos studentizados são

\[ \hat{\varepsilon}_j^* = \dfrac{\hat{\varepsilon}_j}{\sqrt{\widehat{\mathbb{V}}(\hat{\varepsilon}_j)}}=\dfrac{\hat{\varepsilon}_j}{s\sqrt{1 - h_{jj}}} \tag{7-18} \]

Esperamos que os resíduos studentizados pareçam, aproximadamente, como amostras independentes de uma distribuição \(\mathcal{N}(0, 1)\). Alguns programas estatísticos vão um passo além e studentizam \(\hat{\varepsilon}_j\) usando a variância estimada excluindo uma observação \(s^2(j)\), que é o quadrado médio residual quando a observação \(j\)-ésima é removida da análise.

Alavancagem e Influência

Embora uma análise de resíduos seja útil para avaliar o ajuste de um modelo, desvios do modelo de regressão muitas vezes são ocultados pelo processo de ajuste. Por exemplo, pode haver “outliers” tanto na resposta quanto nas variáveis explicativas que podem ter um efeito considerável na análise, mas que não são facilmente detectados a partir de uma análise de gráficos de resíduos. Na verdade, esses outliers podem determinar o ajuste.

A alavancagem \(h_{jj}\), o elemento diagonal \((j, j)\) de \(\mathbf{H} = \mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\), pode ser interpretada de duas maneiras relacionadas. Primeiramente, a alavancagem está associada ao \(i\)-ésimo ponto dos dados e mede, no espaço das variáveis explicativas, o quão distante a observação \(j\)-ésima está das outras \(n - 1\) observações. Para a regressão linear simples com uma variável explicativa \(z\),

\[ \begin{align} h_{jj}&=\dfrac{1}{n}\left(1+\left(\dfrac{z_j-\bar{z}}{s}\right)^2\right) \\ h_{jj}&=\dfrac{1}{n}\left(1+\left(z^{\text{std}}_j\right)^2\right)\in\left[\dfrac{1}{n},1-\dfrac{n-1}{n^2}\right] \\ \text{sendo que:}\\ s^2&=\dfrac{1}{n}\sum_{j=1}^{n}{(z_j-\bar{z})^2} \end{align} \]

Conforme Shiffler (1988), \(|z^{\text{std}}_j|\le\left(1-\dfrac{1}{n}\right)\sqrt{n}\).

A alavancagem média é \(\bar{h}=(r + 1)/n\). (Veja o Exercício 7.8.)

Portanto, os resíduos studentizados são

\[ \hat{\varepsilon}_j^* =\dfrac{\hat{\varepsilon}_j}{s\sqrt{1 - h_{jj}}} \in\left[\dfrac{\hat{\varepsilon}_j}{s\sqrt{\dfrac{n-1}{n}}}, \dfrac{\hat{\varepsilon}_j}{s\sqrt{\dfrac{n-1}{n^2}}}\right] \]

Segundamente, a alavancagem é uma medida do “puxão” que um único caso exerce no ajuste. O vetor de valores previstos é

\[ \begin{align} \hat{\mathbf{Y}} &= \mathbf{z}\hat{\boldsymbol{\beta}}\\ &=\mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{Y}\\ \hat{\mathbf{Y}} &= \mathbf{H}\mathbf{Y} \end{align} \]

em que a \(j\)-ésima linha expressa o valor ajustado \(\hat{y}_j\) em termos das observações como

\[ \hat{y}_j = h_{jj}y_j+\sum_{k\ne j}^{}{h_{jk}y_k} \]

Desde que todos os outros valores de \(y\) sejam mantidos fixos,

\[ \text{(mudança em } \hat{y}_j) = h_{jj}\times\text{(mudança em } y_j) \]

Se a alavancagem é grande em relação aos outros \(h_{jk}\), então \(y_j\) será um grande contribuidor para o valor previsto \(\hat{y}_j\).

Observações que afetam significativamente as inferências extraídas dos dados são consideradas influentes. Métodos para avaliar a influência geralmente são baseados na mudança no vetor de estimativas de parâmetros, \(\hat{\boldsymbol{\beta}}\), quando observações são excluídas. Gráficos baseados em estatísticas de alavancagem e influência e seu uso na verificação diagnóstica de modelos de regressão são descritos em [3], [5] e [10]. Essas referências são recomendadas para qualquer pessoa envolvida em uma análise de modelos de regressão.

Se, após as verificações diagnósticas, nenhuma violação séria das suposições for detectada, podemos fazer inferências sobre \(\boldsymbol{\beta}\) e os futuros valores de \(Y\) com alguma certeza de que não seremos enganados.

• JW6_Cap7_leverage_residual.R

set.seed(123)
n <- 10
x <- rnorm(n)
y <- 2 * x + rnorm(n)
Dados <- data.frame(x,y)
print(psych::describe(Dados))

  vars  n mean   sd median trimmed  mad   min  max range skew kurtosis   se
x    1 10 0.07 0.95  -0.08    0.04 0.76 -1.27 1.72  2.98 0.52    -1.08 0.30
y    2 10 0.36 2.65   0.00    0.36 1.51 -4.50 5.22  9.71 0.14    -0.50 0.84

boxplot(Dados)

GGally::ggpairs(Dados)+ggplot2::theme_bw()+
  ggplot2::theme(panel.grid = ggplot2::element_blank())

DescTools::PlotBag(Dados$x, Dados$y)

fit <- lm(y ~ x, data=Dados)
print(summary(fit))

Call:
lm(formula = y ~ x, data = Dados)

Residuals:
     Min       1Q   Median       3Q      Max 
-1.33303 -0.64421 -0.02448  0.49596  1.41472 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   0.1617     0.2852   0.567    0.586    
x             2.6287     0.3141   8.368 3.15e-05 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 0.8988 on 8 degrees of freedom
Multiple R-squared:  0.8975,    Adjusted R-squared:  0.8847 
F-statistic: 70.03 on 1 and 8 DF,  p-value: 3.153e-05

alfa <- 0.05
print(apaTables::apa.reg.table(fit,
                               prop.var.conf.level = 1-alfa))

Regression results using y as the criterion
 

   Predictor      b      b_95%_CI beta  beta_95%_CI sr2 sr2_95%_CI     r
 (Intercept)   0.16 [-0.50, 0.82]                                       
           x 2.63**  [1.90, 3.35] 0.95 [0.69, 1.21] .90 [.60, .94] .95**
                                                                        
                                                                        
                                                                        
             Fit
                
                
     R2 = .897**
 95% CI[.60,.94]
                

Note. A significant b-weight indicates the beta-weight and semi-partial correlation are also significant.
b represents unstandardized regression weights. beta indicates the standardized regression weights. 
sr2 represents the semi-partial correlation squared. r represents the zero-order correlation.
Square brackets are used to enclose the lower and upper limits of a confidence interval.
* indicates p < .05. ** indicates p < .01.
 

plot(fit, ask=FALSE, which = 5)

leverage <- hatvalues(fit)
print(cbind(Dados, leverage), digits=2)

        x     y leverage
1  -0.560  0.10     0.15
2  -0.230 -0.10     0.11
3   1.559  3.52     0.37
4   0.071  0.25     0.10
5   0.129 -0.30     0.10
6   1.715  5.22     0.43
7   0.461  1.42     0.12
8  -1.265 -4.50     0.32
9  -0.687 -0.67     0.17
10 -0.446 -1.36     0.13

dados <- data.frame(x = x, y = y, leverage = leverage)
grafico <- ggplot2::ggplot(dados, ggplot2::aes(x = x, y = y)) +
  ggplot2::geom_point() +
  ggplot2::geom_smooth(method = "lm", se = FALSE, color = "blue") +
  ggplot2::geom_text(ggplot2::aes(label = sprintf("%.2f", leverage)), vjust = 1.3) +
  ggplot2::labs(title = "Dados, Reta de Regressão e Valores de Alavancagem",
       x = "x",
       y = "y") + ggplot2::theme_bw()
print(grafico)

`geom_smooth()` using formula = 'y ~ x'

plot(fit, ask=FALSE, which = 5)

DescTools::PlotBag(x, y,
                   xlab="x", ylab="y", cex=0.6)

plot(resid(fit))
abline(h=0, lty=2)

car::qqPlot(resid(fit), envelope=1-alfa, grid=FALSE)

[1] 1 8

shapiro.test(resid(fit))

    Shapiro-Wilk normality test

data:  resid(fit)
W = 0.98742, p-value = 0.9926

lmtest::bptest(fit) # heterocedasticidade

    studentized Breusch-Pagan test

data:  fit
BP = 2.5439, df = 1, p-value = 0.1107

lmtest::gqtest(fit) # heterocedasticidade

    Goldfeld-Quandt test

data:  fit
GQ = 1.499, df1 = 3, df2 = 3, p-value = 0.3737
alternative hypothesis: variance increases from segment 1 to 2

lmtest::hmctest(fit) # heterocedasticidade

    Harrison-McCabe test

data:  fit
HMC = 0.51295, p-value = 0.539

lmtest::bgtest(fit) # autocorrelacao

    Breusch-Godfrey test for serial correlation of order up to 1

data:  fit
LM test = 0.74105, df = 1, p-value = 0.3893

lmtest::dwtest(fit) # autocorrelacao

    Durbin-Watson test

data:  fit
DW = 2.2077, p-value = 0.601
alternative hypothesis: true autocorrelation is greater than 0

lmtest::harvtest(fit) # linearidade

    Harvey-Collier test

data:  fit
HC = 0.23054, df = 7, p-value = 0.8243

lmtest::raintest(fit) # linearidade

    Rainbow test

data:  fit
Rain = 10.929, df1 = 5, df2 = 3, p-value = 0.03844

print(REAT::curvefit(x-min(x)+1, y-min(y)+1, print.results=FALSE)$models_comp, digits=3)

                 a      b Std. Error a Std. Error b t value a t value b
Linear      -0.296  2.629       0.7880        0.314    -0.375      8.37
Power        1.750  1.382       0.0917        0.243     2.650      5.69
Exponential  1.436  0.542       0.3520        0.140     1.028      3.86
Logistic     4.334 -2.126       1.2075        0.481     3.589     -4.42
            Pr(>|t|) a Pr(>|t|) b R squared Adj. R squared F value   Pr(>F)
Linear         0.71728   3.15e-05     0.897          0.885    70.0 3.15e-05
Power          0.02926   4.62e-04     0.802          0.777    32.3 4.62e-04
Exponential    0.33423   4.78e-03     0.651          0.607    14.9 4.78e-03
Logistic       0.00709   2.23e-03     0.709          0.673    19.5 2.23e-03

A seguir é apresentado um estudo sobre os testes apresentados no exemplo anterior para pontos em formato linear homocedástico e pontos em formato exponencial heterocedástico.

• JW6_Cap7_leverage_residual_linear_exp.R

Carregando pacotes exigidos: zoo

Anexando pacote: 'zoo'

Os seguintes objetos são mascarados por 'package:base':

    as.Date, as.Date.numeric

               a      b Std. Error a Std. Error b t value a t value b
Linear      1.88  3.055       0.4248       0.0697      4.42      43.8
Power       4.46  0.844       0.0182       0.0251     35.75      33.6
Exponential 5.86  0.189       0.0415       0.0068     42.66      27.7
Logistic    2.24 -0.441       0.1375       0.0226     16.27     -19.5
            Pr(>|t|) a Pr(>|t|) b R squared Adj. R squared F value   Pr(>F)
Linear        2.56e-05   3.39e-66     0.951          0.951    1921 3.39e-66
Power         4.97e-58   1.32e-55     0.920          0.919    1130 1.32e-55
Exponential   4.26e-65   3.37e-48     0.887          0.886     769 3.37e-48
Logistic      1.35e-29   1.46e-35     0.796          0.794     382 1.46e-35

Call:
lm(formula = y_lin ~ x)

Residuals:
    Min      1Q  Median      3Q     Max 
-4.9071 -1.1047 -0.0692  1.2970  4.1897 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   1.8770     0.4248   4.419 2.56e-05 ***
x             3.0552     0.0697  43.834  < 2e-16 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.829 on 98 degrees of freedom
Multiple R-squared:  0.9515,    Adjusted R-squared:  0.951 
F-statistic:  1921 on 1 and 98 DF,  p-value: < 2.2e-16

[1] 72 44

                a      b Std. Error a Std. Error b t value a t value b
Linear      -8.85  5.011       1.3186       0.2164     -6.71      23.2
Power        1.81  1.300       0.0334       0.0461      7.73      28.2
Exponential  2.53  0.306       0.0415       0.0068     22.39      45.0
Logistic     3.68 -0.459       0.1611       0.0264     22.83     -17.3
            Pr(>|t|) a Pr(>|t|) b R squared Adj. R squared F value   Pr(>F)
Linear        1.26e-09   1.59e-41     0.845          0.844     536 1.59e-41
Power         9.61e-12   8.19e-49     0.890          0.889     795 8.19e-49
Exponential   2.53e-40   2.68e-67     0.954          0.953    2029 2.68e-67
Logistic      5.07e-41   1.24e-31     0.754          0.752     301 1.24e-31

Call:
lm(formula = y_exp ~ x)

Residuals:
    Min      1Q  Median      3Q     Max 
-9.1134 -3.3210 -0.6393  3.1578 27.5043 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  -8.8488     1.3186  -6.711 1.26e-09 ***
x             5.0107     0.2164  23.157  < 2e-16 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 5.678 on 98 degrees of freedom
Multiple R-squared:  0.8455,    Adjusted R-squared:  0.8439 
F-statistic: 536.2 on 1 and 98 DF,  p-value: < 2.2e-16

[1] 96 97

Estatísticas e p-valores (linhas = testes; colunas = modelos)

	Linear Homocedástico	Exponencial Heterocedástico
Shapiro_W	0.9934	0.9145
Shapiro_p	0.9124	0.0000
BP_stat	0.0122	5.7497
BP_p	0.9120	0.0165
GQ_stat	0.9409	9.3681
GQ_p	0.5831	0.0000
HC_stat	0.5849	5.4872
HC_p	0.5600	0.0000
RESET_stat	0.8823	4.1422
RESET_p	0.6693	0.0000
DW_stat	2.0440	1.1249
DW_p	0.5474	0.0000
BG_stat	0.1116	18.4531
BG_p	0.7383	0.0000

Decisões (α=0.05) — linhas=testes; colunas=modelos

	Linear Homocedástico	Exponencial Heterocedástico
Shapiro	não rejeita	rejeita
BP	não rejeita	rejeita
GQ	não rejeita	rejeita
HC	não rejeita	rejeita
RESET	não rejeita	rejeita
DW	não rejeita	rejeita
BG	não rejeita	rejeita

Problemas adicionais em modelo preditivo de regressão linear múltipla univariada

Discutiremos brevemente vários aspectos importantes de regressão que merecem e recebem tratamentos extensos em textos dedicados à análise de regressão. (Veja [9], [10], [12] e [20].)

Seleção de modelo

Selecionando variáveis preditoras a partir de um grande conjunto. Na prática, muitas vezes é difícil formular imediatamente uma função de regressão apropriada. Quais variáveis preditoras devem ser incluídas? Que forma a função de regressão deve assumir?

Quando a lista de possíveis variáveis preditoras é muito grande, nem todas as variáveis podem ser incluídas na função de regressão. Técnicas e programas de computador projetados para selecionar o “melhor” subconjunto de preditores estão agora prontamente disponíveis. Os bons tentam todos os subconjuntos: \(z_1\) sozinho, \(z_2\) sozinho, \(\ldots\), \(z_1\) e \(z_2\), \(\ldots\). A melhor escolha é decidida examinando alguma quantidade‑critério como \(R^2\). [Veja (7‑9).] Entretanto, \(R^2\) sempre aumenta com a inclusão de variáveis preditoras adicionais. Embora esse problema possa ser contornado usando o \(R^2\) ajustado, \(\bar{R}^2 = 1 - (1 - R^2)(n - 1)/(n - r - 1)\), uma estatística melhor para seleção de variáveis parece ser o \(C_p\) de Mallows (1973),

\[ C_p = \left(\frac{\text{SSE do submodelo com } p \text{ parâmetros}}{\text{variância residual para o modelo completo}}\right) - (n - 2p) \]

Um gráfico dos pares \((p, C_p)\), um para cada subconjunto de preditores, indicará modelos que preveem bem as respostas observadas. Bons modelos tipicamente têm coordenadas \((p, C_p)\) próximas da linha de \(45^\circ\) (bissetriz), i.e., \(C_p \approx p\). Na Figura 7.4, nós circulamos o ponto correspondente ao “melhor” subconjunto de variáveis preditoras.

Os dados da Tabela 7.3 (Computer Data) foram usados para o cálculo do critério de Mallows \(C_p\) para todos os submodelos.

\[ C_p \;=\; \frac{\mathrm{SSE}_p}{\hat{\sigma}^2} \;-\; (n-2p) \]

sendo que \(\mathrm{SSE}_p\) é a soma de quadrados dos resíduos do submodelo com \(p\) parâmetros (inclui intercepto) e \(\hat{\sigma}^2\) é a variância residual do modelo completo.

A seleção de modelos equilibra erro de ajuste e parcimônia. Três critérios clássicos são Mallows Cp, Adjusted \(R^2\) e BIC. Todos derivam da decomposição \(\mathrm{SST} = \mathrm{SSR} + \mathrm{SSE}\) e penalizam a complexidade de formas distintas.

Notação:

\(n\): tamanho da amostra;

\(p\): número de parâmetros do modelo candidato (inclui intercepto);

\(p_{\text{full}}\): número de parâmetros do modelo completo;

\(\mathrm{SSE}_p\): residual sum of squares do modelo com \(p\) parâmetros;

\(\mathrm{SSE}_{\text{full}}\): SSE do modelo completo;

\(\mathrm{SST}\): total sum of squares.

A variância residual de referência é estimada no modelo completo:

\[ \hat{\sigma}^2 = \frac{\mathrm{SSE}_{\text{full}}}{n - p_{\text{full}}} \]

\(C_p\) de Mallows

\[ C_p = \frac{\mathrm{SSE}_p}{\hat{\sigma}^2} - (n - 2p) \]

Interpretação: compara o erro do modelo candidato com o erro de referência do modelo completo e adiciona penalização \(2p\). Regra prática: modelo adequado apresenta \(C_p \approx p\). Sob erros normais e \(\hat{\sigma}^2\) consistente, \(C_p\) é assintoticamente equivalente ao AIC, portanto favorece modelos com bom viés-variância sem penalização tão forte quanto o BIC.

\(R^2\) ajustado de Wherry

\[ R^2_{\text{adj}} = 1 - \frac{\mathrm{SSE}_p/(n - p)}{\mathrm{SST}/(n - 1)} \] Interpretação: corrige o viés de \(R^2\) impondo custo em \(p\). \(R^2_{\text{adj}}\) aumenta apenas quando a queda em \(\mathrm{RSS}_p\) é proporcionalmente maior do que o aumento de \(p\). Critério de maximização.

BIC

\[ \mathrm{BIC} = n\,\ln\!\left(\frac{\mathrm{RSS}_p}{n}\right) + p\,\ln(n) \] Interpretação: aproximação ao log da evidência bayesiana com prior não-informativa; penaliza fortemente a complexidade via \(p\,\ln n\). Tende a selecionar modelos mais parcimoniosos, sobretudo quando \(n\) é grande. Critério de minimização.

Relações esperadas:

Ao melhorar substantivamente o modelo, \(C_p\) tende a diminuir em direção a \(p\), \(R^2_{\text{adj}}\) tende a aumentar e o BIC tende a diminuir. As diferenças surgem da severidade da penalização: BIC é mais conservador que \(C_p\); \(R^2_{\text{adj}}\) usa normalização por graus de liberdade e é menos diretamente comparável em termos de perdas esperadas.

Critério	Fórmula	Penalização	Regra	Interpretação
Mallows Cp	\(C_p = \dfrac{\mathrm{SSE}_p}{\hat{\sigma}^2} - (n - 2p)\)	\(2p\)	ideal \(C_p \approx p\)	erro relativo ao modelo completo + custo linear em \(p\)
Adjusted R^2	\(R^2_{\text{adj}} = 1 - \dfrac{\mathrm{SSE}_p/(n - p)}{\mathrm{SST}/(n - 1)}\)	via \((n-p)\)	maximizar	aumenta só se a redução em erro compensa o aumento de \(p\)
BIC	\(\mathrm{BIC} = n\,\ln\!\left(\dfrac{\mathrm{SSE}_p}{n}\right) + p\,\ln(n)\)	\(p\,\ln(n)\)	minimizar	penalização forte; favorece parcimônia quando \(n\) cresce

• JW6_Cap7_Cp.R

suppressMessages(suppressWarnings(
  invisible(Sys.setlocale("LC_ALL", "pt_BR.UTF-8"))))
Dados <- data.frame(
  z1 = c(123.5,146.1,133.9,128.5,151.5,136.2, 92.0),
  z2 = c(2.108, 9.213, 1.905, 0.815, 1.061, 8.603, 1.125),
  Y  = c(141.5,168.9,154.8,146.5,172.8,160.1,108.5)
)

print(Dados)

     z1    z2     Y
1 123.5 2.108 141.5
2 146.1 9.213 168.9
3 133.9 1.905 154.8
4 128.5 0.815 146.5
5 151.5 1.061 172.8
6 136.2 8.603 160.1
7  92.0 1.125 108.5

print(psych::describe(Dados))

   vars n   mean    sd median trimmed   mad    min    max range  skew kurtosis
z1    1 7 130.24 19.42 133.90  130.24 15.42  92.00 151.50  59.5 -0.83    -0.58
z2    2 7   3.55  3.70   1.91    3.55  1.25   0.81   9.21   8.4  0.72    -1.60
Y     3 7 150.44 21.63 154.80  150.44 19.72 108.50 172.80  64.3 -0.79    -0.73
     se
z1 7.34
z2 1.40
Y  8.18

boxplot(Dados)

GGally::ggpairs(Dados)+ggplot2::theme_bw()

psych::setCor(Y~z1+z2, 
              main="Standardized Regression",
              std=TRUE,
              data=Dados)

Call: psych::setCor(y = Y ~ z1 + z2, data = Dados, std = TRUE, main = "Standardized Regression")

Multiple Regression from raw data 

 DV =  Y 
            slope   se     t       p lower.ci upper.ci  VIF Vy.x
(Intercept)  0.00 0.02  0.00 1.0e+00    -0.06     0.06 1.00 0.00
z1           0.97 0.02 39.25 2.5e-06     0.90     1.04 1.18 0.97
z2           0.07 0.02  2.91 4.4e-02     0.00     0.14 1.18 0.03

Residual Standard Error =  0.06  with  4  degrees of freedom

 Multiple Regression
  R R2  Ruw R2uw Shrunken R2 SE of R2 overall F df1 df2        p
Y 1  1 0.87 0.75           1        0    966.45   2   4 4.26e-06

psych::setCor(Y~z1+z2,
              main="Unstandardized Regression",
              std=FALSE,
              data=Dados)

Call: psych::setCor(y = Y ~ z1 + z2, data = Dados, std = FALSE, main = "Unstandardized Regression")

Multiple Regression from raw data 

 DV =  Y 
            slope   se     t       p lower.ci upper.ci  VIF Vy.x
(Intercept)  8.42 3.44  2.45 7.1e-02    -1.14    17.98 1.00 0.00
z1           1.08 0.03 39.25 2.5e-06     1.00     1.16 1.18 0.97
z2           0.42 0.14  2.91 4.4e-02     0.02     0.82 1.18 0.03

Residual Standard Error =  1.2  with  4  degrees of freedom

 Multiple Regression
  R R2  Ruw R2uw Shrunken R2 SE of R2 overall F df1 df2        p
Y 1  1 0.87 0.75           1        0    966.45   2   4 4.26e-06

centroid <- colMeans(Dados)
rgl::plot3d(lm(Y~z1+z2, data = Dados), size = 5)
rgl::points3d(centroid, size = 8, col = "purple3")
rgl::rglwidget()

m1 <- lm(Y ~ z1, data = Dados)       # p = 2 (intercepto + z1)
m2 <- lm(Y ~ z2, data = Dados)       # p = 2 (intercepto + z2)
m3 <- lm(Y ~ z1 + z2, data = Dados)  # p = 3 (modelo completo)
print(sm <- summary(m3), digits=3)

Call:
lm(formula = Y ~ z1 + z2, data = Dados)

Residuals:
     1      2      3      4      5      6      7 
-1.063 -1.031  1.101 -0.915  0.465  1.107  0.338 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8.4237     3.4433    2.45    0.071 .  
z1            1.0790     0.0275   39.25  2.5e-06 ***
z2            0.4199     0.1445    2.91    0.044 *  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.2 on 4 degrees of freedom
Multiple R-squared:  0.998, Adjusted R-squared:  0.997 
F-statistic:  966 on 2 and 4 DF,  p-value: 4.26e-06

n <- nrow(Dados)
sigma2_full <- sm$sigma^2  # variância residual do completo

cp <- data.frame(
  modelo = c("Y ~ z1", 
             "Y ~ z2", 
             "Y ~ z1 + z2"),
  p      = c(2, 
             2, 
             3),
  SQR    = c(crossprod(resid(m1)), 
             crossprod(resid(m2)), 
             crossprod(resid(m3)))
)
cp$Cp <- cp$SQR / sigma2_full - (n - 2*cp$p)
print(cp, digits=3)

       modelo p    SQR      Cp
1      Y ~ z1 2   18.0    9.45
2      Y ~ z2 2 2238.7 1541.47
3 Y ~ z1 + z2 3    5.8    3.00

print(olsrr::ols_mallows_cp(m1,m3), digits=3)

[1] 9.45

print(olsrr::ols_mallows_cp(m2,m3), digits=3)

[1] 1541

print(olsrr::ols_mallows_cp(m3,m3), digits=3)

[1] 3

plot(cp$p, cp$Cp, 
     ylim=c(0,10), xlim=c(0,10), 
     asp=1,
     #log="xy",
     xlab = "p (número de parâmetros, com intercepto)", 
     ylab = expression(C[p]), pch = 1)
abline(a = 0, b = 1, lty = 2)
text(cp$p, cp$Cp, labels = cp$modelo, pos = 3, cex = 0.9)

print(BIC(m1, m2, m3))

   df      BIC
m1  3 32.33003
m2  3 66.07691
m3  4 26.32982

print(AIC(m1, m2, m3))

   df      AIC
m1  3 32.49230
m2  3 66.23918
m3  4 26.54618

fit_step <- step(m3, direction = "both")  # AIC "forward" ou "backward"

Start:  AIC=4.68
Y ~ z1 + z2

       Df Sum of Sq     RSS    AIC
<none>                 5.80  4.681
- z2    1     12.24   18.04 10.627
- z1    1   2232.86 2238.66 44.374

# <none>: mantém z1 e z2. RSS = 5.80, AIC = 4.681.
# z2: remove z2. RSS = 18.04 (aumento 12.24), AIC = 10.627.
# z1: remove z1. RSS = 2238.66 (aumento 2232.86), AIC = 44.374.
summary(fit_step)

Call:
lm(formula = Y ~ z1 + z2, data = Dados)

Residuals:
      1       2       3       4       5       6       7 
-1.0632 -1.0315  1.1007 -0.9151  0.4650  1.1066  0.3375 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  8.42369    3.44328   2.446   0.0707 .  
z1           1.07898    0.02749  39.249 2.52e-06 ***
z2           0.41989    0.14447   2.906   0.0438 *  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.204 on 4 degrees of freedom
Multiple R-squared:  0.9979,    Adjusted R-squared:  0.9969 
F-statistic: 966.5 on 2 and 4 DF,  p-value: 4.265e-06

ajuste <- leaps::regsubsets(Y ~ ., 
                            data = Dados, 
                            nbest = 1, 
                            nvmax = NULL)
summary(ajuste)

Subset selection object
Call: regsubsets.formula(Y ~ ., data = Dados, nbest = 1, nvmax = NULL)
2 Variables  (and intercept)
   Forced in Forced out
z1     FALSE      FALSE
z2     FALSE      FALSE
1 subsets of each size up to 2
Selection Algorithm: exhaustive
         z1  z2 
1  ( 1 ) "*" " "
2  ( 1 ) "*" "*"

# Busca exaustiva de todos os modelos possíveis
fit_sub <- leaps::regsubsets(
  Y ~ .,
  data   = Dados,
  nvmax  = ncol(Dados) - 1,   # todas as combinações dos preditores
  method = "exhaustive",
  nbest  = 1                  # 1 melhor por tamanho
)

# Resumo com métricas (inclui Cp)
sfit <- summary(fit_sub)

# Tabela com todos os modelos (1 por tamanho) e seus Cp
tab <- data.frame(
  modelo_id = seq_len(nrow(sfit$which)),
  p         = rowSums(sfit$which),   # número de parâmetros (inclui intercepto)
  cp        = sfit$cp,
  adjR2     = sfit$adjr2,
  bic       = sfit$bic
)

# Ordenar por BIC
tab_ord <- tab[order(tab$bic), ]
print(tab_ord, row.names = FALSE, digits = 3)

 modelo_id p   cp adjR2   bic
         2 3 3.00 0.997 -37.4
         1 2 9.45 0.992 -31.4

# Escolha do melhor por BIC (mínimo BIC)
id_best <- which.min(sfit$bic)

# Extrair nomes dos preditores do melhor modelo (exclui intercepto)
incl_logi <- sfit$which[id_best, ]
nm_all    <- names(incl_logi)
best_vars <- setdiff(nm_all[incl_logi], "(Intercept)")

# Construir fórmula de forma robusta
if (length(best_vars) == 0) {
  form_best <- stats::as.formula("Y ~ 1")  # só intercepto
} else {
  form_best <- stats::reformulate(termlabels = best_vars, response = "Y")
}

# Ajustar modelo selecionado por BIC
mod_best <- lm(form_best, data = Dados)

cat("\nFórmula do melhor modelo por BIC:\n")

Fórmula do melhor modelo por BIC:

print(form_best)

Y ~ z1 + z2

cat("\nCoeficientes:\n")

Coeficientes:

print(stats::coef(mod_best))

(Intercept)          z1          z2 
  8.4236890   1.0789825   0.4198885 

cat("\nSumário do modelo selecionado:\n")

Sumário do modelo selecionado:

print(summary(mod_best))

Call:
lm(formula = form_best, data = Dados)

Residuals:
      1       2       3       4       5       6       7 
-1.0632 -1.0315  1.1007 -0.9151  0.4650  1.1066  0.3375 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  8.42369    3.44328   2.446   0.0707 .  
z1           1.07898    0.02749  39.249 2.52e-06 ***
z2           0.41989    0.14447   2.906   0.0438 *  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.204 on 4 degrees of freedom
Multiple R-squared:  0.9979,    Adjusted R-squared:  0.9969 
F-statistic: 966.5 on 2 and 4 DF,  p-value: 4.265e-06

Olejnik et al. (2000) publicaram o artigo intitulado “Uso do R² ajustado de Wherry e do Cₚ de Mallows para seleção de modelo entre todas as regressões possíveis”. Há um erro grave no artigo: o sinal da última parcela do \(C_p\) está trocado:

\[ C_p = \frac{\mathrm{SSE}_p}{\hat{\sigma}^2} - (n + 2p) \]

O resumo do artigo é:

“Selecionar um subconjunto de preditores de um conjunto de potenciais preditores continua sendo um problema comum enfrentado por pesquisadores aplicados em educação. Devido a várias limitações associadas aos procedimentos de seleção de variáveis passo a passo (stepwise), tem sido recomendada a análise de todas as soluções de regressão possíveis. Os autores avaliaram o uso das estatísticas Cₚ de Mallows e R² ajustado de Wherry para selecionar um modelo final a partir de um conjunto de soluções de modelo. Nem o \(C_p\) nem o R² ajustado identificaram corretamente o modelo de regressão subjacente de forma superior, e geralmente apresentaram desempenho pior do que o método passo a passo, que, por sua vez, também foi fraco. O uso de qualquer um dos procedimentos de seleção de modelo estudados resultou em estimativas viesadas dos coeficientes de regressão reais e em subestimação de seus erros-padrão. Recomenda-se o uso da teoria e do julgamento profissional para a seleção de variáveis em uma equação de predição.”

Se a lista de variáveis preditoras for muito longa, considerações de custo limitam o número de modelos que podem ser examinados. Outra abordagem, chamada stepwise regression (veja [12]), tenta selecionar preditores importantes sem considerar todas as possibilidades [sic].

Colinearidade em modelo preditivo de regressão linear múltipla univariada

Se \(\mathbf{z}\) não for de posto completo (full rank), alguma combinação linear, como \(\mathbf{za}\), deve ser igual a \(0\). Nessa situação, diz-se que as colunas são colineares. Isso implica que \(\mathbf{z}^{\prime}\mathbf{z}\) não tem inversa. Para a maioria das análises de regressão, é improvável que \(\mathbf{za}=0\) exatamente. No entanto, se existirem combinações lineares das colunas de \(\mathbf{z}\) que sejam quase \(\mathbf{0}\), o cálculo de \((\mathbf{z}^{\prime}\mathbf{z})^{-1}\) é numericamente instável.

Tipicamente, os elementos diagonais de \((\mathbf{z}^{\prime}\mathbf{z})^{-1}\) serão grandes. Isso produz grandes variâncias estimadas para os \(\hat{\beta}_i\), e então torna-se difícil detectar os coeficientes de regressão “significantes” \(\hat{\beta}_i\).

Os problemas causados pela colinearidade podem ser atenuados de duas formas: (1) eliminando uma de um par de variáveis preditoras que sejam fortemente correlacionadas; ou (2) relacionando a resposta \(Y\) aos componentes principais das variáveis preditoras, isto é, as linhas \(\mathbf{z}_i^{\prime}\) de \(\mathbf{z}\) são tratadas como uma amostra, e os primeiros componentes principais são calculados, conforme será descrito na Seção 8.3. A resposta \(Y\) é então regressada sobre essas novas variáveis preditoras.

Exemplo: Explicando Fertility em swiss

O conjunto de dados swiss contém observações de 47 províncias francófonas da Suíça, aproximadamente em 1888. Todas as variáveis estão na escala [0,100], exceto Fertility, que é um índice padronizado.

Fertility (Ig): índice geral de fecundidade padronizado (Mosteller & Tukey). É uma medida composta de fecundidade; não é TFR nem porcentagem. Interprete como escala relativa: valores maiores indicam maior fecundidade.

Agriculture: porcentagem de homens com ocupação na agricultura. Unidade: %. Apenas homens.

Examination: porcentagem de conscritos que obtiveram a nota máxima no exame do exército (média de 1887–1889). Unidade: %. Proxy de capital humano.

Education: porcentagem de conscritos com escolaridade além do primário (média de 1887–1889). Unidade: %. Proxy de escolaridade formal avançada.

Catholic: porcentagem de católicos (vs. protestantes). Unidade: %. Associada a padrões culturais e religiosos da época.

Infant.Mortality: porcentagem de nascidos vivos que morrem antes de 1 ano. Unidade: %. É a taxa de mortalidade infantil expressa em porcentagem.

Observações técnicas: as cinco variáveis socioeconômicas (exceto Fertility) são proporções em porcentagem. Fertility é índice; evitar interpretá-lo como probabilidade. Possíveis colinearidades: Education vs Examination e Agriculture vs Catholic. Série é transversal (47 unidades).

A análise de sinais ex ante dos coeficientes de regressão em modelos explicativo e preditivo é necessária para avaliar o efeito de possível multicolinearidade excessiva.

O modelo teórico:

\[ \text{Fertility} = \beta_0 + \beta_1\text{Agriculture} + \beta_2\text{Examination} + \beta_3\text{Education} +\\ \beta_4\text{Catholic} + \beta_5\text{Infant.Mortality} + \varepsilon \]

Sinais esperados:

Agriculture (\(\beta_1 > 0\)): regiões mais agrícolas tendem a ter maior fecundidade.

Examination (\(\beta_2 < 0\)): maior desempenho educacional associa-se à menor fecundidade.

Education (\(\beta_3 < 0\)): maior escolaridade reduz o número de filhos.

Catholic (\(\beta_4 > 0\)): catolicismo historicamente ligado a valores pró-natalistas.

Infant.Mortality (\(\beta_5 > 0\)): alta mortalidade infantil incentiva mais nascimentos compensatórios.

Resumo dos sinais esperados:

Variável	Sinal esperado	Justificativa
Agriculture	+	Tradição, economia agrária
Examination	−	Modernização, educação
Education	−	Escolaridade reduz fecundidade
Catholic	+	Cultura pró-natalista
Infant.Mortality	+	Reposição de perdas

Esses sinais refletem a teoria da transição demográfica: queda da fecundidade associada à urbanização, escolarização e secularização.

• JW6_Cap7_ModelSelection.R

Dados <- swiss
alfa <- 0.05
print(psych::describe(Dados))

                 vars  n  mean    sd median trimmed   mad   min   max range
Fertility           1 47 70.14 12.49  70.40   70.66 10.23 35.00  92.5 57.50
Agriculture         2 47 50.66 22.71  54.10   51.16 23.87  1.20  89.7 88.50
Examination         3 47 16.49  7.98  16.00   16.08  7.41  3.00  37.0 34.00
Education           4 47 10.98  9.62   8.00    9.38  5.93  1.00  53.0 52.00
Catholic            5 47 41.14 41.70  15.14   39.12 18.65  2.15 100.0 97.85
Infant.Mortality    6 47 19.94  2.91  20.00   19.98  2.82 10.80  26.6 15.80
                  skew kurtosis   se
Fertility        -0.46     0.26 1.82
Agriculture      -0.32    -0.89 3.31
Examination       0.45    -0.14 1.16
Education         2.27     6.14 1.40
Catholic          0.48    -1.67 6.08
Infant.Mortality -0.33     0.78 0.42

boxplot(Dados)

GGally::ggpairs(Dados)+ggplot2::theme_bw()

psych::setCor(Fertility~Agriculture+Examination+
                        Education+Catholic+Infant.Mortality, 
              main="Standardized Regression",
              std=TRUE,
              data=Dados)

Call: psych::setCor(y = Fertility ~ Agriculture + Examination + Education + 
    Catholic + Infant.Mortality, data = Dados, std = TRUE, main = "Standardized Regression")

Multiple Regression from raw data 

 DV =  Fertility 
                 slope   se     t       p lower.ci upper.ci  VIF  Vy.x
(Intercept)       0.00 0.08  0.00 1.0e+00    -0.17     0.17 1.00  0.00
Agriculture      -0.31 0.13 -2.45 1.9e-02    -0.57    -0.05 2.28 -0.11
Examination      -0.16 0.16 -1.02 3.2e-01    -0.49     0.16 3.68  0.11
Education        -0.67 0.14 -4.76 2.4e-05    -0.95    -0.39 2.77  0.45
Catholic          0.35 0.12  2.95 5.2e-03     0.11     0.59 1.94  0.16
Infant.Mortality  0.25 0.09  2.82 7.3e-03     0.07     0.43 1.11  0.10

Residual Standard Error =  0.57  with  41  degrees of freedom

 Multiple Regression
             R   R2   Ruw R2uw Shrunken R2 SE of R2 overall F df1 df2        p
Fertility 0.84 0.71 -0.04    0        0.67     0.06     19.76   5  41 5.59e-10

psych::setCor(Fertility~Agriculture+Examination+Education+
                        Catholic+Infant.Mortality,
              main="Unstandardized Regression",
              std=FALSE,
              data=Dados)

Call: psych::setCor(y = Fertility ~ Agriculture + Examination + Education + 
    Catholic + Infant.Mortality, data = Dados, std = FALSE, main = "Unstandardized Regression")

Multiple Regression from raw data 

 DV =  Fertility 
                 slope    se     t       p lower.ci upper.ci  VIF  Vy.x
(Intercept)      66.92 10.71  6.25 1.9e-07    45.29    88.54 1.00  0.00
Agriculture      -0.17  0.07 -2.45 1.9e-02    -0.31    -0.03 2.28 -0.11
Examination      -0.26  0.25 -1.02 3.2e-01    -0.77     0.25 3.68  0.11
Education        -0.87  0.18 -4.76 2.4e-05    -1.24    -0.50 2.77  0.45
Catholic          0.10  0.04  2.95 5.2e-03     0.03     0.18 1.94  0.16
Infant.Mortality  1.08  0.38  2.82 7.3e-03     0.31     1.85 1.11  0.10

Residual Standard Error =  7.17  with  41  degrees of freedom

 Multiple Regression
             R   R2   Ruw R2uw Shrunken R2 SE of R2 overall F df1 df2        p
Fertility 0.84 0.71 -0.04    0        0.67     0.06     19.76   5  41 5.59e-10

fit <- lm(Fertility~., data=Dados)
print(summary(fit), digits=3)

Call:
lm(formula = Fertility ~ ., data = Dados)

Residuals:
    Min      1Q  Median      3Q     Max 
-15.274  -5.262   0.503   4.120  15.321 

Coefficients:
                 Estimate Std. Error t value Pr(>|t|)    
(Intercept)       66.9152    10.7060    6.25  1.9e-07 ***
Agriculture       -0.1721     0.0703   -2.45   0.0187 *  
Examination       -0.2580     0.2539   -1.02   0.3155    
Education         -0.8709     0.1830   -4.76  2.4e-05 ***
Catholic           0.1041     0.0353    2.95   0.0052 ** 
Infant.Mortality   1.0770     0.3817    2.82   0.0073 ** 
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 7.17 on 41 degrees of freedom
Multiple R-squared:  0.707, Adjusted R-squared:  0.671 
F-statistic: 19.8 on 5 and 41 DF,  p-value: 5.59e-10

print(confint(fit), digits=3)

                   2.5 %  97.5 %
(Intercept)      45.2939 88.5365
Agriculture      -0.3141 -0.0301
Examination      -0.7707  0.2547
Education        -1.2406 -0.5013
Catholic          0.0329  0.1753
Infant.Mortality  0.3061  1.8479

# https://cran.r-project.org/web/packages/olsrr/vignettes/regression_diagnostics.html
# Collinearity Diagnostics: Collinearity implies two variables are near perfect linear combinations of one another. Multicollinearity involves more than two variables. In the presence of multicollinearity, regression estimates are unstable and have high standard errors.
# VIF: The general rule of thumb is that VIFs exceeding 4 warrant further investigation, while VIFs exceeding 10 are signs of serious multicollinearity requiring correction.
print(format(olsrr::ols_coll_diag(fit)$vif_t, digits=2))

         Variables Tolerance VIF
1      Agriculture      0.44 2.3
2      Examination      0.27 3.7
3        Education      0.36 2.8
4         Catholic      0.52 1.9
5 Infant.Mortality      0.90 1.1

print(format(olsrr::ols_coll_diag(fit)$eig_cindex, digits=2))

  Eigenvalue Condition Index intercept Agriculture Examination Education
1     4.8063             1.0   4.0e-04      0.0025      0.0018    0.0044
2     0.7688             2.5   1.3e-06      0.0127      0.0124    0.0603
3     0.3228             3.9   1.5e-03      0.0382      0.0034    0.1414
4     0.0630             8.7   2.8e-03      0.5192      0.0938    0.5293
5     0.0324            12.2   1.5e-02      0.0850      0.7589    0.2414
6     0.0066            27.0   9.8e-01      0.3424      0.1297    0.0231
  Catholic Infant.Mortality
1  0.00642          7.7e-04
2  0.12613          2.8e-05
3  0.33555          2.5e-03
4  0.17810          4.4e-02
5  0.35368          1.9e-01
6  0.00012          7.6e-01

fitz <- lm(Fertility~., data=data.frame(scale(Dados)))
print(summary(fitz), digits=3)

Call:
lm(formula = Fertility ~ ., data = data.frame(scale(Dados)))

Residuals:
    Min      1Q  Median      3Q     Max 
-1.2228 -0.4212  0.0403  0.3298  1.2265 

Coefficients:
                  Estimate Std. Error t value Pr(>|t|)    
(Intercept)       5.16e-16   8.37e-02    0.00   1.0000    
Agriculture      -3.13e-01   1.28e-01   -2.45   0.0187 *  
Examination      -1.65e-01   1.62e-01   -1.02   0.3155    
Education        -6.70e-01   1.41e-01   -4.76  2.4e-05 ***
Catholic          3.48e-01   1.18e-01    2.95   0.0052 ** 
Infant.Mortality  2.51e-01   8.90e-02    2.82   0.0073 ** 
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 0.574 on 41 degrees of freedom
Multiple R-squared:  0.707, Adjusted R-squared:  0.671 
F-statistic: 19.8 on 5 and 41 DF,  p-value: 5.59e-10

apaTables::apa.reg.table(fit,
                         prop.var.conf.level = 1-alfa)

Regression results using Fertility as the criterion
 

        Predictor       b       b_95%_CI  beta    beta_95%_CI sr2  sr2_95%_CI
      (Intercept) 66.92** [45.29, 88.54]                                     
      Agriculture  -0.17* [-0.31, -0.03] -0.31 [-0.57, -0.05] .04 [-.02, .11]
      Examination   -0.26  [-0.77, 0.25] -0.16  [-0.49, 0.16] .01 [-.02, .03]
        Education -0.87** [-1.24, -0.50] -0.67 [-0.95, -0.39] .16  [.03, .29]
         Catholic  0.10**   [0.03, 0.18]  0.35   [0.11, 0.59] .06 [-.02, .14]
 Infant.Mortality  1.08**   [0.31, 1.85]  0.25   [0.07, 0.43] .06 [-.02, .13]
                                                                             
                                                                             
                                                                             
      r             Fit
                       
   .35*                
 -.65**                
 -.66**                
  .46**                
  .42**                
            R2 = .707**
        95% CI[.49,.77]
                       

Note. A significant b-weight indicates the beta-weight and semi-partial correlation are also significant.
b represents unstandardized regression weights. beta indicates the standardized regression weights. 
sr2 represents the semi-partial correlation squared. r represents the zero-order correlation.
Square brackets are used to enclose the lower and upper limits of a confidence interval.
* indicates p < .05. ** indicates p < .01.
 

apaTables::apa.aov.table(fit,
                         conf.level=1-alfa,
                         type=3)

ANOVA results using Fertility as the dependent variable
 

        Predictor      SS df      MS     F    p partial_eta2 CI_95_partial_eta2
      (Intercept) 2005.71  1 2005.71 39.07 .000                                
      Agriculture  307.72  1  307.72  5.99 .019          .13         [.00, .32]
      Examination   53.03  1   53.03  1.03 .315          .02         [.00, .17]
        Education 1162.56  1 1162.56 22.64 .000          .36         [.13, .53]
         Catholic  447.71  1  447.71  8.72 .005          .18         [.02, .37]
 Infant.Mortality  408.75  1  408.75  7.96 .007          .16         [.01, .35]
            Error 2105.04 41   51.34                                           

Note: Values in square brackets indicate the bounds of the 95% confidence interval for partial eta-squared 

b <- leaps::regsubsets(Fertility~.,data=Dados,nbest=1)
print(summary(b), digits=3)

Subset selection object
Call: regsubsets.formula(Fertility ~ ., data = Dados, nbest = 1)
5 Variables  (and intercept)
                 Forced in Forced out
Agriculture          FALSE      FALSE
Examination          FALSE      FALSE
Education            FALSE      FALSE
Catholic             FALSE      FALSE
Infant.Mortality     FALSE      FALSE
1 subsets of each size up to 5
Selection Algorithm: exhaustive
         Agriculture Examination Education Catholic Infant.Mortality
1  ( 1 ) " "         " "         "*"       " "      " "             
2  ( 1 ) " "         " "         "*"       "*"      " "             
3  ( 1 ) " "         " "         "*"       "*"      "*"             
4  ( 1 ) "*"         " "         "*"       "*"      "*"             
5  ( 1 ) "*"         "*"         "*"       "*"      "*"             

# Busca exaustiva de todos os modelos possíveis
fit_sub <- leaps::regsubsets(
  Fertility ~ .,
  data   = Dados,
  nvmax  = ncol(Dados) - 1,   # todas as combinações dos preditores
  method = "exhaustive",
  nbest  = 1                  # 1 melhor por tamanho
)

# Resumo com métricas (inclui BIC)
sfit <- summary(fit_sub)

# Tabela com todos os modelos (1 por tamanho) e seus BIC
tab <- data.frame(
  modelo_id = seq_len(nrow(sfit$which)),
  p         = rowSums(sfit$which),   # número de parâmetros (inclui intercepto)
  cp        = sfit$cp,
  adjR2     = sfit$adjr2,
  bic       = sfit$bic
)

# Ordenar por BIC
tab_ord <- tab[order(tab$bic), ]
print(tab_ord, row.names = FALSE, digits = 3)

 modelo_id p    cp adjR2   bic
         4 5  5.03 0.671 -37.2
         3 4  8.18 0.639 -35.7
         5 6  6.00 0.671 -34.6
         2 3 18.49 0.555 -28.6
         1 2 35.20 0.428 -19.6

# Escolha do melhor por BIC (mínimo BIC)
id_best <- which.min(sfit$bic)

# Extrair nomes dos preditores do melhor modelo (exclui intercepto)
incl_logi <- sfit$which[id_best, ]
nm_all    <- names(incl_logi)
best_vars <- setdiff(nm_all[incl_logi], "(Intercept)")

# Construir fórmula de forma robusta
if (length(best_vars) == 0) {
  form_best <- stats::as.formula("Fertility ~ 1")  # só intercepto
} else {
  form_best <- stats::reformulate(termlabels = best_vars, response = "Fertility")
}

# Ajustar modelo selecionado por BIC
mod_best <- lm(form_best, data = Dados)

cat("\nFórmula do melhor modelo por BIC:\n")

Fórmula do melhor modelo por BIC:

print(form_best)

Fertility ~ Agriculture + Education + Catholic + Infant.Mortality

cat("\nCoeficientes:\n")

Coeficientes:

print(stats::coef(mod_best))

     (Intercept)      Agriculture        Education         Catholic 
      62.1013116       -0.1546175       -0.9802638        0.1246664 
Infant.Mortality 
       1.0784422 

cat("\nSumário do modelo selecionado:\n")

Sumário do modelo selecionado:

print(summary(mod_best))

Call:
lm(formula = form_best, data = Dados)

Residuals:
     Min       1Q   Median       3Q      Max 
-14.6765  -6.0522   0.7514   3.1664  16.1422 

Coefficients:
                 Estimate Std. Error t value Pr(>|t|)    
(Intercept)      62.10131    9.60489   6.466 8.49e-08 ***
Agriculture      -0.15462    0.06819  -2.267  0.02857 *  
Education        -0.98026    0.14814  -6.617 5.14e-08 ***
Catholic          0.12467    0.02889   4.315 9.50e-05 ***
Infant.Mortality  1.07844    0.38187   2.824  0.00722 ** 
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 7.168 on 42 degrees of freedom
Multiple R-squared:  0.6993,    Adjusted R-squared:  0.6707 
F-statistic: 24.42 on 4 and 42 DF,  p-value: 1.717e-10

A hipótese teórica inicial (ex ante) previa um coeficiente positivo para a variável Agriculture:

\[ \beta_{\text{Agriculture}} > 0 \]

A expectativa baseava-se no fato de que províncias com maior proporção de população agrícola tenderiam a manter padrões tradicionais e, portanto, maiores taxas de fecundidade.

No modelo ajustado, obteve-se:

\[ \begin{align} \hat{\beta}_{\text{Agriculture}} &= -0.155\\ \text{IC}^{95\%}(\beta_{\text{Agriculture}}) &= [-0.314, -0.030] \end{align} \]

indicando uma inversão de sinal. Note que não basta a estimativa pontual ser negativa; o intervalo de confianção não contém o valor 0. Essa inversão decorre da colinearidade e da inclusão simultânea de variáveis de controle, como Education e Catholic. A variável Agriculture está fortemente correlacionada negativamente com Education e Examination, de modo que, ao controlar por essas variáveis, a contribuição específica de Agriculture passa a representar apenas o efeito condicional residual.

Assim, dentro de níveis constantes de educação e religião, as regiões mais agrícolas podem apresentar fecundidade ligeiramente menor. O coeficiente negativo não reflete uma relação causal direta, mas um efeito de supressão estatística.

Formalmente, essa situação ocorre quando

\[ \operatorname{sign}(\beta_j) \neq \operatorname{sign}(r_{y,x_j}) \]

ou seja, o sinal do coeficiente parcial difere do sinal da correlação simples entre a variável dependente e o preditor. Esse fenômeno é típico de modelos com alta multicolinearidade ou variáveis supressoras.

Em síntese, o sinal negativo de Agriculture é consequência da colinearidade e do controle simultâneo das variáveis correlacionadas, e não de uma inconsistência teórica.

Viés causado por um modelo especificado incorretamente

Suponha que algumas variáveis preditoras importantes sejam omitidas do modelo de regressão proposto. Isto é, suponha que o modelo verdadeiro tenha

\[ \mathbf{z} = [\mathbf{z}_1 \;\mathbf{z}_2] \]

com posto \(r+1\) e

\[ \mathbf{Y} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 \end{bmatrix} \begin{bmatrix} \boldsymbol{\beta}_{(1)} \\[4pt] \boldsymbol{\beta}_{(2)} \end{bmatrix} + \boldsymbol{\varepsilon} \tag{7-20} \]

sendo que \(\mathbb{E}(\boldsymbol{\varepsilon}) = \mathbf{0}\) e \(\mathbb{V}(\boldsymbol{\varepsilon}) = \sigma^2\mathbf{I}\).

No entanto, o pesquisador ajusta inadvertidamente um modelo usando apenas os primeiros \(q\) preditores, minimizando a soma dos quadrados dos erros

\[ (\mathbf{Y} - \mathbf{z}_1\boldsymbol{\beta}_{(1)})^{\prime}(\mathbf{Y} - \mathbf{z}_1\boldsymbol{\beta}_{(1)}) \]

O estimador de mínimos quadrados de \(\boldsymbol{\beta}_{(1)}\) é então
\[ \hat{\boldsymbol{\beta}}_{(1)} = (\mathbf{z}_1^{\prime}\mathbf{z}_1)^{-1}\mathbf{z}_1^{\prime}\mathbf{Y} \]

Então, diferentemente da situação em que o modelo está correto,

\[ \begin{align} \mathbb{E}(\hat{\boldsymbol{\beta}}_{(1)}) &= (\mathbf{z}_1^{\prime}\mathbf{z}_1)^{-1}\mathbf{z}_1^{\prime}\mathbb{E}(\mathbf{Y})\\ &= (\mathbf{z}_1^{\prime}\mathbf{z}_1)^{-1}\mathbf{z}_1^{\prime}(\mathbf{z}_1\boldsymbol{\beta}_{(1)} + \mathbf{z}_2\boldsymbol{\beta}_{(2)} + \mathbb{E}(\boldsymbol{\varepsilon}))\\ \mathbb{E}(\hat{\boldsymbol{\beta}}_{(1)}) &= \boldsymbol{\beta}_{(1)} + (\mathbf{z}_1^{\prime}\mathbf{z}_1)^{-1}\mathbf{z}_1^{\prime}\mathbf{z}_2\boldsymbol{\beta}_{(2)} \end{align} \tag{7-21} \]

Isto é, \(\hat{\boldsymbol{\beta}}_{(1)}\) é um estimador viesado de \(\boldsymbol{\beta}_{(1)}\), a menos que as colunas de \(\mathbf{z}_1\) sejam perpendiculares às de \(\mathbf{z}_2\), isto é, \(\mathbf{z}_1^{\prime}\mathbf{z}_2 = \mathbf{0}\).

Se variáveis importantes estiverem ausentes do modelo, os estimadores de mínimos quadrados \(\hat{\boldsymbol{\beta}}_{(1)}\) podem ser enganosos.

Sintaxe do efeito de interação em regressão linear múltipla em R

suppressMessages(suppressWarnings(
  invisible(Sys.setlocale("LC_ALL", "pt_BR.UTF-8"))))
Dados <- data.frame(
  z1 = c(123.5,146.1,133.9,128.5,151.5,136.2, 92.0),
  z2 = c(2.108, 9.213, 1.905, 0.815, 1.061, 8.603, 1.125),
  Y  = c(141.5,168.9,154.8,146.5,172.8,160.1,108.5)
)

print(Dados)

     z1    z2     Y
1 123.5 2.108 141.5
2 146.1 9.213 168.9
3 133.9 1.905 154.8
4 128.5 0.815 146.5
5 151.5 1.061 172.8
6 136.2 8.603 160.1
7  92.0 1.125 108.5

m <- lm(Y ~ z1 + z2, 
        data=Dados)
print(summary(m), digits=3)

Call:
lm(formula = Y ~ z1 + z2, data = Dados)

Residuals:
     1      2      3      4      5      6      7 
-1.063 -1.031  1.101 -0.915  0.465  1.107  0.338 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8.4237     3.4433    2.45    0.071 .  
z1            1.0790     0.0275   39.25  2.5e-06 ***
z2            0.4199     0.1445    2.91    0.044 *  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.2 on 4 degrees of freedom
Multiple R-squared:  0.998, Adjusted R-squared:  0.997 
F-statistic:  966 on 2 and 4 DF,  p-value: 4.26e-06

m <- lm(Y ~ z1 + z2 + I(z1*z2), 
        data=Dados)
print(summary(m), digits=3)

Call:
lm(formula = Y ~ z1 + z2 + I(z1 * z2), data = Dados)

Residuals:
     1      2      3      4      5      6      7 
-1.370 -0.163  1.024 -0.734  0.437  0.223  0.583 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   4.0579     5.1058    0.79     0.48    
z1            1.1096     0.0380   29.20  8.8e-05 ***
z2            3.7274     2.9347    1.27     0.29    
I(z1 * z2)   -0.0234     0.0207   -1.13     0.34    
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.16 on 3 degrees of freedom
Multiple R-squared:  0.999, Adjusted R-squared:  0.997 
F-statistic:  689 on 3 and 3 DF,  p-value: 9.37e-05

m <- lm(Y ~ z1*z2, 
        data=Dados)
print(summary(m), digits=3)

Call:
lm(formula = Y ~ z1 * z2, data = Dados)

Residuals:
     1      2      3      4      5      6      7 
-1.370 -0.163  1.024 -0.734  0.437  0.223  0.583 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   4.0579     5.1058    0.79     0.48    
z1            1.1096     0.0380   29.20  8.8e-05 ***
z2            3.7274     2.9347    1.27     0.29    
z1:z2        -0.0234     0.0207   -1.13     0.34    
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.16 on 3 degrees of freedom
Multiple R-squared:  0.999, Adjusted R-squared:  0.997 
F-statistic:  689 on 3 and 3 DF,  p-value: 9.37e-05

m <- lm(Y ~ (z1+z2)^2, 
        data=Dados)
print(summary(m), digits=3)

Call:
lm(formula = Y ~ (z1 + z2)^2, data = Dados)

Residuals:
     1      2      3      4      5      6      7 
-1.370 -0.163  1.024 -0.734  0.437  0.223  0.583 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   4.0579     5.1058    0.79     0.48    
z1            1.1096     0.0380   29.20  8.8e-05 ***
z2            3.7274     2.9347    1.27     0.29    
z1:z2        -0.0234     0.0207   -1.13     0.34    
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.16 on 3 degrees of freedom
Multiple R-squared:  0.999, Adjusted R-squared:  0.997 
F-statistic:  689 on 3 and 3 DF,  p-value: 9.37e-05

m <- lm(Y ~ z1 + z2 + z1*z2, # sintaxe confusa, mas correta
        data=Dados)
print(summary(m), digits=3)

Call:
lm(formula = Y ~ z1 + z2 + z1 * z2, data = Dados)

Residuals:
     1      2      3      4      5      6      7 
-1.370 -0.163  1.024 -0.734  0.437  0.223  0.583 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   4.0579     5.1058    0.79     0.48    
z1            1.1096     0.0380   29.20  8.8e-05 ***
z2            3.7274     2.9347    1.27     0.29    
z1:z2        -0.0234     0.0207   -1.13     0.34    
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.16 on 3 degrees of freedom
Multiple R-squared:  0.999, Adjusted R-squared:  0.997 
F-statistic:  689 on 3 and 3 DF,  p-value: 9.37e-05

A natureza da regressão linear múltipla univariada

Equação de regressão múltipla centrada (com todas as variáveis centradas):

\[ y_i=\beta_0+\beta_1z_{1i}+\beta_2z_{2i}+\varepsilon_i \] sendo que \(\sum_{i=1}^{n}{y_i}=\sum_{i=1}^{n}{z_{1i}}=\sum_{i=1}^{n}{z_{2i}}=0\).

A equação de regressão centrada estimada por OLS é:

\[ \hat{y}=b_1z_1+b_2z_2 \] a semi-reta de regressão é válida no domínio observado das variáveis regressoras, i.e.,

\[ \mathbf{z} \in \mathscr{D}_\mathbf{z} = \left[ \min\{z_{1i}\}_{i=1}^n;\max\{z_{1i}\}_{i=1}^n \right] \times \left[ \min\{z_{2i}\}_{i=1}^n;\max\{z_{2i}\}_{i=1}^n \right] \]

sendo \(\times\) o operador produto cartesiano.

O resíduo estimado é:

\[ \begin{align} \hat{\varepsilon}_i&=y_i-\hat{y}_i\\ y_i&=\hat{y}_i+\hat{\varepsilon}_i\\ y_i&=b_1z_{1i}+b_2z_{2i}+\hat{\varepsilon}_i \end{align} \]

Correlação de ordem-zero \(r\) quantifica a associação linear bruta entre duas variáveis intervalares, sem controlar outras. É o coeficiente de Pearson amostral clássico:

\[ r_{yz_1} = \frac{s_{yz_1}}{s_y s_{z_1}} \] Sendo que \(s_{yz_1}\) é covariância amostral entre \(y\) e \(z_1\) e \(s_y\) e \(s_{z_1}\) são os desvio-padrão amostrais de \(y\) e \(z_1\), respectivamente.

Correlação de ordem-zero \(r\) capta tanto a relação direta quanto efeitos indiretos via variáveis correlacionadas.

Correlação parcial (partial) \(r_{yz_1\cdot z_2}\) mede a associação entre \(y\) e \(z_1\) controlando o efeito linear de \(z_2\) em ambas. Ou seja, remove de \(y\) e \(z_1\) as partes explicadas por \(z_2\) e correlaciona os resíduos:

\[ r_{yz_1\cdot z_2} = \frac{r_{yz_1} - r_{yz_2}r_{z_2z_1}}{\sqrt{(1 - r_{yz_2}^2)(1 - r_{z_2z_1}^2)}} \] A matriz de correlação \(\mathbf{r}\) é:

\[ \mathbf{r}=\begin{bmatrix} 1 & r_{yz_1} & r_{yz_2}\\ r_{z_1y} & 1 & r_{z_1z_2}\\ r_{z_2y} & r_{z_1z_2} & 1\\ \end{bmatrix} \]

Matriz inversa da matriz de correlação \(\mathbf{r}^{-1}\) contém esses valores:

\[ r_{ij\cdot k} = -\frac{\mathbf{r}^{-1}_{ij}}{\sqrt{\mathbf{r}^{-1}_{ii}\mathbf{r}^{-1}_{jj}}} \]

Sendo que \(k\) são todas as outras variáveis.

Correlação semiparcial (part ou sr) quantifica a associação linear entre \(y\) e o resíduo de \(z_1\) após retirar o efeito de \(z_2\), mas sem ajustar \(y\).

\[ \begin{align} r_{y(z_1\cdot z_2)} &= \frac{r_{yz_1} - r_{yz_2}r_{z_2z_1}}{\sqrt{1 - r_{z_2z_1}^2}}\\ r_{y(z_2\cdot z_1)} &= \frac{r_{yz_2} - r_{yz_1}r_{z_1z_2}}{\sqrt{1 - r_{z_1z_2}^2}} \end{align} \] Seu quadrado \(sr^2\) é a contribuição exclusiva do preditor \(z_1\) para o \(R^2\) da regressão múltipla:

\[ sr^2 = \Delta R^2 = R^2_{\text{com z_1, z_2}} - R^2_{\text{sem z_1}} \] O beta não padronizado (inclinação em regressão com variáveis padronizadas) indica a mudança esperada em \(y\) para 1 unidade em \(z_1\), mantendo outros fixos:

\[ \begin{align} b_{z_1} &= \frac{r_{y(z_1\cdot z_2)}}{\sqrt{1 - r_{z_2z_1}^2}}\dfrac{s_y}{s_{z_1}}\\ b_{z_1} &= \frac{r_{yz_1} - r_{yz_2}r_{z_2z_1}}{\sqrt{1 - r_{z_2z_1}^2}\sqrt{1 - r_{z_2z_1}^2}}\dfrac{s_y}{s_{z_1}}\\ b_{z_1} &= \frac{r_{yz_1} - r_{yz_2}r_{z_2z_1}}{1 - r_{z_2z_1}^2}\dfrac{s_y}{s_{z_1}}\\\\ b_{z_2} &= \frac{r_{yz_2} - r_{yz_1}r_{z_1z_2}}{1 - r_{z_1z_2}^2}\dfrac{s_y}{s_{z_2}} \end{align} \] O beta padronizado (inclinação em regressão com variáveis padronizadas) indica a mudança esperada em \(y\) (em desvios padrão) para 1 desvio-padrão em \(z_1\), mantendo outros fixos:

\[ \begin{align} b_{z_1} &= \frac{r_{yz_1} - r_{yz_2}r_{z_2z_1}}{1 - r_{z_2z_1}^2}\\ b_{z_2} &= \frac{r_{yz_2} - r_{yz_1}r_{z_1z_2}}{1 - r_{z_1z_2}^2} \end{align} \]

A inclinação estimada \(b_{z_i}\) não é correlação semiparcial ou parcial. Seus limites teóricos são

\[ |b_{z_i}| \le \frac{1}{\sqrt{1 - r_{z_2z_1}^2}} \]

crescendo com a colinearidade entre preditores.

Medida	Controla outras variáveis?	Simetria	Interpretação	Intervalo
\(r\) (zero)	Não	Sim	associação bruta	\([−1, 1]\)
\(r\) parcial	Sim, em \(z_1\) e \(y\)	Sim	relação “pura” \(z_1\)–\(y\)	\([−1, 1]\)
\(r\) semiparcial	Sim, só em \(z_1\)	Não	contribuição única de \(z_1\)	\([−1, 1]\)
\(b_{z_i}\) padronizado	via regressão múltipla padronizada	Não	efeito padronizado de \(z_1\)	\(\pm\frac{1}{\sqrt{1 - r_{z_2z_1}^2}}\)

A equação de regressão centrada estimada por OLS em função das correlações é:

\[ \begin{align} \hat{y}&=b_1z_1+b_2z_2\\ \dfrac{\hat{y}}{s_y}&=\frac{r_{yz_1} - r_{yz_2}r_{z_2z_1}}{1 - r_{z_2z_1}^2}\dfrac{z_1}{s_{z_1}}+\frac{r_{yz_2} - r_{yz_1}r_{z_1z_2}}{1 - r_{z_1z_2}^2}\dfrac{z_2}{s_{z_2}}\\ \end{align} \] Outra maneira de expressar as inclinações da regressão múltipla é em função das regressões simples:

\[ \begin{align} b_1&=\dfrac{b_1^{y\cdot z_1}-b_1^{y\cdot z_2}b_1^{z_2\cdot z_1}}{1 - r_{z_1z_2}^2}\\ b_2&=\dfrac{b_1^{y\cdot z_2}-b_1^{y\cdot z_1}b_1^{z_1\cdot z_2}}{1 - r_{z_1z_2}^2} \end{align} \] sendo que:

\[ \begin{align} \hat{y}&=b_1^{y\cdot z_1}z_1\\ \hat{y}&=b_1^{y\cdot z_2}z_2\\ \hat{z}_1&=b_1^{z_1\cdot z_2}z_2\\ \hat{z}_2&=b_1^{z_2\cdot z_1}z_1\\ \end{align} \]

O coeficiente de determinação múltipla \(R_{y\cdot z_1z_2}^2\) é:

\[ \begin{align} R_{y\cdot z_1z_2}^2&=\dfrac{\sum_{i=1}^{n}{\left(\hat{y}_i-\bar{y}\right)^2}}{\sum_{i=1}^{n}{\left(y_i-\bar{y}\right)^2}}\\ R_{y\cdot z_1z_2}^2&=r_{y\hat y}^2\\ R_{y\cdot z_1z_2}^2&=1-(1-r_{yz_1}^2)(1-r_{yz_2\cdot z_1}^2)\\ R_{y\cdot z_1z_2}^2&=\dfrac{r^{2}_{{yz_1}}+r^{2}_{{yz_2}}-2r_{{yz_1}}r_{{yz_2}}r_{{z_1z_2}}}{1-r^{2}_{{z_1z_2}}} \end{align} \]

Se as variáveis preditoras são não correlacionadas, então \(R^2=sr_{z_1}^2+sr_{z_2}^2\), i.e., o coeficiente de determinação múltipla é a soma das correlações semiparciais ao quadrado.

Generalizando o coeficiente de determinação múltipla, temos:

\[ \begin{align} R_{y\cdot z_1z_2z_3}^2&=r_{y\hat y}^2=1-(1-r_{yz_1}^2)(1-r_{yz_2\cdot z_1}^2)(1-r_{yz_3\cdot z_2z_1}^2)\\ \end{align} \]

sendo que:

\[ \begin{align} r_{yz_3\cdot z_2z_1}&=b_{yz_3\cdot z_2z_1}b_{z_3y\cdot z_2z_1}\\ r_{yz_3\cdot z_2z_1}&=\dfrac{r_{yz_3\cdot z_2}-r_{yz_2\cdot z_3}r_{z_3z_2.z_1}}{\sqrt{(1-r_{yz_2\cdot z_3}^2)(1-r_{z_3z_2\cdot z_1}^2)}} \end{align} \] O erro-padrão da estimativa de \(y\) ou desvio-padrão de \(\hat y\) é:

\[ \begin{align} s_{y}^{\text{ML}}&=\sqrt{\dfrac{\sum_{i=1}^{n}{(y_i-\bar{y}})^2}{n}}\\ s_{y\cdot z_1z_2}^{\text{ML}}&=\sqrt{\dfrac{\sum_{i=1}^{n}{(y_i-\hat{y_i}})^2}{n}}\\ s_{y\cdot z_1z_2}^{\text{ML}}&= s_y^{\text{ML}}\sqrt{1-\dfrac{r^{2}_{{yz_1}}+r^{2}_{{yz_2}}-2r_{{yz_1}}r_{{yz_2}}r_{{z_1z_2}}}{1-r^{2}_{{z_1z_2}}}}\\ s_{y\cdot z_1z_2}^{\text{ML}}&= s_y^{\text{ML}}\sqrt{1-R_{y\cdot z_1z_2}^2}\\\\ s_{y}&=\hat{\sigma}^2_{y} =\sqrt{\dfrac{\sum_{i=1}^{n}{(y_i-\bar{y}})^2}{n-1}}\\ s_{y\cdot z_1z_2}^{\text{OLS}}&=\hat{\sigma}^2_{y\cdot z_1z_2}=\dfrac{n-1}{n-k-1} s_y\sqrt{1-R_{y\cdot z_1z_2}^2} \end{align} \] sendo que \(k\) é o número de preditores e \(n\) é o número de unidades experimentais.

A estatística F do teste da hipótese nula omnibus \(H_0: \beta_1=\beta_2=\cdots=\beta_k=0\) é:

\[ \begin{align} F&=\dfrac{\dfrac{R^2}{k}}{\dfrac{1-R^2}{n-k-1}}\\ F&=\dfrac{n-k-1}{k}\dfrac{R^2}{1-R^2}\sim F_{k,n-k-1} \end{align} \]

\(R^2\) ajustado, \(R^2_\text{aj}\), é:

\[ \begin{align} R^2_\text{aj} &=1- \dfrac{\hat{\sigma}^2_{y\cdot z_1z_2}}{\hat{\sigma}^2_{y}} \\ R^2_\text{aj} &=\dfrac{\hat{\sigma}^2_{y}-\hat{\sigma}^2_{y\cdot z_1z_2}}{\hat{\sigma}^2_{y}} \\ R^2_\text{aj} &= 1-\dfrac{n-1}{n-k-1}(1-R^2) \\ R^2_\text{aj} &= \dfrac{k}{n-k-1}R^2 - \dfrac{k}{n-k-1} \end{align} \]

Região de confiança elíptica de \((1-\alpha)\%\) para o vetor de parâmetro (intercepto e inclinação):

\[ H_0:\begin{bmatrix}\beta_0\\ \beta_1\end{bmatrix}= \begin{bmatrix}\beta_{0}^0\\ \beta_{1}^0\end{bmatrix} \quad \text{vs}\quad H_1:\begin{bmatrix}\beta_0\\ \beta_1\end{bmatrix}\ne \begin{bmatrix}\beta_{0}^0\\ \beta_{1}^0\end{bmatrix} \]

\[ F= \dfrac{n-2}{2}\frac{ \left(b_0-\beta_{0}^0\right)^2 +2\left(b_0-\beta_{0}^0\right)\left(b_1-\beta_{1}^0\right)\bar{z_1} +\left(b_1-\beta_{1}^0\right)^2\,\overline{z_1^2} } {\overline{\hat{\varepsilon}^{2}}} \le F^{\,1-\alpha}_{2,n-2} \]

Intervalos de confiança simultâneos dos betas com correção de Bonferroni:

\[ \mathrm{IC}^{1-\alpha/2}\left(\beta_0\right)= \left[ b_0 \pm \sqrt{ F^{\,1-\alpha/2}_{1,n-2}\, \frac{\hat{\sigma}^2_{y\cdot z_1}}{n} \left(1+\frac{\bar{z}_1^{\,2}}{\hat{\sigma}^2_{z_1}}\right) } \right] \]

\[ \mathrm{IC}^{1-\alpha/2}\left(\beta_0\right)= \left[ b_0 \pm \sqrt{ F^{\,1-\alpha/2}_{1,n-2}\, \frac{\hat{\sigma}^2_{y\cdot z_1}}{n} \left(1+\frac{1}{\mathrm{CV}_{z_1}^{2}}\right) } \right] \]

\[ \mathrm{IC}^{1-\alpha/2}\left(\beta_1\right)= \left[ b_1 \pm \sqrt{ F^{\,1-\alpha/2}_{1,n-2}\, \frac{\hat{\sigma}^2_{y\cdot z_1}}{n\,\hat{\sigma}^2_{z_1}} } \right], \qquad \hat{\sigma}^2_{z_1}=\frac{1}{n}\sum_{i=1}^n (z_{1i}-\bar{z}_1)^2 \]

Intervalo de predição de variável dependente condicionada, i.e., dado um valor da variável regressora \(z_1\), considerando todo o seu domínio observado:

\[ \mathscr{D}_{z_1}=\left[\min\{z_{1i}\}_{i=1}^n,\,\max\{z_{1i}\}_{i=1}^n\right] \]

\[ \begin{align} \mathrm{IP}^{1-\alpha}(y\cdot z_1)&= \left[ \hat{y}(z_1)\pm \sqrt{ 2F^{1-\alpha}_{2,n-2}\,\hat{\sigma}^2_{y\cdot z_1} \left( 1+\frac{1}{n}\left(1+\frac{z_1-\bar{z}_1}{\hat{\sigma}_{z_1}}\right)^2 \right) } \right]\\ \mathrm{IP}^{1-\alpha}(y\cdot (z_1=0))&= \left[ b_0\pm \sqrt{ 2F^{1-\alpha}_{2,n-2} \frac{\hat{\sigma}^2_{y\cdot z_1}}{\hat{\sigma}^2_{z_1}}\frac{1}{n} \left((n+1)\hat{\sigma}^2_{z_1}+\bar{z}_1^2\right) } \right]\\ \mathrm{IP}^{1-\alpha}(y\cdot (z_1=0))&\underset{\bar{z}_1=0}{=} \left[ \bar{y}\pm \sqrt{ 2F^{1-\alpha}_{2,n-2}\,\hat{\sigma}^2_y\left(1-R^2\right) \left( \frac{n-1}{n-2} \right) \left( \frac{n+1}{n} \right) } \right] \end{align} \] Para \(k = 1\), i.e., regressão simples, tem-se que

\[ h_{ii} = \frac{1}{n}\left(1+\left(\frac{z_{1i}-\bar{z}_1}{\hat{\sigma}_{z_1}}\right)^2\right) \]

Portanto, a observação \((z_{1i},y_i)\) é influente ou provoca alavancagem (leverage) severa se \(h_{ii} > \dfrac{5}{n}\).

Para \(k = 1\), i.e., regressão simples, tem-se que a observação \((z_{1i},y_i)\) é discrepante (outlier) se o resíduo padronizado deletado

\[ (\varepsilon^{\prime}_i)^2 = (n-3)\frac{\hat{\varepsilon}_i^2}{(1-h_{ii})\sum_{j=1}^n \hat{\varepsilon}_j^2 - \hat{\varepsilon}_i^2} > F^{1-\alpha/n}_{1,n-3} \]

Intervalos de confiança simultâneos dos betas de regressão múltipla para \(k\) variáveis regressoras com correção de Bonferroni:

\[ \mathrm{IC}^{1-\alpha/(k+1)}(\beta_i)= \left[ b_i \pm \sqrt{ F^{1-\alpha/(k+1)}_{1,n-2}\, \hat{\sigma}^2_{y\cdot \mathbf{z}}\, \left[(\mathbf{z}^{\prime}\mathbf{z})^{-1}\right]_{i+1,i+1} } \right], \qquad i=0,1,\ldots,k \]

Intervalo de predição de variável dependente condicionada, i.e., dado um valor da variável regressora, considerando todo o domínio observado:

\[ \mathrm{IP}^{1-\alpha}(y\cdot \mathbf{z}_0)= \left[ \hat{y}(\mathbf{z}_0)\pm \sqrt{ (k+1)F^{1-\alpha}_{k+1,n-k-1}\, \hat{\sigma}^2_{y\cdot \mathbf{z}}\, \left(1+\mathbf{z}_0^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}_0\right) } \right] \]

sendo

\[ \mathbf{z}_0=[1\ z_1\ z_2]^{\prime} \]

pertencente ao domínio observado, i.e.,

\[ \mathbf{z}_0 \in \mathscr{D}_\mathbf{z} = \left[ \min\{z_{1i}\}_{i=1}^n;\max\{z_{1i}\}_{i=1}^n \right] \times \left[ \min\{z_{2i}\}_{i=1}^n;\max\{z_{2i}\}_{i=1}^n \right] \]

sendo \(\times\) o operador produto cartesiano.

A observação \([z_{i1},\ldots,z_{k,i},y_i]\) é influente ou provoca alavancagem (leverage) severa se

\[ h_{ii}>\frac{10}{n}, \qquad h_{ii}=\mathbf{z}_i^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}_i\in\left[\dfrac{1}{n},1\right], \qquad \mathbf{z}_i^{\prime}=[1\ x_{i1}\ x_{i2}] \]

A observação \([z_{i1},\ldots,z_{k,i},y_i]\) é discrepante (outlier) se o resíduo padronizado deletado

\[ (\varepsilon^{\prime}_i)^2=(n-k-2)\frac{\hat{\varepsilon}_i^2}{(1-h_{ii})\sum_{j=1}^n \hat{\varepsilon}_j^2-\hat{\varepsilon}_i^2} >F^{1-\alpha/n}_{1,n-k-2} \]

• JW6_CorReg.R

suppressMessages(suppressWarnings(
  invisible(Sys.setlocale("LC_ALL", "pt_BR.UTF-8"))))
Dados <- read.csv("JW6Data/T7-1.dat", sep = "", header = FALSE)
names(Dados) <- c("z1", "z2", "y")
print.data.frame(Dados)

      z1   z2     y
1  15.31 57.3  74.8
2  15.20 63.8  74.0
3  16.25 65.4  72.9
4  14.33 57.0  70.0
5  14.57 63.8  74.9
6  17.33 63.2  76.0
7  14.48 60.2  72.0
8  14.91 57.7  73.5
9  15.25 56.4  74.5
10 13.89 55.6  73.5
11 15.18 62.6  71.5
12 14.44 63.4  71.0
13 14.87 60.2  78.9
14 18.63 67.2  86.5
15 15.20 57.1  68.0
16 25.76 89.6 102.0
17 19.05 68.6  84.0
18 15.37 60.1  69.0
19 18.06 66.3  88.0
20 16.35 65.8  76.0

print(psych::describe(Dados))

   vars  n  mean   sd median trimmed  mad   min    max range skew kurtosis   se
z1    1 20 16.22 2.68  15.22   15.71 1.13 13.89  25.76 11.87 2.25     5.20 0.60
z2    2 20 63.06 7.39  62.90   61.94 4.67 55.60  89.60 34.00 2.16     5.52 1.65
y     3 20 76.55 8.07  74.25   75.25 3.71 68.00 102.00 34.00 1.67     2.45 1.80

boxplot(Dados)

GGally::ggpairs(Dados) + ggplot2::theme_bw() +
  ggplot2::theme(panel.grid = ggplot2::element_blank())

fit <- lm(y~z1+z2, data = Dados)
centroid <- colMeans(Dados)
rgl::plot3d(fit, size = 5)
rgl::points3d(centroid, size = 5, col = "purple3")
rgl::rglwidget()

# ---------------------------------------------------------------------
# Tabela comparativa: r (zero), r_parcial e r_semiparcial
# ---------------------------------------------------------------------

# Matriz de correlações zero-order
R <- stats::cor(Dados)

# Correlações parciais (ppcor)
pcor_res <- ppcor::pcor(Dados, method = "pearson")
pcor_mat <- pcor_res$estimate

# Correlações semiparciais (part): usar testes par a par
spcor_mat <- matrix(NA_real_, nrow = ncol(Dados), ncol = ncol(Dados),
                    dimnames = list(colnames(Dados), colnames(Dados)))
for(i in seq_len(ncol(Dados))){
  for(j in seq_len(ncol(Dados))){
    if(i != j){
      k <- setdiff(seq_len(ncol(Dados)), c(i, j))
      spcor_mat[i, j] <- ppcor::spcor.test(Dados[, i], Dados[, j], Dados[, k])$estimate
    } else {
      spcor_mat[i, j] <- 1
    }
  }
}

# Tabela legível para os pares de interesse
pares <- rbind(
  c("y","z1"),
  c("y","z2"),
  c("z1","z2")
)
tab <- data.frame(
  Par        = paste(pares[,1], "-", pares[,2]),
  r_zero     = c(R["y","z1"],   R["y","z2"],   R["z1","z2"]),
  r_parcial  = c(pcor_mat["y","z1"], pcor_mat["y","z2"], pcor_mat["z1","z2"]),
  r_semiparc = c(spcor_mat["y","z1"], spcor_mat["y","z2"], spcor_mat["z1","z2"])
)

# Adicionar colunas com os quadrados
tab$r_parcial2  <- tab$r_parcial^2
tab$r_semiparc2 <- tab$r_semiparc^2

# Arredondar apenas colunas numéricas
num_cols <- vapply(tab, is.numeric, FUN.VALUE = logical(1))
tab_round <- tab
tab_round[num_cols] <- lapply(tab_round[num_cols], function(x) round(x, 4))

print(tab_round, row.names = FALSE)

     Par r_zero r_parcial r_semiparc r_parcial2 r_semiparc2
  y - z1 0.9133    0.6310     0.3310     0.3981      0.1095
  y - z2 0.8514    0.0384     0.0156     0.0015      0.0002
 z1 - z2 0.9257    0.6934     0.2824     0.4808      0.0797

print(format(olsrr::ols_correlations(fit),digits=4))

   Zero-order Partial    Part
z1     0.9133  0.6310 0.33097
z2     0.8514  0.0384 0.01564

# ---------------------------------------------------------------------
# Relação com a inversa de R (matriz de precisão)
# ---------------------------------------------------------------------
# Para R padronizada (correlações), as parciais são:
#   rho_{ij·outros} = - P_ij / sqrt(P_ii * P_jj),  onde P = R^{-1}.

R_inv <- solve(R)
print(R_inv, digits=4)

       z1      z2       y
z1 11.614 -6.2523 -5.2840
z2 -6.252  7.0004 -0.2497
y  -5.284 -0.2497  6.0385

pcor_from_inv <- - R_inv / sqrt(outer(diag(R_inv), diag(R_inv)))
cat("\nParciais obtidas de R^{-1} (devem coincidir com ppcor::pcor$estimate):\n")

Parciais obtidas de R^{-1} (devem coincidir com ppcor::pcor$estimate):

print(round(pcor_from_inv, 4))

        z1      z2       y
z1 -1.0000  0.6934  0.6310
z2  0.6934 -1.0000  0.0384
y   0.6310  0.0384 -1.0000

cat("\nDiferença (pcor - a partir de R^{-1}):\n")

Diferença (pcor - a partir de R^{-1}):

print(round(pcor_mat - pcor_from_inv, 6))

   z1 z2 y
z1  2  0 0
z2  0  2 0
y   0  0 2

# ---------------------------------------------------------------------
# Observações úteis
# ---------------------------------------------------------------------
# 1) r_semiparcial^2 (sr^2) para y~z1|z2 mede o incremento de R^2 ao incluir z1 no modelo com z2.
# 2) As parciais são invariantes a reescala; semiparciais também, mas interpretam “contribuição única” em y.
# 3) Se quiser IC para r_parcial, use ppcor::pcor.test em cada par; para sr, use ppcor::spcor.test.

Regressão Linear Múltipla Multivariada

Nesta seção, consideramos o problema de modelar a relação entre \(m\) respostas ou medidas \(Y_1, Y_2, \ldots, Y_m\) e um único conjunto de variáveis preditoras \(z_1, z_2, \ldots, z_r\). Cada resposta segue seu próprio modelo de regressão com as mesmas variáveis preditoras:

\[ \begin{aligned} Y_{i1} &= \beta_{01} + \beta_{11}z_{i1} + \cdots + \beta_{r1}z_{ir} + \varepsilon_{i1} \\ Y_{i2} &= \beta_{02} + \beta_{12}z_{i1} + \cdots + \beta_{r2}z_{ir} + \varepsilon_{i2} \\ &\ \vdots \\ Y_{im} &= \beta_{0m} + \beta_{1m}z_{i1} + \cdots + \beta_{rm}z_{ir} + \varepsilon_{im} \end{aligned}\\ \tag{7-22} i=1,2,\ldots,n \]

O termo de erro \(\boldsymbol{\varepsilon}^{\prime}=[\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_m]\) tem \(\mathbb{E}(\boldsymbol{\varepsilon})=\mathbf{0}\) e \(\mathbb{V}(\boldsymbol{\varepsilon})=\boldsymbol{\Sigma}\). Logo, os erros associados a respostas diferentes podem ser correlacionados.

Para estabelecer a notação, sejam \([z_{j0}, z_{j1}, \ldots, z_{jr}]\) os valores das variáveis preditoras no \(j\)‑ésimo ensaio; \(\mathbf{Y}_j^{\prime}=[Y_{j1},Y_{j2},\ldots,Y_{jm}]\) as respostas; e \(\boldsymbol{\varepsilon}_j^{\prime}=[\varepsilon_{j1},\varepsilon_{j2},\ldots,\varepsilon_{jm}]\) os erros.

Em notação matricial, a matriz de planejamento (design) é

\[ \underset{n\times(r+1)}{\mathbf{z}}= \begin{bmatrix} 1 & z_{11} & \cdots & z_{1r} \\ 1 & z_{21} & \cdots & z_{2r} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & z_{n1} & \cdots & z_{nr} \end{bmatrix} \]

As demais quantidades matriciais multivariadas são

\[ \underset{n\times m}{\mathbf{Y}}= \begin{bmatrix} Y_{11} & Y_{12} & \cdots & Y_{1m} \\ Y_{21} & Y_{22} & \cdots & Y_{2m} \\ \vdots & \vdots & \ddots & \vdots \\ Y_{n1} & Y_{n2} & \cdots & Y_{nm} \end{bmatrix} = [\,\underset{n\times 1}{\mathbf{Y}_{(1)}}\ \mathbf{Y}_{(2)}\ \cdots\ \mathbf{Y}_{(m)}\,]= \begin{bmatrix} \underset{1\times m}{\mathbf{Y}_{1}^{\prime}} \\ \mathbf{Y}_{2}^{\prime} \\ \vdots \\ \mathbf{Y}_{n}^{\prime} \end{bmatrix} \]

\[ \underset{(r+1)\times m}{\boldsymbol{\beta}}= \begin{bmatrix} \beta_{01} & \beta_{02} & \cdots & \beta_{0m} \\ \beta_{11} & \beta_{12} & \cdots & \beta_{1m} \\ \vdots & \vdots & \ddots & \vdots \\ \beta_{r1} & \beta_{r2} & \cdots & \beta_{rm} \end{bmatrix} = [\,\boldsymbol{\beta}_{(1)}\ \boldsymbol{\beta}_{(2)}\ \cdots\ \boldsymbol{\beta}_{(m)}\,] \]

\[ \underset{n\times m}{\boldsymbol{\varepsilon}}= \begin{bmatrix} \varepsilon_{11} & \varepsilon_{12} & \cdots & \varepsilon_{1m} \\ \varepsilon_{21} & \varepsilon_{22} & \cdots & \varepsilon_{2m} \\ \vdots & \vdots & \ddots & \vdots \\ \varepsilon_{n1} & \varepsilon_{n2} & \cdots & \varepsilon_{nm} \end{bmatrix} = [\,\boldsymbol{\varepsilon}_{(1)}\ \boldsymbol{\varepsilon}_{(2)}\ \cdots\ \boldsymbol{\varepsilon}_{(m)}\,] \] O modelo de regressão linear múltiplo multivariada é:

\[ \underset{n\times m}{\mathbf{Y}} = \underset{n\times(r+1)}{\mathbf{z}}\, \underset{(r+1)\times m}{\boldsymbol{\beta}} + \underset{n\times m}{\boldsymbol{\varepsilon}} \tag{7-23} \]

com

\[ \mathbb{E}(\boldsymbol{\varepsilon}_{(i)}) = \underset{n\times 1}{\mathbf{0}} \quad\text{e}\quad \mathbb{C}(\boldsymbol{\varepsilon}_{(i)}, \boldsymbol{\varepsilon}_{(k)}) = \sigma_{ik}\underset{n\times n}{\mathbf{I}} \\ i,k = 1,2,\ldots,m \]

As \(m\) observações do \(j\)‑ésima unidade experimental têm matriz de covariância

\[ \underset{m\times m}{\mathbf{\Sigma}} = \{\sigma_{ik}\} \]

mas observações provenientes de diferentes ensaios são não correlacionadas.

Aqui, \(\boldsymbol{\beta}\) e \(\mathbf{\Sigma}\) são parâmetros desconhecidos; a matriz de planejamento \(\mathbf{z}\) tem linha \(j\)‑ésima \([z_{j0}=1,\, z_{j1},\, \ldots,\, z_{jr}]\).

De forma simples, a \(i\)‑ésima resposta \(Y_{(i)}\) segue o modelo de regressão linear

\[ Y_{(i)} = \mathbf{z}\boldsymbol{\beta}_{(i)} + \boldsymbol{\varepsilon}_{(i)} \qquad i = 1, 2, \ldots, m \tag{7‑24} \]

com \(\mathbb{C}(\boldsymbol{\varepsilon}_{(i)}) = \sigma_{ii}\mathbf{I}\).
No entanto, os erros para diferentes respostas na mesma unidade experimental podem ser correlacionados.

Dadas as saídas \(\mathbf{Y}\) e os valores das variáveis preditoras \(\mathbf{z}\) com posto completo, determinamos os estimadores de mínimos quadrados \(\hat{\boldsymbol{\beta}}_{(i)}\) exclusivamente a partir das observações \(Y_{(i)}\) na \(i\)‑ésima resposta.
Em conformidade com a solução de resposta única, temos

\[ \hat{\boldsymbol{\beta}}_{(i)} = (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{Y}_{(i)} \tag{7‑25} \]

Reunindo esses estimadores univariados de mínimos quadrados, obtemos

\[ \hat{\boldsymbol{\beta}} = [\,\hat{\boldsymbol{\beta}}_{(1)}\ \hat{\boldsymbol{\beta}}_{(2)}\ \cdots\ \hat{\boldsymbol{\beta}}_{(m)}\,] = (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime} [\,\mathbf{Y}_{(1)}\ \mathbf{Y}_{(2)}\ \cdots\ \mathbf{Y}_{(m)}\,] \]

ou

\[ \hat{\boldsymbol{\beta}} = (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{Y} \tag{7‑26} \]

Para qualquer escolha de parâmetros

\[ \mathbf{B} = [\,\mathbf{b}_{(1)}\ \mathbf{b}_{(2)}\ \cdots\ \mathbf{b}_{(m)}\,] \]
a matriz de resíduo é

\[ \mathbf{Y} - \mathbf{z}\mathbf{B} \]

A matriz de soma de quadrados e produtos cruzados dos erros é

\[ (\mathbf{Y} - \mathbf{z}\mathbf{B})^{\prime}(\mathbf{Y} - \mathbf{z}\mathbf{B}) = \begin{bmatrix} (\mathbf{Y}_{(1)} - \mathbf{z}\mathbf{b}_{(1)})^{\prime}(\mathbf{Y}_{(1)} - \mathbf{z}\mathbf{b}_{(1)}) & \cdots & (\mathbf{Y}_{(1)} - \mathbf{z}\mathbf{b}_{(1)})^{\prime}(\mathbf{Y}_{(m)} - \mathbf{z}\mathbf{b}_{(m)}) \\\ \vdots & \ddots & \vdots \\\ (\mathbf{Y}_{(m)} - \mathbf{z}\mathbf{b}_{(m)})^{\prime}(\mathbf{Y}_{(1)} - \mathbf{z}\mathbf{b}_{(1)}) & \cdots & (\mathbf{Y}_{(m)} - \mathbf{z}\mathbf{b}_{(m)})^{\prime}(\mathbf{Y}_{(m)} - \mathbf{z}\mathbf{b}_{(m)}) \end{bmatrix} \tag{7-27} \]

A escolha \(\mathbf{b}_{(i)} = \hat{\boldsymbol{\beta}}_{(i)}\) minimiza a \(i\)‑ésima soma diagonal de quadrados
\[ (\mathbf{Y}_{(i)} - \mathbf{z}\mathbf{b}_{(i)})^{\prime}(\mathbf{Y}_{(i)} - \mathbf{z}\mathbf{b}_{(i)}) \]

Consequentemente, \(\operatorname{tr}\!\left[(\mathbf{Y} - \mathbf{z}\mathbf{B})^{\prime}(\mathbf{Y} - \mathbf{z}\mathbf{B})\right]\) é minimizado pela escolha \(\mathbf{B} = \hat{\boldsymbol{\beta}}\).

Além disso, a variância generalizada \(\left|(\mathbf{Y} - \mathbf{z}\mathbf{B})^{\prime}(\mathbf{Y} - \mathbf{z}\mathbf{B})\right|\) é minimizada pelos estimadores de mínimos quadrados \(\hat{\boldsymbol{\beta}}\).

Usando os estimadores de mínimos quadrados \(\hat{\boldsymbol{\beta}}\), podemos formar as matrizes de:

• Valores preditos: \(\hat{\mathbf{Y}} = \mathbf{z}\hat{\boldsymbol{\beta}} = \mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{Y}\)

• Resíduos: \(\hat{\boldsymbol{\varepsilon}} = \mathbf{Y} - \hat{\mathbf{Y}} = [\,\mathbf{I} - \mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\,]\mathbf{Y}\tag{7-28}\)

Exemplo 7.8: Regressão linear simples multivariada

Para ilustrar os cálculos de \(\hat{\boldsymbol{\beta}}\), \(\hat{\mathbf{Y}}\) e \(\hat{\boldsymbol{\varepsilon}}\), ajusta-se um modelo de regressão linear simples multivariada:

\[ Y_{j1} = \beta_{01} + \beta_{11}z_{j1} + \varepsilon_{j1}\\ Y_{j2} = \beta_{02} + \beta_{12}z_{j1} + \varepsilon_{j2}\\ \quad j=1,2,\ldots,5 \]

Dados para duas respostas \(Y_1\) e \(Y_2\):

\[ \begin{array}{c|ccccc} z_1 & 0 & 1 & 2 & 3 & 4 \\ \hline y_1 & 1 & 4 & 3 & 8 & 9 \\ y_2 & -1 & -1 & 2 & 3 & 2 \end{array} \]

A matriz de planejamento \(\mathbf{z}\) é a mesma do caso univariado:

\[ \mathbf{z}^{\prime}= \begin{bmatrix} 1 & 1 & 1 & 1 & 1 \\ 0 & 1 & 2 & 3 & 4 \end{bmatrix}, \qquad (\mathbf{z}^{\prime}\mathbf{z})^{-1}= \begin{bmatrix} 0.6 & -0.2 \\ -0.2 & 0.1 \end{bmatrix} \]

Cálculos: \[ \mathbf{z}^{\prime}\mathbf{y}_{(2)}= \begin{bmatrix} 1 & 1 & 1 & 1 & 1 \\ 0 & 1 & 2 & 3 & 4 \end{bmatrix} \begin{bmatrix} -1 \\ -1 \\ 2 \\ 3 \\ 2 \end{bmatrix} = \begin{bmatrix} 5 \\ 20 \end{bmatrix} \qquad \hat{\boldsymbol{\beta}}_{(2)}=(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{y}_{(2)}= \begin{bmatrix} -1 \\ 1 \end{bmatrix} \]

Do Exemplo 7.3,

\[ \hat{\boldsymbol{\beta}}_{(1)}=(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{y}_{(1)}= \begin{bmatrix} 1 \\ 2 \end{bmatrix} \]

Logo, a matriz de coeficientes estimados (em negrito) é

\[ \hat{\boldsymbol{\beta}}= \begin{bmatrix} \hat{\boldsymbol{\beta}}_{(1)} & \hat{\boldsymbol{\beta}}_{(2)} \end{bmatrix} = \begin{bmatrix} 1 & -1 \\ 2 & 1 \end{bmatrix} \]

Os valores ajustados são gerados por \[ \begin{align} \hat{y}_1 &= 1 + 2\,z_1\\ \hat{y}_2 &= -1 + z_1 \end{align} \]

Valores ajustados (matriz):

\[ \hat{\mathbf{y}}=\mathbf{z}\hat{\boldsymbol{\beta}}= \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \\ 1 & 3 \\ 1 & 4 \end{bmatrix} \begin{bmatrix} 1 & -1 \\ 2 & 1 \end{bmatrix} = \begin{bmatrix} 1 & -1 \\ 3 & 0 \\ 5 & 1 \\ 7 & 2 \\ 9 & 3 \end{bmatrix} \]

Resíduos (matriz):

\[ \hat{\boldsymbol{\varepsilon}}=\mathbf{y}-\hat{\mathbf{y}}= \begin{bmatrix} 0 & 1 & -2 & 1 & 0 \\ 0 & -1 & 1 & 1 & -1 \end{bmatrix}^{\prime} \]

Ortogonalidade: \[ \hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\mathbf{y}}= \begin{bmatrix} 0 & 1 & -2 & 1 & 0 \\ 0 & -1 & 1 & 1 & -1 \end{bmatrix} \begin{bmatrix} 1 & -1 \\ 3 & 0 \\ 5 & 1 \\ 7 & 2 \\ 9 & 3 \end{bmatrix} = \begin{bmatrix} 0 & 0 \\ 0 & 0 \end{bmatrix} \]

Decomposição SSCP:

\[ \mathbf{y}^{\prime}\mathbf{y}= \begin{bmatrix} 1 & 4 & 3 & 8 & 9 \\ -1 & -1 & 2 & 3 & 2 \end{bmatrix} \begin{bmatrix} 1 & -1 \\ 4 & -1 \\ 3 & 2 \\ 8 & 3 \\ 9 & 2 \end{bmatrix} = \begin{bmatrix} 171 & 43 \\ 43 & 19 \end{bmatrix} \]

\[ \hat{\mathbf{y}}^{\prime}\hat{\mathbf{y}}= \begin{bmatrix} 165 & 45 \\ 45 & 15 \end{bmatrix} \qquad \hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}}= \begin{bmatrix} 6 & -2 \\ -2 & 4 \end{bmatrix} \]

\[ \mathbf{y}^{\prime}\mathbf{y}=\hat{\mathbf{y}}^{\prime}\hat{\mathbf{y}}+\hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}} \] * JW6_Example7.8.R

z1  <- cbind(1, 0:4)
y1 <- c(1, 4, 3, 8, 9) 
y2 <- c(-1, -1, 2, 3, 2)
y  <- cbind(y1, y2)
b  <- solve(t(z1)%*%z1) %*% t(z1) %*% y
b  <- solve(crossprod(z1)) %*% crossprod(z1,y)
b  <- solve(crossprod(z1), crossprod(z1,y))
print(yh <- z1 %*% b)

     y1 y2
[1,]  1 -1
[2,]  3  0
[3,]  5  1
[4,]  7  2
[5,]  9  3

print(e <- y - yh)

     y1 y2
[1,]  0  0
[2,]  1 -1
[3,] -2  1
[4,]  1  1
[5,]  0 -1

print(crossprod(z))

            (Intercept)         z1        z2
(Intercept)        7.00    911.700   24.8300
z1               911.70 121005.610 3402.1344
z2                24.83   3402.134  170.0192

print(solve(crossprod(z)))

            (Intercept)            z1          z2
(Intercept)  8.17969564 -0.0641117606  0.08831344
z1          -0.06411176  0.0005213962 -0.00107026
z2           0.08831344 -0.0010702601  0.01440041

print(yy <- crossprod(y))

    y1 y2
y1 171 43
y2  43 19

print(yhyh <- crossprod(yh))

    y1 y2
y1 165 45
y2  45 15

print(ee <- crossprod(e))

   y1 y2
y1  6 -2
y2 -2  4

print(all.equal(yy, yhyh + ee))

[1] TRUE

z1  <- cbind(0:4)
y  <- cbind(y1, y2)
fit <- lm(y ~ z1)
print(fit$coefficients)

            y1 y2
(Intercept)  1 -1
z1           2  1

print(round(fit$residuals,2))

  y1 y2
1  0  0
2  1 -1
3 -2  1
4  1  1
5  0 -1

print(round(fit$fitted.values,2))

  y1 y2
1  1 -1
2  3  0
3  5  1
4  7  2
5  9  3

anv <- car::Anova(fit)
print(anv$SSP$z1)

   y1 y2
y1 40 20
y2 20 10

print(anv$SSPE)

   y1 y2
y1  6 -2
y2 -2  4

print(smm <- summary(car::Anova(fit), 
                     univariate=FALSE, 
                     multivariate=TRUE), digits=4) 

Type II MANOVA Tests:

Sum of squares and products for error:
   y1 y2
y1  6 -2
y2 -2  4

------------------------------------------
 
Term: z1 

Sum of squares and products for the hypothesis:
   y1 y2
y1 40 20
y2 20 10

Multivariate Tests: z1
                 Df test stat approx F num Df den Df Pr(>F)  
Pillai            1     0.938       15      2      2 0.0625 .
Wilks             1     0.062       15      2      2 0.0625 .
Hotelling-Lawley  1    15.000       15      2      2 0.0625 .
Roy               1    15.000       15      2      2 0.0625 .
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

print(smm$SSPE, digits=4)

   y1 y2
y1  6 -2
y2 -2  4

print(smm$multivariate.tests$z1, digits=4)

Sum of squares and products for the hypothesis:
   y1 y2
y1 40 20
y2 20 10

Sum of squares and products for error:
   y1 y2
y1  6 -2
y2 -2  4

Multivariate Tests: z1
                 Df test stat approx F num Df den Df Pr(>F)  
Pillai            1     0.938       15      2      2 0.0625 .
Wilks             1     0.062       15      2      2 0.0625 .
Hotelling-Lawley  1    15.000       15      2      2 0.0625 .
Roy               1    15.000       15      2      2 0.0625 .
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Resultado 7.9. Para o estimador de mínimos quadrados
\(\hat{\boldsymbol{\beta}} = [\,\hat{\boldsymbol{\beta}}_{(1)} \;\hat{\boldsymbol{\beta}}_{(2)} \;\cdots\; \hat{\boldsymbol{\beta}}_{(m)}\,]\)
determinado sob o modelo de regressão linear múltipla multivariada (7‑26) com \(\operatorname{rank}(\mathbf{z}) = r+1 < n\), tem‑se

\[ \mathbb{E}(\hat{\boldsymbol{\beta}}_{(i)}) = \boldsymbol{\beta}_{(i)} \quad \text{ou} \quad \mathbb{E}(\hat{\boldsymbol{\beta}}) = \boldsymbol{\beta} \]

e

\[ \mathbb{C}(\hat{\boldsymbol{\beta}}_{(i)}, \hat{\boldsymbol{\beta}}_{(k)}) = \sigma_{ik}(\mathbf{z}'\mathbf{z})^{-1} \qquad i,k = 1,2,\ldots,m \]

Os resíduos
\(\hat{\boldsymbol{\varepsilon}} = [\,\hat{\boldsymbol{\varepsilon}}_{(1)} \;\hat{\boldsymbol{\varepsilon}}_{(2)} \;\cdots\; \hat{\boldsymbol{\varepsilon}}_{(m)}\,] = \mathbf{Y} - \mathbf{z}\hat{\boldsymbol{\beta}}\)
satisfazem \(\mathbb{E}(\hat{\boldsymbol{\varepsilon}}_{(i)})=\mathbf{0}\) e
\(\mathbb{E}(\hat{\boldsymbol{\varepsilon}}_{(i)}^{\prime} \hat{\boldsymbol{\varepsilon}}_{(k)}) = (n-r-1)\sigma_{ik}\), de modo que

\[ \mathbb{E}(\hat{\boldsymbol{\varepsilon}})=\mathbf{0} \quad \text{e} \quad \mathbb{E}\!\left(\frac{1}{\,n-r-1\,}\hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}}\right) = \boldsymbol{\Sigma} \]

Além disso, \(\hat{\boldsymbol{\varepsilon}}\) e \(\hat{\boldsymbol{\beta}}\) são não correlacionados.

Demonstração:

A \(i\)‑ésima resposta segue o modelo de regressão múltipla

\[ \mathbf{Y}_{(i)} = \mathbf{z}\,\boldsymbol{\beta}_{(i)} + \boldsymbol{\varepsilon}_{(i)} \qquad \mathbb{E}(\boldsymbol{\varepsilon}_{(i)})=\mathbf{0} \qquad \mathbb{E}(\boldsymbol{\varepsilon}_{(i)}\boldsymbol{\varepsilon}_{(i)}^{\prime})=\sigma_{ii}\mathbf{I} \]

Além disso, como em (7‑24),

\[ \begin{align} \hat{\boldsymbol{\beta}}_{(i)} - \boldsymbol{\beta}_{(i)} &= (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{Y}_{(i)} - \boldsymbol{\beta}_{(i)}\\ \hat{\boldsymbol{\beta}}_{(i)} - \boldsymbol{\beta}_{(i)}&= (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\boldsymbol{\varepsilon}_{(i)} \end{align} \tag{7-33} \]

e

\[ \begin{align} \hat{\boldsymbol{\varepsilon}}_{(i)} &= \mathbf{Y}_{(i)} - \hat{\mathbf{Y}}_{(i)}\\ &= [\,\mathbf{I}-\mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\,]\mathbf{Y}_{(i)}\\ \hat{\boldsymbol{\varepsilon}}_{(i)} &= [\,\mathbf{I}-\mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\,]\boldsymbol{\varepsilon}_{(i)} \end{align} \]

logo \(\mathbb{E}(\hat{\boldsymbol{\beta}}_{(i)})=\boldsymbol{\beta}_{(i)}\) e \(\mathbb{E}(\hat{\boldsymbol{\varepsilon}}_{(i)})=\mathbf{0}\).

Em seguida,

\[ \begin{align} \mathbb{C}(\hat{\boldsymbol{\beta}}_{(i)}, \hat{\boldsymbol{\beta}}_{(k)}) &= \mathbb{E}\left[(\hat{\boldsymbol{\beta}}_{(i)}-\boldsymbol{\beta}_{(i)})(\hat{\boldsymbol{\beta}}_{(k)}-\boldsymbol{\beta}_{(k)})^{\prime}\right]\\ &= (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\,\mathbb{E}(\boldsymbol{\varepsilon}_{(i)}\boldsymbol{\varepsilon}_{(k)}^{\prime})\,\mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\\ \mathbb{C}(\hat{\boldsymbol{\beta}}_{(i)}, \hat{\boldsymbol{\beta}}_{(k)})&= \sigma_{ik}(\mathbf{z}^{\prime}\mathbf{z})^{-1} \end{align} \]

Usando o Resultado 4.9, com \(\mathbf{U}\) um vetor aleatório qualquer e \(\mathbf{A}\) matriz fixa, temos \(\mathbb{E}[\mathbf{U}^{\prime}\mathbf{A}\mathbf{U}] = \mathbb{E}[\operatorname{tr}(\mathbf{A}\mathbf{U}\mathbf{U}^{\prime})] = \operatorname{tr}[\mathbf{A}\mathbb{E}(\mathbf{U}\mathbf{U}^{\prime})]\).

Consequentemente, usando a prova do Resultado 7.1 e o Resultado 2A.12,

\[ \begin{align} \mathbb{E}(\hat{\boldsymbol{\varepsilon}}_{(i)}^{\prime}\hat{\boldsymbol{\varepsilon}}_{(k)}) &= \mathbb{E}(\boldsymbol{\varepsilon}_{(i)}^{\prime} [\,\mathbf{I}-\mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\,]\boldsymbol{\varepsilon}_{(k)})\\ &= \operatorname{tr}(\,[\,\mathbf{I}-\mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\,]\ \sigma_{ik}\mathbf{I})\\ &= \sigma_{ik}\operatorname{tr}([\,\mathbf{I}-\mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\,])\\ \mathbb{E}(\hat{\boldsymbol{\varepsilon}}_{(i)}^{\prime}\hat{\boldsymbol{\varepsilon}}_{(k)})&= \sigma_{ik}(n-r-1) \end{align} \]

Como na prova do Resultado 7.2, dividindo cada entrada de \(\hat{\boldsymbol{\varepsilon}}_{(i)}^{\prime}\hat{\boldsymbol{\varepsilon}}_{(k)}\) por \(n-r-1\), obtemos um estimador não-viesado de \(\boldsymbol{\Sigma}\).

Por fim,

\[ \begin{align} \mathbb{C}(\hat{\boldsymbol{\beta}}_{(i)}, \hat{\boldsymbol{\varepsilon}}_{(k)}) &= \mathbb{E}\left[(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\,\boldsymbol{\varepsilon}_{(i)}\boldsymbol{\varepsilon}_{(k)}^{\prime}\,(\mathbf{I}-\mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime})\right]\\ &= (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\,\mathbb{E}(\boldsymbol{\varepsilon}_{(i)}\boldsymbol{\varepsilon}_{(k)}^{\prime})\,(\mathbf{I}-\mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime})\\ &= (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\,\sigma_{ik}\mathbf{I}\,(\mathbf{I}-\mathbf{z}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime})\\ &= \sigma_{ik}\,((\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}-(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime})\\ \mathbb{C}(\hat{\boldsymbol{\beta}}_{(i)}, \hat{\boldsymbol{\varepsilon}}_{(k)})&= \mathbf{0} \end{align} \]

de modo que cada elemento de \(\hat{\boldsymbol{\beta}}\) é não correlacionado com cada elemento de \(\hat{\boldsymbol{\varepsilon}}\).

\[\Diamond\] Os vetores médios e as matrizes de covariância determinados no Resultado 7.9 nos permitem obter as propriedades amostrais dos preditores de mínimos quadrados.

Primeiro consideramos o problema de estimar o vetor médio quando as variáveis preditoras têm os valores \(\mathbf{z}_{0}^{\prime} = [1, z_{01}, \ldots, z_{0r}]\). A média da \(i\)-ésima variável resposta é \(\mathbf{z}_{0}^{\prime}\boldsymbol{\beta}_{(i)}\), e esta é estimada por \(\mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)}\), o \(i\)-ésimo componente da relação de regressão ajustada.

Coletivamente,

\[ \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}} = [\mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(1)}\; \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(2)}\; \cdots\; \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(m)}] \tag{7-34} \]

é um estimador não viciado de \(\mathbf{z}_{0}^{\prime}\boldsymbol{\beta}\), pois

\[ \begin{align} \mathbb{E}(\mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)}) &= \mathbf{z}_{0}^{\prime}\mathbb{E}(\hat{\boldsymbol{\beta}}_{(i)}) \\ \mathbb{E}(\mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)}) &= \mathbf{z}_{0}^{\prime}\boldsymbol{\beta}_{(i)} \end{align} \]

para cada componente.

A partir da matriz de covariância para \(\hat{\boldsymbol{\beta}}_{(i)}\) e \(\hat{\boldsymbol{\beta}}_{(k)}\), os erros de estimação
\(\mathbf{z}_{0}^{\prime}\boldsymbol{\beta}_{(i)} - \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)}\)
têm covariâncias

\[ \begin{align} \mathbb{E}[\mathbf{z}_{0}^{\prime}(\boldsymbol{\beta}_{(i)} - \hat{\boldsymbol{\beta}}_{(i)})(\boldsymbol{\beta}_{(k)} - \hat{\boldsymbol{\beta}}_{(k)})^{\prime}\mathbf{z}_{0}] &= \mathbf{z}_{0}^{\prime}\mathbb{E}[(\boldsymbol{\beta}_{(i)} - \hat{\boldsymbol{\beta}}_{(i)})(\boldsymbol{\beta}_{(k)} - \hat{\boldsymbol{\beta}}_{(k)})^{\prime}]\mathbf{z}_{0} \\ \mathbb{E}[\mathbf{z}_{0}^{\prime}(\boldsymbol{\beta}_{(i)} - \hat{\boldsymbol{\beta}}_{(i)})(\boldsymbol{\beta}_{(k)} - \hat{\boldsymbol{\beta}}_{(k)})^{\prime}\mathbf{z}_{0}] &= \sigma_{ik}\, \mathbf{z}_{0}^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}_{0} \tag{7-35} \end{align} \] O problema relacionado é o de prever um novo vetor de observação \(\mathbf{Y}_{0}^{\prime} = [Y_{01}, Y_{02}, \ldots, Y_{0m}]\) em \(\mathbf{z}_{0}\). De acordo com o modelo de regressão, \(Y_{0i} = \mathbf{z}_{0}^{\prime}\boldsymbol{\beta}_{(i)} + \varepsilon_{0i}\), onde o “novo” erro \(\boldsymbol{\varepsilon}_{0}^{\prime} = [\varepsilon_{01}, \varepsilon_{02}, \ldots, \varepsilon_{0m}]\) é independente dos erros \(\boldsymbol{\varepsilon}\) e satisfaz \(\mathbb{E}(\varepsilon_{0i}) = 0\) e \(\mathbb{E}(\varepsilon_{0i}\varepsilon_{0k}) = \sigma_{ik}\). O erro de previsão para o \(i\)-ésimo componente de \(\mathbf{Y}_{0}\) é

\[ \begin{align} Y_{0i} - \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)} &= Y_{0i} - \mathbf{z}_{0}^{\prime}\boldsymbol{\beta}_{(i)} + \mathbf{z}_{0}^{\prime}\boldsymbol{\beta}_{(i)} - \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)} \\ Y_{0i} - \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)}&= \varepsilon_{0i} - \mathbf{z}_{0}^{\prime}\left(\hat{\boldsymbol{\beta}}_{(i)} - \boldsymbol{\beta}_{(i)}\right) \end{align} \]

Logo, \[ \begin{align} \mathbb{E}\left(Y_{0i} - \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)}\right) &= \mathbb{E}\left(\varepsilon_{0i}\right) - \mathbf{z}_{0}^{\prime}\mathbb{E}\left(\hat{\boldsymbol{\beta}}_{(i)} - \boldsymbol{\beta}_{(i)}\right) \\ \mathbb{E}\left(Y_{0i} - \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)}\right)&= 0 \end{align} \] indicando que \(\mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)}\) é um preditor não viciado de \(Y_{0i}\). Os erros de previsão têm covariâncias

\[ \begin{align} \mathbb{E}\left[\left(Y_{0i} - \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)}\right)\left(Y_{0k} - \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(k)}\right)\right] &= \mathbb{E}\left[\left(\varepsilon_{0i} - \mathbf{z}_{0}^{\prime}\left(\hat{\boldsymbol{\beta}}_{(i)} - \boldsymbol{\beta}_{(i)}\right)\right) \left(\varepsilon_{0k} - \mathbf{z}_{0}^{\prime}\left(\hat{\boldsymbol{\beta}}_{(k)} - \boldsymbol{\beta}_{(k)}\right)\right)\right] \\ &= \mathbb{E}\left(\varepsilon_{0i}\varepsilon_{0k}\right) + \mathbf{z}_{0}^{\prime}\mathbb{E}\left[\left(\hat{\boldsymbol{\beta}}_{(i)} - \boldsymbol{\beta}_{(i)}\right)\left(\hat{\boldsymbol{\beta}}_{(k)} - \boldsymbol{\beta}_{(k)}\right)^{\prime}\right]\mathbf{z}_{0} \\ &\quad - \mathbf{z}_{0}^{\prime}\mathbb{E}\left[\left(\hat{\boldsymbol{\beta}}_{(i)} - \boldsymbol{\beta}_{(i)}\right)\varepsilon_{0k}\right] - \mathbb{E}\left[\varepsilon_{0i}\left(\hat{\boldsymbol{\beta}}_{(k)} - \boldsymbol{\beta}_{(k)}\right)^{\prime}\right]\mathbf{z}_{0} \\ \mathbb{E}\left[\left(Y_{0i} - \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)}\right)\left(Y_{0k} - \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(k)}\right)\right]&= \sigma_{ik}\left(1 + \mathbf{z}_{0}^{\prime}\left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{z}_{0}\right) \tag{7-36} \end{align} \]

Observe que \(\mathbb{E}\left[\left(\hat{\boldsymbol{\beta}}_{(i)} - \boldsymbol{\beta}_{(i)}\right)\varepsilon_{0k}\right] = 0\), pois \(\hat{\boldsymbol{\beta}}_{(i)} = \left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{z}^{\prime}\boldsymbol{\varepsilon}_{(i)} + \boldsymbol{\beta}_{(i)}\) e \(\boldsymbol{\beta}_{(i)}\) é independente de \(\boldsymbol{\varepsilon}_{0}\). Resultado análogo vale para \(\mathbb{E}\left[\varepsilon_{0i}\left(\hat{\boldsymbol{\beta}}_{(k)} - \boldsymbol{\beta}_{(k)}\right)^{\prime}\right]\).

Estimadores de máxima verossimilhança e suas distribuições podem ser obtidos quando os erros \(\boldsymbol{\varepsilon}\) têm distribuição normal.

Resultado 7.10. Considere que o modelo de regressão múltipla multivariada em \((7\text{-}23)\) tem posto completo \(\mathbf{z}\) \(= r + 1\), \(n \ge (r + 1) + m\), e que os erros \(\boldsymbol{\varepsilon}\) têm distribuição normal. Então

\[ \begin{align} \hat{\boldsymbol{\beta}} &= \left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{z}^{\prime}\mathbf{Y} \end{align} \]

é o estimador de máxima verossimilhança de \(\boldsymbol{\beta}\) e \(\hat{\boldsymbol{\beta}}\) tem distribuição normal com \[ \begin{align} \mathbb{E}\left(\hat{\boldsymbol{\beta}}\right) &= \boldsymbol{\beta} \\ \mathbb{C}\left(\hat{\boldsymbol{\beta}}_{(i)},\, \hat{\boldsymbol{\beta}}_{(k)}\right) &= \sigma_{ik}\,\left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1} \end{align} \]

Além disso, \(\hat{\boldsymbol{\beta}}\) é independente do estimador de máxima verossimilhança da matriz definida positiva \(\boldsymbol{\Sigma}\), dado por

\[ \begin{align} \hat{\boldsymbol{\Sigma}} &= \frac{1}{n}\,\hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}} = \frac{1}{n}\left(\mathbf{Y}-\mathbf{z}\hat{\boldsymbol{\beta}}\right)^{\prime}\left(\mathbf{Y}-\mathbf{z}\hat{\boldsymbol{\beta}}\right) \end{align} \]

e

\[ n\,\hat{\boldsymbol{\Sigma}}\sim W_{p,\,n-r-1}\left(\boldsymbol{\Sigma}\right) \]

A verossimilhança maximizada \(\mathcal{L}\left(\hat{\boldsymbol{\beta}}, \hat{\boldsymbol{\Sigma}}\right)\) é

\[ \mathcal{L}\!\left(\hat{\boldsymbol{\beta}}, \hat{\boldsymbol{\Sigma}}\right) = \left((2\pi e)^{m}\,\left|\hat{\boldsymbol{\Sigma}}\right|\right)^{-n/2} \] Demonstração:

J&W6e, Solutions Manual (2007, p. 166-7) e J&W5e (2002, p. 390-2)

\[\Diamond\]

O Resultado 7.10 fornece suporte adicional para o uso de estimadores de mínimos quadrados. Quando os erros são normalmente distribuídos, \(\hat{\boldsymbol{\beta}}\) e \(n^{-1}\hat{\boldsymbol{\varepsilon}}^{\prime}\hat{\boldsymbol{\varepsilon}}\) são, respectivamente, os estimadores de máxima verossimilhança de \(\boldsymbol{\beta}\) e \(\boldsymbol{\Sigma}\). Portanto, para amostras grandes, eles têm praticamente as menores variâncias possíveis (BLUE).

Comentário. O modelo de regressão múltipla multivariada não impõe novos problemas computacionais. Os estimadores de mínimos quadrados (máxima verossimilhança), \(\hat{\boldsymbol{\beta}}_{(i)} = \left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{z}^{\prime}\mathbf{y}_{(i)}\), são computados individualmente para cada variável resposta. Note, entretanto, que o modelo exige que as mesmas variáveis preditoras sejam usadas para todas as respostas.

Uma vez que um modelo de regressão múltipla multivariada tenha sido ajustado aos dados, ele deve ser submetido às verificações de diagnóstico descritas na Seção 7.6 para o modelo de resposta única. Os vetores de resíduos \(\left[\hat{\varepsilon}_{j1},\, \hat{\varepsilon}_{j2},\, \ldots,\, \hat{\varepsilon}_{jm}\right]\) podem ser examinados quanto à normalidade ou à presença de observações atípicas usando as técnicas da Seção 4.6.

O restante desta seção é dedicado a breves discussões sobre inferência para o modelo de regressão múltipla multivariada sob a teoria normal. Exposições ampliadas desses procedimentos aparecem em [2] e [18].

Testes de razão de verossimilhanças para parâmetros de regressão

O análogo multirresposta de \((7\text{-}12)\), a hipótese de que as respostas não dependem de \(z_{q+1}, z_{q+2}, \ldots, z_{r}\), torna-se

\[ \begin{align} H_{0}: \boldsymbol{\beta}_{(2)} &= \mathbf{0} \quad\text{sendo que}\quad \boldsymbol{\beta} \;=\; \begin{bmatrix} \underset{(q+1)\times m}{\boldsymbol{\beta}_{(1)}} \\ \underset{(r-q)\times m}{\boldsymbol{\beta}_{(2)}} \end{bmatrix} \end{align} \tag{7-37} \]

Definindo \(\mathbf{z}=\left[\;\underset{n\times(q+1)}{\mathbf{z}_{1}}\;\; \underset{n\times(r-q)}{\mathbf{z}_{2}}\;\right]\), podemos escrever o modelo geral como

\[ \begin{align} \mathbb{E}\left(\mathbf{Y}\right) &= \mathbf{z}\,\boldsymbol{\beta} = \left[\;\mathbf{z}_{1}\;\; \mathbf{z}_{2}\;\right] \begin{bmatrix} \boldsymbol{\beta}_{(1)} \\ \boldsymbol{\beta}_{(2)} \end{bmatrix} = \mathbf{z}_{1}\boldsymbol{\beta}_{(1)} + \mathbf{z}_{2}\boldsymbol{\beta}_{(2)} \end{align} \]

Sob \(H_{0}:\;\boldsymbol{\beta}_{(2)}=\mathbf{0}\), tem‑se \(\mathbf{Y}=\mathbf{z}_{1}\boldsymbol{\beta}_{(1)}+\boldsymbol{\varepsilon}\) e o teste de razão de verossimilhanças de \(H_{0}\) baseia‑se nas quantidades envolvidas na

\[ \begin{align} \text{Extra SSCP} &= \left(\mathbf{Y}-\mathbf{z}_{1}\,\hat{\boldsymbol{\beta}}_{(1)}\right)^{\prime}\left(\mathbf{Y}-\mathbf{z}_{1}\,\hat{\boldsymbol{\beta}}_{(1)}\right) \;-\; \left(\mathbf{Y}-\mathbf{z}\,\hat{\boldsymbol{\beta}}\right)^{\prime}\!\left(\mathbf{Y}-\mathbf{z}\,\hat{\boldsymbol{\beta}}\right) \\ \text{Extra SSCP}&= n\left(\hat{\boldsymbol{\Sigma}}_{1}-\hat{\boldsymbol{\Sigma}}\right) \end{align} \]

em que \(\hat{\boldsymbol{\beta}}_{(1)}=\left(\mathbf{z}_{1}^{\prime}\mathbf{z}_{1}\right)^{-1}\mathbf{z}_{1}^{\prime}\mathbf{Y}\) e \(\hat{\boldsymbol{\Sigma}}_{1}=n^{-1}\!\left(\mathbf{Y}-\mathbf{z}_{1}\hat{\boldsymbol{\beta}}_{(1)}\right)^{\prime}\!\left(\mathbf{Y}-\mathbf{z}_{1}\hat{\boldsymbol{\beta}}_{(1)}\right)\).

A partir de \((7\text{-}10)\), a razão de verossimilhanças, \(\Lambda\), pode ser expressa em termos de variâncias generalizadas:

\[ \begin{align} \Lambda &= \frac{\displaystyle \max_{\boldsymbol{\beta}_{(1)},\,\boldsymbol{\Sigma}} \;\mathcal{L}\left(\boldsymbol{\beta}_{(1)}, \boldsymbol{\Sigma}\right)} {\displaystyle \max_{\boldsymbol{\beta},\,\boldsymbol{\Sigma}} \;\mathcal{L}\left(\boldsymbol{\beta}, \boldsymbol{\Sigma}\right)}\\ &= \frac{\mathcal{L}\left(\hat{\boldsymbol{\beta}}_{(1)},\,\hat{\boldsymbol{\Sigma}}_{1}\right)} {\mathcal{L}\left(\hat{\boldsymbol{\beta}},\,\hat{\boldsymbol{\Sigma}}\right)}\\ &= \left(\frac{\left|\hat{\boldsymbol{\Sigma}}\right|}{\left|\hat{\boldsymbol{\Sigma}}_{1}\right|}\right)^{n/2}\\ &= \left(1-\frac{\left|\hat{\boldsymbol{\Sigma}}_{1}\right|-\left|\hat{\boldsymbol{\Sigma}}\right|}{\left|\hat{\boldsymbol{\Sigma}}_{1}\right|}\right)^{n/2}\\ \Lambda&= \left(1-R^2_{\text{parcial}}\right)^{n/2} \end{align} \tag{7-38} \]

Equivalentemente, pode‑se usar a estatística lambda de Wilks, \[ \Lambda^{2/n} = \frac{\left|\hat{\boldsymbol{\Sigma}}\right|}{\left|\hat{\boldsymbol{\Sigma}}_{1}\right|} \]

Resultado 7.11. Considere que o modelo de regressão múltipla multivariada de \((7\text{-}23)\) vale com \(\mathbf{z}\) de posto completo \(r+1\) e \((r+1)+m \le n\). Suponha que os erros \(\boldsymbol{\varepsilon}\) sejam normalmente distribuídos. Sob \(H_{0}:\boldsymbol{\beta}_{(2)}=\mathbf{0}\), \(n\hat{\boldsymbol{\Sigma}}\sim W_{p,\,n-r-1}\left(\boldsymbol{\Sigma}\right)\) independentemente de \(n\left(\hat{\boldsymbol{\Sigma}}_{1}-\hat{\boldsymbol{\Sigma}}\right) \sim W_{p,\,r-q}\left(\boldsymbol{\Sigma}\right)\). O teste de razão de verossimilhanças de \(H_{0}\) é equivalente a rejeitar \(H_{0}\) para valores grandes de

\[ -2\ln(\Lambda) = -n\,\ln\left(\frac{\left|\hat{\boldsymbol{\Sigma}}\right|}{\left|\hat{\boldsymbol{\Sigma}}_{1}\right|}\right) = -n\,\ln\left(\frac{\left|\,n\hat{\boldsymbol{\Sigma}}\,\right|}{\left|\,n\hat{\boldsymbol{\Sigma}} + n\!\left(\hat{\boldsymbol{\Sigma}}_{1}-\hat{\boldsymbol{\Sigma}}\right)\right|}\right) \]

Para \(n\) grande (tecnicamente, tanto \(n-r\) quanto \(n-m\) também devem ser grandes para obter uma boa aproximação qui‑quadrado) a estatística modificada

\[ -\left[\,n - r - 1 \;-\; \frac{1}{2}\left(m - r + q + 1\right)\right]\, \ln\left(\frac{\left|\hat{\boldsymbol{\Sigma}}\right|}{\left|\hat{\boldsymbol{\Sigma}}_{1}\right|}\right)\underset{a}{\sim} \chi^2_{m(r-q)} \]

Demonstração:

Ver Suplemento 7A.

\[\Diamond\]

Se \(\mathbf{z}\) não for de posto completo, mas tiver posto \(r_{1}+1\), então

\[ \hat{\boldsymbol{\beta}} = \left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-}\mathbf{z}^{\prime}\mathbf{Y} \] em que \(\left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-}\) é a inversa generalizada discutida em [22] (ver também o Exercício 7.6). As conclusões de distribuição do Resultado 7.11 permanecem as mesmas, desde que \(r\) seja substituído por \(r_{1}\) e \(q+1\) pelo posto de \(\mathbf{z}_{1}\). No entanto, nem todas as hipóteses sobre \(\boldsymbol{\beta}\) podem ser testadas, devido à falta de unicidade na identificação de \(\boldsymbol{\beta}\) causada pelas dependências lineares entre as colunas de \(\mathbf{z}\). Ainda assim, a inversa generalizada permite que todos os modelos importantes de MANOVA sejam analisados como casos especiais do modelo de regressão múltipla multivariada.

Exemplo 7.9: Testando a importância de preditores adicionais com uma resposta multivariada

O serviço em três locais de uma grande rede de restaurantes foi avaliado de acordo com duas medidas de qualidade por frequentadores do sexo masculino e do sexo feminino. O primeiro índice de qualidade de serviço foi introduzido no Exemplo 7.5. Suponha que consideremos um modelo de regressão que permita os efeitos de localização, sexo e a interação localização–sexo sobre ambos os índices de qualidade de serviço. A matriz de delineamento (ver Exemplo 7.5) permanece a mesma para a situação de duas respostas. Ilustraremos o teste de ausência de interação localização–sexo em qualquer resposta usando o Resultado 7.11. Um programa de computador fornece

\[ \text{residual SSCP} = n\hat{\boldsymbol{\Sigma}} = \begin{bmatrix} 2977.39 & 1021.72 \\ 1021.72 & 2050.95 \end{bmatrix} \]

\[ \text{extra SSCP} = n\left(\hat{\boldsymbol{\Sigma}}_{1}-\hat{\boldsymbol{\Sigma}}\right) = \begin{bmatrix} 441.76 & 246.16 \\ 246.16 & 366.12 \end{bmatrix} \]

Seja \(\boldsymbol{\beta}_{(2)}\) a matriz de parâmetros de interação para as duas respostas. Embora o tamanho amostral \(n=18\) não seja grande, ilustraremos os cálculos envolvidos no teste de \(H_{0}:\;\boldsymbol{\beta}_{(2)}=\mathbf{0}\) dado no Resultado 7.11. Fixando \(\alpha=.05\), testamos \(H_{0}\) referindo‑nos a

\[ \begin{align} -\left[\,n-r_{1}-1-\dfrac{1}{2}\left(m-r_{1}+q_{1}+1\right)\right]\, \ln\left(\frac{\left|\hat{\boldsymbol{\Sigma}}\right|}{\left|\hat{\boldsymbol{\Sigma}}_{1}\right|}\right) &= -\left[\,18-5-1-\dfrac{1}{2}\left(2-5+3+1\right)\right]\ln(0.7605)\\ &= 3.28 \end{align} \]

A distribuição qui‑quadrado tem \(m(r_{1}-q_{1})=2(2)=4\) g.l. Como \(3.28<\chi^{2}_{4}(0.95)=9.49\), não rejeitamos \(H_{0}\) ao nível de 5%. O efeito de interação é não significante.

\[\Diamond\]

Mais genericamente, podemos considerar uma hipótese nula da forma

\[ H_{0}:\mathbf{C}\boldsymbol{\beta}=\boldsymbol{\Gamma}_{0} \]

em que \(\mathbf{C}\) é de dimensão \((r-q)\times(r+1)\) e tem posto completo \((r-q)\).

Para as escolhas

\[ \mathbf{C}=\begin{bmatrix} \underset{(r-q)\times(q+1)}{\mathbf{0}} & \underset{(r-q)\times(r-q)}{\mathbf{I}} \end{bmatrix} \quad\text{e}\quad \boldsymbol{\Gamma}_{0}=\mathbf{0} \]

essa hipótese nula torna-se \(H_{0}:\mathbf{C}\boldsymbol{\beta}=\boldsymbol{\beta}_{(2)}=\mathbf{0}\), o caso considerado anteriormente.

Pode-se demonstrar que a soma extra de quadrados e produtos cruzados gerada pela hipótese \(H_{0}\) é

\[ n\left(\hat{\boldsymbol{\Sigma}}_{1}-\hat{\boldsymbol{\Sigma}}\right) =\left(\mathbf{C}\hat{\boldsymbol{\beta}}-\boldsymbol{\Gamma}_{0}\right)^{\prime} \left[\mathbf{C}\left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{C}^{\prime}\right]^{-1} \left(\mathbf{C}\hat{\boldsymbol{\beta}}-\boldsymbol{\Gamma}_{0}\right) \]

Sob a hipótese nula, a estatística \(n\left(\hat{\boldsymbol{\Sigma}}_{1}-\hat{\boldsymbol{\Sigma}}\right)\sim W_{p,\,r-q}\left(\boldsymbol{\Sigma}\right)\) independentemente de \(\hat{\boldsymbol{\Sigma}}\).

Essa teoria de distribuição pode ser empregada para desenvolver um teste de

\[ H_{0}:\;\mathbf{C}\boldsymbol{\beta}=\boldsymbol{\Gamma}_{0} \] semelhante ao teste discutido no Resultado 7.11 (ver, por exemplo, [18]).

Outros testes multivariados

Testes distintos do teste de razão de verossimilhanças têm sido propostos para testar \(H_{0}:\boldsymbol{\beta}_{(2)}=\mathbf{0}\) no modelo de regressão linear múltipla multivariada.

Programas computacionais populares rotineiramente calculam quatro estatísticas de teste multivariado. Para conectar com a sua saída, introduzimos alguma notação alternativa. Seja \(\mathbf{E}\) a matriz de erro \(m\times m\) (matriz residual de soma de quadrados e produtos cruzados) que resulta do ajuste do modelo completo:

\[ \mathbf{E} = n\,\hat{\boldsymbol{\Sigma}} \]

A matriz \(m\times m\) de hipótese (matriz extra de soma de quadrados e produtos cruzados) é

\[ \mathbf{H} = n\left(\hat{\boldsymbol{\Sigma}}_{1}-\hat{\boldsymbol{\Sigma}}\right) \]

As estatísticas podem ser definidas em termos de \(\mathbf{E}\) e \(\mathbf{H}\) diretamente, ou em termos dos autovalores não nulos \(\eta_{1}\ge\eta_{2}\ge\cdots\ge\eta_{s}>0\) de \(\mathbf{H}\mathbf{E}^{-1}\), sendo que \(s=\min(m,\,r-q)\).

Equivalentemente, são as raízes de \(\left|\,(\hat{\boldsymbol{\Sigma}}_{1}-\hat{\boldsymbol{\Sigma}})-\boldsymbol{\eta}\,\hat{\boldsymbol{\Sigma}}\,\right|=0\). As definições são:

\[ \begin{align} \text{Lambda de Wilks:}\quad \Lambda &= \prod_{i=1}^{s}\frac{1}{1+\eta_{i}} = \frac{\left|\mathbf{E}\right|}{\left|\mathbf{E}+\mathbf{H}\right|} \\[6pt] \text{Traço de Pillai:}\quad V &= \sum_{i=1}^{s}\frac{\eta_{i}}{1+\eta_{i}} = \operatorname{tr}\left[\mathbf{H}\left(\mathbf{H}+\mathbf{E}\right)^{-1}\right] \\[6pt] \text{Traço de Hotelling–Lawley:}\quad T &= \sum_{i=1}^{s}\eta_{i} = \operatorname{tr}\left(\mathbf{H}\mathbf{E}^{-1}\right) \\[6pt] \text{Maior raiz de Roy:}\quad \Theta &= \frac{\eta_{1}}{1+\eta_{1}} \end{align} \]

O teste de Roy seleciona o vetor de coeficientes \(\mathbf{a}\) de modo que a estatística \(F\) univariada baseada em \(\mathbf{a}^{\prime}\mathbf{Y}\) tenha seu valor máximo possível. Quando vários dos autovalores \(\eta_{i}\) são moderadamente grandes, o teste de Roy terá desempenho fraco em relação aos outros três. Estudos de simulação sugerem que seu poder será melhor quando houver apenas um autovalor grande.

Quadros e tabelas de valores críticos estão disponíveis para o teste de Roy (ver [21] e [17]). Lambda de Wilks, traços de Pillai e de Hotelling–Lawley são praticamente equivalentes para amostra grande.

Se houver grande discrepância nos valores p relatados para os quatro testes, os autovalores e autovetores podem levar a uma interpretação. Neste texto, relatamos Wilks’ lambda, que é o teste de razão de verossimilhanças.

Há uma relação clara entre as quatro estatísticas e as médias clássicas.

As quatro estatísticas representam diferentes modos de resumir o conjunto \({\eta_i}\) média geométrica inversa (Wilks), média aritmético limitada (Pillai), média aritmética não normalizada (Hotelling–Lawley) e máximo (Roy).

Em termos dos autovalores positivos de \(\mathbf{H}\mathbf{E}^{-1}\):

1. Lambda de Wilks

\[ \Lambda = \prod_{i=1}^{s}\frac{1}{1+\eta_i} \] É uma média geométrica inversa, pois

\[ \ln \Lambda = -\sum_i \ln(1+\eta_i) \]

ou seja, \(\Lambda\) corresponde ao produto geométrico dos termos \((1+\eta_i)^{-1}\).

2. Traço de Pillai

\[ V = \sum_{i=1}^{s}\frac{\eta_i}{1+\eta_i} \]

Equivale a uma média aritmética ponderada das razões \(\dfrac{\eta_i}{1+\eta_i}\), cada uma limitada entre 0 e 1. Representa a fração média da variância explicada.

3. Traço de Hotelling–Lawley

\[ T = \sum_{i=1}^{s}\eta_i \] É uma soma (ou média aritmética não normalizada) dos autovalores, sensível aos maiores \(\eta_i\).

4. Maior raiz de Roy

\[ \Theta = \frac{\eta_1}{1+\eta_1} \]

Depende apenas do maior autovalor, sendo análoga ao máximo de uma sequência.

Predição de regressão linear múltipla multivariada

Suponha que o modelo de regressão linear múltipla multivariada

\[ \mathbf{Y} = \mathbf{z}\boldsymbol{\beta} + \boldsymbol{\varepsilon} \]

com erros normais \(\boldsymbol{\varepsilon}\), tenha sido ajustado e verificado quanto a inadequações. Se o modelo for adequado, ele pode ser empregado para fins preditivos.

Um problema é prever as médias das respostas correspondentes a valores fixos \(\mathbf{z}_{0}\) das variáveis preditoras. As inferências sobre as médias das respostas podem ser feitas usando a teoria de distribuição apresentada no Resultado 7.10. A partir desse resultado, determinamos que

\[ \hat{\mathbb{E}}(\mathbf{Y}|\mathbf{z}_0)=\underset{m\times 1}{\hat{\mathbf{Y}}_0}=\hat{\boldsymbol{\beta}}^{\prime}\mathbf{z}_{0} \sim \mathcal{N}_{m}\left(\boldsymbol{\beta}^{\prime}\mathbf{z}_{0},\,\mathbf{z}_{0}^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}_{0}\boldsymbol{\Sigma}\right) \]

Além disso,

\[ n\hat{\boldsymbol{\Sigma}} \sim W_{n-r-1}(\boldsymbol{\Sigma}) \]

de forma independente.

O valor desconhecido da função de regressão em \(\mathbf{z}_{0}\) é \(\boldsymbol{\beta}^{\prime}\mathbf{z}_{0}\). Assim, pela discussão da estatística \(T^{2}\) na Seção 5.2, podemos escrever

\[ T^{2} = \left[\frac{\hat{\boldsymbol{\beta}}^{\prime}\mathbf{z}_{0}-\boldsymbol{\beta}^{\prime}\mathbf{z}_{0}}{\sqrt{\mathbf{z}_{0}^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}_{0}}}\right]^{\prime} \left(\frac{n}{n-r-1}\,\hat{\boldsymbol{\Sigma}}\right)^{-1} \left[\frac{\hat{\boldsymbol{\beta}}^{\prime}\mathbf{z}_{0}-\boldsymbol{\beta}^{\prime}\mathbf{z}_{0}}{\sqrt{\mathbf{z}_{0}^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}_{0}}}\right] \tag{7-39} \]

O volume elipsoidal de confiança \(100(1-\alpha)\%\) para \(\mathbb{E}(\mathbf{Y}|\mathbf{z}_0)=\boldsymbol{\beta}^{\prime}\mathbf{z}_{0}\), i.e.,

\[ \text{VC}^{1-\alpha}(\mathbb{E}(\mathbf{Y}|\mathbf{z}_0))=\text{VC}^{1-\alpha}(\boldsymbol{\beta}^{\prime}\mathbf{z}_{0}) \]

é fornecido pela desigualdade

\[ \left(\boldsymbol{\beta}^{\prime}\mathbf{z}_{0}-\hat{\boldsymbol{\beta}}^{\prime}\mathbf{z}_{0}\right)^{\prime} \left(\frac{n}{n-r-1}\,\hat{\boldsymbol{\Sigma}}\right)^{-1} \left(\boldsymbol{\beta}^{\prime}\mathbf{z}_{0}-\hat{\boldsymbol{\beta}}^{\prime}\mathbf{z}_{0}\right) \le\\ \mathbf{z}_{0}^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}_{0} \frac{m(n-r-1)}{n-r-m} F_{m,\,n-r-m}^{1-\alpha}=\\ \mathbf{z}_{0}^{\prime}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}_{0} \; T^2_{m,\,n-r-1}(1-\alpha) \tag{7-40} \]

Os intervalos de confiança simultâneos (Scheffé) de \(100(1-\alpha)\%\) para \(\mathbb{E}(Y_{i}|\mathbf{z}_{0})=\mathbf{z}_{0}^{\prime}\boldsymbol{\beta}_{(i)}\) são

\[ \begin{align} \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)} &\pm \sqrt{\frac{m(n-r-1)}{\,n-r-m\,}\,F_{m,\,n-r-m}^{1-\alpha}\;\mathbf{z}_{0}^{\prime}\left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{z}_{0}\,\frac{n}{\,n-r-1\,}\,\hat{\sigma}_{ii}}\\ \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)} &\pm \sqrt{T^2_{m,\,n-r-1}(1-\alpha)\;\mathbf{z}_{0}^{\prime}\left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{z}_{0}\,\frac{n}{\,n-r-1\,}\,\hat{\sigma}_{ii}}\\ i&=1,2,\ldots,m \end{align} \tag{7-41} \]

em que \(\hat{\boldsymbol{\beta}}_{(i)}\) é a \(i\)-ésima coluna de \(\hat{\boldsymbol{\beta}}\) e \(\hat{\sigma}_{ii}\) é o \(i\)‑ésimo elemento diagonal de \(\hat{\boldsymbol{\Sigma}}\).

O segundo problema de predição refere-se à previsão de novas respostas \(\mathbf{Y}_{0}=\boldsymbol{\beta}^{\prime}\mathbf{z}_{0}+\boldsymbol{\varepsilon}_{0}\) em \(\mathbf{z}_{0}\). Aqui \(\boldsymbol{\varepsilon}_{0}\) é independente de \(\boldsymbol{\varepsilon}\).

Então,

\[ \mathbf{Y}_{0}-\hat{\mathbf{Y}}_{0} = (\boldsymbol{\beta}-\hat{\boldsymbol{\beta}})^{\prime}\mathbf{z}_{0}+\boldsymbol{\varepsilon}_{0} \sim \mathcal{N}_{m}\left(\mathbf{0},\,\left(1+\mathbf{z}_{0}^{\prime}\left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{z}_{0}\right)\boldsymbol{\Sigma}\right) \] independentemente de \(n\hat{\boldsymbol{\Sigma}}\).

O volume elipsoidal de predição \(100(1-\alpha)\%\) para \[\mathbf{Y}_{0}\], i.e., \(\text{VP}^{1-\alpha}(\mathbf{Y}_0)\) é fornecido pela desigualdade

\[ \begin{align} \left(\mathbf{Y}_{0}-\hat{\boldsymbol{\beta}}^{\prime}\mathbf{z}_{0}\right)^{\prime} \left(\frac{n}{\,n-r-1\,}\,\hat{\boldsymbol{\Sigma}}\right)^{-1} \left(\mathbf{Y}_{0}-\hat{\boldsymbol{\beta}}^{\prime}\mathbf{z}_{0}\right) &\le\\ \left(1+\mathbf{z}_{0}^{\prime}\left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{z}_{0}\right) \frac{m(n-r-1)}{\,n-r-m\,}F_{m,\,n-r-m}^{1-\alpha}=\\ \left(1+\mathbf{z}_{0}^{\prime}\left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{z}_{0}\right) T^2_{m,\,n-r-1}(1-\alpha) \end{align} \tag{7-42} \]

Os intervalos simultâneos (Scheffé) de \(100(1-\alpha)\%\) de predição para as respostas individuais \(Y_{0i}\) são

\[ \begin{align} \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)} &\pm \sqrt{\frac{m(n-r-1)}{\,n-r-m\,}\,F_{m,\,n-r-m}^ {1-\alpha}\left(1+\mathbf{z}_{0}^{\prime}\left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{z}_{0}\right)\; \frac{n}{\,n-r-1\,}\,\hat{\sigma}_{ii}}\\ \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(i)} &\pm \sqrt{T^2_{m,\,n-r-1}(1-\alpha)\left(1+\mathbf{z}_{0}^{\prime}\left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{z}_{0}\right)\; \frac{n}{\,n-r-1\,}\,\hat{\sigma}_{ii}}\\ i&=1,2,\ldots,m \end{align} \tag{7-43} \]

em que \(\hat{\boldsymbol{\beta}}_{(i)}\), \(\hat{\sigma}_{ii}\) e \(F_{m,\,n-r-m}(1-\alpha)\) são as mesmas quantidades que aparecem em (7-41). Comparando (7-41) e (7-43), vemos que os intervalos de predição para os valores observados das variáveis resposta são mais largos do que os intervalos correspondentes para os valores esperados. A largura extra reflete a presença do erro aleatório \(\varepsilon_{0i}\).

Exemplo 7.10: Construindo elipses de confiança e de predição para respostas bivariadas

Uma segunda variável resposta foi medida para o problema de requisitos computacionais discutido no Exemplo 7.6. As medições na resposta \(Y_{2}\), capacidade de disco de entrada/saída, correspondentes aos valores \(z_{1}\) e \(z_{2}\) daquele exemplo foram

\[ \mathbf{y}_{2}=\left[301.8,\; 396.1,\; 328.2,\; 307.4,\; 362.4,\; 369.5,\; 229.1\right]^{\prime} \]

Obtenha a região elíptica de confiança de 95% para \(\boldsymbol{\beta}^{\prime}\mathbf{z}_{0}\) e a elipse de predição de 95% para \(\mathbf{Y}_{0}=\left[Y_{01},\, Y_{02}\right]^{\prime}\) para um local com a configuração \(\mathbf{z}_{0}=\left[1,\;130,\;7.5\right]^{\prime}\).

Cálculos em computador fornecem a equação ajustada

\[ \hat{y}_{2}=14.14+2.25\,z_{1}+5.67\,z_{2} \]

com \(s=1.812\).

Assim, \(\hat{\boldsymbol{\beta}}_{(2)}=\left[14.14,\;2.25,\;5.67\right]^{\prime}\).

Do Exemplo 7.6,

\[ \hat{\boldsymbol{\beta}}_{(1)}=\left[8.42,\;1.08,\;42\right]^{\prime}, \qquad \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(1)}=151.97, \qquad \mathbf{z}_{0}^{\prime}\left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{z}_{0}=0.34725 \]

Encontramos que

\[ \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(2)}=14.14+2.25(130)+5.67(7.5)=349.17 \]

e

\[ \begin{align} n\hat{\boldsymbol{\Sigma}} &=\begin{bmatrix} \left(\mathbf{y}_{(1)}-\mathbf{z}\hat{\boldsymbol{\beta}}_{(1)}\right)^{\prime}\left(\mathbf{y}_{(1)}-\mathbf{z}\hat{\boldsymbol{\beta}}_{(1)}\right) & \left(\mathbf{y}_{(1)}-\mathbf{z}\hat{\boldsymbol{\beta}}_{(1)}\right)^{\prime}\left(\mathbf{y}_{(2)}-\mathbf{z}\hat{\boldsymbol{\beta}}_{(2)}\right) \\[4pt] \left(\mathbf{y}_{(2)}-\mathbf{z}\hat{\boldsymbol{\beta}}_{(2)}\right)^{\prime}\left(\mathbf{y}_{(1)}-\mathbf{z}\hat{\boldsymbol{\beta}}_{(1)}\right) & \left(\mathbf{y}_{(2)}-\mathbf{z}\hat{\boldsymbol{\beta}}_{(2)}\right)^{\prime}\left(\mathbf{y}_{(2)}-\mathbf{z}\hat{\boldsymbol{\beta}}_{(2)}\right) \end{bmatrix}\\ n\hat{\boldsymbol{\Sigma}}&= \begin{bmatrix} 5.80 & 5.30 \\ 5.30 & 13.13 \end{bmatrix} \end{align} \]

Como

\[ \hat{\boldsymbol{\beta}}^{\prime}\mathbf{z}_{0} = \begin{bmatrix} \hat{\boldsymbol{\beta}}_{(1)}^{\prime} \\ \hat{\boldsymbol{\beta}}_{(2)}^{\prime} \end{bmatrix}\mathbf{z}_{0} = \begin{bmatrix} \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(1)} \\ \mathbf{z}_{0}^{\prime}\hat{\boldsymbol{\beta}}_{(2)} \end{bmatrix} = \begin{bmatrix} 151.97 \\[4pt] 349.17 \end{bmatrix} \]

com \(n=7\), \(r=2\) e \(m=2\), uma região elíptia de confiança de 95% para \(\boldsymbol{\beta}^{\prime}\mathbf{z}_{0}=\begin{bmatrix}\mathbf{z}_{0}^{\prime}\boldsymbol{\beta}_{(1)} & \mathbf{z}_{0}^{\prime}\boldsymbol{\beta}_{(2)}\end{bmatrix}^{\prime}\) é, a partir de (7-40), o conjunto

\[ \begin{align} \left[\begin{array}{c} \mathbf{z}_{0}^{\prime}\boldsymbol{\beta}_{(1)}-151.97 \\[4pt] \mathbf{z}_{0}^{\prime}\boldsymbol{\beta}_{(2)}-349.17 \end{array}\right]^{\prime}(4) \left[\begin{array}{cc} 5.80 & 5.30 \\ 5.30 & 13.13 \end{array}\right]^{-1} \left[\begin{array}{c} \mathbf{z}_{0}^{\prime}\boldsymbol{\beta}_{(1)}-151.97 \\[4pt] \mathbf{z}_{0}^{\prime}\boldsymbol{\beta}_{(2)}-349.17 \end{array}\right] &\le\\ 0.34725\frac{2(4)}{3}F_{2,\,3}^{0.95}&=\\ 0.34725\frac{2(4)}{3}9.55&=\\ 8.84 \end{align} \]

com \(F_{2,\,3}(0.95)=9.55\). Esta elipse é centrada em \((151.97,\;349.17)\). Sua orientação e os comprimentos dos eixos maior e menor podem ser determinados a partir dos autovalores e autovetores de \(n\hat{\boldsymbol{\Sigma}}\).

Comparando (7-40) e (7-42), vemos que a única mudança necessária para o cálculo da região elíptica de predição de 95% é substituir \(\mathbf{z}_{0}^{\prime}\left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{z}_{0}=0.34725\) por \(1+\mathbf{z}_{0}^{\prime}\left(\mathbf{z}^{\prime}\mathbf{z}\right)^{-1}\mathbf{z}_{0}=1.34725\). Assim, a região elíptica de predição de 95% para \(\mathbf{Y}_{0}=\left[Y_{01},\,Y_{02}\right]^{\prime}\) também é centrada em \((151.97,\;349.17)\), mas é maior do que a região elíptica de confiança. Ambas as regiões elípticas são esboçadas na Figura 7.5.

É a região elíptica de predição que é relevante para a determinação de requisitos computacionais para um local particular com a dada \(\mathbf{z}_{0}\).

• JW6_Example7.10.R

# Parâmetros do exemplo
n  <- 7
r  <- 2
m  <- 2
alpha <- 0.05

# Centro das elipses (z0' beta_hat para Y1 e Y2)
center <- c(151.97, 349.17)

# Matriz n * Sigma_hat (fornecida)
nSigma_hat <- matrix(c(5.80, 5.30,
                       5.30,13.13), nrow = 2, byrow = TRUE)

# z0'(z'z)^{-1} z0
z0Zinvz0 <- 0.34725

# Graus de liberdade
df1 <- m
df2 <- n - r - m

# Quantil F superior (mesmo valor citado no texto: F_{2,3}(0.05) = 9.55)
Fcrit <- qf(1 - alpha, df1, df2)

# Matriz S: (n/(n-r-1)) * Sigma_hat
# Como temos n * Sigma_hat, obtemos S = (n * Sigma_hat) / (n - r - 1)
S <- nSigma_hat / (n - r - 1)  # divisor = 4

# Constantes (raios) das elipses
c_conf <- z0Zinvz0 * (m * (n - r - 1) / (n - r - m)) * Fcrit
c_pred <- (1 + z0Zinvz0) * (m * (n - r - 1) / (n - r - m)) * Fcrit

print(c(c_conf = c_conf, c_pred = c_pred, Fcrit = Fcrit), digits=3)

c_conf c_pred  Fcrit 
  8.85  34.32   9.55 

# Pontos da elipse: (x - mu)' S^{-1} (x - mu) = c
ellipse_points <- function(S, c, center, npts = 400) {
  th <- seq(0, 2*pi, length.out = npts)
  L <- t(chol(S))                 # S = L %*% t(L)
  U <- rbind(cos(th), sin(th))    # círculo unitário
  X <- center + sqrt(c) * (L %*% U)
  data.frame(x = X[1,], y = X[2,])
}
el_conf <- ellipse_points(S, c_conf, center)
el_pred <- ellipse_points(S, c_pred, center)

# Gráfico estilo do livro (base R)
plot(NA, 
     main="Regiões confiança e predição 95%\nz0=[1, 130, 7.5]",
     xlim = c(140, 160), 
     ylim = c(330, 370),
     xlab = expression(y[1]), 
     ylab = expression(y[2]),
     xaxs = "i", yaxs = "i")
grid(col = "grey90")
lines(el_pred$x, el_pred$y, lwd = 2)           # prediction ellipse
lines(el_conf$x, el_conf$y, lwd = 2)  # confidence ellipse
points(center[1], center[2], pch = 19, cex = 1.1)
axis(1, at = seq(140, 160, by = 10))
axis(2, at = seq(330, 370, by = 10))
box()

# Parâmetros já calculados antes:
# n, r, m, alpha
# center <- c(151.97, 349.17)
# nSigma_hat, z0Zinvz0, df1, df2, Fcrit, S, c_conf, c_pred

# Elipse de CONFIANÇA (IC 95%)
el_conf <- car::ellipse(
  center = center,
  shape  = S,
  radius = sqrt(c_conf),
  segments = 400,
  draw = FALSE
)

# Elipse de PREDIÇÃO (IP 95%)
el_pred <- car::ellipse(
  center = center,
  shape  = S,
  radius = sqrt(c_pred),
  segments = 400,
  draw = FALSE
)

# Gráfico estilo do livro
plot(NA,
     main = "Regiões confiança e predição 95%\nz0 = [1,130,7.5]",
     xlim = c(140, 160),
     ylim = c(330, 370),
     xlab = expression(y[1]),
     ylab = expression(y[2]),
     xaxs = "i", yaxs = "i")
grid(col = "grey90")

# IP (predição) — geralmente a maior
lines(el_pred, lwd = 2)            

# IC (confiança) — menor
lines(el_conf, lwd = 2)

# Centro (ŷ1(z0), ŷ2(z0))
points(center[1], center[2], pch = 19, cex = 1.1)
axis(1, at = seq(140, 160, by = 10))
axis(2, at = seq(330, 370, by = 10))
box()

O Conceito de Regressão Linear

O modelo clássico de regressão linear está preocupado com a associação entre uma única variável dependente \(Y\) e um conjunto de variáveis preditoras \(z_{1}, z_{2}, \ldots, z_{r}\). O modelo de regressão que consideramos trata \(Y\) como uma variável aleatória cuja média depende de valores fixos das \(z_{i}\). Essa média é assumida como uma função linear dos coeficientes de regressão \(\beta_{0}, \beta_{1}, \ldots, \beta_{r}\).

O modelo de regressão linear também surge em um contexto diferente.

Suponha que todas as variáveis \(Y, Z_{1}, Z_{2}, \ldots, Z_{r}\) sejam aleatórias e tenham uma distribuição conjunta, não necessariamente normal, com vetor médio \(\boldsymbol{\mu}\) e matriz de covariância \(\boldsymbol{\Sigma}\), dada por

\[ \underset{(r+1)\times 1}{\boldsymbol{\mu}} =\mathbb{E}\left[\begin{array}{c} Y \\ \mathbf{Z} \end{array}\right]= \begin{bmatrix} \mu_{Y} \\ \boldsymbol{\mu}_{\mathbf{Z}} \end{bmatrix} \quad\text{e}\quad \underset{(r+1)\times(r+1)}{\boldsymbol{\Sigma}} =\mathbb{C}\left[\begin{array}{c} Y \\ \mathbf{Z} \end{array}\right]= \begin{bmatrix} \sigma_{YY} & \boldsymbol{\Sigma}_{\mathbf{Z}Y}^{\prime} \\ \boldsymbol{\Sigma}_{\mathbf{Z}Y} & \boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}} \end{bmatrix} \]

com

\[ \boldsymbol{\Sigma}_{\mathbf{Z}Y}^{\prime} = [\sigma_{YZ_{1}}, \sigma_{YZ_{2}}, \ldots, \sigma_{YZ_{r}}] \tag{7–44} \]

A matriz \(\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}\) pode ser considerada de posto completo. Se \(\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}\) não for de posto completo, uma variável — por exemplo, \(Z_{k}\) — pode ser escrita como uma combinação linear das outras \(\mathbf{Z}\) e, portanto, é redundante na formação da função de regressão linear \(\mathbf{\mathbf{Z}}^{\prime}\boldsymbol{\beta}\). Ou seja, \(\mathbf{\mathbf{Z}}\) pode ser substituído por qualquer subconjunto de componentes cuja matriz de covariância não singular tenha o mesmo posto de \(\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}\).

O preditor linear de \(Y\) é a seguinte esperança condicional:

\[ \begin{align} \mathbb{E}(Y|\mathbf{Z}) &=\mu_{Y|\mathbf{Z}} \\ \mathbb{E}(Y|\mathbf{Z}) &= b_{0}+\sum_{i=1}^{r}{b_{i}Z_{i}} = b_{0} + \mathbf{b}^{\prime}\mathbf{Z} \end{align} \tag{7–45} \] Para um preditor da forma de (7-51), o erro na predição de \(Y\) é

\[ \begin{align} Y &= \mathbb{E}(Y|\mathbf{Z})+\varepsilon\\ \varepsilon &=Y - \mathbb{E}(Y|\mathbf{Z}) = Y - b_{0} - \mathbf{b}^{\prime}\mathbf{Z} \end{align} \tag{7-46} \]

Como esse erro é variável aleatória, é usual selecionar \(b_{0}\) e \(\mathbf{b}\) de modo a minimizar variância condicional de \(Y\), conhecida também como erro quadrático médio (MSE).

\[ \begin{align} \mathbb{V}(Y|\mathbf{Z})&=\sigma^2_{Y|\mathbf{Z}}\\ \mathbb{V}(Y|\mathbf{Z})&=\mathbb{E}\left(\varepsilon^{2}\right)\\ \mathbb{V}(Y|\mathbf{Z})&=\mathbb{E}\left[\left(Y - \mathbb{E}(Y|\mathbf{Z})\right)^{2}\right]\\ \mathbb{V}(Y|\mathbf{Z})&=\mathbb{E}\left[\left(Y - b_{0} - \mathbf{b}^{\prime}\mathbf{Z}\right)^{2}\right]\\ \end{align} \tag{7-47} \]

Agora, a variância condicional depende da distribuição conjunta de \(Y\) e \(\mathbf{Z}\) apenas por meio dos parâmetros \(\boldsymbol{\mu}\) e \(\boldsymbol{\Sigma}\). É possível expressar o preditor linear ótimo em termos dessas últimas quantidades.

Resultado 7.12. O melhor preditor linear (Best Linear Unbiased Predictor: BLUP) \(\mathbb{E}(Y|\mathbf{Z})=\beta_{0} + \boldsymbol{\beta}^{\prime}\mathbf{Z}\) com coeficientes

\[ \boldsymbol{\beta} = \boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y}, \qquad \beta_{0} = \mu_{Y} - \boldsymbol{\beta}^{\prime}\boldsymbol{\mu}_{\mathbf{Z}} \] tem variância condicional mínima entre todos os preditores lineares da resposta \(Y\):

\[ \begin{align} {\sigma^2_{Y|\mathbf{Z}}}_{\text{min}} &= \mathbb{E}\left(Y - \mu_{Y} - \boldsymbol{\Sigma}_{Y\mathbf{Z}}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{Z}-\boldsymbol{\mu}_{\mathbf{Z}}\right)\right)^{2} \\ {\sigma^2_{Y|\mathbf{Z}}}_{\text{min}}&= \sigma_{YY} - \boldsymbol{\Sigma}_{Y\mathbf{Z}}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y}\\ {\sigma^2_{Y|\mathbf{Z}}}_{\text{min}}&= \sigma^2_{Y} - \boldsymbol{\Sigma}_{Y\mathbf{Z}}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y} \end{align} \]

Além disso, o preditor de variância condicional mínima é:

\[ \begin{align} \mathbb{E}(Y|\mathbf{Z})&=\beta_{0} + \boldsymbol{\beta}^{\prime}\mathbf{Z} \\ \mathbb{E}(Y|\mathbf{Z})&= \mu_{Y} + \boldsymbol{\Sigma}_{Y\mathbf{Z}}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{Z}-\boldsymbol{\mu}_{\mathbf{Z}}\right)\\\\ \mathbb{E}\left[\mathbb{E}(Y|\mathbf{Z})\right]&=\mathbb{E}(Y)=\mu_{Y}\quad (\text{Lei das esperanças iteradas}) \end{align} \] Portanto, o melhor preditor linear é não viesado, i.e., BLUP.

Note que esperança condicional BLUP é uma transformação linear de \(\mathbf{Z}\). Além disso, a variância condicional ótima não depende de \(\mathbf{Z}\), i.e., a distribuição condicional de \(Y\) é homocedástica.

O preditor linear ótimo tem correlação máxima com \(Y\):

\[ \begin{align} \boldsymbol{\rho}\left(Y, \beta_{0} + \boldsymbol{\beta}^{\prime}\mathbf{Z}\right) &= \max_{b_{0},\mathbf{b}} \boldsymbol{\rho}\left(Y, b_{0} + \mathbf{b}^{\prime}\mathbf{Z}\right)\\ &= \frac{\sqrt{\boldsymbol{\beta}^{\prime}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}\boldsymbol{\beta}}}{\sigma_{YY}}\\ \boldsymbol{\rho}\left(Y, \beta_{0} + \boldsymbol{\beta}^{\prime}\mathbf{Z}\right)&= \frac{\sqrt{\boldsymbol{\Sigma}_{Y\mathbf{Z}}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y}}}{\sigma_{YY}} \end{align} \]

Demonstração

Escrevendo \(b_{0} + \mathbf{b}^{\prime}\mathbf{Z} = b_{0} + \mathbf{b}^{\prime}\mathbf{Z} - (\mu_{Y} - \mathbf{b}^{\prime}\boldsymbol{\mu}_{\mathbf{Z}}) + (\mu_{Y} - \mathbf{b}^{\prime}\boldsymbol{\mu}_{\mathbf{Z}})\), obtemos

\[ \begin{align} \mathbb{E}\left[(Y - b_{0} - \mathbf{b}^{\prime}\mathbf{Z})^{2}\right] &= \mathbb{E}[Y - \mu_{Y} - (\mathbf{b}^{\prime}\mathbf{Z} - \mathbf{b}^{\prime}\boldsymbol{\mu}_{\mathbf{Z}}) + (\mu_{Y} - b_{0} - \mathbf{b}^{\prime}\boldsymbol{\mu}_{\mathbf{Z}})]^{2} \\ &= \mathbb{E}(Y - \mu_{Y})^{2} + \mathbb{E}[\mathbf{b}^{\prime}(\mathbf{Z} - \boldsymbol{\mu}_{\mathbf{Z}})]^{2} + (\mu_{Y} - b_{0} - \mathbf{b}^{\prime}\boldsymbol{\mu}_{\mathbf{Z}})^{2} - \\ &\quad 2\mathbb{E}[\mathbf{b}^{\prime}(\mathbf{Z} - \boldsymbol{\mu}_{\mathbf{Z}})(Y - \mu_{Y})] \\ \mathbb{E}\left[(Y - b_{0} - \mathbf{b}^{\prime}\mathbf{Z})^{2}\right]&= \sigma_{YY} + \mathbf{b}^{\prime}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}\mathbf{b} + (\mu_{Y} - b_{0} - \mathbf{b}^{\prime}\boldsymbol{\mu}_{\mathbf{Z}})^{2} - 2\mathbf{b}^{\prime}\boldsymbol{\Sigma}_{\mathbf{Z}Y} \end{align} \]

Adicionando e subtraindo \(\boldsymbol{\Sigma}_{Y\mathbf{Z}}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y}\), obtemos

\[ \begin{align} \mathbb{E}\left[(Y - b_{0} - \mathbf{b}^{\prime}\mathbf{Z})^{2}\right] &= \sigma_{YY} - \boldsymbol{\Sigma}_{Y\mathbf{Z}}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y} + (\mu_{Y} - b_{0} - \mathbf{b}^{\prime}\boldsymbol{\mu}_{\mathbf{Z}})^{2} + \\ &\quad (\mathbf{b} - \boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y})^{\prime}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}(\mathbf{b} - \boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y}) \end{align} \]

A variância condicional é minimizada tomando-se \(\mathbf{b} = \boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y} = \boldsymbol{\beta}\), tornando o último termo nulo, e então escolhendo \(b_{0} = \mu_{Y} - (\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y})^{\prime}\boldsymbol{\mu}_{\mathbf{Z}} = \beta_{0}\) para anular o terceiro termo. A variância condicional mínima é, portanto,

\[ {\sigma^2_{Y|\mathbf{Z}}}_{\text{min}}=\sigma_{YY} - \boldsymbol{\Sigma}_{Y\mathbf{Z}}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y} \]

Note que \(\mathbb{C}(b_{0} + \mathbf{b}^{\prime}\mathbf{Z}, Y) = \mathbb{C}(\mathbf{b}^{\prime}\mathbf{Z}, Y) = \mathbf{b}^{\prime}\boldsymbol{\Sigma}_{\mathbf{Z}Y}\), de modo que

\[ \boldsymbol{\rho}^{2}(Y,b_{0} + \mathbf{b}^{\prime}\mathbf{Z}) = \frac{[\mathbf{b}^{\prime}\boldsymbol{\Sigma}_{\mathbf{Z}Y}]^{2}}{\sigma_{YY}(\mathbf{b}^{\prime}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}\mathbf{b})}, \quad \text{para todo } b_{0},\, \mathbf{b} \]

Empregando a desigualdade de Cauchy–Schwarz estendida (2-49), com \(\mathbf{B} = \boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}\), obtemos

\[ (\mathbf{b}^{\prime}\boldsymbol{\Sigma}_{\mathbf{Z}Y})^{2} \leq \mathbf{b}^{\prime}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}\mathbf{b}\, \boldsymbol{\Sigma}_{Y\mathbf{Z}}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y} \]

ou

\[ \boldsymbol{\rho}^{2}(Y,b_{0} + \mathbf{b}^{\prime}\mathbf{Z}) \leq \frac{\boldsymbol{\Sigma}_{Y\mathbf{Z}}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y}}{\sigma_{YY}} \]

A igualdade ocorre para \(\mathbf{b} = \boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y} = \boldsymbol{\beta}\).

A expressão alternativa para a correlação máxima decorre da equação

\[ \boldsymbol{\Sigma}_{Y\mathbf{Z}}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y} = \boldsymbol{\Sigma}_{Y\mathbf{Z}}\boldsymbol{\beta} = \boldsymbol{\beta}^{\prime}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}\boldsymbol{\beta} \]

Conforme Bickel & Docksum (2001, p. 521), há ganho informacional com o condicionamento, i.e., \(\mathbf{\sigma}^2_{Y|\mathbf{Z}}<\mathbf{\sigma}^2_{Y}\), pois \(\mathbf{\sigma}^2_{Y}>\mathbf{\Sigma}_{Y\mathbf{Z}}\mathbf{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\mathbf{\Sigma}_{\mathbf{Z}Y}>0\) (desigualdade de Cauchy-Schwarz generalizada).

\[\Diamond\] A correlação entre \(Y\) e seu melhor preditor linear é chamada de coeficiente de correlação múltipla populacional, dado por

\[ \rho_{Y|\mathbf{Z}} = \sqrt{\frac{\boldsymbol{\Sigma}_{Y\mathbf{Z}}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y}}{\sigma_{YY}}} \tag{7–48} \]

O quadrado do coeficiente de correlação múltipla populacional, \(\rho^{2}_{Y|\mathbf{Z}}\), é chamado de coeficiente de determinação populacional.

Note que, diferentemente de outros coeficientes de correlação, o coeficiente de correlação múltipla é uma raiz quadrada positiva, de modo que \(0 \leq \rho_{Y|\mathbf{Z}} \leq 1\).

O coeficiente de determinação populacional tem uma interpretação importante.

Do Resultado 7.12, o erro quadrático médio ao usar \(\beta_{0} + \boldsymbol{\beta}^{\prime}\mathbf{Z}\) para prever \(Y\) é

\[ \begin{align} {\sigma^2_{Y|\mathbf{Z}}}_{\text{min}} &= \sigma_{YY} - \sigma_{YY}\frac{\boldsymbol{\Sigma}_{Y\mathbf{Z}}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y}}{\sigma_{YY}} \\ {\sigma^2_{Y|\mathbf{Z}}}_{\text{min}}&= \sigma_{YY}\left(1 - \rho^{2}_{Y|\mathbf{Z}}\right)\\ {\sigma^2_{Y|\mathbf{Z}}}_{\text{min}}&< \sigma_{YY}\\ {\sigma^2_{Y|\mathbf{Z}}}_{\text{min}}&< \sigma^2_{Y} \end{align} \tag{7–49} \]

Se \(\rho^{2}_{Y|\mathbf{Z}} = 0\), não há poder preditivo em \(\mathbf{Z}\). No outro extremo, \(\rho^{2}_{Y|\mathbf{Z}} = 1\) implica que \(Y\) pode ser previsto sem erro.

Exemplo 7.11

Dados o vetor médio e a matriz de covariância populacionais de \(Y, Z_{1}, Z_{2}\),

\[ \boldsymbol{\mu} = \begin{bmatrix} \mu_{Y} \\ \boldsymbol{\mu}_{\mathbf{Z}} \end{bmatrix} = \begin{bmatrix} 5 \\ 2 \\ 0 \end{bmatrix}, \qquad \boldsymbol{\Sigma} = \begin{bmatrix} \sigma_{YY} & \boldsymbol{\Sigma}_{Y\mathbf{Z}}^{\prime} \\[2pt] \boldsymbol{\Sigma}_{Y\mathbf{Z}} & \boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}} \end{bmatrix} = \begin{bmatrix} 10 & 1 & -1 \\ 1 & 7 & 3 \\ -1 & 3 & 2 \end{bmatrix} \]

determine (a) o melhor preditor linear \(\beta_{0}+\beta_{1}Z_{1}+\beta_{2}Z_{2}\), (b) seu erro quadrático médio (MSE) e (c) o coeficiente de correlação múltipla. Verifique também que o MSE mínimo é \(\sigma^2_{Y|\mathbf{Z}}=\sigma_{YY}\left(1-\rho_{Y|\mathbf{Z}}^{2}\right)\).

Primeiro,

\[ \boldsymbol{\beta} = \boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\,\boldsymbol{\Sigma}_{\mathbf{Z}Y} = \begin{bmatrix} 7 & 3 \\ 3 & 2 \end{bmatrix}^{-1} \begin{bmatrix} 1 \\ -1 \end{bmatrix} = \begin{bmatrix} 0.4 & -0.6 \\ -0.6 & 1.4 \end{bmatrix} \begin{bmatrix} 1 \\ -1 \end{bmatrix} = \begin{bmatrix} 1 \\ -2 \end{bmatrix} \]

Em seguida,

\[ \beta_{0}=\mu_{Y}-\boldsymbol{\beta}^{\prime}\boldsymbol{\mu}_{\mathbf{Z}} = 5 - [\,1\;\;-2\,] \begin{bmatrix} 2 \\ 0 \end{bmatrix} = 3 \]

Logo, o melhor preditor linear é

\[ \mathbb{E}(Y|\mathbf{Z})=\beta_{0}+\boldsymbol{\beta}^{\prime}\mathbf{Z} = 3 + Z_{1} - 2Z_{2} \]

MSE mínimo é

\[ \begin{aligned} \sigma^2_{Y|\mathbf{Z}}=\sigma_{YY}-\boldsymbol{\Sigma}_{Y\mathbf{Z}}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y} &= 10 - [\,1\;\;-1\,] \begin{bmatrix} 0.4 & -0.6 \\ -0.6 & 1.4 \end{bmatrix} \begin{bmatrix} 1 \\ -1 \end{bmatrix} \\ \sigma^2_{Y|\mathbf{Z}}&= 10 - 3 \;=\; 7 \end{aligned} \]

O coeficiente de correlação múltipla é

\[ \rho_{Y|\mathbf{Z}} = \sqrt{\frac{\boldsymbol{\Sigma}_{\mathbf{Z}Y}^{\prime}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y}}{\sigma_{YY}}} = \sqrt{\frac{3}{10}} \approx 0.548 \]

Observe que

\[ \sigma^2_{Y|\mathbf{Z}}=\sigma_{YY}\left(1-\rho_{Y|\mathbf{Z}}^{2}\right) = 10\left(1-\frac{3}{10}\right)=7<10 =\sigma_{YY} \]

que coincide com o MSE mínimo obtido acima.

\[\Diamond\]

É possível mostrar (veja Exercício 7.5) que

\[ 1 - \rho_{Y|\mathbf{Z}}^{2} = \dfrac{1}{\rho^{YY}} \tag{7–50} \]

sendo que \(\rho^{YY}\) é o elemento do canto superior esquerdo da matriz inversa da matriz de correlação determinada a partir de \(\boldsymbol{\Sigma}\).

Demonstração:

Sejam \(Y\)e variáveis padronizadas.

Portanto, a variância conndicional é:

\[ \begin{align} \sigma^2_{Y|\mathbf{Z}}&=\sigma_{YY}\left(1-\rho_{Y|\mathbf{Z}}^{2}\right)\\ \sigma^2_{Y|\mathbf{Z}}&=1-\rho_{Y|\mathbf{Z}}^{2} \end{align} \] A matriz de covariança de variáveis padronizadas é a matriz de correlação:

\[ \boldsymbol{\rho}_{Y,\mathbf{Z}} = \begin{bmatrix} 1 & \boldsymbol{\rho}^{\prime}_{\mathbf{Z}Y} \\ \boldsymbol{\rho}_{\mathbf{Z}Y} & \boldsymbol{\rho}_{\mathbf{Z}\mathbf{Z}} \end{bmatrix} \] \(\boldsymbol{\rho}^{-1}_{Y,\mathbf{Z}}\) é a matriz de precisão.

\(\dfrac{1}{\rho^{YY}}\) é o elemento (1,1) da matriz de precisão.

\[ \rho^{YY}=\left[\boldsymbol{\rho}^{-1}_{Y,\mathbf{Z}}\right]_{11} = \left(1 - \boldsymbol{\rho}_{Y\mathbf{Z}}\,\boldsymbol{\rho}^{-1}_{\mathbf{Z}\mathbf{Z}}\,\boldsymbol{\rho}_{\mathbf{Z}Y}\right)^{-1} \]

e como

\[ \begin{align} \rho_{Y|\mathbf{Z}} &= \sqrt{\frac{\boldsymbol{\Sigma}_{\mathbf{Z}Y}^{\prime}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}Y}}{\sigma_{YY}}}\\ \rho^{2}_{Y|\mathbf{Z}} &= \boldsymbol{\rho}_{Y\mathbf{Z}}\,\boldsymbol{\rho}^{-1}_{\mathbf{Z}\mathbf{Z}}\,\boldsymbol{\rho}_{\mathbf{Z}Y} \end{align} \]

segue que

\[ \sigma^2_{Y|\mathbf{Z}}=1 - \rho^{2}_{Y|\mathbf{Z}} = \dfrac{1}{\left[\boldsymbol{\rho}^{-1}_{Y,\mathbf{Z}}\right]_{11}} = \dfrac{1}{\rho^{YY}} \]

checa_identidade <- function(R) {
  stopifnot(is.matrix(R), nrow(R) == ncol(R))
  Cinv <- solve(R)
  rhoYY <- Cinv[1, 1]
  lado_direito <- 1 / rhoYY
  p <- ncol(R); n <- 5000L
  X <- MASS::mvrnorm(n = n, mu = rep(0, p), Sigma = R, empirical = TRUE)
  y <- X[, 1]; Z <- X[, -1, drop = FALSE]
  rho2 <- summary(lm(y ~ Z))$r.squared
  lado_esquerdo <- 1 - rho2
  c(lado_esquerdo, lado_direito, diferenca = lado_esquerdo - lado_direito)
}

gera_R_exemplo <- function(p = 4) {
  A <- matrix(0.2, p, p); diag(A) <- 1
  A[1, -1] <- A[-1, 1] <- c(0.5, 0.3, -0.2)[seq_len(p - 1)]
  (A + t(A)) / 2
}

R <- gera_R_exemplo()
round(R, 3)

     [,1] [,2] [,3] [,4]
[1,]  1.0  0.5  0.3 -0.2
[2,]  0.5  1.0  0.2  0.2
[3,]  0.3  0.2  1.0  0.2
[4,] -0.2  0.2  0.2  1.0

round(checa_identidade(R), 6)

                    diferenca 
 0.589286  0.589286  0.000000 

A restrição a preditores lineares está ligada à suposição de normalidade. Especificamente, se

\[ \begin{bmatrix} Y \\ Z_{1} \\ Z_{2} \\ \vdots \\ Z_{r} \end{bmatrix} \sim \mathcal{N}_{r+1}\left(\boldsymbol{\mu},\, \boldsymbol{\Sigma}\right) \]

então a distribuição condicional de \(Y|(z_{1}, z_{2}, \ldots, z_{r})\), sendo \(\mathbf{z}\) fixo (ver Resultado 4.6) é

\[ Y|\mathbf{z}\sim\mathcal{N}\left(\mu_{Y} + \boldsymbol{\Sigma}_{Y\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{z} - \boldsymbol{\mu}_{\mathbf{Z}}\right),\, \sigma_{YY} - \boldsymbol{\Sigma}_{Y\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\,\boldsymbol{\Sigma}_{\mathbf{Z}Y}\right) \]

A média dessa distribuição condicional é o preditor linear do Resultado 7.12, isto é

\[ \mathbb{E}\left(Y|\mathbf{z}\right) = \mu_{Y} + \boldsymbol{\Sigma}_{Y\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{z} - \boldsymbol{\mu}_{\mathbf{Z}}\right) = \beta_{0} + \boldsymbol{\beta}^{\prime}\mathbf{z} \tag{7-51} \]

Conclui-se que \(\mathbb{E}\left(Y|\mathbf{z}\right)\) é o melhor preditor linear de \(Y\) quando a população é \(\mathcal{N}_{r+1}\left(\boldsymbol{\mu}, \boldsymbol{\Sigma}\right)\).

A esperança condicional de \(Y\) em (7-51) é chamada de função de regressão linear.

Quando a população não é normal, a função de regressão \(\mathbb{E}\left(Y|\mathbf{z}\right)\) não precisa ser da forma \(\beta_{0} + \boldsymbol{\beta}^{\prime}\mathbf{z}\).

Ainda assim, \(\mathbb{E}\left(Y|\mathbf{z}\right)\), qualquer que seja sua forma, prediz \(Y\) com o variância condicional mínima ou erro quadrático médio mínimo. Essa otimalidade também vale para o preditor linear quando a população é normal.

Resultado 7.13. Suponha que a distribuição conjunta de \(Y\) e \(\mathbf{Z}\) seja \(\mathcal{N}_{r+1}\left(\boldsymbol{\mu}, \boldsymbol{\Sigma}\right)\). Seja

\[ \hat{\boldsymbol{\mu}} = \begin{bmatrix} \overline{Y} \\[2pt] \overline{\mathbf{Z}} \end{bmatrix} \quad\text{e}\quad \mathbf{S} = \begin{bmatrix} S_{YY} & \mathbf{S}^{\prime}_{\mathbf{Z}Y} \\ \mathbf{S}_{\mathbf{Z}Y} & \mathbf{S}_{\mathbf{Z}\mathbf{Z}} \end{bmatrix} \]

o vetor média amostral e a matriz de covariância amostral não viesada, respectivamente, para uma amostra aleatória de tamanho \(n\) dessa população.

Então os estimadores de máxima verossimilhança dos coeficientes no preditor linear são

\[ \hat{\boldsymbol{\beta}} = \mathbf{S}_{\mathbf{Z}\mathbf{Z}}^{-1}\,\mathbf{S}_{\mathbf{Z}Y} \qquad \hat{\beta}_{0} = \overline{Y} - \mathbf{S}_{Y\mathbf{Z}}\,\mathbf{S}_{\mathbf{Z}\mathbf{Z}}^{-1}\,\overline{\mathbf{Z}} = \overline{Y} - \hat{\boldsymbol{\beta}}^{\prime}\,\overline{\mathbf{Z}} \]

Consequentemente, o estimador de máxima verossimilhança da função de regressão linear é

\[ \hat{\mathbb{E}}\left(Y|\mathbf{Z}\right)=\hat{\mu}_{Y|\mathbf{Z}}=\hat{\beta}_{0} + \hat{\boldsymbol{\beta}}^{\prime}\mathbf{Z} = \overline{Y} + \mathbf{S}_{Y\mathbf{Z}}\mathbf{S}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{Z} - \overline{\mathbf{Z}}\right) \]

e o estimador de máxima verossimilhança do erro quadrático médio é

\[ \hat{\sigma}_{Y|\mathbf{Z}}^2 = \frac{n-1}{n}\,\left(S_{YY} - \mathbf{S}_{Y\mathbf{Z}}\,\mathbf{S}_{\mathbf{Z}\mathbf{Z}}^{-1}\,\mathbf{S}_{\mathbf{Z}Y} \right) \]

Demonstração:

Usamos o Resultado 4.11 e a propriedade de invariância dos estimadores de máxima verossimilhança [Veja (4-20)]. Do Resultado 7.12,

\[ \beta_{0} = \mu_{Y} - \boldsymbol{\Sigma}_{Y\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\,\boldsymbol{\mu}_{\mathbf{Z}} \qquad \boldsymbol{\beta} = \boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\,\boldsymbol{\Sigma}_{\mathbf{Z}Y} \]

e

\[ \sigma_{Y|\mathbf{Z}}^2 = \sigma_{Y}^2 - \boldsymbol{\Sigma}_{Y\mathbf{Z}}^{\prime}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\,\boldsymbol{\Sigma}_{\mathbf{Z}Y} \]

As conclusões seguem ao substituir pelos estimadores de máxima verossimilhança

\[ \hat{\boldsymbol{\mu}} = \begin{bmatrix} \overline{Y} \\ \overline{\mathbf{Z}} \end{bmatrix} \quad\text{e}\quad \hat{\boldsymbol{\Sigma}} = \begin{bmatrix} \hat{\sigma}_{YY} & \hat{\boldsymbol{\Sigma}}_{\mathbf{Z}Y}^{\prime} \\ \hat{\boldsymbol{\Sigma}}_{\mathbf{Z}Y} & \hat{\boldsymbol{\Sigma}}_{\mathbf{Z}\mathbf{Z}} \end{bmatrix} = \left(\frac{n-1}{n}\right)\mathbf{S} \]

em

\[ \boldsymbol{\mu} = \begin{bmatrix} \mu_{Y} \\ \boldsymbol{\mu}_{\mathbf{Z}} \end{bmatrix} \qquad \boldsymbol{\Sigma} = \begin{bmatrix} \sigma_{YY} & \boldsymbol{\Sigma}_{\mathbf{Z}Y}^{\prime} \\ \boldsymbol{\Sigma}_{\mathbf{Z}Y} & \boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}} \end{bmatrix} \] \[\Diamond\]

É costume alterar o divisor de \(n\) para \(n - (r + 1)\) no estimador da variância condicional,

\[ \sigma_{Y\mid\mathbf{Z}}^{2} = \mathbb{E}\left(Y - \beta_{0} - \boldsymbol{\beta}^{\prime}\mathbf{Z}\right)^{2} \] a fim de obter o estimador não viesado

\[ S_{Y\mid\mathbf{Z}}^{2}=\dfrac{n - 1}{n - r - 1} \left(S_{Y}^{2} - \mathbf{S}_{Y\mathbf{Z}}\,\mathbf{S}_{\mathbf{Z}\mathbf{Z}}^{-1}\,\mathbf{S}_{\mathbf{Z}Y}\right) \tag{7-52} \]

Exemplo 7.12: Estimativa de máxima verossimilhança da função de regressão: resposta única

Para os dados computacionais do Exemplo 7.6, as \(n = 7\) observações em \(Y\) (tempo de CPU), \(Z_{1}\) (pedidos) e \(Z_{2}\) (adição–remoção de itens) fornecem as estimativas do vetor média amostral e da matriz de covariância amostral:

\[ \hat{\boldsymbol{\mu}} = \begin{bmatrix} \overline{y} \\[2pt] \overline{\mathbf{z}} \end{bmatrix} = \begin{bmatrix} 150.44 \\ 130.24 \\ 3.547 \end{bmatrix} \quad \mathbf{s} = \begin{bmatrix} s_{YY} & \mathbf{s}^{\prime}_{Y\mathbf{Z}} \\ \mathbf{s}_{Y\mathbf{Z}} & \mathbf{s}_{\mathbf{Z}\mathbf{Z}} \end{bmatrix} = \begin{bmatrix} 467.913 & 418.763 & 35.983 \\ 418.763 & 377.200 & 28.034 \\ 35.983 & 28.034 & 13.657 \end{bmatrix} \]

Assumindo que \(Y\), \(Z_{1}\) e \(Z_{2}\) sejam conjuntamente normais, obtemos as estimativas da função de regressão estimada e do erro quadrático médio (variância condicional).

Pelo Resultado 7.13, os estimadores de máxima verossimilhança são

\[ \hat{\boldsymbol{\beta}} = \mathbf{s}_{\mathbf{Z}\mathbf{Z}}^{-1}\,\mathbf{s}_{\mathbf{Z}Y} = \begin{bmatrix} 0.003128 & -0.006422 \\ -0.006422 & 0.086404 \end{bmatrix} \begin{bmatrix} 418.763 \\ 35.983 \end{bmatrix} = \begin{bmatrix} 1.079 \\ 0.420 \end{bmatrix} \]

\[ \begin{align} \hat{\beta}_{0} &= \overline{y} - \hat{\boldsymbol{\beta}}^{\prime}\,\overline{\mathbf{z}}\\ &= 150.44 - [1.079,\, 0.420] \begin{bmatrix} 130.24 \\ 3.547 \end{bmatrix}\\ &= 150.44 - 142.019 \\ \hat{\beta}_{0}&= 8.421 \end{align} \]

Assim, a função de regressão estimada é

\[ \hat{y} = \hat{\beta}_{0} + \hat{\boldsymbol{\beta}}^{\prime}\mathbf{z} = 8.42 - 1.08\,z_{1} + 0.42\,z_{2} \]

A estimativa de máxima verossimilhança do erro quadrático médio proveniente da predição de \(Y\) por essa função de regressão é

\[ \begin{align} \hat{\sigma}_{Y\mid\mathbf{Z}}^{2} &= \frac{n - 1}{n} \left( s_{YY} - \mathbf{s}_{Y\mathbf{Z}}\,\mathbf{s}_{\mathbf{Z}\mathbf{Z}}^{-1}\,\mathbf{s}_{Y\mathbf{Z}} \right)\\ &= \frac{6}{7} \left( 467.913 - [418.763,\, 35.983] \begin{bmatrix} 0.003128 & -0.006422 \\ -0.006422 & 0.086404 \end{bmatrix} \begin{bmatrix} 418.763 \\ 35.983 \end{bmatrix} \right)\\ \hat{\sigma}_{Y\mid\mathbf{Z}}^{2}&= 0.894 \end{align} \]

\[\Diamond\]

Predição de Vetor de Resposta

A extensão dos resultados anteriores para a predição de duas ou mais respostas \(\mathbf{Y}=[Y_{1}, Y_{2}, \ldots, Y_{m}]^{\prime}\) é imediata. Esta extensão é apresentada para populações normais.

Suponha que

\[ \begin{bmatrix} \mathbf{Y} \\ \mathbf{Z} \end{bmatrix} \sim \mathcal{N}_{m+r}\left(\boldsymbol{\mu}, \boldsymbol{\Sigma}\right) \]

com

\[ \boldsymbol{\mu} = \begin{bmatrix} \boldsymbol{\mu}_{\mathbf{Y}} \\[3pt] \boldsymbol{\mu}_{\mathbf{Z}} \end{bmatrix} \qquad \boldsymbol{\Sigma} = \begin{bmatrix} \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Y}} & \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}} \\[3pt] \boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Y}} & \boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}} \end{bmatrix} \]

Pelo Resultado 4.6, a esperança condicional de \(\mathbf{Y}\) dado os valores fixos de \(\mathbf{z} =[z_{1}, z_{2}, \ldots, z_{r}]^{\prime}\) é

\[ \mathbb{E}\left[\mathbf{Y}|\mathbf{z} \right] = \boldsymbol{\mu}_{\mathbf{Y}} + \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{z} - \boldsymbol{\mu}_{\mathbf{Z}}\right) \]

Esta esperança condicional, vista como função de \(\mathbf{z}\), é chamada de regressão multivariada do vetor \(\mathbf{Y}\) em \(\mathbf{Z}=\mathbf{z}\). É composta por \(m\) regressões univariadas.

Por exemplo, o primeiro componente do vetor médio condicional é

\[ \mathbb{E}\left(Y_{1}|\mathbf{z}\right)= \mu_{Y_{1}} + \boldsymbol{\Sigma}_{Y_{1}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{z} - \boldsymbol{\mu}_{\mathbf{Z}}\right) \]

que minimiza o erro quadrático médio na predição de \(Y_{1}\).

A matriz \(\boldsymbol{\beta} = \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\) de dimensão \(m \times r\) é chamada de matriz dos coeficientes de regressão.

O vetor de erro de predição

\[ \boldsymbol{\varepsilon}=\mathbf{Y} - \boldsymbol{\mu}_{\mathbf{Y}} - \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{Z} - \boldsymbol{\mu}_{\mathbf{Z}}\right) \]

possui matriz de quadrados e produtos cruzados esperada

\[ \begin{align} \boldsymbol{\Sigma}_{\mathbf{Y}\mid\mathbf{Z}} &= \mathbb{E}\left[ \left(\mathbf{Y} - \boldsymbol{\mu}_{\mathbf{Y}} - \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{Z} - \boldsymbol{\mu}_{\mathbf{Z}}\right)\right) \left(\mathbf{Y} - \boldsymbol{\mu}_{\mathbf{Y}} - \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{Z} - \boldsymbol{\mu}_{\mathbf{Z}}\right)\right)^{\prime} \right]\\ \boldsymbol{\Sigma}_{\mathbf{Y}\mid\mathbf{Z}}&= \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Y}} - \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Y}} \end{align} \tag{7-54} \]

Como \(\boldsymbol{\mu}\) e \(\boldsymbol{\Sigma}\) são desconhecidos, devem ser estimados a partir de uma amostra aleatória para construir o preditor linear multivariado e determinar os erros de predição esperados.

Resultado 7.14. Suponha que \(\mathbf{Y}\) e \(\mathbf{Z}\) sejam distribuídos como \(\mathcal{N}_{m+r}\left(\boldsymbol{\mu}, \boldsymbol{\Sigma}\right)\). Então a regressão do vetor \(\mathbf{Y}\) em \(\mathbf{Z}\) é

\[ \begin{align} \mathbb{E}\left[\mathbf{Y}|\mathbf{Z} \right] &=\beta_{0} + \boldsymbol{\beta}\mathbf{Z}\\ \mathbb{E}\left[\mathbf{Y}|\mathbf{Z} \right]&= \boldsymbol{\mu}_{\mathbf{Y}} + \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{Z} - \boldsymbol{\mu}_{\mathbf{Z}}\right) \end{align} \]

A matriz esperada de quadrados e produtos cruzados dos erros é

\[ \mathbb{E}\left[\left(\mathbf{Y} - \beta_{0} - \boldsymbol{\beta}\mathbf{Z}\right) \left(\mathbf{Y} - \beta_{0} - \boldsymbol{\beta}\mathbf{Z}\right)^{\prime}\right] = \boldsymbol{\Sigma}_{\mathbf{Y}\mid\mathbf{Z}} = \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Y}} - \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Y}} \]

Com base em uma amostra aleatória de tamanho \(n\), o estimador de máxima verossimilhança da função de regressão é

\[ \hat{\mathbb{E}}\left[\mathbf{Y}|\mathbf{Z} \right]=\hat{\beta}_{0} + \hat{\boldsymbol{\beta}}\mathbf{Z} = \overline{\mathbf{Y}} + \mathbf{S}_{\mathbf{Y}\mathbf{Z}}\,\mathbf{S}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{Z} - \overline{\mathbf{Z}}\right) \]

e o estimador de máxima verossimilhança de \(\boldsymbol{\Sigma}_{\mathbf{Y}\mid\mathbf{Z}}\) é

\[ \hat{\boldsymbol{\Sigma}}_{\mathbf{Y}\mid\mathbf{Z}} = \frac{n-1}{n}\left(\mathbf{S}_{\mathbf{Y}\mathbf{Y}} - \mathbf{S}_{\mathbf{Y}\mathbf{Z}}\,\mathbf{S}_{\mathbf{Z}\mathbf{Z}}^{-1}\mathbf{S}_{\mathbf{Z}\mathbf{Y}}\right) \]

Demonstração:

A função de regressão e a matriz de covariância dos erros de predição decorrem do Resultado 4.6.

Usando as relações

\[ \beta_{0} = \boldsymbol{\mu}_{\mathbf{Y}} - \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\mu}_{\mathbf{Z}} \qquad \boldsymbol{\beta} = \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1} \]

obtemos

\[ \beta_{0} + \boldsymbol{\beta}\mathbf{Z} = \boldsymbol{\mu}_{\mathbf{Y}} + \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{Z} - \boldsymbol{\mu}_{\mathbf{Z}}\right) \]

e

\[ \boldsymbol{\Sigma}_{\mathbf{Y}\mid\mathbf{Z}} = \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Y}} - \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Y}} = \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Y}} - \boldsymbol{\beta}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}\,\boldsymbol{\beta}^{\prime} \]

Aplicando a propriedade de invariância dos estimadores de máxima verossimilhança [ver (4-20)], segue que

\[ \hat{\boldsymbol{\mu}} = \begin{bmatrix} \overline{\mathbf{Y}} \\ \overline{\mathbf{Z}} \end{bmatrix} \qquad \hat{\boldsymbol{\Sigma}} = \begin{bmatrix} \hat{\boldsymbol{\Sigma}}_{\mathbf{Y}\mathbf{Y}} & \hat{\boldsymbol{\Sigma}}_{\mathbf{Y}\mathbf{Z}} \\ \hat{\boldsymbol{\Sigma}}_{\mathbf{Z}\mathbf{Y}} & \hat{\boldsymbol{\Sigma}}_{\mathbf{Z}\mathbf{Z}} \end{bmatrix} = \frac{n-1}{n}\mathbf{S} \]

\[\Diamond\]

Pode-se demonstrar que um estimador não viesado de \(\boldsymbol{\Sigma}_{\mathbf{Y}\mid\mathbf{Z}}\) é

\[ \mathbf{S}_{\mathbf{Y}|\mathbf{Z}}=\dfrac{n - 1}{n - r - 1} \left(\mathbf{S}_{\mathbf{Y}\mathbf{Y}} - \mathbf{S}_{\mathbf{Y}\mathbf{Z}}\,\mathbf{S}_{\mathbf{Z}\mathbf{Z}}^{-1}\,\mathbf{S}_{\mathbf{Z}\mathbf{Y}}\right) \]

ou equivalentemente,

\[ \mathbf{S}_{\mathbf{Y}|\mathbf{Z}}=\dfrac{1}{n - r - 1} \sum_{j = 1}^{n} \left(\mathbf{Y}_{j} - \hat{\beta}_{0} - \hat{\boldsymbol{\beta}}\mathbf{Z}_{j}\right) \left(\mathbf{Y}_{j} - \hat{\beta}_{0} - \hat{\boldsymbol{\beta}}\mathbf{Z}_{j}\right)^{\prime} \tag{7-55} \]

Exemplo 7.13: Estimativas de máxima verossimilhança das funções de regressão: duas respostas

Retornando aos dados computacionais dos Exemplos 7.6 e 7.10, para \(Y_{1}\) = tempo de CPU, \(Y_{2}\) = capacidade de I/O de disco, \(Z_{1}\) = pedidos e \(Z_{2}\) = adição–remoção de itens, temos

\[ \begin{align} \hat{\boldsymbol{\mu}} &= \begin{bmatrix} \overline{\mathbf{y}} \\ \overline{\mathbf{z}} \end{bmatrix}= \begin{bmatrix} 150.44 \\ 327.79 \\ 130.24 \\ 3.547 \end{bmatrix}\\ \mathbf{s} &= \begin{bmatrix} \mathbf{s}_{\mathbf{Y}\mathbf{Y}} & \mathbf{s}_{\mathbf{Y}\mathbf{Z}} \\ \mathbf{s}_{\mathbf{Z}\mathbf{Y}} & \mathbf{s}_{\mathbf{Z}\mathbf{Z}} \end{bmatrix}= \begin{bmatrix} 467.913 & 1148.556 & 418.763 & 35.983 \\ 1148.556 & 3072.491 & 1008.976 & 140.558 \\ 418.763 & 1008.976 & 377.200 & 28.034 \\ 35.983 & 140.558 & 28.034 & 13.657 \end{bmatrix} \end{align} \]

Assumindo normalidade conjunta, obtemos a função de regressão estimada:

\[ \hat{\beta}_{0} + \hat{\boldsymbol{\beta}}\mathbf{z} = \overline{\mathbf{y}} + \mathbf{s}_{\mathbf{Y}\mathbf{Z}}\,\mathbf{s}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{z} - \overline{\mathbf{z}}\right) \]

onde

\[ \mathbf{s}_{\mathbf{Y}\mathbf{Z}} = \begin{bmatrix} 418.763 & 35.983 \\ 1008.976 & 140.558 \end{bmatrix} \quad \mathbf{s}_{\mathbf{Z}\mathbf{Z}}^{-1} = \begin{bmatrix} 0.003128 & -0.006422 \\ -0.006422 & 0.086404 \end{bmatrix} \]

Logo,

\[ \hat{\beta}_{0} + \hat{\boldsymbol{\beta}}\mathbf{z} = \begin{bmatrix} 150.44 \\ 327.79 \end{bmatrix} +\\ \begin{bmatrix} 418.763 & 35.983 \\ 1008.976 & 140.558 \end{bmatrix} \begin{bmatrix} 0.003128 & -0.006422 \\ -0.006422 & 0.086404 \end{bmatrix} \left( \begin{bmatrix} z_{1} \\ z_{2} \end{bmatrix} - \begin{bmatrix} 130.24 \\ 3.547 \end{bmatrix} \right) \]

Efetuando as multiplicações:

\[ \hat{\beta}_{0} + \hat{\boldsymbol{\beta}}\mathbf{z} = \begin{bmatrix} 150.44 \\ 327.79 \end{bmatrix} + \begin{bmatrix} 1.079 & 0.420 \\ 2.254 & 5.665 \end{bmatrix} \left( \begin{bmatrix} z_{1} \\ z_{2} \end{bmatrix} - \begin{bmatrix} 130.24 \\ 3.547 \end{bmatrix} \right) \]

Portanto,

\[ \begin{align} \hat{y}_{1} &= 8.42 + 1.08z_{1} + 0.42z_{2}\\ \hat{y}_{2} &= 14.14 + 2.25z_{1} + 5.67z_{2} \end{align} \]

A estimativa de máxima verossimilhança da matriz de quadrados esperados e produtos cruzados dos erros é

\[ \begin{align} \hat{\boldsymbol{\Sigma}}_{\mathbf{Y}\mid\mathbf{Z}} &= \left(\frac{n - 1}{n}\right) \left( \mathbf{s}_{\mathbf{Y}\mathbf{Y}} - \mathbf{s}_{\mathbf{Y}\mathbf{Z}}\,\mathbf{s}_{\mathbf{Z}\mathbf{Z}}^{-1}\,\mathbf{s}_{\mathbf{Z}\mathbf{Y}} \right)\\ &= \left(\frac{6}{7}\right) \left( \begin{bmatrix} 1.043 & 1.042 \\ 1.042 & 2.572 \end{bmatrix} \right)\\ \hat{\boldsymbol{\Sigma}}_{\mathbf{Y}\mid\mathbf{Z}}&= \begin{bmatrix} 0.894 & 0.893 \\ 0.893 & 2.205 \end{bmatrix}\\\\ \mathbf{s}_{\mathbf{Y}\mid\mathbf{Z}}&= \begin{bmatrix} 0.967 & 0.500 \\ 0.500 & 2.190 \end{bmatrix} \end{align} \]

A primeira função de regressão estimada, \(8.42 + 1.08z_{1} + 0.42z_{2}\), e o erro quadrático médio associado, \(0.894\), coincidem com o Exemplo 7.12 (caso univariado).

A segunda função, \(14.14 + 2.25z_{1} + 5.67z_{2}\), coincide com a do Exemplo 7.10.

Observa-se que a primeira resposta \(Y_{1}\) (tempo de CPU) é prevista com erro menor que \(Y_{2}\) (capacidade de disco).

A covariância positiva \(0.893\) indica que superestimações (ou subestimações) do tempo de CPU tendem a ser acompanhadas de superestimações (ou subestimações) da capacidade de disco.

\[\Diamond\] Comentário

O Resultado 7.14 estabelece que a suposição de distribuição normal conjunta para todo o conjunto \(Y_{1}, Y_{2}, \ldots, Y_{m}, Z_{1}, Z_{2}, \ldots, Z_{r}\) leva às seguintes estimativas das equações de predição:

\[ \begin{aligned} \hat{y}_{1} &= \hat{\beta}_{01} + \hat{\beta}_{11}z_{1} + \cdots + \hat{\beta}_{r1}z_{r} \\ \hat{y}_{2} &= \hat{\beta}_{02} + \hat{\beta}_{12}z_{1} + \cdots + \hat{\beta}_{r2}z_{r} \\ &\vdots \\ \hat{y}_{m} &= \hat{\beta}_{0m} + \hat{\beta}_{1m}z_{1} + \cdots + \hat{\beta}_{rm}z_{r} \end{aligned} \]

Observa-se que:

1. Os mesmos valores \(z_{1}, z_{2}, \ldots, z_{r}\) são usados para predizer cada \(Y_{i}\).
   
2. Os coeficientes \(\hat{\beta}_{ik}\) são estimativas do elemento \((i, k)\) da matriz de coeficientes de regressão

\[ \boldsymbol{\beta} = \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1} \]

para \(i, k \geq 1\).

Conclui-se, assim, a discussão do problema de regressão, que será seguida pela introdução de um novo coeficiente de correlação.

\[\Diamond\]

Coeficiente de Correlação Parcial

Considere o par de erros

\[ \begin{aligned} \varepsilon_1 &= Y_{1}- \mu_{Y_{1}} - \boldsymbol{\Sigma}_{Y_{1}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{Z} - \boldsymbol{\mu}_{\mathbf{Z}}\right) \\ \varepsilon_2 &=Y_{2} - \mu_{Y_{2}} - \boldsymbol{\Sigma}_{Y_{2}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\left(\mathbf{Z} - \boldsymbol{\mu}_{\mathbf{Z}}\right) \end{aligned} \]

obtido a partir dos melhores preditores lineares de \(Y_{1}\) e \(Y_{2}\).
A correlação entre esses erros, determinada pela matriz de covariância dos erros

\[ \boldsymbol{\Sigma}_{\mathbf{Y}\mid\mathbf{Z}} = \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Y}} - \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Y}} \]

mede a associação entre \(Y_{1}\) e \(Y_{2}\) após eliminar os efeitos de \(Z_{1}, Z_{2}, \ldots, Z_{r}\).

Define-se o coeficiente de correlação parcial entre \(Y_{1}\) e \(Y_{2}\), eliminando \(Z_{1}, Z_{2}, \ldots, Z_{r}\), por

\[ \rho_{Y_{1}Y_{2}\cdot\mathbf{Z}} = \dfrac{\sigma_{Y_{1}Y_{2}\cdot\mathbf{Z}}}{\sqrt{\sigma_{Y_{1}Y_{1}\cdot\mathbf{Z}}\,\sigma_{Y_{2}Y_{2}\cdot\mathbf{Z}}}} \tag{7-56} \]

sendo que \(\sigma_{Y_{i}Y_{k}\cdot\mathbf{Z}}\) é o elemento \((i,k)\) da matriz

\[ \boldsymbol{\Sigma}_{\mathbf{Y}\mid\mathbf{Z}} = \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Y}} - \boldsymbol{\Sigma}_{\mathbf{Y}\mathbf{Z}}\,\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Z}}^{-1}\boldsymbol{\Sigma}_{\mathbf{Z}\mathbf{Y}} \]

O correspondente coeficiente de correlação parcial amostral é

\[ r_{Y_{1}Y_{2}\cdot\mathbf{Z}} = \dfrac{s_{Y_{1}Y_{2}\cdot\mathbf{Z}}}{\sqrt{s_{Y_{1}Y_{1}\cdot\mathbf{Z}}\,s_{Y_{2}Y_{2}\cdot\mathbf{Z}}}} \tag{7-57} \]

Exemplo 7.14: Cálculo de uma correlação parcial

A partir dos dados computacionais do Exemplo 7.13,

\[ \mathbf{s}_{\mathbf{Y}\mathbf{Y}} - \mathbf{s}_{\mathbf{Y}\mathbf{Z}}\,\mathbf{s}_{\mathbf{Z}\mathbf{Z}}^{-1}\,\mathbf{s}_{\mathbf{Z}\mathbf{Y}} = \begin{bmatrix} 1.043 & 1.042 \\ 1.042 & 2.572 \end{bmatrix} \]

Portanto,

\[ r_{Y_{1}Y_{2}\cdot\mathbf{Z}} = \dfrac{s_{Y_{1}Y_{2}\cdot\mathbf{Z}}}{\sqrt{s_{Y_{1}Y_{1}\cdot\mathbf{Z}}\,s_{Y_{2}Y_{2}\cdot\mathbf{Z}}}} = \dfrac{1.042}{\sqrt{1.043\times 2.572}} = 0.64 \tag{7-58} \]

Calculando o coeficiente de correlação ordinário (ordem-zero), obtemos \(r_{Y_{1}Y_{2}} = 0.96\).
Comparando ambos, nota-se que a associação entre \(Y_{1}\) e \(Y_{2}\) foi fortemente reduzida após eliminar os efeitos das variáveis \(\mathbf{Z}\) sobre ambas as respostas.

\[\Diamond\]

Na Seção 7.2 e 7.7 apresentamos modelos de regressão múltipla para uma e duas ou mais variáveis resposta, respectivamente, tratando os preditores como valores fixos \(\mathbf{z}_{j}\) na \(j\)‑ésima unidade experimental. Alternativamente, como na Seção 7.8, podemos começar com um conjunto de variáveis com distribuição normal conjunta e obter, por condicionamento, uma esperança condicional que é um modelo de regressão múltipla. Para explicitar a relação, introduzimos duas variantes do modelo.

Modelo de regressão centrado

Para qualquer variável resposta \(Y\), o modelo de regressão múltipla afirma que

\[ Y_{j}=\beta_{0}+\beta_{1}z_{1j}+\cdots+\beta_{r}z_{rj}+\varepsilon_{j} \]

Os preditores podem ser centralizados subtraindo suas médias. Por exemplo, \(\beta_{1}z_{1j}=\beta_{1}(z_{1j}-\bar{z}_{1})+\beta_{1}\bar{z}_{1}\), e podemos escrever \[ \begin{aligned} Y_{j}&=\left(\beta_{0}+\beta_{1}\bar{z}_{1}+\cdots+\beta_{r}\bar{z}_{r}\right)+\beta_{1}(z_{1j}-\bar{z}_{1})+\cdots+\beta_{r}(z_{rj}-\bar{z}_{r})+\varepsilon_{j}\\ Y_{j}&=\beta_{\ast}+\beta_{1}(z_{1j}-\bar{z}_{1})+\cdots+\beta_{r}(z_{rj}-\bar{z}_{r})+\varepsilon_{j} \end{aligned} \tag{7-59} \] com \(\beta_{\ast}=\beta_{0}+\beta_{1}\bar{z}_{1}+\cdots+\beta_{r}\bar{z}_{r}\).

A matriz de planejamento centrada correspondente à reparametrização acima é

\[ \mathbf{z}_{c}= \begin{bmatrix} 1 & z_{11}-\bar{z}_{1} & \cdots & z_{1r}-\bar{z}_{r}\\ 1 & z_{21}-\bar{z}_{1} & \cdots & z_{2r}-\bar{z}_{r}\\ \vdots & \vdots & \ddots & \vdots\\ 1 & z_{n1}-\bar{z}_{1} & \cdots & z_{nr}-\bar{z}_{r} \end{bmatrix} \]

As últimas \(r\) colunas são perpendiculares à primeira, pois

\[ \sum_{j=1}^{n}1\,(z_{ji}-\bar{z}_{i})=0\qquad i=1,2,\ldots,r \]

Definindo \(\mathbf{z}_{c}=[\mathbf{1}\mid\mathbf{z}_{c2}]\) com \(\mathbf{z}_{c2}^{\prime}\mathbf{1}=0\), obtemos

\[ \mathbf{z}_{c}^{\prime}\mathbf{z}_{c}= \begin{bmatrix} \mathbf{1}^{\prime}\mathbf{1} & \mathbf{1}^{\prime}\mathbf{z}_{c2}\\ \mathbf{z}_{c2}^{\prime}\mathbf{1} & \mathbf{z}_{c2}^{\prime}\mathbf{z}_{c2} \end{bmatrix} = \begin{bmatrix} n & \mathbf{0}^{\prime}\\ \mathbf{0} & \mathbf{z}_{c2}^{\prime}\mathbf{z}_{c2} \end{bmatrix} \]

Logo,

\[ \begin{align} \begin{bmatrix} \hat{\beta}_{\ast}\\ \hat{\beta}_{1}\\ \vdots\\ \hat{\beta}_{r} \end{bmatrix} &=(\mathbf{z}_{c}^{\prime}\mathbf{z}_{c})^{-1}\mathbf{z}_{c}^{\prime}\mathbf{y}\\ &= \begin{bmatrix} \dfrac{1}{n} & \mathbf{0}^{\prime}\\ \mathbf{0} & (\mathbf{z}_{c2}^{\prime}\mathbf{z}_{c2})^{-1} \end{bmatrix} \begin{bmatrix} \mathbf{1}^{\prime}\mathbf{y}\\ \mathbf{z}_{c2}^{\prime}\mathbf{y} \end{bmatrix}\\ &= \begin{bmatrix} \bar{y}\\ (\mathbf{z}_{c2}^{\prime}\mathbf{z}_{c2})^{-1}\mathbf{z}_{c2}^{\prime}\mathbf{y} \end{bmatrix} \end{align} \tag{7-60} \]

Assim, na forma centrada, o intercepto estimado é simplesmente \(\bar{y}\), e os coeficientes associados às colunas centralizadas são os mínimos quadrados obtidos usando apenas \(\mathbf{z}_{c2}\).

A forma centrada pela média permite reescrever o modelo de regressão de modo que os coeficientes de inclinação e intercepto possam ser estimados sem viés.

Os coeficientes de regressão \([\beta_{1}, \beta_{2}, \ldots, \beta_{r}]^{\prime}\) são estimados sem viés por

\[ (\mathbf{z}_{c}^{\prime}\mathbf{z}_{c})^{-1}\mathbf{z}_{c}^{\prime}\mathbf{y} \]

e \(\beta_{*}\) é estimado por \(\bar{y}\).

Como as definições de \(\beta_{1}, \beta_{2}, \ldots, \beta_{r}\) permanecem inalteradas pela reparametrização em (7-59), suas estimativas a partir da matriz de planejamento centrada \(\mathbf{z}_{c}\) são idênticas às obtidas pela matriz original \(\mathbf{z}\).

Definindo \(\hat{\boldsymbol{\beta}}_{c}^{\prime} = [\hat{\beta}_{1}, \hat{\beta}_{2}, \ldots, \hat{\beta}_{r}]\), o preditor linear de \(Y\) é

\[ \hat{y} = \hat{\beta}_{*} + \hat{\boldsymbol{\beta}}_{c}^{\prime}(\mathbf{z} - \bar{\mathbf{z}}) = \bar{y} + \mathbf{y}^{\prime}\mathbf{z}_{c2}(\mathbf{z}_{c2}^{\prime}\mathbf{z}_{c2})^{-1}(\mathbf{z} - \bar{\mathbf{z}}) \tag{7-61} \]

com

\[ \mathbf{z} - \bar{\mathbf{z}} = [z_{1} - \bar{z}_{1}, z_{2} - \bar{z}_{2}, \ldots, z_{r} - \bar{z}_{r}]^{\prime} \]

A variância dos estimadores é dada por

\[ \begin{bmatrix} \mathbb{V}(\hat{\beta}_{*}) & \mathbb{C}(\hat{\beta}_{*}, \hat{\boldsymbol{\beta}}_{c}) \\ \mathbb{C}(\hat{\boldsymbol{\beta}}_{c}, \hat{\beta}_{*}) & \mathbb{C}(\hat{\boldsymbol{\beta}}_{c}) \end{bmatrix} = (\mathbf{z}_{c}^{\prime}\mathbf{z}_{c})^{-1}\sigma^{2} = \begin{bmatrix} \dfrac{\sigma^{2}}{n} & \mathbf{0}^{\prime} \\ \mathbf{0} & (\mathbf{z}_{c2}^{\prime}\mathbf{z}_{c2})^{-1}\sigma^{2} \end{bmatrix} \tag{7-62} \]

A forma multivariada do modelo de regressão múltipla produz a mesma matriz de planejamento centrada para cada resposta \(Y_{(i)}\).

Os estimadores de mínimos quadrados para o vetor de coeficientes da \(i\)-ésima resposta são dados por

\[ \hat{\boldsymbol{\beta}}_{(i)} = \begin{bmatrix} \bar{y}_{(i)} \\[4pt] (\mathbf{z}_{c2}^{\prime}\mathbf{z}_{c2})^{-1}\mathbf{z}_{c2}^{\prime}\mathbf{y}_{(i)} \end{bmatrix}, \quad i = 1, 2, \ldots, m \tag{7-63} \]

Para maior estabilidade numérica, as variáveis preditoras podem ser padronizadas como

\[ \dfrac{z_{ji} - \bar{z}_{i}}{\sqrt{\dfrac{\sum_{j=1}^{n}{(z_{ji} - \bar{z}_{i})^{2}}}{n-1}}} = \dfrac{z_{ji} - \bar{z}_{i}}{s_{z_{i}}} \]

Nesse caso, os coeficientes de inclinação padronizados de mínimos quadrados tornam-se

\[ \hat{\tilde{\beta}_{i}} = \hat{\beta}_{i}s_{z_{i}}, \quad i = 1, 2, \ldots, r \]

Essas relações são válidas para cada resposta no contexto multivariado da regressão múltipla.

Relação entre as Formulações

Quando as variáveis \(Y, Z_{1}, Z_{2}, \ldots, Z_{r}\) são conjuntamente normais, o preditor estimado de máxima verossimilhança de \(Y\) (veja o Resultado 7.13) é

\[ \hat{\beta}_{0} + \hat{\boldsymbol{\beta}}^{\prime}\mathbf{z} = \bar{y} + \mathbf{s}^{\prime}_{Y\mathbf{Z}}\mathbf{s}_{\mathbf{Z}\mathbf{Z}}^{-1}(\mathbf{z} - \bar{\mathbf{z}}) = \hat{\mu}_{Y} + \hat{\boldsymbol{\Sigma}}_{Y\mathbf{Z}}\hat{\boldsymbol{\Sigma}}_{\mathbf{Z}\mathbf{Z}}^{-1}(\mathbf{z} - \hat{\boldsymbol{\mu}}_{\mathbf{Z}}) \tag{7-64} \]

sendo que o procedimento de estimação leva naturalmente à introdução das variáveis centradas \(z_{i} - \bar{z}_{i}\).

Recordando da forma centrada (veja Eq. 7-66), o melhor preditor linear de \(Y\) é

\[ \hat{y} = \hat{\beta}_{*} + \hat{\boldsymbol{\beta}}_{c}^{\prime}(\mathbf{z} - \bar{\mathbf{z}}) \]

com

\[ \hat{\beta}_{*} = \bar{y} \quad\text{e}\quad \hat{\boldsymbol{\beta}}_{c}^{\prime} = \mathbf{y}^{\prime}\mathbf{z}_{c2}(\mathbf{z}_{c2}^{\prime}\mathbf{z}_{c2})^{-1} \]

Comparando (7-61) e (7-64), observa-se que

\[ \hat{\beta}_{*} = \bar{y} = \hat{\beta}_{0} \quad\text{e}\quad \hat{\boldsymbol{\beta}}_{c} = \hat{\boldsymbol{\beta}} \]

pois

\[ \mathbf{s}^{\prime}_{Y\mathbf{Z}}\mathbf{s}_{\mathbf{Z}\mathbf{Z}}^{-1} = \mathbf{y}^{\prime}\mathbf{z}_{c2}(\mathbf{z}_{c2}^{\prime}\mathbf{z}_{c2})^{-1} \tag{7-65} \]

Portanto, tanto a esperança condicional derivada da teoria normal quanto o modelo de regressão clássica produzem exatamente os mesmos preditores lineares.

Argumento análogo mostra que os melhores preditores lineares das respostas nas duas formulações multivariadas de regressão múltipla também são idênticos.

Exemplo 7.15: Duas abordagens produzem o mesmo preditor linear

Os dados computacionais com a resposta única \(Y_{1}\) (tempo de CPU) foram analisados no Exemplo 7.6 utilizando o modelo clássico de regressão linear.

Os mesmos dados foram reanalisados no Exemplo 7.12, assumindo que as variáveis \(Y_{1}\), \(Z_{1}\) e \(Z_{2}\) são conjuntamente normais.
Assim, o melhor preditor de \(Y_{1}\) é a média condicional de \(Y_{1}\) dado \((z_{1}, z_{2})\).

Ambas as abordagens resultam no mesmo preditor:

\[ \hat{y} = 8.42 + 1.08z_{1} + 0.42z_{2} \] Embora as duas formulações do problema de predição linear resultem nas mesmas equações de predição, elas diferem conceitualmente.

Nos modelos (7-3) ou (7-23), os valores das variáveis preditoras são fixos, determinados pelo pesquisador.

No modelo de esperança condicional (7-51) ou (7-53), as variáveis preditoras são aleatórias e observadas juntamente com as respostas.

As suposições do segundo modelo são mais restritivas, porém produzem um preditor ótimo entre todas as possíveis escolhas, não apenas entre os preditores lineares.

As equações de regressão multivariada podem ser expressas em termos dos vetores de médias amostrais \(\overline{\mathbf{y}}\) e \(\overline{\mathbf{z}}\), e das somas de quadrados e produtos cruzados amostrais:

\[ \begin{align} \begin{bmatrix} \displaystyle\sum_{j=1}^{n}(\mathbf{y}_{j} - \overline{\mathbf{y}})(\mathbf{y}_{j} - \overline{\mathbf{y}})^{\prime} & \displaystyle\sum_{j=1}^{n}(\mathbf{y}_{j} - \overline{\mathbf{y}})(\mathbf{z}_{j} - \overline{\mathbf{z}})^{\prime} \\[10pt] \displaystyle\sum_{j=1}^{n}(\mathbf{z}_{j} - \overline{\mathbf{z}})(\mathbf{y}_{j} - \overline{\mathbf{y}})^{\prime} & \displaystyle\sum_{j=1}^{n}(\mathbf{z}_{j} - \overline{\mathbf{z}})(\mathbf{z}_{j} - \overline{\mathbf{z}})^{\prime} \end{bmatrix} &= \begin{bmatrix} \mathbf{y}^{\prime}\mathbf{y}_{c} & \mathbf{y}^{\prime}\mathbf{z}_{c2} \\ \mathbf{z}_{c2}^{\prime}\mathbf{y}_{c} & \mathbf{z}_{c2}^{\prime}\mathbf{z}_{c2} \end{bmatrix}\\ &= n \begin{bmatrix} \hat{\boldsymbol{\Sigma}}_{\mathbf{Y}\mathbf{Y}} & \hat{\boldsymbol{\Sigma}}_{\mathbf{Y}\mathbf{Z}} \\ \hat{\boldsymbol{\Sigma}}_{\mathbf{Z}\mathbf{Y}} & \hat{\boldsymbol{\Sigma}}_{\mathbf{Z}\mathbf{Z}} \end{bmatrix} \end{align} \]

Essas são as únicas informações necessárias para calcular os coeficientes de regressão estimados e suas covariâncias.
Entretanto, parte essencial da análise de regressão é a verificação do modelo, que exige o cálculo dos resíduos com todos os dados originais.

Modelos de Regressão Múltipla com Erros Dependentes do Tempo

• Análise de Série Temporal Aplicada à Medicina em R

Para dados coletados ao longo do tempo, as observações em períodos distintos podem ser relacionadas ou autocorrelacionadas.
Em um contexto de regressão, isso implica que as observações da variável dependente (ou os erros) não são independentes.
A dependência temporal nas observações pode invalidar inferências feitas sob a suposição usual de independência.

De forma análoga, ajustes de regressão podem ser enganosos quando os modelos são aplicados a dados ordenados no tempo sem levar em conta a dependência temporal.
No exemplo a seguir, mostra-se como detectar e incorporar essa dependência em um modelo de regressão múltipla.

Exemplo 7.16: Incorporação de erros dependentes do tempo em um modelo de regressão

Empresas de energia devem garantir o suprimento de gás natural suficiente para aquecer residências e empresas, especialmente nos dias mais frios do ano.
Parte do planejamento envolve prever o envio de gás (\(Y\), Sendout) em função de fatores meteorológicos e sazonais, como temperatura e final de semana.

Um índice comum de temperatura é o degree heating day (DHD), definido por

\[ \text{DHD} = 65 - \text{temperatura média diária} \]

Um valor alto de DHD indica um dia frio.
A velocidade do vento (Windspeed) também pode afetar o consumo de gás.
Como o consumo tende a cair nos fins de semana, inclui-se uma variável indicadora (Weekend) que assume 1 para fins de semana e 0 para dias úteis.

Os dados para um inverno de uma grande cidade do norte estão resumidos parcialmente na Tabela 7.4 (com \(n = 63\) observações):

\(Y\) (Sendout)	\(Z_1\) (DHD)	\(Z_2\) (DHDLag)	\(Z_3\) (Windspeed)	\(Z_4\) (Weekend)
227	32	30	12	1
236	31	32	8	1
228	30	31	8	0
252	34	30	8	0
238	28	34	12	0
⋮	⋮	⋮	⋮	⋮
333	46	41	8	0
266	33	46	8	0
280	38	33	18	0
386	52	38	22	0
415	57	52	18	0

O modelo de regressão linear múltipla proposto é:

\[ \begin{align} \text{Sendout}_t &= \beta_0 + \beta_1\,\text{DHD}_t + \beta_2\,\text{DHDLag}_t + \\ &\quad\beta_3\,\text{Windspeed}_t - \beta_4\,\text{Weekend}_t+ \varepsilon_t \end{align} \] Sendo que \(\{ \varepsilon_t \}_{t=1}^{T} \sim \mathcal{N}\text{IID}(0,\sigma^2)\) e \(T=415\).

O modelo de regressão linear múltipla final estimado por OLS é:

\[ \begin{align} \widehat{\text{Sendout}} &= 1.858 + 5.874\,\text{DHD} + 1.405\,\text{DHDLag} + \\ &\quad1.315\,\text{Windspeed} - 15.857\,\text{Weekend} \end{align} \]

com \(R^{2} = 0.95\).

Excetuando o intercepto, apenas a inclinação de Windspeed é não significante (com nível de significância de Bonferroni igual a \(0.05/4=0.0125\)).

Entretanto, ao calcular a autocorrelação de primeira defasagem dos resíduos (\(\phi\)), obtém-se

\[ \hat{\phi} = \frac{\sum_{j=2}^{n} \hat{\varepsilon}_{j}\hat{\varepsilon}_{j-1}}{\sum_{j=1}^{n}\hat{\varepsilon}_{j}^{2}} = 0.52 \]

O teste de Durbin–Watson testa autocorrelação de primeira ordem nos resíduos. A hipótese nula de ausência de autocorrelação de defasagem 1 foi rejeitada (DW = 0.95, p-value = 1.77e-06).

O resultado do teste de Box-Pierce da hipótese nula do resíduo ser um processo de ruído branco é \(X^2(12)=45, \;p <0.001\), indicando que há evidência de autocorrelação significante nas defasagens de 1 a 12.

Portanto, há dependência nos resíduos, indicando que o modelo clássico de regressão linear pode não ser adequado sem ajustes para autocorrelação.

A autocorrelação de primeira defasagem, \(\hat{\phi} = 0.52\), é excessiva para ser ignorada. Esse tipo de dependência invalida os testes t e os valores p associados aos coeficientes do modelo de regressão linear múltipla.

O primeiro passo para corrigir o modelo é substituir os erros independentes por uma série de ruído possivelmente dependente no tempo, denotada por \(\varepsilon_{t}\).
Propõe-se então um modelo autorregressivo de ordem 1 para os \(\varepsilon_{t}\), relacionando cada termo ao seu valor anterior \(\varepsilon_{t-1}\) e a um ruído branco \(\eta_{t}\):

\[ \varepsilon_{t} = \phi\varepsilon_{t-1} + \eta_{t} \]

sendo que \(\{\eta_{t} \}_{t=1}^{T} \sim \mathcal{N}\text{IID}(0,\sigma^2)\).

Essa forma é chamada de modelo autorregressivo (AR).

O modelo ajustado para o envio de gás (Sendout) com estrutura de ruído autorregressiva de ordem 1, i.e., modelo SARIMAX ou modelo de regressão linear múltipla com resíduo com estrutura SARIMA, é:

\[ \begin{align} \widehat{\text{Sendout}} &= 2.130 + 5.909\,\text{DHD} + 1.334\,\text{DHDLag} +\\ &\quad1.364\,\text{Windspeed} - 11.654\,\text{Weekend} \end{align} \]

e a estrutura de dependência nos erros é estimada como

\[ \varepsilon_{t} = 0.54\,\varepsilon_{t-1} + \eta_{t} \]

com variância do erro estimada como \(\hat{\sigma}^{2} = 240\).

Após o ajuste, a autocorrelação dos resíduos tornou-se desprezível.
O teste de Box-Pierce não rejeita a hipótese de que todas as autocorrelações de defasagens múltiplas de 1–12 sejam simultaneamente nulas, pois \(X^2(12)=15, \;p = 0.2\).

Assim, o ruído foi adequadamente modelado, permitindo inferências válidas sobre os coeficientes do modelo.

Excetuando o intercepto, todas as quatro inclinações são significantes (com nível de significância de Bonferroni igual a \(0.05/4=0.0125\)).

• JW6_Table7.4.R

suppressMessages(suppressWarnings(
  invisible(Sys.setlocale("LC_ALL", "pt_BR.UTF-8"))))
Dados <- read.table("JW6Data/T7-4.DAT", quote="\"", comment.char="")
names(Dados) <- c("Sendout","DHD","DHDLag","Windspeed","Weekend")
n <- nrow(Dados); head(Dados)

# A tibble: 6 × 5
  Sendout   DHD DHDLag Windspeed Weekend
    <int> <int>  <int>     <int>   <int>
1     227    32     30        12       1
2     236    31     32         8       1
3     228    30     31         8       0
4     252    34     30         8       0
5     238    28     34        12       0
6     195    24     28         8       0

fit <- lm(Sendout ~ DHD + DHDLag + Windspeed + Weekend, data = Dados)
print(summary(fit), digits=3)

Call:
lm(formula = Sendout ~ DHD + DHDLag + Windspeed + Weekend, data = Dados)

Residuals:
   Min     1Q Median     3Q    Max 
-36.52 -13.82  -2.78  13.56  35.83 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)    1.858     11.556    0.16   0.8728    
DHD            5.874      0.291   20.22  < 2e-16 ***
DHDLag         1.405      0.293    4.80  1.2e-05 ***
Windspeed      1.315      0.579    2.27   0.0267 *  
Weekend      -15.857      5.334   -2.97   0.0043 ** 
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 18.3 on 58 degrees of freedom
Multiple R-squared:  0.952, Adjusted R-squared:  0.949 
F-statistic:  288 on 4 and 58 DF,  p-value: <2e-16

round(summary(fit)$r.squared,3)

[1] 0.952

e <- resid(fit) 
phi <- sum(e[-1]*e[-n]) / sum(e^2)
phi <- acf(e)

cat("\nAutocorrelação de defasagem 1 = ", round(phi$acf[2],2), "\n", sep="")

Autocorrelação de defasagem 1 = 0.52

dw <- lmtest::dwtest(fit); print(dw)

    Durbin-Watson test

data:  fit
DW = 0.95101, p-value = 1.77e-06
alternative hypothesis: true autocorrelation is greater than 0

print(Box.test(e, lag=12), digits=4)

    Box-Pierce test

data:  e
X-squared = 45, df = 12, p-value = 1e-05

xreg <- cbind(Dados$DHD, Dados$DHDLag, Dados$Windspeed, Dados$Weekend)
colnames(xreg) <- c("DHD", "DHDLag", "Windspeed", "Weekend")
fitauto <- forecast::auto.arima(Dados$Sendout,
                                stationary=TRUE,
                                ic="bic",
                                lambda=1, # Box-Cox transformation
                                xreg=xreg)

Registered S3 method overwritten by 'quantmod':
  method            from
  as.zoo.data.frame zoo 

print(summary(fitauto), digits=3)

Series: Dados$Sendout 
Regression with ARIMA(1,0,0) errors 
Box Cox transformation: lambda= 1 

Coefficients:
        ar1    DHD  DHDLag  Windspeed  Weekend
      0.540  5.909   1.334      1.364  -11.654
s.e.  0.107  0.209   0.211      0.411    4.535

sigma^2 = 240:  log likelihood = -259.61
AIC=531.22   AICc=532.72   BIC=544.08

Training set error measures:
                    ME     RMSE      MAE        MPE     MAPE      MASE
Training set 0.1189766 14.86674 12.20605 -0.2302351 3.956668 0.2659084
                   ACF1
Training set 0.01206267

print(lmtest::coeftest(fitauto), digits=4)

z test of coefficients:

          Estimate Std. Error z value Pr(>|z|)    
ar1         0.5400     0.1067   5.060 4.20e-07 ***
DHD         5.9088     0.2094  28.223  < 2e-16 ***
DHDLag      1.3339     0.2111   6.318 2.65e-10 ***
Windspeed   1.3641     0.4109   3.320   0.0009 ***
Weekend   -11.6543     4.5348  -2.570   0.0102 *  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

print(Box.test(fitauto$residuals, lag=12), digits=4)

    Box-Pierce test

data:  fitauto$residuals
X-squared = 15, df = 12, p-value = 0.2

\[\Diamond\]

O modelo ajustado pode agora ser usado para previsão do consumo de gás natural, dado um conjunto de valores das variáveis preditoras.
Modelos autorregressivos desse tipo são amplamente implementados em softwares estatísticos modernos (como o R e EViews), que facilitam a estimação de regressões com erros dependentes no tempo.

Modelo de regressão linear múltipla duplamente multivariada

• Matrix normal distribution

• Dutilleul, P (1999) The mle algorithm for the matrix normal distribution. Journal of Statistical Computation and Simulation 64(2): 105–23. https://doi.org/10.1080/00949659908811970

• Computes the density (matrixNormal::dmatnorm), calculates the cumulative distribution function (CDF, matrixNormal::pmatnorm), and generates 1 random number (matrixNormal::rmatnorm) from the matrix normal.

• matrixNormal::I, matrixNormal::J, matrixNormal::tr, matrixNormal::vec

Conforme Gupta & Nagar (1999, p. 55-6), a distribuição normal multivariada matricial ou duplamente multivariada é denotada por:

\[ \mathbf{Y} \sim \mathcal{N}_{m,n}\left(\boldsymbol{\mu}, \mathbf{\Sigma}, \boldsymbol{\Psi}\right) \]

sendo que:

• \(\mathbf{Y}\): matriz aleatória \(n\times m\), sendo \(n\) o número de unidades experimentais e \(m\) o número de medidas ou respostas;
• \(\boldsymbol{\mu}\): matriz \(n\times m\) de média;
• \(\mathbf{\Sigma}\): matriz \(m\times m\) de covariância entre medidas (colunas);
• \(\boldsymbol{\Psi}\): matriz \(n\times n\) de covariância entre unidades experimentais (linhas).

A função de densidade é

\[ f_\mathbf{Y}(\mathbf{y}) = (2\pi)^{-\frac{mn}{2}} |\mathbf{\Sigma}|^{-\frac{n}{2}} |\boldsymbol{\Psi}|^{-\frac{m}{2}} \exp\left[-\frac{1}{2}\mathrm{tr}\left(\boldsymbol{\Psi}^{-1}(\mathbf{Y}-\boldsymbol{\mu})^{\prime} \mathbf{\Sigma}^{-1}(\mathbf{Y}-\boldsymbol{\mu})\right)\right] \]

Essa distribuição generaliza a normal multivariada vetorial para o caso matricial.

O modelo de regressão linear múltiplo multivariada é:

\[ \underset{n\times m}{\mathbf{Y}} = \underset{n\times(r+1)}{\mathbf{z}}\, \underset{(r+1)\times m}{\boldsymbol{\beta}} + \underset{n\times m}{\boldsymbol{\varepsilon}} \]

\[ \begin{align} \underset{n\times m}{\mathbf{Y}} &\sim \mathcal{N}_{m,n}\left(\underset{n\times m}{\boldsymbol{\mu}}, \underset{m\times m}{\mathbf{\Sigma}},\underset{n\times n}{\boldsymbol{\Psi}}\right)\\ \underset{nm}{\text{vec}(\mathbf{Y})} &\sim \mathcal{N}_{nm}\left(\underset{nm}{\text{vec}(\boldsymbol{\mu})}, \underset{nm\times nm}{\boldsymbol{\Psi}\otimes \mathbf{\Sigma}}\right)\\\\ \underset{nm}{\text{vec}(\boldsymbol{\varepsilon})} &\sim \mathcal{N}_{nm}\left(\underset{nm}{\text{vec}(\mathbf{0})}, \underset{nm\times nm}{\boldsymbol{\Psi}\otimes \mathbf{\Sigma}}\right) \end{align} \]

O caso particular da regressão linear múltipla multivariada clássica ocorre se as observações multivariadas (erros entre as unidades experimentais) são independentes, i.e., \(\boldsymbol{\Psi}=\mathbf{I}\):

\[ \begin{align} \left\{\underset{1\times m}{\boldsymbol{\varepsilon}_i^{\prime}}\right\}_{i=1}^{n}&\sim \mathcal{N}_m\text{IID}\left(\underset{m\times 1}{\mathbf{0}},\mathbf{\Sigma}\right)\\ \mathbb{C}(\boldsymbol{\varepsilon}_i^{\prime}, \boldsymbol{\varepsilon}_j^{\prime})&=\mathbf{0},\quad i\ne j\\\\ \left\{\underset{1\times m}{\mathbf{Y}_i^{\prime}}\right\}_{i=1}^{n}&\sim \mathcal{N}_m\text{ID}\left(\underset{m\times 1}{\boldsymbol{\mu}_i},\mathbf{\Sigma}\right)\\ \mathbb{C}(\mathbf{Y}_i^{\prime}, \mathbf{Y}_j^{\prime})&=\mathbf{0},\quad i\ne j \end{align} \] \[ \begin{align} \underset{nm}{\text{vec}(\mathbf{Y})} &\sim \mathcal{N}_{nm}\left(\underset{nm}{\text{vec}(\boldsymbol{\mu})}, \underset{nm\times nm}{\boldsymbol{\mathbf{I}}\otimes \mathbf{\Sigma}}\right)\\\\ \underset{nm}{\text{vec}(\boldsymbol{\varepsilon})} &\sim \mathcal{N}_{nm}\left(\underset{nm}{\text{vec}(\mathbf{0})}, \underset{nm\times nm}{\boldsymbol{\mathbf{I}}\otimes \mathbf{\Sigma}}\right) \end{align} \]

O estimador OLS é dado por:

\[ \begin{align} \hat{\boldsymbol{\beta}} &= (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{Y}\\ \text{vec}(\hat{\boldsymbol{\beta}})&=\left(\underset{m\times m}{\mathbf{I}}\otimes \left((\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\right)\right)\text{vec}(\mathbf{Y})\\ \\ \mathbb{E}(\hat{\boldsymbol{\beta}})&=\boldsymbol{\beta}\\ \mathbb{C}(\hat{\boldsymbol{\beta}})&=\mathbf{\Sigma}\otimes (\mathbf{z}^{\prime}\mathbf{z})^{-1} \end{align} \] Sob normalidade multivariada, a distribuição de \(\hat{\boldsymbol{\beta}}\) é

\[ \hat{\boldsymbol{\beta}} \sim \mathcal{N}_{m,r+1}(\boldsymbol{\beta}, \mathbf{\Sigma}, (\mathbf{z}^{\prime}\mathbf{z})^{-1}) \]

Na forma vetorizada:

\[ \text{vec}(\hat{\boldsymbol{\beta}}) \sim \mathcal{N}_{m(r+1)}(\text{vec}(\boldsymbol{\beta}),\, \mathbf{\Sigma}\otimes (\mathbf{z}^{\prime}\mathbf{z})^{-1}) \]

Cada coluna de \(\hat{\boldsymbol{\beta}}\), digamos \(\hat{\boldsymbol{\beta}}_{(k)}\), segue

\[ \hat{\boldsymbol{\beta}}_{(i)} \sim \mathcal{N}_{r+1}(\boldsymbol{\beta}_{(i)},\, \sigma_{ii}(\mathbf{z}^{\prime}\mathbf{z})^{-1}) \]

e a covariância entre colunas é

\[ \mathbb{C}(\hat{\boldsymbol{\beta}}_{(i)},\hat{\boldsymbol{\beta}}_{(j)}) = \sigma_{ij}(\mathbf{z}^{\prime}\mathbf{z})^{-1}, \quad i\ne j \]

Sem normalidade, \(\text{vec}(\hat{\boldsymbol{\beta}})\) converge assintoticamente para a mesma distribuição normal com matriz de covariância \(\mathbf{\Sigma}\otimes (\mathbf{z}^{\prime}\mathbf{z})^{-1}\).

O modelo de regressão linear múltiplo multivariada é separável por respostas, quando as \(m\) variáveis dependentes compartilham a mesma matriz de planejamento \(\mathbf{z}\).

Assuma o modelo multivariado:

\[ \mathbf{Y} = \mathbf{z}\,\boldsymbol{\beta} + \boldsymbol{\varepsilon}, \qquad \text{vec}(\boldsymbol{\varepsilon}) \sim \mathcal{N}_{nm}\big(\mathbf{0},\, \mathbf{I}_n \otimes \mathbf{\Sigma}\big) \] em que \(\mathbf{Y}\in\mathbb{R}^{n\times m}\), \(\mathbf{z}\in\mathbb{R}^{n\times p}\), \(\boldsymbol{\beta}\in\mathbb{R}^{p\times m}\), e \(\mathbf{\Sigma}\in\mathbb{R}^{m\times m}\) é a covariância entre respostas na mesma unidade experimental.

Separabilidade (estimação):

O estimador OLS se decompõe coluna a coluna:

\[ \hat{\boldsymbol{\beta}} = (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{Y} \quad\Longrightarrow\quad \hat{\boldsymbol{\beta}}_{(k)} = (\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{Y}_{(k)},\quad k=1,\dots,m \]

Logo, é possível ajustar \(m\) regressões separadas, uma para cada \(\mathbf{Y}_{(k)}\), usando o mesmo operador \((\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\). Os coeficientes obtidos assim coincidem com os do ajuste multivariado conjunto.

Independência vs. separabilidade:

A presença do fator \(\mathbf{I}_n \otimes \mathbf{\Sigma}\) implica independência entre unidades experimentais (linhas), mas permite correlação entre respostas. A covariância dos estimadores é

\[ \mathbb{C}\big(\hat{\boldsymbol{\beta}}\big) = \mathbf{\Sigma} \otimes (\mathbf{z}^{\prime}\mathbf{z})^{-1} \] Portanto, as regressões são separáveis para estimar \(\boldsymbol{\beta}\), mas não necessariamente independentes entre si: se \(\mathbf{\Sigma}\) não for diagonal, os vetores \(\hat{\boldsymbol{\beta}}_{(k)}\) são correlacionados.

Consequência prática:

Sim, pode-se ajustar regressões separadas para cada variável resposta \(\mathbf{Y}_{(k)}\). Contudo, quando \(\mathbf{\Sigma}\) é não diagonal, testes conjuntos sobre \(\boldsymbol{\beta}\) (por exemplo, hipóteses envolvendo várias respostas simultaneamente) devem usar procedimentos multivariados (Wilks, Pillai, Hotelling–Lawley, Roy). Para hipóteses univariadas por resposta, as inferências dos modelos separados são válidas.

Resumo:

1. Separável: estimadores por coluna coincidem com o ajuste conjunto.
2. Independência entre respostas só ocorre se \(\mathbf{\Sigma}\) é diagonal.
3. Para inferência conjunta sobre várias respostas, use MANOVA/ MRLM (Multivariate Regression Linear Model); para inferência por resposta, as regressões separadas bastam.

Teste de razão de verossimilhanças

\(\mathbf{E}\) (matriz de erro, SSCP) no MRLM é

\[ \mathbf{E}=(\mathbf{Y}-\mathbf{z}\hat{\boldsymbol{\beta}}_1)^{\prime}(\mathbf{Y}-\mathbf{z}\hat{\boldsymbol{\beta}}_1) \in\mathbb{R}^{m\times m} \]

sendo que

\[ \hat{\boldsymbol{\beta}}_1=(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{z}^{\prime}\mathbf{Y} \]

Sob \(H_0:\ \underset{q\times (r+1)}{\mathbf{C}}\boldsymbol{\beta}=0\), sendo \(\text{rank}(\mathbf{C})=q\), com

\[ \hat{\mathbf{R}}=\mathbf{C}\hat{\boldsymbol{\beta}}_1\qquad \mathbf{M}=\big[\mathbf{C}(\mathbf{z}^{\prime}\mathbf{z})^{-1}\mathbf{C}^{\prime}\big]^{-1}\qquad \mathbf{H}=\hat{\mathbf{R}}^{\prime}\mathbf{M}\hat{\mathbf{R}} \] vale

\[ \mathbf{E}_0=(\mathbf{Y}-\mathbf{z}\hat{\boldsymbol{\beta}}_0)^{\prime}(\mathbf{Y}-\mathbf{z}\hat{\boldsymbol{\beta}}_0)=\mathbf{E}+\mathbf{H} \]

Estimativas de covariância residual:

\[ \hat{\boldsymbol{\Sigma}}_1=\frac{\mathbf{E}}{n-(r+1)}\qquad \hat{\boldsymbol{\Sigma}}_0=\frac{\mathbf{E}+\mathbf{H}}{n-(r+1)} \]

Lambda de Wilks (LRT):

\[ \Lambda=\frac{|\mathbf{E}|}{|\mathbf{E}+\mathbf{H}|}\qquad -2\ln\Lambda\ \dot{\sim}\ \chi^2_{qm}\ \]

Exewmplo: Estudantes do curso de medicina

Assuma respostas \(m=2\) (Anatomia, Fisiologia) para \(n=n_1+n_2\) estudantes em duas turmas. Com preditores \(\mathbf{Z}\in\mathbb{R}^{n\times p}\) e coeficientes \(\boldsymbol{\beta}\in\mathbb{R}^{p\times m}\):

\[ \mathbf{Y}\sim\mathcal{N}_{m,n}\left(\mathbf{Z}\boldsymbol{\beta},\,\boldsymbol{\Sigma},\,\boldsymbol{\Psi}\right),\qquad \mathrm{vec}(\mathbf{Y})\sim\mathcal{N}_{nm}\left(\mathrm{vec}(\mathbf{Z}\boldsymbol{\beta}),\,\boldsymbol{\Psi}\otimes\boldsymbol{\Sigma}\right). \] Aqui, \(\boldsymbol{\Sigma}\,(m\times m)\) é a covariância entre disciplinas e \(\boldsymbol{\Psi}\,(n\times n)\) é a covariância entre estudantes.

Permitimos heterogeneidade por turma (bloco-diagonal):

\[ \boldsymbol{\Psi}=\operatorname{bdiag}(\boldsymbol{\Psi}_1,\boldsymbol{\Psi}_2),\quad \boldsymbol{\Psi}_g=\sigma_{b,g}^{2}\,\mathbf{J}_{n_g}+\sigma_{e,g}^{2}\,\mathbf{I}_{n_g}\ (\text{simetria composta, CS}). \] A correlação intraturma é \(\rho_g=\sigma_{b,g}^2/(\sigma_{b,g}^2+\sigma_{e,g}^2)\).

Para testes sob \(\boldsymbol{\Psi}\neq\mathbf{I}\), use GLS por branqueamento: seja \(\mathbf{L}\) tal que \(\mathbf{L}\mathbf{L}'=\boldsymbol{\Psi}\) (e.g., Cholesky). Defina

\[ \mathbf{Y}^*=\mathbf{L}^{-1}\mathbf{Y},\quad \mathbf{Z}^*=\mathbf{L}^{-1}\mathbf{Z}. \] Então \(\mathrm{vec}(\mathbf{Y}^*)\sim\mathcal{N}_{nm}(\mathrm{vec}(\mathbf{Z}^*\boldsymbol{\beta}),\,\mathbf{I}_n\otimes\boldsymbol{\Sigma})\), permitindo MANOVA padrão (Wilks/Pillai) sobre Turma, Sexo, Idade.

set.seed(20251107)
suppressPackageStartupMessages({
  library(Matrix)         # bdiag, solve, chol
  library(matrixNormal)   # rmatnorm
  library(car)            # Anova (MANOVA Wilks/Pillai)
})

Warning: pacote 'matrixNormal' foi compilado no R versão 4.5.2

#Parâmetros e Ψ heterogênea por turma
n1 <- 90; n2 <- 90; n <- n1 + n2
m  <- 2
p  <- 4   # Intercepto, Sexo, Idade, Turma

# Preditores
Turma <- factor(c(rep(1, n1), rep(2, n2)))
Sexo  <- c(rbinom(n1,1,0.45), rbinom(n2,1,0.50))
Idade <- c(rnorm(n1, mean=21.5, sd=1.8),
           rnorm(n2, mean=21.7, sd=1.6))

# Matriz de desenho (colunas em ordem: Intercepto, Sexo, Idade, Turma2 indicador binário)
Turma2 <- as.integer(Turma == 2)
Z <- cbind(Intercepto = 1, Sexo = Sexo, Idade = Idade, Turma2 = Turma2)

# Coeficientes verdadeiros (p x m): col1=Anatomia, col2=Fisiologia
B <- rbind(
  c(65,  68),   # interceptos
  c(-2,  -1),   # efeito de Sexo (=1)
  c( 0.6, 0.4), # efeito de Idade
  c( 1.5, 2.0)  # efeito de Turma2 (diferença média da turma 2 vs 1)
)

# Σ (entre disciplinas)
Sigma <- matrix(c(25, 12,
                  12, 20), 
                2, 2,
                byrow = TRUE)
Sigma

     [,1] [,2]
[1,]   25   12
[2,]   12   20

# Ψ por turma (CS), HETEROGÊNEA
sig_b1 <- 5;  sig_e1 <- 10   # turma 1
sig_b2 <- 7;  sig_e2 <- 12   # turma 2
Psi1 <- sig_b1 * matrix(1, n1, n1) + sig_e1 * diag(n1)
Psi2 <- sig_b2 * matrix(1, n2, n2) + sig_e2 * diag(n2)
Psi  <- as.matrix(Matrix::bdiag(Psi1, Psi2))
Psi

       [,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8] [,9] [,10] [,11] [,12] [,13]
  [1,]   15    5    5    5    5    5    5    5    5     5     5     5     5
  [2,]    5   15    5    5    5    5    5    5    5     5     5     5     5
  [3,]    5    5   15    5    5    5    5    5    5     5     5     5     5
  [4,]    5    5    5   15    5    5    5    5    5     5     5     5     5
  [5,]    5    5    5    5   15    5    5    5    5     5     5     5     5
  [6,]    5    5    5    5    5   15    5    5    5     5     5     5     5
  [7,]    5    5    5    5    5    5   15    5    5     5     5     5     5
  [8,]    5    5    5    5    5    5    5   15    5     5     5     5     5
  [9,]    5    5    5    5    5    5    5    5   15     5     5     5     5
 [10,]    5    5    5    5    5    5    5    5    5    15     5     5     5
 [11,]    5    5    5    5    5    5    5    5    5     5    15     5     5
 [12,]    5    5    5    5    5    5    5    5    5     5     5    15     5
 [13,]    5    5    5    5    5    5    5    5    5     5     5     5    15
 [14,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [15,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [16,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [17,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [18,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [19,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [20,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [21,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [22,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [23,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [24,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [25,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [26,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [27,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [28,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [29,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [30,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [31,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [32,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [33,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [34,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [35,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [36,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [37,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [38,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [39,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [40,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [41,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [42,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [43,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [44,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [45,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [46,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [47,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [48,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [49,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [50,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [51,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [52,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [53,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [54,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [55,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [56,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [57,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [58,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [59,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [60,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [61,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [62,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [63,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [64,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [65,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [66,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [67,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [68,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [69,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [70,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [71,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [72,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [73,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [74,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [75,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [76,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [77,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [78,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [79,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [80,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [81,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [82,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [83,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [84,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [85,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [86,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [87,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [88,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [89,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [90,]    5    5    5    5    5    5    5    5    5     5     5     5     5
 [91,]    0    0    0    0    0    0    0    0    0     0     0     0     0
 [92,]    0    0    0    0    0    0    0    0    0     0     0     0     0
 [93,]    0    0    0    0    0    0    0    0    0     0     0     0     0
 [94,]    0    0    0    0    0    0    0    0    0     0     0     0     0
 [95,]    0    0    0    0    0    0    0    0    0     0     0     0     0
 [96,]    0    0    0    0    0    0    0    0    0     0     0     0     0
 [97,]    0    0    0    0    0    0    0    0    0     0     0     0     0
 [98,]    0    0    0    0    0    0    0    0    0     0     0     0     0
 [99,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[100,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[101,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[102,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[103,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[104,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[105,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[106,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[107,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[108,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[109,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[110,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[111,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[112,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[113,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[114,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[115,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[116,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[117,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[118,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[119,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[120,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[121,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[122,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[123,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[124,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[125,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[126,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[127,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[128,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[129,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[130,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[131,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[132,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[133,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[134,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[135,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[136,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[137,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[138,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[139,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[140,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[141,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[142,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[143,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[144,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[145,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[146,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[147,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[148,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[149,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[150,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[151,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[152,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[153,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[154,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[155,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[156,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[157,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[158,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[159,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[160,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[161,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[162,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[163,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[164,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[165,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[166,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[167,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[168,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[169,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[170,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[171,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[172,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[173,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[174,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[175,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[176,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[177,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[178,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[179,]    0    0    0    0    0    0    0    0    0     0     0     0     0
[180,]    0    0    0    0    0    0    0    0    0     0     0     0     0
       [,14] [,15] [,16] [,17] [,18] [,19] [,20] [,21] [,22] [,23] [,24] [,25]
  [1,]     5     5     5     5     5     5     5     5     5     5     5     5
  [2,]     5     5     5     5     5     5     5     5     5     5     5     5
  [3,]     5     5     5     5     5     5     5     5     5     5     5     5
  [4,]     5     5     5     5     5     5     5     5     5     5     5     5
  [5,]     5     5     5     5     5     5     5     5     5     5     5     5
  [6,]     5     5     5     5     5     5     5     5     5     5     5     5
  [7,]     5     5     5     5     5     5     5     5     5     5     5     5
  [8,]     5     5     5     5     5     5     5     5     5     5     5     5
  [9,]     5     5     5     5     5     5     5     5     5     5     5     5
 [10,]     5     5     5     5     5     5     5     5     5     5     5     5
 [11,]     5     5     5     5     5     5     5     5     5     5     5     5
 [12,]     5     5     5     5     5     5     5     5     5     5     5     5
 [13,]     5     5     5     5     5     5     5     5     5     5     5     5
 [14,]    15     5     5     5     5     5     5     5     5     5     5     5
 [15,]     5    15     5     5     5     5     5     5     5     5     5     5
 [16,]     5     5    15     5     5     5     5     5     5     5     5     5
 [17,]     5     5     5    15     5     5     5     5     5     5     5     5
 [18,]     5     5     5     5    15     5     5     5     5     5     5     5
 [19,]     5     5     5     5     5    15     5     5     5     5     5     5
 [20,]     5     5     5     5     5     5    15     5     5     5     5     5
 [21,]     5     5     5     5     5     5     5    15     5     5     5     5
 [22,]     5     5     5     5     5     5     5     5    15     5     5     5
 [23,]     5     5     5     5     5     5     5     5     5    15     5     5
 [24,]     5     5     5     5     5     5     5     5     5     5    15     5
 [25,]     5     5     5     5     5     5     5     5     5     5     5    15
 [26,]     5     5     5     5     5     5     5     5     5     5     5     5
 [27,]     5     5     5     5     5     5     5     5     5     5     5     5
 [28,]     5     5     5     5     5     5     5     5     5     5     5     5
 [29,]     5     5     5     5     5     5     5     5     5     5     5     5
 [30,]     5     5     5     5     5     5     5     5     5     5     5     5
 [31,]     5     5     5     5     5     5     5     5     5     5     5     5
 [32,]     5     5     5     5     5     5     5     5     5     5     5     5
 [33,]     5     5     5     5     5     5     5     5     5     5     5     5
 [34,]     5     5     5     5     5     5     5     5     5     5     5     5
 [35,]     5     5     5     5     5     5     5     5     5     5     5     5
 [36,]     5     5     5     5     5     5     5     5     5     5     5     5
 [37,]     5     5     5     5     5     5     5     5     5     5     5     5
 [38,]     5     5     5     5     5     5     5     5     5     5     5     5
 [39,]     5     5     5     5     5     5     5     5     5     5     5     5
 [40,]     5     5     5     5     5     5     5     5     5     5     5     5
 [41,]     5     5     5     5     5     5     5     5     5     5     5     5
 [42,]     5     5     5     5     5     5     5     5     5     5     5     5
 [43,]     5     5     5     5     5     5     5     5     5     5     5     5
 [44,]     5     5     5     5     5     5     5     5     5     5     5     5
 [45,]     5     5     5     5     5     5     5     5     5     5     5     5
 [46,]     5     5     5     5     5     5     5     5     5     5     5     5
 [47,]     5     5     5     5     5     5     5     5     5     5     5     5
 [48,]     5     5     5     5     5     5     5     5     5     5     5     5
 [49,]     5     5     5     5     5     5     5     5     5     5     5     5
 [50,]     5     5     5     5     5     5     5     5     5     5     5     5
 [51,]     5     5     5     5     5     5     5     5     5     5     5     5
 [52,]     5     5     5     5     5     5     5     5     5     5     5     5
 [53,]     5     5     5     5     5     5     5     5     5     5     5     5
 [54,]     5     5     5     5     5     5     5     5     5     5     5     5
 [55,]     5     5     5     5     5     5     5     5     5     5     5     5
 [56,]     5     5     5     5     5     5     5     5     5     5     5     5
 [57,]     5     5     5     5     5     5     5     5     5     5     5     5
 [58,]     5     5     5     5     5     5     5     5     5     5     5     5
 [59,]     5     5     5     5     5     5     5     5     5     5     5     5
 [60,]     5     5     5     5     5     5     5     5     5     5     5     5
 [61,]     5     5     5     5     5     5     5     5     5     5     5     5
 [62,]     5     5     5     5     5     5     5     5     5     5     5     5
 [63,]     5     5     5     5     5     5     5     5     5     5     5     5
 [64,]     5     5     5     5     5     5     5     5     5     5     5     5
 [65,]     5     5     5     5     5     5     5     5     5     5     5     5
 [66,]     5     5     5     5     5     5     5     5     5     5     5     5
 [67,]     5     5     5     5     5     5     5     5     5     5     5     5
 [68,]     5     5     5     5     5     5     5     5     5     5     5     5
 [69,]     5     5     5     5     5     5     5     5     5     5     5     5
 [70,]     5     5     5     5     5     5     5     5     5     5     5     5
 [71,]     5     5     5     5     5     5     5     5     5     5     5     5
 [72,]     5     5     5     5     5     5     5     5     5     5     5     5
 [73,]     5     5     5     5     5     5     5     5     5     5     5     5
 [74,]     5     5     5     5     5     5     5     5     5     5     5     5
 [75,]     5     5     5     5     5     5     5     5     5     5     5     5
 [76,]     5     5     5     5     5     5     5     5     5     5     5     5
 [77,]     5     5     5     5     5     5     5     5     5     5     5     5
 [78,]     5     5     5     5     5     5     5     5     5     5     5     5
 [79,]     5     5     5     5     5     5     5     5     5     5     5     5
 [80,]     5     5     5     5     5     5     5     5     5     5     5     5
 [81,]     5     5     5     5     5     5     5     5     5     5     5     5
 [82,]     5     5     5     5     5     5     5     5     5     5     5     5
 [83,]     5     5     5     5     5     5     5     5     5     5     5     5
 [84,]     5     5     5     5     5     5     5     5     5     5     5     5
 [85,]     5     5     5     5     5     5     5     5     5     5     5     5
 [86,]     5     5     5     5     5     5     5     5     5     5     5     5
 [87,]     5     5     5     5     5     5     5     5     5     5     5     5
 [88,]     5     5     5     5     5     5     5     5     5     5     5     5
 [89,]     5     5     5     5     5     5     5     5     5     5     5     5
 [90,]     5     5     5     5     5     5     5     5     5     5     5     5
 [91,]     0     0     0     0     0     0     0     0     0     0     0     0
 [92,]     0     0     0     0     0     0     0     0     0     0     0     0
 [93,]     0     0     0     0     0     0     0     0     0     0     0     0
 [94,]     0     0     0     0     0     0     0     0     0     0     0     0
 [95,]     0     0     0     0     0     0     0     0     0     0     0     0
 [96,]     0     0     0     0     0     0     0     0     0     0     0     0
 [97,]     0     0     0     0     0     0     0     0     0     0     0     0
 [98,]     0     0     0     0     0     0     0     0     0     0     0     0
 [99,]     0     0     0     0     0     0     0     0     0     0     0     0
[100,]     0     0     0     0     0     0     0     0     0     0     0     0
[101,]     0     0     0     0     0     0     0     0     0     0     0     0
[102,]     0     0     0     0     0     0     0     0     0     0     0     0
[103,]     0     0     0     0     0     0     0     0     0     0     0     0
[104,]     0     0     0     0     0     0     0     0     0     0     0     0
[105,]     0     0     0     0     0     0     0     0     0     0     0     0
[106,]     0     0     0     0     0     0     0     0     0     0     0     0
[107,]     0     0     0     0     0     0     0     0     0     0     0     0
[108,]     0     0     0     0     0     0     0     0     0     0     0     0
[109,]     0     0     0     0     0     0     0     0     0     0     0     0
[110,]     0     0     0     0     0     0     0     0     0     0     0     0
[111,]     0     0     0     0     0     0     0     0     0     0     0     0
[112,]     0     0     0     0     0     0     0     0     0     0     0     0
[113,]     0     0     0     0     0     0     0     0     0     0     0     0
[114,]     0     0     0     0     0     0     0     0     0     0     0     0
[115,]     0     0     0     0     0     0     0     0     0     0     0     0
[116,]     0     0     0     0     0     0     0     0     0     0     0     0
[117,]     0     0     0     0     0     0     0     0     0     0     0     0
[118,]     0     0     0     0     0     0     0     0     0     0     0     0
[119,]     0     0     0     0     0     0     0     0     0     0     0     0
[120,]     0     0     0     0     0     0     0     0     0     0     0     0
[121,]     0     0     0     0     0     0     0     0     0     0     0     0
[122,]     0     0     0     0     0     0     0     0     0     0     0     0
[123,]     0     0     0     0     0     0     0     0     0     0     0     0
[124,]     0     0     0     0     0     0     0     0     0     0     0     0
[125,]     0     0     0     0     0     0     0     0     0     0     0     0
[126,]     0     0     0     0     0     0     0     0     0     0     0     0
[127,]     0     0     0     0     0     0     0     0     0     0     0     0
[128,]     0     0     0     0     0     0     0     0     0     0     0     0
[129,]     0     0     0     0     0     0     0     0     0     0     0     0
[130,]     0     0     0     0     0     0     0     0     0     0     0     0
[131,]     0     0     0     0     0     0     0     0     0     0     0     0
[132,]     0     0     0     0     0     0     0     0     0     0     0     0
[133,]     0     0     0     0     0     0     0     0     0     0     0     0
[134,]     0     0     0     0     0     0     0     0     0     0     0     0
[135,]     0     0     0     0     0     0     0     0     0     0     0     0
[136,]     0     0     0     0     0     0     0     0     0     0     0     0
[137,]     0     0     0     0     0     0     0     0     0     0     0     0
[138,]     0     0     0     0     0     0     0     0     0     0     0     0
[139,]     0     0     0     0     0     0     0     0     0     0     0     0
[140,]     0     0     0     0     0     0     0     0     0     0     0     0
[141,]     0     0     0     0     0     0     0     0     0     0     0     0
[142,]     0     0     0     0     0     0     0     0     0     0     0     0
[143,]     0     0     0     0     0     0     0     0     0     0     0     0
[144,]     0     0     0     0     0     0     0     0     0     0     0     0
[145,]     0     0     0     0     0     0     0     0     0     0     0     0
[146,]     0     0     0     0     0     0     0     0     0     0     0     0
[147,]     0     0     0     0     0     0     0     0     0     0     0     0
[148,]     0     0     0     0     0     0     0     0     0     0     0     0
[149,]     0     0     0     0     0     0     0     0     0     0     0     0
[150,]     0     0     0     0     0     0     0     0     0     0     0     0
[151,]     0     0     0     0     0     0     0     0     0     0     0     0
[152,]     0     0     0     0     0     0     0     0     0     0     0     0
[153,]     0     0     0     0     0     0     0     0     0     0     0     0
[154,]     0     0     0     0     0     0     0     0     0     0     0     0
[155,]     0     0     0     0     0     0     0     0     0     0     0     0
[156,]     0     0     0     0     0     0     0     0     0     0     0     0
[157,]     0     0     0     0     0     0     0     0     0     0     0     0
[158,]     0     0     0     0     0     0     0     0     0     0     0     0
[159,]     0     0     0     0     0     0     0     0     0     0     0     0
[160,]     0     0     0     0     0     0     0     0     0     0     0     0
[161,]     0     0     0     0     0     0     0     0     0     0     0     0
[162,]     0     0     0     0     0     0     0     0     0     0     0     0
[163,]     0     0     0     0     0     0     0     0     0     0     0     0
[164,]     0     0     0     0     0     0     0     0     0     0     0     0
[165,]     0     0     0     0     0     0     0     0     0     0     0     0
[166,]     0     0     0     0     0     0     0     0     0     0     0     0
[167,]     0     0     0     0     0     0     0     0     0     0     0     0
[168,]     0     0     0     0     0     0     0     0     0     0     0     0
[169,]     0     0     0     0     0     0     0     0     0     0     0     0
[170,]     0     0     0     0     0     0     0     0     0     0     0     0
[171,]     0     0     0     0     0     0     0     0     0     0     0     0
[172,]     0     0     0     0     0     0     0     0     0     0     0     0
[173,]     0     0     0     0     0     0     0     0     0     0     0     0
[174,]     0     0     0     0     0     0     0     0     0     0     0     0
[175,]     0     0     0     0     0     0     0     0     0     0     0     0
[176,]     0     0     0     0     0     0     0     0     0     0     0     0
[177,]     0     0     0     0     0     0     0     0     0     0     0     0
[178,]     0     0     0     0     0     0     0     0     0     0     0     0
[179,]     0     0     0     0     0     0     0     0     0     0     0     0
[180,]     0     0     0     0     0     0     0     0     0     0     0     0
       [,26] [,27] [,28] [,29] [,30] [,31] [,32] [,33] [,34] [,35] [,36] [,37]
  [1,]     5     5     5     5     5     5     5     5     5     5     5     5
  [2,]     5     5     5     5     5     5     5     5     5     5     5     5
  [3,]     5     5     5     5     5     5     5     5     5     5     5     5
  [4,]     5     5     5     5     5     5     5     5     5     5     5     5
  [5,]     5     5     5     5     5     5     5     5     5     5     5     5
  [6,]     5     5     5     5     5     5     5     5     5     5     5     5
  [7,]     5     5     5     5     5     5     5     5     5     5     5     5
  [8,]     5     5     5     5     5     5     5     5     5     5     5     5
  [9,]     5     5     5     5     5     5     5     5     5     5     5     5
 [10,]     5     5     5     5     5     5     5     5     5     5     5     5
 [11,]     5     5     5     5     5     5     5     5     5     5     5     5
 [12,]     5     5     5     5     5     5     5     5     5     5     5     5
 [13,]     5     5     5     5     5     5     5     5     5     5     5     5
 [14,]     5     5     5     5     5     5     5     5     5     5     5     5
 [15,]     5     5     5     5     5     5     5     5     5     5     5     5
 [16,]     5     5     5     5     5     5     5     5     5     5     5     5
 [17,]     5     5     5     5     5     5     5     5     5     5     5     5
 [18,]     5     5     5     5     5     5     5     5     5     5     5     5
 [19,]     5     5     5     5     5     5     5     5     5     5     5     5
 [20,]     5     5     5     5     5     5     5     5     5     5     5     5
 [21,]     5     5     5     5     5     5     5     5     5     5     5     5
 [22,]     5     5     5     5     5     5     5     5     5     5     5     5
 [23,]     5     5     5     5     5     5     5     5     5     5     5     5
 [24,]     5     5     5     5     5     5     5     5     5     5     5     5
 [25,]     5     5     5     5     5     5     5     5     5     5     5     5
 [26,]    15     5     5     5     5     5     5     5     5     5     5     5
 [27,]     5    15     5     5     5     5     5     5     5     5     5     5
 [28,]     5     5    15     5     5     5     5     5     5     5     5     5
 [29,]     5     5     5    15     5     5     5     5     5     5     5     5
 [30,]     5     5     5     5    15     5     5     5     5     5     5     5
 [31,]     5     5     5     5     5    15     5     5     5     5     5     5
 [32,]     5     5     5     5     5     5    15     5     5     5     5     5
 [33,]     5     5     5     5     5     5     5    15     5     5     5     5
 [34,]     5     5     5     5     5     5     5     5    15     5     5     5
 [35,]     5     5     5     5     5     5     5     5     5    15     5     5
 [36,]     5     5     5     5     5     5     5     5     5     5    15     5
 [37,]     5     5     5     5     5     5     5     5     5     5     5    15
 [38,]     5     5     5     5     5     5     5     5     5     5     5     5
 [39,]     5     5     5     5     5     5     5     5     5     5     5     5
 [40,]     5     5     5     5     5     5     5     5     5     5     5     5
 [41,]     5     5     5     5     5     5     5     5     5     5     5     5
 [42,]     5     5     5     5     5     5     5     5     5     5     5     5
 [43,]     5     5     5     5     5     5     5     5     5     5     5     5
 [44,]     5     5     5     5     5     5     5     5     5     5     5     5
 [45,]     5     5     5     5     5     5     5     5     5     5     5     5
 [46,]     5     5     5     5     5     5     5     5     5     5     5     5
 [47,]     5     5     5     5     5     5     5     5     5     5     5     5
 [48,]     5     5     5     5     5     5     5     5     5     5     5     5
 [49,]     5     5     5     5     5     5     5     5     5     5     5     5
 [50,]     5     5     5     5     5     5     5     5     5     5     5     5
 [51,]     5     5     5     5     5     5     5     5     5     5     5     5
 [52,]     5     5     5     5     5     5     5     5     5     5     5     5
 [53,]     5     5     5     5     5     5     5     5     5     5     5     5
 [54,]     5     5     5     5     5     5     5     5     5     5     5     5
 [55,]     5     5     5     5     5     5     5     5     5     5     5     5
 [56,]     5     5     5     5     5     5     5     5     5     5     5     5
 [57,]     5     5     5     5     5     5     5     5     5     5     5     5
 [58,]     5     5     5     5     5     5     5     5     5     5     5     5
 [59,]     5     5     5     5     5     5     5     5     5     5     5     5
 [60,]     5     5     5     5     5     5     5     5     5     5     5     5
 [61,]     5     5     5     5     5     5     5     5     5     5     5     5
 [62,]     5     5     5     5     5     5     5     5     5     5     5     5
 [63,]     5     5     5     5     5     5     5     5     5     5     5     5
 [64,]     5     5     5     5     5     5     5     5     5     5     5     5
 [65,]     5     5     5     5     5     5     5     5     5     5     5     5
 [66,]     5     5     5     5     5     5     5     5     5     5     5     5
 [67,]     5     5     5     5     5     5     5     5     5     5     5     5
 [68,]     5     5     5     5     5     5     5     5     5     5     5     5
 [69,]     5     5     5     5     5     5     5     5     5     5     5     5
 [70,]     5     5     5     5     5     5     5     5     5     5     5     5
 [71,]     5     5     5     5     5     5     5     5     5     5     5     5
 [72,]     5     5     5     5     5     5     5     5     5     5     5     5
 [73,]     5     5     5     5     5     5     5     5     5     5     5     5
 [74,]     5     5     5     5     5     5     5     5     5     5     5     5
 [75,]     5     5     5     5     5     5     5     5     5     5     5     5
 [76,]     5     5     5     5     5     5     5     5     5     5     5     5
 [77,]     5     5     5     5     5     5     5     5     5     5     5     5
 [78,]     5     5     5     5     5     5     5     5     5     5     5     5
 [79,]     5     5     5     5     5     5     5     5     5     5     5     5
 [80,]     5     5     5     5     5     5     5     5     5     5     5     5
 [81,]     5     5     5     5     5     5     5     5     5     5     5     5
 [82,]     5     5     5     5     5     5     5     5     5     5     5     5
 [83,]     5     5     5     5     5     5     5     5     5     5     5     5
 [84,]     5     5     5     5     5     5     5     5     5     5     5     5
 [85,]     5     5     5     5     5     5     5     5     5     5     5     5
 [86,]     5     5     5     5     5     5     5     5     5     5     5     5
 [87,]     5     5     5     5     5     5     5     5     5     5     5     5
 [88,]     5     5     5     5     5     5     5     5     5     5     5     5
 [89,]     5     5     5     5     5     5     5     5     5     5     5     5
 [90,]     5     5     5     5     5     5     5     5     5     5     5     5
 [91,]     0     0     0     0     0     0     0     0     0     0     0     0
 [92,]     0     0     0     0     0     0     0     0     0     0     0     0
 [93,]     0     0     0     0     0     0     0     0     0     0     0     0
 [94,]     0     0     0     0     0     0     0     0     0     0     0     0
 [95,]     0     0     0     0     0     0     0     0     0     0     0     0
 [96,]     0     0     0     0     0     0     0     0     0     0     0     0
 [97,]     0     0     0     0     0     0     0     0     0     0     0     0
 [98,]     0     0     0     0     0     0     0     0     0     0     0     0
 [99,]     0     0     0     0     0     0     0     0     0     0     0     0
[100,]     0     0     0     0     0     0     0     0     0     0     0     0
[101,]     0     0     0     0     0     0     0     0     0     0     0     0
[102,]     0     0     0     0     0     0     0     0     0     0     0     0
[103,]     0     0     0     0     0     0     0     0     0     0     0     0
[104,]     0     0     0     0     0     0     0     0     0     0     0     0
[105,]     0     0     0     0     0     0     0     0     0     0     0     0
[106,]     0     0     0     0     0     0     0     0     0     0     0     0
[107,]     0     0     0     0     0     0     0     0     0     0     0     0
[108,]     0     0     0     0     0     0     0     0     0     0     0     0
[109,]     0     0     0     0     0     0     0     0     0     0     0     0
[110,]     0     0     0     0     0     0     0     0     0     0     0     0
[111,]     0     0     0     0     0     0     0     0     0     0     0     0
[112,]     0     0     0     0     0     0     0     0     0     0     0     0
[113,]     0     0     0     0     0     0     0     0     0     0     0     0
[114,]     0     0     0     0     0     0     0     0     0     0     0     0
[115,]     0     0     0     0     0     0     0     0     0     0     0     0
[116,]     0     0     0     0     0     0     0     0     0     0     0     0
[117,]     0     0     0     0     0     0     0     0     0     0     0     0
[118,]     0     0     0     0     0     0     0     0     0     0     0     0
[119,]     0     0     0     0     0     0     0     0     0     0     0     0
[120,]     0     0     0     0     0     0     0     0     0     0     0     0
[121,]     0     0     0     0     0     0     0     0     0     0     0     0
[122,]     0     0     0     0     0     0     0     0     0     0     0     0
[123,]     0     0     0     0     0     0     0     0     0     0     0     0
[124,]     0     0     0     0     0     0     0     0     0     0     0     0
[125,]     0     0     0     0     0     0     0     0     0     0     0     0
[126,]     0     0     0     0     0     0     0     0     0     0     0     0
[127,]     0     0     0     0     0     0     0     0     0     0     0     0
[128,]     0     0     0     0     0     0     0     0     0     0     0     0
[129,]     0     0     0     0     0     0     0     0     0     0     0     0
[130,]     0     0     0     0     0     0     0     0     0     0     0     0
[131,]     0     0     0     0     0     0     0     0     0     0     0     0
[132,]     0     0     0     0     0     0     0     0     0     0     0     0
[133,]     0     0     0     0     0     0     0     0     0     0     0     0
[134,]     0     0     0     0     0     0     0     0     0     0     0     0
[135,]     0     0     0     0     0     0     0     0     0     0     0     0
[136,]     0     0     0     0     0     0     0     0     0     0     0     0
[137,]     0     0     0     0     0     0     0     0     0     0     0     0
[138,]     0     0     0     0     0     0     0     0     0     0     0     0
[139,]     0     0     0     0     0     0     0     0     0     0     0     0
[140,]     0     0     0     0     0     0     0     0     0     0     0     0
[141,]     0     0     0     0     0     0     0     0     0     0     0     0
[142,]     0     0     0     0     0     0     0     0     0     0     0     0
[143,]     0     0     0     0     0     0     0     0     0     0     0     0
[144,]     0     0     0     0     0     0     0     0     0     0     0     0
[145,]     0     0     0     0     0     0     0     0     0     0     0     0
[146,]     0     0     0     0     0     0     0     0     0     0     0     0
[147,]     0     0     0     0     0     0     0     0     0     0     0     0
[148,]     0     0     0     0     0     0     0     0     0     0     0     0
[149,]     0     0     0     0     0     0     0     0     0     0     0     0
[150,]     0     0     0     0     0     0     0     0     0     0     0     0
[151,]     0     0     0     0     0     0     0     0     0     0     0     0
[152,]     0     0     0     0     0     0     0     0     0     0     0     0
[153,]     0     0     0     0     0     0     0     0     0     0     0     0
[154,]     0     0     0     0     0     0     0     0     0     0     0     0
[155,]     0     0     0     0     0     0     0     0     0     0     0     0
[156,]     0     0     0     0     0     0     0     0     0     0     0     0
[157,]     0     0     0     0     0     0     0     0     0     0     0     0
[158,]     0     0     0     0     0     0     0     0     0     0     0     0
[159,]     0     0     0     0     0     0     0     0     0     0     0     0
[160,]     0     0     0     0     0     0     0     0     0     0     0     0
[161,]     0     0     0     0     0     0     0     0     0     0     0     0
[162,]     0     0     0     0     0     0     0     0     0     0     0     0
[163,]     0     0     0     0     0     0     0     0     0     0     0     0
[164,]     0     0     0     0     0     0     0     0     0     0     0     0
[165,]     0     0     0     0     0     0     0     0     0     0     0     0
[166,]     0     0     0     0     0     0     0     0     0     0     0     0
[167,]     0     0     0     0     0     0     0     0     0     0     0     0
[168,]     0     0     0     0     0     0     0     0     0     0     0     0
[169,]     0     0     0     0     0     0     0     0     0     0     0     0
[170,]     0     0     0     0     0     0     0     0     0     0     0     0
[171,]     0     0     0     0     0     0     0     0     0     0     0     0
[172,]     0     0     0     0     0     0     0     0     0     0     0     0
[173,]     0     0     0     0     0     0     0     0     0     0     0     0
[174,]     0     0     0     0     0     0     0     0     0     0     0     0
[175,]     0     0     0     0     0     0     0     0     0     0     0     0
[176,]     0     0     0     0     0     0     0     0     0     0     0     0
[177,]     0     0     0     0     0     0     0     0     0     0     0     0
[178,]     0     0     0     0     0     0     0     0     0     0     0     0
[179,]     0     0     0     0     0     0     0     0     0     0     0     0
[180,]     0     0     0     0     0     0     0     0     0     0     0     0
       [,38] [,39] [,40] [,41] [,42] [,43] [,44] [,45] [,46] [,47] [,48] [,49]
  [1,]     5     5     5     5     5     5     5     5     5     5     5     5
  [2,]     5     5     5     5     5     5     5     5     5     5     5     5
  [3,]     5     5     5     5     5     5     5     5     5     5     5     5
  [4,]     5     5     5     5     5     5     5     5     5     5     5     5
  [5,]     5     5     5     5     5     5     5     5     5     5     5     5
  [6,]     5     5     5     5     5     5     5     5     5     5     5     5
  [7,]     5     5     5     5     5     5     5     5     5     5     5     5
  [8,]     5     5     5     5     5     5     5     5     5     5     5     5
  [9,]     5     5     5     5     5     5     5     5     5     5     5     5
 [10,]     5     5     5     5     5     5     5     5     5     5     5     5
 [11,]     5     5     5     5     5     5     5     5     5     5     5     5
 [12,]     5     5     5     5     5     5     5     5     5     5     5     5
 [13,]     5     5     5     5     5     5     5     5     5     5     5     5
 [14,]     5     5     5     5     5     5     5     5     5     5     5     5
 [15,]     5     5     5     5     5     5     5     5     5     5     5     5
 [16,]     5     5     5     5     5     5     5     5     5     5     5     5
 [17,]     5     5     5     5     5     5     5     5     5     5     5     5
 [18,]     5     5     5     5     5     5     5     5     5     5     5     5
 [19,]     5     5     5     5     5     5     5     5     5     5     5     5
 [20,]     5     5     5     5     5     5     5     5     5     5     5     5
 [21,]     5     5     5     5     5     5     5     5     5     5     5     5
 [22,]     5     5     5     5     5     5     5     5     5     5     5     5
 [23,]     5     5     5     5     5     5     5     5     5     5     5     5
 [24,]     5     5     5     5     5     5     5     5     5     5     5     5
 [25,]     5     5     5     5     5     5     5     5     5     5     5     5
 [26,]     5     5     5     5     5     5     5     5     5     5     5     5
 [27,]     5     5     5     5     5     5     5     5     5     5     5     5
 [28,]     5     5     5     5     5     5     5     5     5     5     5     5
 [29,]     5     5     5     5     5     5     5     5     5     5     5     5
 [30,]     5     5     5     5     5     5     5     5     5     5     5     5
 [31,]     5     5     5     5     5     5     5     5     5     5     5     5
 [32,]     5     5     5     5     5     5     5     5     5     5     5     5
 [33,]     5     5     5     5     5     5     5     5     5     5     5     5
 [34,]     5     5     5     5     5     5     5     5     5     5     5     5
 [35,]     5     5     5     5     5     5     5     5     5     5     5     5
 [36,]     5     5     5     5     5     5     5     5     5     5     5     5
 [37,]     5     5     5     5     5     5     5     5     5     5     5     5
 [38,]    15     5     5     5     5     5     5     5     5     5     5     5
 [39,]     5    15     5     5     5     5     5     5     5     5     5     5
 [40,]     5     5    15     5     5     5     5     5     5     5     5     5
 [41,]     5     5     5    15     5     5     5     5     5     5     5     5
 [42,]     5     5     5     5    15     5     5     5     5     5     5     5
 [43,]     5     5     5     5     5    15     5     5     5     5     5     5
 [44,]     5     5     5     5     5     5    15     5     5     5     5     5
 [45,]     5     5     5     5     5     5     5    15     5     5     5     5
 [46,]     5     5     5     5     5     5     5     5    15     5     5     5
 [47,]     5     5     5     5     5     5     5     5     5    15     5     5
 [48,]     5     5     5     5     5     5     5     5     5     5    15     5
 [49,]     5     5     5     5     5     5     5     5     5     5     5    15
 [50,]     5     5     5     5     5     5     5     5     5     5     5     5
 [51,]     5     5     5     5     5     5     5     5     5     5     5     5
 [52,]     5     5     5     5     5     5     5     5     5     5     5     5
 [53,]     5     5     5     5     5     5     5     5     5     5     5     5
 [54,]     5     5     5     5     5     5     5     5     5     5     5     5
 [55,]     5     5     5     5     5     5     5     5     5     5     5     5
 [56,]     5     5     5     5     5     5     5     5     5     5     5     5
 [57,]     5     5     5     5     5     5     5     5     5     5     5     5
 [58,]     5     5     5     5     5     5     5     5     5     5     5     5
 [59,]     5     5     5     5     5     5     5     5     5     5     5     5
 [60,]     5     5     5     5     5     5     5     5     5     5     5     5
 [61,]     5     5     5     5     5     5     5     5     5     5     5     5
 [62,]     5     5     5     5     5     5     5     5     5     5     5     5
 [63,]     5     5     5     5     5     5     5     5     5     5     5     5
 [64,]     5     5     5     5     5     5     5     5     5     5     5     5
 [65,]     5     5     5     5     5     5     5     5     5     5     5     5
 [66,]     5     5     5     5     5     5     5     5     5     5     5     5
 [67,]     5     5     5     5     5     5     5     5     5     5     5     5
 [68,]     5     5     5     5     5     5     5     5     5     5     5     5
 [69,]     5     5     5     5     5     5     5     5     5     5     5     5
 [70,]     5     5     5     5     5     5     5     5     5     5     5     5
 [71,]     5     5     5     5     5     5     5     5     5     5     5     5
 [72,]     5     5     5     5     5     5     5     5     5     5     5     5
 [73,]     5     5     5     5     5     5     5     5     5     5     5     5
 [74,]     5     5     5     5     5     5     5     5     5     5     5     5
 [75,]     5     5     5     5     5     5     5     5     5     5     5     5
 [76,]     5     5     5     5     5     5     5     5     5     5     5     5
 [77,]     5     5     5     5     5     5     5     5     5     5     5     5
 [78,]     5     5     5     5     5     5     5     5     5     5     5     5
 [79,]     5     5     5     5     5     5     5     5     5     5     5     5
 [80,]     5     5     5     5     5     5     5     5     5     5     5     5
 [81,]     5     5     5     5     5     5     5     5     5     5     5     5
 [82,]     5     5     5     5     5     5     5     5     5     5     5     5
 [83,]     5     5     5     5     5     5     5     5     5     5     5     5
 [84,]     5     5     5     5     5     5     5     5     5     5     5     5
 [85,]     5     5     5     5     5     5     5     5     5     5     5     5
 [86,]     5     5     5     5     5     5     5     5     5     5     5     5
 [87,]     5     5     5     5     5     5     5     5     5     5     5     5
 [88,]     5     5     5     5     5     5     5     5     5     5     5     5
 [89,]     5     5     5     5     5     5     5     5     5     5     5     5
 [90,]     5     5     5     5     5     5     5     5     5     5     5     5
 [91,]     0     0     0     0     0     0     0     0     0     0     0     0
 [92,]     0     0     0     0     0     0     0     0     0     0     0     0
 [93,]     0     0     0     0     0     0     0     0     0     0     0     0
 [94,]     0     0     0     0     0     0     0     0     0     0     0     0
 [95,]     0     0     0     0     0     0     0     0     0     0     0     0
 [96,]     0     0     0     0     0     0     0     0     0     0     0     0
 [97,]     0     0     0     0     0     0     0     0     0     0     0     0
 [98,]     0     0     0     0     0     0     0     0     0     0     0     0
 [99,]     0     0     0     0     0     0     0     0     0     0     0     0
[100,]     0     0     0     0     0     0     0     0     0     0     0     0
[101,]     0     0     0     0     0     0     0     0     0     0     0     0
[102,]     0     0     0     0     0     0     0     0     0     0     0     0
[103,]     0     0     0     0     0     0     0     0     0     0     0     0
[104,]     0     0     0     0     0     0     0     0     0     0     0     0
[105,]     0     0     0     0     0     0     0     0     0     0     0     0
[106,]     0     0     0     0     0     0     0     0     0     0     0     0
[107,]     0     0     0     0     0     0     0     0     0     0     0     0
[108,]     0     0     0     0     0     0     0     0     0     0     0     0
[109,]     0     0     0     0     0     0     0     0     0     0     0     0
[110,]     0     0     0     0     0     0     0     0     0     0     0     0
[111,]     0     0     0     0     0     0     0     0     0     0     0     0
[112,]     0     0     0     0     0     0     0     0     0     0     0     0
[113,]     0     0     0     0     0     0     0     0     0     0     0     0
[114,]     0     0     0     0     0     0     0     0     0     0     0     0
[115,]     0     0     0     0     0     0     0     0     0     0     0     0
[116,]     0     0     0     0     0     0     0     0     0     0     0     0
[117,]     0     0     0     0     0     0     0     0     0     0     0     0
[118,]     0     0     0     0     0     0     0     0     0     0     0     0
[119,]     0     0     0     0     0     0     0     0     0     0     0     0
[120,]     0     0     0     0     0     0     0     0     0     0     0     0
[121,]     0     0     0     0     0     0     0     0     0     0     0     0
[122,]     0     0     0     0     0     0     0     0     0     0     0     0
[123,]     0     0     0     0     0     0     0     0     0     0     0     0
[124,]     0     0     0     0     0     0     0     0     0     0     0     0
[125,]     0     0     0     0     0     0     0     0     0     0     0     0
[126,]     0     0     0     0     0     0     0     0     0     0     0     0
[127,]     0     0     0     0     0     0     0     0     0     0     0     0
[128,]     0     0     0     0     0     0     0     0     0     0     0     0
[129,]     0     0     0     0     0     0     0     0     0     0     0     0
[130,]     0     0     0     0     0     0     0     0     0     0     0     0
[131,]     0     0     0     0     0     0     0     0     0     0     0     0
[132,]     0     0     0     0     0     0     0     0     0     0     0     0
[133,]     0     0     0     0     0     0     0     0     0     0     0     0
[134,]     0     0     0     0     0     0     0     0     0     0     0     0
[135,]     0     0     0     0     0     0     0     0     0     0     0     0
[136,]     0     0     0     0     0     0     0     0     0     0     0     0
[137,]     0     0     0     0     0     0     0     0     0     0     0     0
[138,]     0     0     0     0     0     0     0     0     0     0     0     0
[139,]     0     0     0     0     0     0     0     0     0     0     0     0
[140,]     0     0     0     0     0     0     0     0     0     0     0     0
[141,]     0     0     0     0     0     0     0     0     0     0     0     0
[142,]     0     0     0     0     0     0     0     0     0     0     0     0
[143,]     0     0     0     0     0     0     0     0     0     0     0     0
[144,]     0     0     0     0     0     0     0     0     0     0     0     0
[145,]     0     0     0     0     0     0     0     0     0     0     0     0
[146,]     0     0     0     0     0     0     0     0     0     0     0     0
[147,]     0     0     0     0     0     0     0     0     0     0     0     0
[148,]     0     0     0     0     0     0     0     0     0     0     0     0
[149,]     0     0     0     0     0     0     0     0     0     0     0     0
[150,]     0     0     0     0     0     0     0     0     0     0     0     0
[151,]     0     0     0     0     0     0     0     0     0     0     0     0
[152,]     0     0     0     0     0     0     0     0     0     0     0     0
[153,]     0     0     0     0     0     0     0     0     0     0     0     0
[154,]     0     0     0     0     0     0     0     0     0     0     0     0
[155,]     0     0     0     0     0     0     0     0     0     0     0     0
[156,]     0     0     0     0     0     0     0     0     0     0     0     0
[157,]     0     0     0     0     0     0     0     0     0     0     0     0
[158,]     0     0     0     0     0     0     0     0     0     0     0     0
[159,]     0     0     0     0     0     0     0     0     0     0     0     0
[160,]     0     0     0     0     0     0     0     0     0     0     0     0
[161,]     0     0     0     0     0     0     0     0     0     0     0     0
[162,]     0     0     0     0     0     0     0     0     0     0     0     0
[163,]     0     0     0     0     0     0     0     0     0     0     0     0
[164,]     0     0     0     0     0     0     0     0     0     0     0     0
[165,]     0     0     0     0     0     0     0     0     0     0     0     0
[166,]     0     0     0     0     0     0     0     0     0     0     0     0
[167,]     0     0     0     0     0     0     0     0     0     0     0     0
[168,]     0     0     0     0     0     0     0     0     0     0     0     0
[169,]     0     0     0     0     0     0     0     0     0     0     0     0
[170,]     0     0     0     0     0     0     0     0     0     0     0     0
[171,]     0     0     0     0     0     0     0     0     0     0     0     0
[172,]     0     0     0     0     0     0     0     0     0     0     0     0
[173,]     0     0     0     0     0     0     0     0     0     0     0     0
[174,]     0     0     0     0     0     0     0     0     0     0     0     0
[175,]     0     0     0     0     0     0     0     0     0     0     0     0
[176,]     0     0     0     0     0     0     0     0     0     0     0     0
[177,]     0     0     0     0     0     0     0     0     0     0     0     0
[178,]     0     0     0     0     0     0     0     0     0     0     0     0
[179,]     0     0     0     0     0     0     0     0     0     0     0     0
[180,]     0     0     0     0     0     0     0     0     0     0     0     0
       [,50] [,51] [,52] [,53] [,54] [,55] [,56] [,57] [,58] [,59] [,60] [,61]
  [1,]     5     5     5     5     5     5     5     5     5     5     5     5
  [2,]     5     5     5     5     5     5     5     5     5     5     5     5
  [3,]     5     5     5     5     5     5     5     5     5     5     5     5
  [4,]     5     5     5     5     5     5     5     5     5     5     5     5
  [5,]     5     5     5     5     5     5     5     5     5     5     5     5
  [6,]     5     5     5     5     5     5     5     5     5     5     5     5
  [7,]     5     5     5     5     5     5     5     5     5     5     5     5
  [8,]     5     5     5     5     5     5     5     5     5     5     5     5
  [9,]     5     5     5     5     5     5     5     5     5     5     5     5
 [10,]     5     5     5     5     5     5     5     5     5     5     5     5
 [11,]     5     5     5     5     5     5     5     5     5     5     5     5
 [12,]     5     5     5     5     5     5     5     5     5     5     5     5
 [13,]     5     5     5     5     5     5     5     5     5     5     5     5
 [14,]     5     5     5     5     5     5     5     5     5     5     5     5
 [15,]     5     5     5     5     5     5     5     5     5     5     5     5
 [16,]     5     5     5     5     5     5     5     5     5     5     5     5
 [17,]     5     5     5     5     5     5     5     5     5     5     5     5
 [18,]     5     5     5     5     5     5     5     5     5     5     5     5
 [19,]     5     5     5     5     5     5     5     5     5     5     5     5
 [20,]     5     5     5     5     5     5     5     5     5     5     5     5
 [21,]     5     5     5     5     5     5     5     5     5     5     5     5
 [22,]     5     5     5     5     5     5     5     5     5     5     5     5
 [23,]     5     5     5     5     5     5     5     5     5     5     5     5
 [24,]     5     5     5     5     5     5     5     5     5     5     5     5
 [25,]     5     5     5     5     5     5     5     5     5     5     5     5
 [26,]     5     5     5     5     5     5     5     5     5     5     5     5
 [27,]     5     5     5     5     5     5     5     5     5     5     5     5
 [28,]     5     5     5     5     5     5     5     5     5     5     5     5
 [29,]     5     5     5     5     5     5     5     5     5     5     5     5
 [30,]     5     5     5     5     5     5     5     5     5     5     5     5
 [31,]     5     5     5     5     5     5     5     5     5     5     5     5
 [32,]     5     5     5     5     5     5     5     5     5     5     5     5
 [33,]     5     5     5     5     5     5     5     5     5     5     5     5
 [34,]     5     5     5     5     5     5     5     5     5     5     5     5
 [35,]     5     5     5     5     5     5     5     5     5     5     5     5
 [36,]     5     5     5     5     5     5     5     5     5     5     5     5
 [37,]     5     5     5     5     5     5     5     5     5     5     5     5
 [38,]     5     5     5     5     5     5     5     5     5     5     5     5
 [39,]     5     5     5     5     5     5     5     5     5     5     5     5
 [40,]     5     5     5     5     5     5     5     5     5     5     5     5
 [41,]     5     5     5     5     5     5     5     5     5     5     5     5
 [42,]     5     5     5     5     5     5     5     5     5     5     5     5
 [43,]     5     5     5     5     5     5     5     5     5     5     5     5
 [44,]     5     5     5     5     5     5     5     5     5     5     5     5
 [45,]     5     5     5     5     5     5     5     5     5     5     5     5
 [46,]     5     5     5     5     5     5     5     5     5     5     5     5
 [47,]     5     5     5     5     5     5     5     5     5     5     5     5
 [48,]     5     5     5     5     5     5     5     5     5     5     5     5
 [49,]     5     5     5     5     5     5     5     5     5     5     5     5
 [50,]    15     5     5     5     5     5     5     5     5     5     5     5
 [51,]     5    15     5     5     5     5     5     5     5     5     5     5
 [52,]     5     5    15     5     5     5     5     5     5     5     5     5
 [53,]     5     5     5    15     5     5     5     5     5     5     5     5
 [54,]     5     5     5     5    15     5     5     5     5     5     5     5
 [55,]     5     5     5     5     5    15     5     5     5     5     5     5
 [56,]     5     5     5     5     5     5    15     5     5     5     5     5
 [57,]     5     5     5     5     5     5     5    15     5     5     5     5
 [58,]     5     5     5     5     5     5     5     5    15     5     5     5
 [59,]     5     5     5     5     5     5     5     5     5    15     5     5
 [60,]     5     5     5     5     5     5     5     5     5     5    15     5
 [61,]     5     5     5     5     5     5     5     5     5     5     5    15
 [62,]     5     5     5     5     5     5     5     5     5     5     5     5
 [63,]     5     5     5     5     5     5     5     5     5     5     5     5
 [64,]     5     5     5     5     5     5     5     5     5     5     5     5
 [65,]     5     5     5     5     5     5     5     5     5     5     5     5
 [66,]     5     5     5     5     5     5     5     5     5     5     5     5
 [67,]     5     5     5     5     5     5     5     5     5     5     5     5
 [68,]     5     5     5     5     5     5     5     5     5     5     5     5
 [69,]     5     5     5     5     5     5     5     5     5     5     5     5
 [70,]     5     5     5     5     5     5     5     5     5     5     5     5
 [71,]     5     5     5     5     5     5     5     5     5     5     5     5
 [72,]     5     5     5     5     5     5     5     5     5     5     5     5
 [73,]     5     5     5     5     5     5     5     5     5     5     5     5
 [74,]     5     5     5     5     5     5     5     5     5     5     5     5
 [75,]     5     5     5     5     5     5     5     5     5     5     5     5
 [76,]     5     5     5     5     5     5     5     5     5     5     5     5
 [77,]     5     5     5     5     5     5     5     5     5     5     5     5
 [78,]     5     5     5     5     5     5     5     5     5     5     5     5
 [79,]     5     5     5     5     5     5     5     5     5     5     5     5
 [80,]     5     5     5     5     5     5     5     5     5     5     5     5
 [81,]     5     5     5     5     5     5     5     5     5     5     5     5
 [82,]     5     5     5     5     5     5     5     5     5     5     5     5
 [83,]     5     5     5     5     5     5     5     5     5     5     5     5
 [84,]     5     5     5     5     5     5     5     5     5     5     5     5
 [85,]     5     5     5     5     5     5     5     5     5     5     5     5
 [86,]     5     5     5     5     5     5     5     5     5     5     5     5
 [87,]     5     5     5     5     5     5     5     5     5     5     5     5
 [88,]     5     5     5     5     5     5     5     5     5     5     5     5
 [89,]     5     5     5     5     5     5     5     5     5     5     5     5
 [90,]     5     5     5     5     5     5     5     5     5     5     5     5
 [91,]     0     0     0     0     0     0     0     0     0     0     0     0
 [92,]     0     0     0     0     0     0     0     0     0     0     0     0
 [93,]     0     0     0     0     0     0     0     0     0     0     0     0
 [94,]     0     0     0     0     0     0     0     0     0     0     0     0
 [95,]     0     0     0     0     0     0     0     0     0     0     0     0
 [96,]     0     0     0     0     0     0     0     0     0     0     0     0
 [97,]     0     0     0     0     0     0     0     0     0     0     0     0
 [98,]     0     0     0     0     0     0     0     0     0     0     0     0
 [99,]     0     0     0     0     0     0     0     0     0     0     0     0
[100,]     0     0     0     0     0     0     0     0     0     0     0     0
[101,]     0     0     0     0     0     0     0     0     0     0     0     0
[102,]     0     0     0     0     0     0     0     0     0     0     0     0
[103,]     0     0     0     0     0     0     0     0     0     0     0     0
[104,]     0     0     0     0     0     0     0     0     0     0     0     0
[105,]     0     0     0     0     0     0     0     0     0     0     0     0
[106,]     0     0     0     0     0     0     0     0     0     0     0     0
[107,]     0     0     0     0     0     0     0     0     0     0     0     0
[108,]     0     0     0     0     0     0     0     0     0     0     0     0
[109,]     0     0     0     0     0     0     0     0     0     0     0     0
[110,]     0     0     0     0     0     0     0     0     0     0     0     0
[111,]     0     0     0     0     0     0     0     0     0     0     0     0
[112,]     0     0     0     0     0     0     0     0     0     0     0     0
[113,]     0     0     0     0     0     0     0     0     0     0     0     0
[114,]     0     0     0     0     0     0     0     0     0     0     0     0
[115,]     0     0     0     0     0     0     0     0     0     0     0     0
[116,]     0     0     0     0     0     0     0     0     0     0     0     0
[117,]     0     0     0     0     0     0     0     0     0     0     0     0
[118,]     0     0     0     0     0     0     0     0     0     0     0     0
[119,]     0     0     0     0     0     0     0     0     0     0     0     0
[120,]     0     0     0     0     0     0     0     0     0     0     0     0
[121,]     0     0     0     0     0     0     0     0     0     0     0     0
[122,]     0     0     0     0     0     0     0     0     0     0     0     0
[123,]     0     0     0     0     0     0     0     0     0     0     0     0
[124,]     0     0     0     0     0     0     0     0     0     0     0     0
[125,]     0     0     0     0     0     0     0     0     0     0     0     0
[126,]     0     0     0     0     0     0     0     0     0     0     0     0
[127,]     0     0     0     0     0     0     0     0     0     0     0     0
[128,]     0     0     0     0     0     0     0     0     0     0     0     0
[129,]     0     0     0     0     0     0     0     0     0     0     0     0
[130,]     0     0     0     0     0     0     0     0     0     0     0     0
[131,]     0     0     0     0     0     0     0     0     0     0     0     0
[132,]     0     0     0     0     0     0     0     0     0     0     0     0
[133,]     0     0     0     0     0     0     0     0     0     0     0     0
[134,]     0     0     0     0     0     0     0     0     0     0     0     0
[135,]     0     0     0     0     0     0     0     0     0     0     0     0
[136,]     0     0     0     0     0     0     0     0     0     0     0     0
[137,]     0     0     0     0     0     0     0     0     0     0     0     0
[138,]     0     0     0     0     0     0     0     0     0     0     0     0
[139,]     0     0     0     0     0     0     0     0     0     0     0     0
[140,]     0     0     0     0     0     0     0     0     0     0     0     0
[141,]     0     0     0     0     0     0     0     0     0     0     0     0
[142,]     0     0     0     0     0     0     0     0     0     0     0     0
[143,]     0     0     0     0     0     0     0     0     0     0     0     0
[144,]     0     0     0     0     0     0     0     0     0     0     0     0
[145,]     0     0     0     0     0     0     0     0     0     0     0     0
[146,]     0     0     0     0     0     0     0     0     0     0     0     0
[147,]     0     0     0     0     0     0     0     0     0     0     0     0
[148,]     0     0     0     0     0     0     0     0     0     0     0     0
[149,]     0     0     0     0     0     0     0     0     0     0     0     0
[150,]     0     0     0     0     0     0     0     0     0     0     0     0
[151,]     0     0     0     0     0     0     0     0     0     0     0     0
[152,]     0     0     0     0     0     0     0     0     0     0     0     0
[153,]     0     0     0     0     0     0     0     0     0     0     0     0
[154,]     0     0     0     0     0     0     0     0     0     0     0     0
[155,]     0     0     0     0     0     0     0     0     0     0     0     0
[156,]     0     0     0     0     0     0     0     0     0     0     0     0
[157,]     0     0     0     0     0     0     0     0     0     0     0     0
[158,]     0     0     0     0     0     0     0     0     0     0     0     0
[159,]     0     0     0     0     0     0     0     0     0     0     0     0
[160,]     0     0     0     0     0     0     0     0     0     0     0     0
[161,]     0     0     0     0     0     0     0     0     0     0     0     0
[162,]     0     0     0     0     0     0     0     0     0     0     0     0
[163,]     0     0     0     0     0     0     0     0     0     0     0     0
[164,]     0     0     0     0     0     0     0     0     0     0     0     0
[165,]     0     0     0     0     0     0     0     0     0     0     0     0
[166,]     0     0     0     0     0     0     0     0     0     0     0     0
[167,]     0     0     0     0     0     0     0     0     0     0     0     0
[168,]     0     0     0     0     0     0     0     0     0     0     0     0
[169,]     0     0     0     0     0     0     0     0     0     0     0     0
[170,]     0     0     0     0     0     0     0     0     0     0     0     0
[171,]     0     0     0     0     0     0     0     0     0     0     0     0
[172,]     0     0     0     0     0     0     0     0     0     0     0     0
[173,]     0     0     0     0     0     0     0     0     0     0     0     0
[174,]     0     0     0     0     0     0     0     0     0     0     0     0
[175,]     0     0     0     0     0     0     0     0     0     0     0     0
[176,]     0     0     0     0     0     0     0     0     0     0     0     0
[177,]     0     0     0     0     0     0     0     0     0     0     0     0
[178,]     0     0     0     0     0     0     0     0     0     0     0     0
[179,]     0     0     0     0     0     0     0     0     0     0     0     0
[180,]     0     0     0     0     0     0     0     0     0     0     0     0
       [,62] [,63] [,64] [,65] [,66] [,67] [,68] [,69] [,70] [,71] [,72] [,73]
  [1,]     5     5     5     5     5     5     5     5     5     5     5     5
  [2,]     5     5     5     5     5     5     5     5     5     5     5     5
  [3,]     5     5     5     5     5     5     5     5     5     5     5     5
  [4,]     5     5     5     5     5     5     5     5     5     5     5     5
  [5,]     5     5     5     5     5     5     5     5     5     5     5     5
  [6,]     5     5     5     5     5     5     5     5     5     5     5     5
  [7,]     5     5     5     5     5     5     5     5     5     5     5     5
  [8,]     5     5     5     5     5     5     5     5     5     5     5     5
  [9,]     5     5     5     5     5     5     5     5     5     5     5     5
 [10,]     5     5     5     5     5     5     5     5     5     5     5     5
 [11,]     5     5     5     5     5     5     5     5     5     5     5     5
 [12,]     5     5     5     5     5     5     5     5     5     5     5     5
 [13,]     5     5     5     5     5     5     5     5     5     5     5     5
 [14,]     5     5     5     5     5     5     5     5     5     5     5     5
 [15,]     5     5     5     5     5     5     5     5     5     5     5     5
 [16,]     5     5     5     5     5     5     5     5     5     5     5     5
 [17,]     5     5     5     5     5     5     5     5     5     5     5     5
 [18,]     5     5     5     5     5     5     5     5     5     5     5     5
 [19,]     5     5     5     5     5     5     5     5     5     5     5     5
 [20,]     5     5     5     5     5     5     5     5     5     5     5     5
 [21,]     5     5     5     5     5     5     5     5     5     5     5     5
 [22,]     5     5     5     5     5     5     5     5     5     5     5     5
 [23,]     5     5     5     5     5     5     5     5     5     5     5     5
 [24,]     5     5     5     5     5     5     5     5     5     5     5     5
 [25,]     5     5     5     5     5     5     5     5     5     5     5     5
 [26,]     5     5     5     5     5     5     5     5     5     5     5     5
 [27,]     5     5     5     5     5     5     5     5     5     5     5     5
 [28,]     5     5     5     5     5     5     5     5     5     5     5     5
 [29,]     5     5     5     5     5     5     5     5     5     5     5     5
 [30,]     5     5     5     5     5     5     5     5     5     5     5     5
 [31,]     5     5     5     5     5     5     5     5     5     5     5     5
 [32,]     5     5     5     5     5     5     5     5     5     5     5     5
 [33,]     5     5     5     5     5     5     5     5     5     5     5     5
 [34,]     5     5     5     5     5     5     5     5     5     5     5     5
 [35,]     5     5     5     5     5     5     5     5     5     5     5     5
 [36,]     5     5     5     5     5     5     5     5     5     5     5     5
 [37,]     5     5     5     5     5     5     5     5     5     5     5     5
 [38,]     5     5     5     5     5     5     5     5     5     5     5     5
 [39,]     5     5     5     5     5     5     5     5     5     5     5     5
 [40,]     5     5     5     5     5     5     5     5     5     5     5     5
 [41,]     5     5     5     5     5     5     5     5     5     5     5     5
 [42,]     5     5     5     5     5     5     5     5     5     5     5     5
 [43,]     5     5     5     5     5     5     5     5     5     5     5     5
 [44,]     5     5     5     5     5     5     5     5     5     5     5     5
 [45,]     5     5     5     5     5     5     5     5     5     5     5     5
 [46,]     5     5     5     5     5     5     5     5     5     5     5     5
 [47,]     5     5     5     5     5     5     5     5     5     5     5     5
 [48,]     5     5     5     5     5     5     5     5     5     5     5     5
 [49,]     5     5     5     5     5     5     5     5     5     5     5     5
 [50,]     5     5     5     5     5     5     5     5     5     5     5     5
 [51,]     5     5     5     5     5     5     5     5     5     5     5     5
 [52,]     5     5     5     5     5     5     5     5     5     5     5     5
 [53,]     5     5     5     5     5     5     5     5     5     5     5     5
 [54,]     5     5     5     5     5     5     5     5     5     5     5     5
 [55,]     5     5     5     5     5     5     5     5     5     5     5     5
 [56,]     5     5     5     5     5     5     5     5     5     5     5     5
 [57,]     5     5     5     5     5     5     5     5     5     5     5     5
 [58,]     5     5     5     5     5     5     5     5     5     5     5     5
 [59,]     5     5     5     5     5     5     5     5     5     5     5     5
 [60,]     5     5     5     5     5     5     5     5     5     5     5     5
 [61,]     5     5     5     5     5     5     5     5     5     5     5     5
 [62,]    15     5     5     5     5     5     5     5     5     5     5     5
 [63,]     5    15     5     5     5     5     5     5     5     5     5     5
 [64,]     5     5    15     5     5     5     5     5     5     5     5     5
 [65,]     5     5     5    15     5     5     5     5     5     5     5     5
 [66,]     5     5     5     5    15     5     5     5     5     5     5     5
 [67,]     5     5     5     5     5    15     5     5     5     5     5     5
 [68,]     5     5     5     5     5     5    15     5     5     5     5     5
 [69,]     5     5     5     5     5     5     5    15     5     5     5     5
 [70,]     5     5     5     5     5     5     5     5    15     5     5     5
 [71,]     5     5     5     5     5     5     5     5     5    15     5     5
 [72,]     5     5     5     5     5     5     5     5     5     5    15     5
 [73,]     5     5     5     5     5     5     5     5     5     5     5    15
 [74,]     5     5     5     5     5     5     5     5     5     5     5     5
 [75,]     5     5     5     5     5     5     5     5     5     5     5     5
 [76,]     5     5     5     5     5     5     5     5     5     5     5     5
 [77,]     5     5     5     5     5     5     5     5     5     5     5     5
 [78,]     5     5     5     5     5     5     5     5     5     5     5     5
 [79,]     5     5     5     5     5     5     5     5     5     5     5     5
 [80,]     5     5     5     5     5     5     5     5     5     5     5     5
 [81,]     5     5     5     5     5     5     5     5     5     5     5     5
 [82,]     5     5     5     5     5     5     5     5     5     5     5     5
 [83,]     5     5     5     5     5     5     5     5     5     5     5     5
 [84,]     5     5     5     5     5     5     5     5     5     5     5     5
 [85,]     5     5     5     5     5     5     5     5     5     5     5     5
 [86,]     5     5     5     5     5     5     5     5     5     5     5     5
 [87,]     5     5     5     5     5     5     5     5     5     5     5     5
 [88,]     5     5     5     5     5     5     5     5     5     5     5     5
 [89,]     5     5     5     5     5     5     5     5     5     5     5     5
 [90,]     5     5     5     5     5     5     5     5     5     5     5     5
 [91,]     0     0     0     0     0     0     0     0     0     0     0     0
 [92,]     0     0     0     0     0     0     0     0     0     0     0     0
 [93,]     0     0     0     0     0     0     0     0     0     0     0     0
 [94,]     0     0     0     0     0     0     0     0     0     0     0     0
 [95,]     0     0     0     0     0     0     0     0     0     0     0     0
 [96,]     0     0     0     0     0     0     0     0     0     0     0     0
 [97,]     0     0     0     0     0     0     0     0     0     0     0     0
 [98,]     0     0     0     0     0     0     0     0     0     0     0     0
 [99,]     0     0     0     0     0     0     0     0     0     0     0     0
[100,]     0     0     0     0     0     0     0     0     0     0     0     0
[101,]     0     0     0     0     0     0     0     0     0     0     0     0
[102,]     0     0     0     0     0     0     0     0     0     0     0     0
[103,]     0     0     0     0     0     0     0     0     0     0     0     0
[104,]     0     0     0     0     0     0     0     0     0     0     0     0
[105,]     0     0     0     0     0     0     0     0     0     0     0     0
[106,]     0     0     0     0     0     0     0     0     0     0     0     0
[107,]     0     0     0     0     0     0     0     0     0     0     0     0
[108,]     0     0     0     0     0     0     0     0     0     0     0     0
[109,]     0     0     0     0     0     0     0     0     0     0     0     0
[110,]     0     0     0     0     0     0     0     0     0     0     0     0
[111,]     0     0     0     0     0     0     0     0     0     0     0     0
[112,]     0     0     0     0     0     0     0     0     0     0     0     0
[113,]     0     0     0     0     0     0     0     0     0     0     0     0
[114,]     0     0     0     0     0     0     0     0     0     0     0     0
[115,]     0     0     0     0     0     0     0     0     0     0     0     0
[116,]     0     0     0     0     0     0     0     0     0     0     0     0
[117,]     0     0     0     0     0     0     0     0     0     0     0     0
[118,]     0     0     0     0     0     0     0     0     0     0     0     0
[119,]     0     0     0     0     0     0     0     0     0     0     0     0
[120,]     0     0     0     0     0     0     0     0     0     0     0     0
[121,]     0     0     0     0     0     0     0     0     0     0     0     0
[122,]     0     0     0     0     0     0     0     0     0     0     0     0
[123,]     0     0     0     0     0     0     0     0     0     0     0     0
[124,]     0     0     0     0     0     0     0     0     0     0     0     0
[125,]     0     0     0     0     0     0     0     0     0     0     0     0
[126,]     0     0     0     0     0     0     0     0     0     0     0     0
[127,]     0     0     0     0     0     0     0     0     0     0     0     0
[128,]     0     0     0     0     0     0     0     0     0     0     0     0
[129,]     0     0     0     0     0     0     0     0     0     0     0     0
[130,]     0     0     0     0     0     0     0     0     0     0     0     0
[131,]     0     0     0     0     0     0     0     0     0     0     0     0
[132,]     0     0     0     0     0     0     0     0     0     0     0     0
[133,]     0     0     0     0     0     0     0     0     0     0     0     0
[134,]     0     0     0     0     0     0     0     0     0     0     0     0
[135,]     0     0     0     0     0     0     0     0     0     0     0     0
[136,]     0     0     0     0     0     0     0     0     0     0     0     0
[137,]     0     0     0     0     0     0     0     0     0     0     0     0
[138,]     0     0     0     0     0     0     0     0     0     0     0     0
[139,]     0     0     0     0     0     0     0     0     0     0     0     0
[140,]     0     0     0     0     0     0     0     0     0     0     0     0
[141,]     0     0     0     0     0     0     0     0     0     0     0     0
[142,]     0     0     0     0     0     0     0     0     0     0     0     0
[143,]     0     0     0     0     0     0     0     0     0     0     0     0
[144,]     0     0     0     0     0     0     0     0     0     0     0     0
[145,]     0     0     0     0     0     0     0     0     0     0     0     0
[146,]     0     0     0     0     0     0     0     0     0     0     0     0
[147,]     0     0     0     0     0     0     0     0     0     0     0     0
[148,]     0     0     0     0     0     0     0     0     0     0     0     0
[149,]     0     0     0     0     0     0     0     0     0     0     0     0
[150,]     0     0     0     0     0     0     0     0     0     0     0     0
[151,]     0     0     0     0     0     0     0     0     0     0     0     0
[152,]     0     0     0     0     0     0     0     0     0     0     0     0
[153,]     0     0     0     0     0     0     0     0     0     0     0     0
[154,]     0     0     0     0     0     0     0     0     0     0     0     0
[155,]     0     0     0     0     0     0     0     0     0     0     0     0
[156,]     0     0     0     0     0     0     0     0     0     0     0     0
[157,]     0     0     0     0     0     0     0     0     0     0     0     0
[158,]     0     0     0     0     0     0     0     0     0     0     0     0
[159,]     0     0     0     0     0     0     0     0     0     0     0     0
[160,]     0     0     0     0     0     0     0     0     0     0     0     0
[161,]     0     0     0     0     0     0     0     0     0     0     0     0
[162,]     0     0     0     0     0     0     0     0     0     0     0     0
[163,]     0     0     0     0     0     0     0     0     0     0     0     0
[164,]     0     0     0     0     0     0     0     0     0     0     0     0
[165,]     0     0     0     0     0     0     0     0     0     0     0     0
[166,]     0     0     0     0     0     0     0     0     0     0     0     0
[167,]     0     0     0     0     0     0     0     0     0     0     0     0
[168,]     0     0     0     0     0     0     0     0     0     0     0     0
[169,]     0     0     0     0     0     0     0     0     0     0     0     0
[170,]     0     0     0     0     0     0     0     0     0     0     0     0
[171,]     0     0     0     0     0     0     0     0     0     0     0     0
[172,]     0     0     0     0     0     0     0     0     0     0     0     0
[173,]     0     0     0     0     0     0     0     0     0     0     0     0
[174,]     0     0     0     0     0     0     0     0     0     0     0     0
[175,]     0     0     0     0     0     0     0     0     0     0     0     0
[176,]     0     0     0     0     0     0     0     0     0     0     0     0
[177,]     0     0     0     0     0     0     0     0     0     0     0     0
[178,]     0     0     0     0     0     0     0     0     0     0     0     0
[179,]     0     0     0     0     0     0     0     0     0     0     0     0
[180,]     0     0     0     0     0     0     0     0     0     0     0     0
       [,74] [,75] [,76] [,77] [,78] [,79] [,80] [,81] [,82] [,83] [,84] [,85]
  [1,]     5     5     5     5     5     5     5     5     5     5     5     5
  [2,]     5     5     5     5     5     5     5     5     5     5     5     5
  [3,]     5     5     5     5     5     5     5     5     5     5     5     5
  [4,]     5     5     5     5     5     5     5     5     5     5     5     5
  [5,]     5     5     5     5     5     5     5     5     5     5     5     5
  [6,]     5     5     5     5     5     5     5     5     5     5     5     5
  [7,]     5     5     5     5     5     5     5     5     5     5     5     5
  [8,]     5     5     5     5     5     5     5     5     5     5     5     5
  [9,]     5     5     5     5     5     5     5     5     5     5     5     5
 [10,]     5     5     5     5     5     5     5     5     5     5     5     5
 [11,]     5     5     5     5     5     5     5     5     5     5     5     5
 [12,]     5     5     5     5     5     5     5     5     5     5     5     5
 [13,]     5     5     5     5     5     5     5     5     5     5     5     5
 [14,]     5     5     5     5     5     5     5     5     5     5     5     5
 [15,]     5     5     5     5     5     5     5     5     5     5     5     5
 [16,]     5     5     5     5     5     5     5     5     5     5     5     5
 [17,]     5     5     5     5     5     5     5     5     5     5     5     5
 [18,]     5     5     5     5     5     5     5     5     5     5     5     5
 [19,]     5     5     5     5     5     5     5     5     5     5     5     5
 [20,]     5     5     5     5     5     5     5     5     5     5     5     5
 [21,]     5     5     5     5     5     5     5     5     5     5     5     5
 [22,]     5     5     5     5     5     5     5     5     5     5     5     5
 [23,]     5     5     5     5     5     5     5     5     5     5     5     5
 [24,]     5     5     5     5     5     5     5     5     5     5     5     5
 [25,]     5     5     5     5     5     5     5     5     5     5     5     5
 [26,]     5     5     5     5     5     5     5     5     5     5     5     5
 [27,]     5     5     5     5     5     5     5     5     5     5     5     5
 [28,]     5     5     5     5     5     5     5     5     5     5     5     5
 [29,]     5     5     5     5     5     5     5     5     5     5     5     5
 [30,]     5     5     5     5     5     5     5     5     5     5     5     5
 [31,]     5     5     5     5     5     5     5     5     5     5     5     5
 [32,]     5     5     5     5     5     5     5     5     5     5     5     5
 [33,]     5     5     5     5     5     5     5     5     5     5     5     5
 [34,]     5     5     5     5     5     5     5     5     5     5     5     5
 [35,]     5     5     5     5     5     5     5     5     5     5     5     5
 [36,]     5     5     5     5     5     5     5     5     5     5     5     5
 [37,]     5     5     5     5     5     5     5     5     5     5     5     5
 [38,]     5     5     5     5     5     5     5     5     5     5     5     5
 [39,]     5     5     5     5     5     5     5     5     5     5     5     5
 [40,]     5     5     5     5     5     5     5     5     5     5     5     5
 [41,]     5     5     5     5     5     5     5     5     5     5     5     5
 [42,]     5     5     5     5     5     5     5     5     5     5     5     5
 [43,]     5     5     5     5     5     5     5     5     5     5     5     5
 [44,]     5     5     5     5     5     5     5     5     5     5     5     5
 [45,]     5     5     5     5     5     5     5     5     5     5     5     5
 [46,]     5     5     5     5     5     5     5     5     5     5     5     5
 [47,]     5     5     5     5     5     5     5     5     5     5     5     5
 [48,]     5     5     5     5     5     5     5     5     5     5     5     5
 [49,]     5     5     5     5     5     5     5     5     5     5     5     5
 [50,]     5     5     5     5     5     5     5     5     5     5     5     5
 [51,]     5     5     5     5     5     5     5     5     5     5     5     5
 [52,]     5     5     5     5     5     5     5     5     5     5     5     5
 [53,]     5     5     5     5     5     5     5     5     5     5     5     5
 [54,]     5     5     5     5     5     5     5     5     5     5     5     5
 [55,]     5     5     5     5     5     5     5     5     5     5     5     5
 [56,]     5     5     5     5     5     5     5     5     5     5     5     5
 [57,]     5     5     5     5     5     5     5     5     5     5     5     5
 [58,]     5     5     5     5     5     5     5     5     5     5     5     5
 [59,]     5     5     5     5     5     5     5     5     5     5     5     5
 [60,]     5     5     5     5     5     5     5     5     5     5     5     5
 [61,]     5     5     5     5     5     5     5     5     5     5     5     5
 [62,]     5     5     5     5     5     5     5     5     5     5     5     5
 [63,]     5     5     5     5     5     5     5     5     5     5     5     5
 [64,]     5     5     5     5     5     5     5     5     5     5     5     5
 [65,]     5     5     5     5     5     5     5     5     5     5     5     5
 [66,]     5     5     5     5     5     5     5     5     5     5     5     5
 [67,]     5     5     5     5     5     5     5     5     5     5     5     5
 [68,]     5     5     5     5     5     5     5     5     5     5     5     5
 [69,]     5     5     5     5     5     5     5     5     5     5     5     5
 [70,]     5     5     5     5     5     5     5     5     5     5     5     5
 [71,]     5     5     5     5     5     5     5     5     5     5     5     5
 [72,]     5     5     5     5     5     5     5     5     5     5     5     5
 [73,]     5     5     5     5     5     5     5     5     5     5     5     5
 [74,]    15     5     5     5     5     5     5     5     5     5     5     5
 [75,]     5    15     5     5     5     5     5     5     5     5     5     5
 [76,]     5     5    15     5     5     5     5     5     5     5     5     5
 [77,]     5     5     5    15     5     5     5     5     5     5     5     5
 [78,]     5     5     5     5    15     5     5     5     5     5     5     5
 [79,]     5     5     5     5     5    15     5     5     5     5     5     5
 [80,]     5     5     5     5     5     5    15     5     5     5     5     5
 [81,]     5     5     5     5     5     5     5    15     5     5     5     5
 [82,]     5     5     5     5     5     5     5     5    15     5     5     5
 [83,]     5     5     5     5     5     5     5     5     5    15     5     5
 [84,]     5     5     5     5     5     5     5     5     5     5    15     5
 [85,]     5     5     5     5     5     5     5     5     5     5     5    15
 [86,]     5     5     5     5     5     5     5     5     5     5     5     5
 [87,]     5     5     5     5     5     5     5     5     5     5     5     5
 [88,]     5     5     5     5     5     5     5     5     5     5     5     5
 [89,]     5     5     5     5     5     5     5     5     5     5     5     5
 [90,]     5     5     5     5     5     5     5     5     5     5     5     5
 [91,]     0     0     0     0     0     0     0     0     0     0     0     0
 [92,]     0     0     0     0     0     0     0     0     0     0     0     0
 [93,]     0     0     0     0     0     0     0     0     0     0     0     0
 [94,]     0     0     0     0     0     0     0     0     0     0     0     0
 [95,]     0     0     0     0     0     0     0     0     0     0     0     0
 [96,]     0     0     0     0     0     0     0     0     0     0     0     0
 [97,]     0     0     0     0     0     0     0     0     0     0     0     0
 [98,]     0     0     0     0     0     0     0     0     0     0     0     0
 [99,]     0     0     0     0     0     0     0     0     0     0     0     0
[100,]     0     0     0     0     0     0     0     0     0     0     0     0
[101,]     0     0     0     0     0     0     0     0     0     0     0     0
[102,]     0     0     0     0     0     0     0     0     0     0     0     0
[103,]     0     0     0     0     0     0     0     0     0     0     0     0
[104,]     0     0     0     0     0     0     0     0     0     0     0     0
[105,]     0     0     0     0     0     0     0     0     0     0     0     0
[106,]     0     0     0     0     0     0     0     0     0     0     0     0
[107,]     0     0     0     0     0     0     0     0     0     0     0     0
[108,]     0     0     0     0     0     0     0     0     0     0     0     0
[109,]     0     0     0     0     0     0     0     0     0     0     0     0
[110,]     0     0     0     0     0     0     0     0     0     0     0     0
[111,]     0     0     0     0     0     0     0     0     0     0     0     0
[112,]     0     0     0     0     0     0     0     0     0     0     0     0
[113,]     0     0     0     0     0     0     0     0     0     0     0     0
[114,]     0     0     0     0     0     0     0     0     0     0     0     0
[115,]     0     0     0     0     0     0     0     0     0     0     0     0
[116,]     0     0     0     0     0     0     0     0     0     0     0     0
[117,]     0     0     0     0     0     0     0     0     0     0     0     0
[118,]     0     0     0     0     0     0     0     0     0     0     0     0
[119,]     0     0     0     0     0     0     0     0     0     0     0     0
[120,]     0     0     0     0     0     0     0     0     0     0     0     0
[121,]     0     0     0     0     0     0     0     0     0     0     0     0
[122,]     0     0     0     0     0     0     0     0     0     0     0     0
[123,]     0     0     0     0     0     0     0     0     0     0     0     0
[124,]     0     0     0     0     0     0     0     0     0     0     0     0
[125,]     0     0     0     0     0     0     0     0     0     0     0     0
[126,]     0     0     0     0     0     0     0     0     0     0     0     0
[127,]     0     0     0     0     0     0     0     0     0     0     0     0
[128,]     0     0     0     0     0     0     0     0     0     0     0     0
[129,]     0     0     0     0     0     0     0     0     0     0     0     0
[130,]     0     0     0     0     0     0     0     0     0     0     0     0
[131,]     0     0     0     0     0     0     0     0     0     0     0     0
[132,]     0     0     0     0     0     0     0     0     0     0     0     0
[133,]     0     0     0     0     0     0     0     0     0     0     0     0
[134,]     0     0     0     0     0     0     0     0     0     0     0     0
[135,]     0     0     0     0     0     0     0     0     0     0     0     0
[136,]     0     0     0     0     0     0     0     0     0     0     0     0
[137,]     0     0     0     0     0     0     0     0     0     0     0     0
[138,]     0     0     0     0     0     0     0     0     0     0     0     0
[139,]     0     0     0     0     0     0     0     0     0     0     0     0
[140,]     0     0     0     0     0     0     0     0     0     0     0     0
[141,]     0     0     0     0     0     0     0     0     0     0     0     0
[142,]     0     0     0     0     0     0     0     0     0     0     0     0
[143,]     0     0     0     0     0     0     0     0     0     0     0     0
[144,]     0     0     0     0     0     0     0     0     0     0     0     0
[145,]     0     0     0     0     0     0     0     0     0     0     0     0
[146,]     0     0     0     0     0     0     0     0     0     0     0     0
[147,]     0     0     0     0     0     0     0     0     0     0     0     0
[148,]     0     0     0     0     0     0     0     0     0     0     0     0
[149,]     0     0     0     0     0     0     0     0     0     0     0     0
[150,]     0     0     0     0     0     0     0     0     0     0     0     0
[151,]     0     0     0     0     0     0     0     0     0     0     0     0
[152,]     0     0     0     0     0     0     0     0     0     0     0     0
[153,]     0     0     0     0     0     0     0     0     0     0     0     0
[154,]     0     0     0     0     0     0     0     0     0     0     0     0
[155,]     0     0     0     0     0     0     0     0     0     0     0     0
[156,]     0     0     0     0     0     0     0     0     0     0     0     0
[157,]     0     0     0     0     0     0     0     0     0     0     0     0
[158,]     0     0     0     0     0     0     0     0     0     0     0     0
[159,]     0     0     0     0     0     0     0     0     0     0     0     0
[160,]     0     0     0     0     0     0     0     0     0     0     0     0
[161,]     0     0     0     0     0     0     0     0     0     0     0     0
[162,]     0     0     0     0     0     0     0     0     0     0     0     0
[163,]     0     0     0     0     0     0     0     0     0     0     0     0
[164,]     0     0     0     0     0     0     0     0     0     0     0     0
[165,]     0     0     0     0     0     0     0     0     0     0     0     0
[166,]     0     0     0     0     0     0     0     0     0     0     0     0
[167,]     0     0     0     0     0     0     0     0     0     0     0     0
[168,]     0     0     0     0     0     0     0     0     0     0     0     0
[169,]     0     0     0     0     0     0     0     0     0     0     0     0
[170,]     0     0     0     0     0     0     0     0     0     0     0     0
[171,]     0     0     0     0     0     0     0     0     0     0     0     0
[172,]     0     0     0     0     0     0     0     0     0     0     0     0
[173,]     0     0     0     0     0     0     0     0     0     0     0     0
[174,]     0     0     0     0     0     0     0     0     0     0     0     0
[175,]     0     0     0     0     0     0     0     0     0     0     0     0
[176,]     0     0     0     0     0     0     0     0     0     0     0     0
[177,]     0     0     0     0     0     0     0     0     0     0     0     0
[178,]     0     0     0     0     0     0     0     0     0     0     0     0
[179,]     0     0     0     0     0     0     0     0     0     0     0     0
[180,]     0     0     0     0     0     0     0     0     0     0     0     0
       [,86] [,87] [,88] [,89] [,90] [,91] [,92] [,93] [,94] [,95] [,96] [,97]
  [1,]     5     5     5     5     5     0     0     0     0     0     0     0
  [2,]     5     5     5     5     5     0     0     0     0     0     0     0
  [3,]     5     5     5     5     5     0     0     0     0     0     0     0
  [4,]     5     5     5     5     5     0     0     0     0     0     0     0
  [5,]     5     5     5     5     5     0     0     0     0     0     0     0
  [6,]     5     5     5     5     5     0     0     0     0     0     0     0
  [7,]     5     5     5     5     5     0     0     0     0     0     0     0
  [8,]     5     5     5     5     5     0     0     0     0     0     0     0
  [9,]     5     5     5     5     5     0     0     0     0     0     0     0
 [10,]     5     5     5     5     5     0     0     0     0     0     0     0
 [11,]     5     5     5     5     5     0     0     0     0     0     0     0
 [12,]     5     5     5     5     5     0     0     0     0     0     0     0
 [13,]     5     5     5     5     5     0     0     0     0     0     0     0
 [14,]     5     5     5     5     5     0     0     0     0     0     0     0
 [15,]     5     5     5     5     5     0     0     0     0     0     0     0
 [16,]     5     5     5     5     5     0     0     0     0     0     0     0
 [17,]     5     5     5     5     5     0     0     0     0     0     0     0
 [18,]     5     5     5     5     5     0     0     0     0     0     0     0
 [19,]     5     5     5     5     5     0     0     0     0     0     0     0
 [20,]     5     5     5     5     5     0     0     0     0     0     0     0
 [21,]     5     5     5     5     5     0     0     0     0     0     0     0
 [22,]     5     5     5     5     5     0     0     0     0     0     0     0
 [23,]     5     5     5     5     5     0     0     0     0     0     0     0
 [24,]     5     5     5     5     5     0     0     0     0     0     0     0
 [25,]     5     5     5     5     5     0     0     0     0     0     0     0
 [26,]     5     5     5     5     5     0     0     0     0     0     0     0
 [27,]     5     5     5     5     5     0     0     0     0     0     0     0
 [28,]     5     5     5     5     5     0     0     0     0     0     0     0
 [29,]     5     5     5     5     5     0     0     0     0     0     0     0
 [30,]     5     5     5     5     5     0     0     0     0     0     0     0
 [31,]     5     5     5     5     5     0     0     0     0     0     0     0
 [32,]     5     5     5     5     5     0     0     0     0     0     0     0
 [33,]     5     5     5     5     5     0     0     0     0     0     0     0
 [34,]     5     5     5     5     5     0     0     0     0     0     0     0
 [35,]     5     5     5     5     5     0     0     0     0     0     0     0
 [36,]     5     5     5     5     5     0     0     0     0     0     0     0
 [37,]     5     5     5     5     5     0     0     0     0     0     0     0
 [38,]     5     5     5     5     5     0     0     0     0     0     0     0
 [39,]     5     5     5     5     5     0     0     0     0     0     0     0
 [40,]     5     5     5     5     5     0     0     0     0     0     0     0
 [41,]     5     5     5     5     5     0     0     0     0     0     0     0
 [42,]     5     5     5     5     5     0     0     0     0     0     0     0
 [43,]     5     5     5     5     5     0     0     0     0     0     0     0
 [44,]     5     5     5     5     5     0     0     0     0     0     0     0
 [45,]     5     5     5     5     5     0     0     0     0     0     0     0
 [46,]     5     5     5     5     5     0     0     0     0     0     0     0
 [47,]     5     5     5     5     5     0     0     0     0     0     0     0
 [48,]     5     5     5     5     5     0     0     0     0     0     0     0
 [49,]     5     5     5     5     5     0     0     0     0     0     0     0
 [50,]     5     5     5     5     5     0     0     0     0     0     0     0
 [51,]     5     5     5     5     5     0     0     0     0     0     0     0
 [52,]     5     5     5     5     5     0     0     0     0     0     0     0
 [53,]     5     5     5     5     5     0     0     0     0     0     0     0
 [54,]     5     5     5     5     5     0     0     0     0     0     0     0
 [55,]     5     5     5     5     5     0     0     0     0     0     0     0
 [56,]     5     5     5     5     5     0     0     0     0     0     0     0
 [57,]     5     5     5     5     5     0     0     0     0     0     0     0
 [58,]     5     5     5     5     5     0     0     0     0     0     0     0
 [59,]     5     5     5     5     5     0     0     0     0     0     0     0
 [60,]     5     5     5     5     5     0     0     0     0     0     0     0
 [61,]     5     5     5     5     5     0     0     0     0     0     0     0
 [62,]     5     5     5     5     5     0     0     0     0     0     0     0
 [63,]     5     5     5     5     5     0     0     0     0     0     0     0
 [64,]     5     5     5     5     5     0     0     0     0     0     0     0
 [65,]     5     5     5     5     5     0     0     0     0     0     0     0
 [66,]     5     5     5     5     5     0     0     0     0     0     0     0
 [67,]     5     5     5     5     5     0     0     0     0     0     0     0
 [68,]     5     5     5     5     5     0     0     0     0     0     0     0
 [69,]     5     5     5     5     5     0     0     0     0     0     0     0
 [70,]     5     5     5     5     5     0     0     0     0     0     0     0
 [71,]     5     5     5     5     5     0     0     0     0     0     0     0
 [72,]     5     5     5     5     5     0     0     0     0     0     0     0
 [73,]     5     5     5     5     5     0     0     0     0     0     0     0
 [74,]     5     5     5     5     5     0     0     0     0     0     0     0
 [75,]     5     5     5     5     5     0     0     0     0     0     0     0
 [76,]     5     5     5     5     5     0     0     0     0     0     0     0
 [77,]     5     5     5     5     5     0     0     0     0     0     0     0
 [78,]     5     5     5     5     5     0     0     0     0     0     0     0
 [79,]     5     5     5     5     5     0     0     0     0     0     0     0
 [80,]     5     5     5     5     5     0     0     0     0     0     0     0
 [81,]     5     5     5     5     5     0     0     0     0     0     0     0
 [82,]     5     5     5     5     5     0     0     0     0     0     0     0
 [83,]     5     5     5     5     5     0     0     0     0     0     0     0
 [84,]     5     5     5     5     5     0     0     0     0     0     0     0
 [85,]     5     5     5     5     5     0     0     0     0     0     0     0
 [86,]    15     5     5     5     5     0     0     0     0     0     0     0
 [87,]     5    15     5     5     5     0     0     0     0     0     0     0
 [88,]     5     5    15     5     5     0     0     0     0     0     0     0
 [89,]     5     5     5    15     5     0     0     0     0     0     0     0
 [90,]     5     5     5     5    15     0     0     0     0     0     0     0
 [91,]     0     0     0     0     0    19     7     7     7     7     7     7
 [92,]     0     0     0     0     0     7    19     7     7     7     7     7
 [93,]     0     0     0     0     0     7     7    19     7     7     7     7
 [94,]     0     0     0     0     0     7     7     7    19     7     7     7
 [95,]     0     0     0     0     0     7     7     7     7    19     7     7
 [96,]     0     0     0     0     0     7     7     7     7     7    19     7
 [97,]     0     0     0     0     0     7     7     7     7     7     7    19
 [98,]     0     0     0     0     0     7     7     7     7     7     7     7
 [99,]     0     0     0     0     0     7     7     7     7     7     7     7
[100,]     0     0     0     0     0     7     7     7     7     7     7     7
[101,]     0     0     0     0     0     7     7     7     7     7     7     7
[102,]     0     0     0     0     0     7     7     7     7     7     7     7
[103,]     0     0     0     0     0     7     7     7     7     7     7     7
[104,]     0     0     0     0     0     7     7     7     7     7     7     7
[105,]     0     0     0     0     0     7     7     7     7     7     7     7
[106,]     0     0     0     0     0     7     7     7     7     7     7     7
[107,]     0     0     0     0     0     7     7     7     7     7     7     7
[108,]     0     0     0     0     0     7     7     7     7     7     7     7
[109,]     0     0     0     0     0     7     7     7     7     7     7     7
[110,]     0     0     0     0     0     7     7     7     7     7     7     7
[111,]     0     0     0     0     0     7     7     7     7     7     7     7
[112,]     0     0     0     0     0     7     7     7     7     7     7     7
[113,]     0     0     0     0     0     7     7     7     7     7     7     7
[114,]     0     0     0     0     0     7     7     7     7     7     7     7
[115,]     0     0     0     0     0     7     7     7     7     7     7     7
[116,]     0     0     0     0     0     7     7     7     7     7     7     7
[117,]     0     0     0     0     0     7     7     7     7     7     7     7
[118,]     0     0     0     0     0     7     7     7     7     7     7     7
[119,]     0     0     0     0     0     7     7     7     7     7     7     7
[120,]     0     0     0     0     0     7     7     7     7     7     7     7
[121,]     0     0     0     0     0     7     7     7     7     7     7     7
[122,]     0     0     0     0     0     7     7     7     7     7     7     7
[123,]     0     0     0     0     0     7     7     7     7     7     7     7
[124,]     0     0     0     0     0     7     7     7     7     7     7     7
[125,]     0     0     0     0     0     7     7     7     7     7     7     7
[126,]     0     0     0     0     0     7     7     7     7     7     7     7
[127,]     0     0     0     0     0     7     7     7     7     7     7     7
[128,]     0     0     0     0     0     7     7     7     7     7     7     7
[129,]     0     0     0     0     0     7     7     7     7     7     7     7
[130,]     0     0     0     0     0     7     7     7     7     7     7     7
[131,]     0     0     0     0     0     7     7     7     7     7     7     7
[132,]     0     0     0     0     0     7     7     7     7     7     7     7
[133,]     0     0     0     0     0     7     7     7     7     7     7     7
[134,]     0     0     0     0     0     7     7     7     7     7     7     7
[135,]     0     0     0     0     0     7     7     7     7     7     7     7
[136,]     0     0     0     0     0     7     7     7     7     7     7     7
[137,]     0     0     0     0     0     7     7     7     7     7     7     7
[138,]     0     0     0     0     0     7     7     7     7     7     7     7
[139,]     0     0     0     0     0     7     7     7     7     7     7     7
[140,]     0     0     0     0     0     7     7     7     7     7     7     7
[141,]     0     0     0     0     0     7     7     7     7     7     7     7
[142,]     0     0     0     0     0     7     7     7     7     7     7     7
[143,]     0     0     0     0     0     7     7     7     7     7     7     7
[144,]     0     0     0     0     0     7     7     7     7     7     7     7
[145,]     0     0     0     0     0     7     7     7     7     7     7     7
[146,]     0     0     0     0     0     7     7     7     7     7     7     7
[147,]     0     0     0     0     0     7     7     7     7     7     7     7
[148,]     0     0     0     0     0     7     7     7     7     7     7     7
[149,]     0     0     0     0     0     7     7     7     7     7     7     7
[150,]     0     0     0     0     0     7     7     7     7     7     7     7
[151,]     0     0     0     0     0     7     7     7     7     7     7     7
[152,]     0     0     0     0     0     7     7     7     7     7     7     7
[153,]     0     0     0     0     0     7     7     7     7     7     7     7
[154,]     0     0     0     0     0     7     7     7     7     7     7     7
[155,]     0     0     0     0     0     7     7     7     7     7     7     7
[156,]     0     0     0     0     0     7     7     7     7     7     7     7
[157,]     0     0     0     0     0     7     7     7     7     7     7     7
[158,]     0     0     0     0     0     7     7     7     7     7     7     7
[159,]     0     0     0     0     0     7     7     7     7     7     7     7
[160,]     0     0     0     0     0     7     7     7     7     7     7     7
[161,]     0     0     0     0     0     7     7     7     7     7     7     7
[162,]     0     0     0     0     0     7     7     7     7     7     7     7
[163,]     0     0     0     0     0     7     7     7     7     7     7     7
[164,]     0     0     0     0     0     7     7     7     7     7     7     7
[165,]     0     0     0     0     0     7     7     7     7     7     7     7
[166,]     0     0     0     0     0     7     7     7     7     7     7     7
[167,]     0     0     0     0     0     7     7     7     7     7     7     7
[168,]     0     0     0     0     0     7     7     7     7     7     7     7
[169,]     0     0     0     0     0     7     7     7     7     7     7     7
[170,]     0     0     0     0     0     7     7     7     7     7     7     7
[171,]     0     0     0     0     0     7     7     7     7     7     7     7
[172,]     0     0     0     0     0     7     7     7     7     7     7     7
[173,]     0     0     0     0     0     7     7     7     7     7     7     7
[174,]     0     0     0     0     0     7     7     7     7     7     7     7
[175,]     0     0     0     0     0     7     7     7     7     7     7     7
[176,]     0     0     0     0     0     7     7     7     7     7     7     7
[177,]     0     0     0     0     0     7     7     7     7     7     7     7
[178,]     0     0     0     0     0     7     7     7     7     7     7     7
[179,]     0     0     0     0     0     7     7     7     7     7     7     7
[180,]     0     0     0     0     0     7     7     7     7     7     7     7
       [,98] [,99] [,100] [,101] [,102] [,103] [,104] [,105] [,106] [,107]
  [1,]     0     0      0      0      0      0      0      0      0      0
  [2,]     0     0      0      0      0      0      0      0      0      0
  [3,]     0     0      0      0      0      0      0      0      0      0
  [4,]     0     0      0      0      0      0      0      0      0      0
  [5,]     0     0      0      0      0      0      0      0      0      0
  [6,]     0     0      0      0      0      0      0      0      0      0
  [7,]     0     0      0      0      0      0      0      0      0      0
  [8,]     0     0      0      0      0      0      0      0      0      0
  [9,]     0     0      0      0      0      0      0      0      0      0
 [10,]     0     0      0      0      0      0      0      0      0      0
 [11,]     0     0      0      0      0      0      0      0      0      0
 [12,]     0     0      0      0      0      0      0      0      0      0
 [13,]     0     0      0      0      0      0      0      0      0      0
 [14,]     0     0      0      0      0      0      0      0      0      0
 [15,]     0     0      0      0      0      0      0      0      0      0
 [16,]     0     0      0      0      0      0      0      0      0      0
 [17,]     0     0      0      0      0      0      0      0      0      0
 [18,]     0     0      0      0      0      0      0      0      0      0
 [19,]     0     0      0      0      0      0      0      0      0      0
 [20,]     0     0      0      0      0      0      0      0      0      0
 [21,]     0     0      0      0      0      0      0      0      0      0
 [22,]     0     0      0      0      0      0      0      0      0      0
 [23,]     0     0      0      0      0      0      0      0      0      0
 [24,]     0     0      0      0      0      0      0      0      0      0
 [25,]     0     0      0      0      0      0      0      0      0      0
 [26,]     0     0      0      0      0      0      0      0      0      0
 [27,]     0     0      0      0      0      0      0      0      0      0
 [28,]     0     0      0      0      0      0      0      0      0      0
 [29,]     0     0      0      0      0      0      0      0      0      0
 [30,]     0     0      0      0      0      0      0      0      0      0
 [31,]     0     0      0      0      0      0      0      0      0      0
 [32,]     0     0      0      0      0      0      0      0      0      0
 [33,]     0     0      0      0      0      0      0      0      0      0
 [34,]     0     0      0      0      0      0      0      0      0      0
 [35,]     0     0      0      0      0      0      0      0      0      0
 [36,]     0     0      0      0      0      0      0      0      0      0
 [37,]     0     0      0      0      0      0      0      0      0      0
 [38,]     0     0      0      0      0      0      0      0      0      0
 [39,]     0     0      0      0      0      0      0      0      0      0
 [40,]     0     0      0      0      0      0      0      0      0      0
 [41,]     0     0      0      0      0      0      0      0      0      0
 [42,]     0     0      0      0      0      0      0      0      0      0
 [43,]     0     0      0      0      0      0      0      0      0      0
 [44,]     0     0      0      0      0      0      0      0      0      0
 [45,]     0     0      0      0      0      0      0      0      0      0
 [46,]     0     0      0      0      0      0      0      0      0      0
 [47,]     0     0      0      0      0      0      0      0      0      0
 [48,]     0     0      0      0      0      0      0      0      0      0
 [49,]     0     0      0      0      0      0      0      0      0      0
 [50,]     0     0      0      0      0      0      0      0      0      0
 [51,]     0     0      0      0      0      0      0      0      0      0
 [52,]     0     0      0      0      0      0      0      0      0      0
 [53,]     0     0      0      0      0      0      0      0      0      0
 [54,]     0     0      0      0      0      0      0      0      0      0
 [55,]     0     0      0      0      0      0      0      0      0      0
 [56,]     0     0      0      0      0      0      0      0      0      0
 [57,]     0     0      0      0      0      0      0      0      0      0
 [58,]     0     0      0      0      0      0      0      0      0      0
 [59,]     0     0      0      0      0      0      0      0      0      0
 [60,]     0     0      0      0      0      0      0      0      0      0
 [61,]     0     0      0      0      0      0      0      0      0      0
 [62,]     0     0      0      0      0      0      0      0      0      0
 [63,]     0     0      0      0      0      0      0      0      0      0
 [64,]     0     0      0      0      0      0      0      0      0      0
 [65,]     0     0      0      0      0      0      0      0      0      0
 [66,]     0     0      0      0      0      0      0      0      0      0
 [67,]     0     0      0      0      0      0      0      0      0      0
 [68,]     0     0      0      0      0      0      0      0      0      0
 [69,]     0     0      0      0      0      0      0      0      0      0
 [70,]     0     0      0      0      0      0      0      0      0      0
 [71,]     0     0      0      0      0      0      0      0      0      0
 [72,]     0     0      0      0      0      0      0      0      0      0
 [73,]     0     0      0      0      0      0      0      0      0      0
 [74,]     0     0      0      0      0      0      0      0      0      0
 [75,]     0     0      0      0      0      0      0      0      0      0
 [76,]     0     0      0      0      0      0      0      0      0      0
 [77,]     0     0      0      0      0      0      0      0      0      0
 [78,]     0     0      0      0      0      0      0      0      0      0
 [79,]     0     0      0      0      0      0      0      0      0      0
 [80,]     0     0      0      0      0      0      0      0      0      0
 [81,]     0     0      0      0      0      0      0      0      0      0
 [82,]     0     0      0      0      0      0      0      0      0      0
 [83,]     0     0      0      0      0      0      0      0      0      0
 [84,]     0     0      0      0      0      0      0      0      0      0
 [85,]     0     0      0      0      0      0      0      0      0      0
 [86,]     0     0      0      0      0      0      0      0      0      0
 [87,]     0     0      0      0      0      0      0      0      0      0
 [88,]     0     0      0      0      0      0      0      0      0      0
 [89,]     0     0      0      0      0      0      0      0      0      0
 [90,]     0     0      0      0      0      0      0      0      0      0
 [91,]     7     7      7      7      7      7      7      7      7      7
 [92,]     7     7      7      7      7      7      7      7      7      7
 [93,]     7     7      7      7      7      7      7      7      7      7
 [94,]     7     7      7      7      7      7      7      7      7      7
 [95,]     7     7      7      7      7      7      7      7      7      7
 [96,]     7     7      7      7      7      7      7      7      7      7
 [97,]     7     7      7      7      7      7      7      7      7      7
 [98,]    19     7      7      7      7      7      7      7      7      7
 [99,]     7    19      7      7      7      7      7      7      7      7
[100,]     7     7     19      7      7      7      7      7      7      7
[101,]     7     7      7     19      7      7      7      7      7      7
[102,]     7     7      7      7     19      7      7      7      7      7
[103,]     7     7      7      7      7     19      7      7      7      7
[104,]     7     7      7      7      7      7     19      7      7      7
[105,]     7     7      7      7      7      7      7     19      7      7
[106,]     7     7      7      7      7      7      7      7     19      7
[107,]     7     7      7      7      7      7      7      7      7     19
[108,]     7     7      7      7      7      7      7      7      7      7
[109,]     7     7      7      7      7      7      7      7      7      7
[110,]     7     7      7      7      7      7      7      7      7      7
[111,]     7     7      7      7      7      7      7      7      7      7
[112,]     7     7      7      7      7      7      7      7      7      7
[113,]     7     7      7      7      7      7      7      7      7      7
[114,]     7     7      7      7      7      7      7      7      7      7
[115,]     7     7      7      7      7      7      7      7      7      7
[116,]     7     7      7      7      7      7      7      7      7      7
[117,]     7     7      7      7      7      7      7      7      7      7
[118,]     7     7      7      7      7      7      7      7      7      7
[119,]     7     7      7      7      7      7      7      7      7      7
[120,]     7     7      7      7      7      7      7      7      7      7
[121,]     7     7      7      7      7      7      7      7      7      7
[122,]     7     7      7      7      7      7      7      7      7      7
[123,]     7     7      7      7      7      7      7      7      7      7
[124,]     7     7      7      7      7      7      7      7      7      7
[125,]     7     7      7      7      7      7      7      7      7      7
[126,]     7     7      7      7      7      7      7      7      7      7
[127,]     7     7      7      7      7      7      7      7      7      7
[128,]     7     7      7      7      7      7      7      7      7      7
[129,]     7     7      7      7      7      7      7      7      7      7
[130,]     7     7      7      7      7      7      7      7      7      7
[131,]     7     7      7      7      7      7      7      7      7      7
[132,]     7     7      7      7      7      7      7      7      7      7
[133,]     7     7      7      7      7      7      7      7      7      7
[134,]     7     7      7      7      7      7      7      7      7      7
[135,]     7     7      7      7      7      7      7      7      7      7
[136,]     7     7      7      7      7      7      7      7      7      7
[137,]     7     7      7      7      7      7      7      7      7      7
[138,]     7     7      7      7      7      7      7      7      7      7
[139,]     7     7      7      7      7      7      7      7      7      7
[140,]     7     7      7      7      7      7      7      7      7      7
[141,]     7     7      7      7      7      7      7      7      7      7
[142,]     7     7      7      7      7      7      7      7      7      7
[143,]     7     7      7      7      7      7      7      7      7      7
[144,]     7     7      7      7      7      7      7      7      7      7
[145,]     7     7      7      7      7      7      7      7      7      7
[146,]     7     7      7      7      7      7      7      7      7      7
[147,]     7     7      7      7      7      7      7      7      7      7
[148,]     7     7      7      7      7      7      7      7      7      7
[149,]     7     7      7      7      7      7      7      7      7      7
[150,]     7     7      7      7      7      7      7      7      7      7
[151,]     7     7      7      7      7      7      7      7      7      7
[152,]     7     7      7      7      7      7      7      7      7      7
[153,]     7     7      7      7      7      7      7      7      7      7
[154,]     7     7      7      7      7      7      7      7      7      7
[155,]     7     7      7      7      7      7      7      7      7      7
[156,]     7     7      7      7      7      7      7      7      7      7
[157,]     7     7      7      7      7      7      7      7      7      7
[158,]     7     7      7      7      7      7      7      7      7      7
[159,]     7     7      7      7      7      7      7      7      7      7
[160,]     7     7      7      7      7      7      7      7      7      7
[161,]     7     7      7      7      7      7      7      7      7      7
[162,]     7     7      7      7      7      7      7      7      7      7
[163,]     7     7      7      7      7      7      7      7      7      7
[164,]     7     7      7      7      7      7      7      7      7      7
[165,]     7     7      7      7      7      7      7      7      7      7
[166,]     7     7      7      7      7      7      7      7      7      7
[167,]     7     7      7      7      7      7      7      7      7      7
[168,]     7     7      7      7      7      7      7      7      7      7
[169,]     7     7      7      7      7      7      7      7      7      7
[170,]     7     7      7      7      7      7      7      7      7      7
[171,]     7     7      7      7      7      7      7      7      7      7
[172,]     7     7      7      7      7      7      7      7      7      7
[173,]     7     7      7      7      7      7      7      7      7      7
[174,]     7     7      7      7      7      7      7      7      7      7
[175,]     7     7      7      7      7      7      7      7      7      7
[176,]     7     7      7      7      7      7      7      7      7      7
[177,]     7     7      7      7      7      7      7      7      7      7
[178,]     7     7      7      7      7      7      7      7      7      7
[179,]     7     7      7      7      7      7      7      7      7      7
[180,]     7     7      7      7      7      7      7      7      7      7
       [,108] [,109] [,110] [,111] [,112] [,113] [,114] [,115] [,116] [,117]
  [1,]      0      0      0      0      0      0      0      0      0      0
  [2,]      0      0      0      0      0      0      0      0      0      0
  [3,]      0      0      0      0      0      0      0      0      0      0
  [4,]      0      0      0      0      0      0      0      0      0      0
  [5,]      0      0      0      0      0      0      0      0      0      0
  [6,]      0      0      0      0      0      0      0      0      0      0
  [7,]      0      0      0      0      0      0      0      0      0      0
  [8,]      0      0      0      0      0      0      0      0      0      0
  [9,]      0      0      0      0      0      0      0      0      0      0
 [10,]      0      0      0      0      0      0      0      0      0      0
 [11,]      0      0      0      0      0      0      0      0      0      0
 [12,]      0      0      0      0      0      0      0      0      0      0
 [13,]      0      0      0      0      0      0      0      0      0      0
 [14,]      0      0      0      0      0      0      0      0      0      0
 [15,]      0      0      0      0      0      0      0      0      0      0
 [16,]      0      0      0      0      0      0      0      0      0      0
 [17,]      0      0      0      0      0      0      0      0      0      0
 [18,]      0      0      0      0      0      0      0      0      0      0
 [19,]      0      0      0      0      0      0      0      0      0      0
 [20,]      0      0      0      0      0      0      0      0      0      0
 [21,]      0      0      0      0      0      0      0      0      0      0
 [22,]      0      0      0      0      0      0      0      0      0      0
 [23,]      0      0      0      0      0      0      0      0      0      0
 [24,]      0      0      0      0      0      0      0      0      0      0
 [25,]      0      0      0      0      0      0      0      0      0      0
 [26,]      0      0      0      0      0      0      0      0      0      0
 [27,]      0      0      0      0      0      0      0      0      0      0
 [28,]      0      0      0      0      0      0      0      0      0      0
 [29,]      0      0      0      0      0      0      0      0      0      0
 [30,]      0      0      0      0      0      0      0      0      0      0
 [31,]      0      0      0      0      0      0      0      0      0      0
 [32,]      0      0      0      0      0      0      0      0      0      0
 [33,]      0      0      0      0      0      0      0      0      0      0
 [34,]      0      0      0      0      0      0      0      0      0      0
 [35,]      0      0      0      0      0      0      0      0      0      0
 [36,]      0      0      0      0      0      0      0      0      0      0
 [37,]      0      0      0      0      0      0      0      0      0      0
 [38,]      0      0      0      0      0      0      0      0      0      0
 [39,]      0      0      0      0      0      0      0      0      0      0
 [40,]      0      0      0      0      0      0      0      0      0      0
 [41,]      0      0      0      0      0      0      0      0      0      0
 [42,]      0      0      0      0      0      0      0      0      0      0
 [43,]      0      0      0      0      0      0      0      0      0      0
 [44,]      0      0      0      0      0      0      0      0      0      0
 [45,]      0      0      0      0      0      0      0      0      0      0
 [46,]      0      0      0      0      0      0      0      0      0      0
 [47,]      0      0      0      0      0      0      0      0      0      0
 [48,]      0      0      0      0      0      0      0      0      0      0
 [49,]      0      0      0      0      0      0      0      0      0      0
 [50,]      0      0      0      0      0      0      0      0      0      0
 [51,]      0      0      0      0      0      0      0      0      0      0
 [52,]      0      0      0      0      0      0      0      0      0      0
 [53,]      0      0      0      0      0      0      0      0      0      0
 [54,]      0      0      0      0      0      0      0      0      0      0
 [55,]      0      0      0      0      0      0      0      0      0      0
 [56,]      0      0      0      0      0      0      0      0      0      0
 [57,]      0      0      0      0      0      0      0      0      0      0
 [58,]      0      0      0      0      0      0      0      0      0      0
 [59,]      0      0      0      0      0      0      0      0      0      0
 [60,]      0      0      0      0      0      0      0      0      0      0
 [61,]      0      0      0      0      0      0      0      0      0      0
 [62,]      0      0      0      0      0      0      0      0      0      0
 [63,]      0      0      0      0      0      0      0      0      0      0
 [64,]      0      0      0      0      0      0      0      0      0      0
 [65,]      0      0      0      0      0      0      0      0      0      0
 [66,]      0      0      0      0      0      0      0      0      0      0
 [67,]      0      0      0      0      0      0      0      0      0      0
 [68,]      0      0      0      0      0      0      0      0      0      0
 [69,]      0      0      0      0      0      0      0      0      0      0
 [70,]      0      0      0      0      0      0      0      0      0      0
 [71,]      0      0      0      0      0      0      0      0      0      0
 [72,]      0      0      0      0      0      0      0      0      0      0
 [73,]      0      0      0      0      0      0      0      0      0      0
 [74,]      0      0      0      0      0      0      0      0      0      0
 [75,]      0      0      0      0      0      0      0      0      0      0
 [76,]      0      0      0      0      0      0      0      0      0      0
 [77,]      0      0      0      0      0      0      0      0      0      0
 [78,]      0      0      0      0      0      0      0      0      0      0
 [79,]      0      0      0      0      0      0      0      0      0      0
 [80,]      0      0      0      0      0      0      0      0      0      0
 [81,]      0      0      0      0      0      0      0      0      0      0
 [82,]      0      0      0      0      0      0      0      0      0      0
 [83,]      0      0      0      0      0      0      0      0      0      0
 [84,]      0      0      0      0      0      0      0      0      0      0
 [85,]      0      0      0      0      0      0      0      0      0      0
 [86,]      0      0      0      0      0      0      0      0      0      0
 [87,]      0      0      0      0      0      0      0      0      0      0
 [88,]      0      0      0      0      0      0      0      0      0      0
 [89,]      0      0      0      0      0      0      0      0      0      0
 [90,]      0      0      0      0      0      0      0      0      0      0
 [91,]      7      7      7      7      7      7      7      7      7      7
 [92,]      7      7      7      7      7      7      7      7      7      7
 [93,]      7      7      7      7      7      7      7      7      7      7
 [94,]      7      7      7      7      7      7      7      7      7      7
 [95,]      7      7      7      7      7      7      7      7      7      7
 [96,]      7      7      7      7      7      7      7      7      7      7
 [97,]      7      7      7      7      7      7      7      7      7      7
 [98,]      7      7      7      7      7      7      7      7      7      7
 [99,]      7      7      7      7      7      7      7      7      7      7
[100,]      7      7      7      7      7      7      7      7      7      7
[101,]      7      7      7      7      7      7      7      7      7      7
[102,]      7      7      7      7      7      7      7      7      7      7
[103,]      7      7      7      7      7      7      7      7      7      7
[104,]      7      7      7      7      7      7      7      7      7      7
[105,]      7      7      7      7      7      7      7      7      7      7
[106,]      7      7      7      7      7      7      7      7      7      7
[107,]      7      7      7      7      7      7      7      7      7      7
[108,]     19      7      7      7      7      7      7      7      7      7
[109,]      7     19      7      7      7      7      7      7      7      7
[110,]      7      7     19      7      7      7      7      7      7      7
[111,]      7      7      7     19      7      7      7      7      7      7
[112,]      7      7      7      7     19      7      7      7      7      7
[113,]      7      7      7      7      7     19      7      7      7      7
[114,]      7      7      7      7      7      7     19      7      7      7
[115,]      7      7      7      7      7      7      7     19      7      7
[116,]      7      7      7      7      7      7      7      7     19      7
[117,]      7      7      7      7      7      7      7      7      7     19
[118,]      7      7      7      7      7      7      7      7      7      7
[119,]      7      7      7      7      7      7      7      7      7      7
[120,]      7      7      7      7      7      7      7      7      7      7
[121,]      7      7      7      7      7      7      7      7      7      7
[122,]      7      7      7      7      7      7      7      7      7      7
[123,]      7      7      7      7      7      7      7      7      7      7
[124,]      7      7      7      7      7      7      7      7      7      7
[125,]      7      7      7      7      7      7      7      7      7      7
[126,]      7      7      7      7      7      7      7      7      7      7
[127,]      7      7      7      7      7      7      7      7      7      7
[128,]      7      7      7      7      7      7      7      7      7      7
[129,]      7      7      7      7      7      7      7      7      7      7
[130,]      7      7      7      7      7      7      7      7      7      7
[131,]      7      7      7      7      7      7      7      7      7      7
[132,]      7      7      7      7      7      7      7      7      7      7
[133,]      7      7      7      7      7      7      7      7      7      7
[134,]      7      7      7      7      7      7      7      7      7      7
[135,]      7      7      7      7      7      7      7      7      7      7
[136,]      7      7      7      7      7      7      7      7      7      7
[137,]      7      7      7      7      7      7      7      7      7      7
[138,]      7      7      7      7      7      7      7      7      7      7
[139,]      7      7      7      7      7      7      7      7      7      7
[140,]      7      7      7      7      7      7      7      7      7      7
[141,]      7      7      7      7      7      7      7      7      7      7
[142,]      7      7      7      7      7      7      7      7      7      7
[143,]      7      7      7      7      7      7      7      7      7      7
[144,]      7      7      7      7      7      7      7      7      7      7
[145,]      7      7      7      7      7      7      7      7      7      7
[146,]      7      7      7      7      7      7      7      7      7      7
[147,]      7      7      7      7      7      7      7      7      7      7
[148,]      7      7      7      7      7      7      7      7      7      7
[149,]      7      7      7      7      7      7      7      7      7      7
[150,]      7      7      7      7      7      7      7      7      7      7
[151,]      7      7      7      7      7      7      7      7      7      7
[152,]      7      7      7      7      7      7      7      7      7      7
[153,]      7      7      7      7      7      7      7      7      7      7
[154,]      7      7      7      7      7      7      7      7      7      7
[155,]      7      7      7      7      7      7      7      7      7      7
[156,]      7      7      7      7      7      7      7      7      7      7
[157,]      7      7      7      7      7      7      7      7      7      7
[158,]      7      7      7      7      7      7      7      7      7      7
[159,]      7      7      7      7      7      7      7      7      7      7
[160,]      7      7      7      7      7      7      7      7      7      7
[161,]      7      7      7      7      7      7      7      7      7      7
[162,]      7      7      7      7      7      7      7      7      7      7
[163,]      7      7      7      7      7      7      7      7      7      7
[164,]      7      7      7      7      7      7      7      7      7      7
[165,]      7      7      7      7      7      7      7      7      7      7
[166,]      7      7      7      7      7      7      7      7      7      7
[167,]      7      7      7      7      7      7      7      7      7      7
[168,]      7      7      7      7      7      7      7      7      7      7
[169,]      7      7      7      7      7      7      7      7      7      7
[170,]      7      7      7      7      7      7      7      7      7      7
[171,]      7      7      7      7      7      7      7      7      7      7
[172,]      7      7      7      7      7      7      7      7      7      7
[173,]      7      7      7      7      7      7      7      7      7      7
[174,]      7      7      7      7      7      7      7      7      7      7
[175,]      7      7      7      7      7      7      7      7      7      7
[176,]      7      7      7      7      7      7      7      7      7      7
[177,]      7      7      7      7      7      7      7      7      7      7
[178,]      7      7      7      7      7      7      7      7      7      7
[179,]      7      7      7      7      7      7      7      7      7      7
[180,]      7      7      7      7      7      7      7      7      7      7
       [,118] [,119] [,120] [,121] [,122] [,123] [,124] [,125] [,126] [,127]
  [1,]      0      0      0      0      0      0      0      0      0      0
  [2,]      0      0      0      0      0      0      0      0      0      0
  [3,]      0      0      0      0      0      0      0      0      0      0
  [4,]      0      0      0      0      0      0      0      0      0      0
  [5,]      0      0      0      0      0      0      0      0      0      0
  [6,]      0      0      0      0      0      0      0      0      0      0
  [7,]      0      0      0      0      0      0      0      0      0      0
  [8,]      0      0      0      0      0      0      0      0      0      0
  [9,]      0      0      0      0      0      0      0      0      0      0
 [10,]      0      0      0      0      0      0      0      0      0      0
 [11,]      0      0      0      0      0      0      0      0      0      0
 [12,]      0      0      0      0      0      0      0      0      0      0
 [13,]      0      0      0      0      0      0      0      0      0      0
 [14,]      0      0      0      0      0      0      0      0      0      0
 [15,]      0      0      0      0      0      0      0      0      0      0
 [16,]      0      0      0      0      0      0      0      0      0      0
 [17,]      0      0      0      0      0      0      0      0      0      0
 [18,]      0      0      0      0      0      0      0      0      0      0
 [19,]      0      0      0      0      0      0      0      0      0      0
 [20,]      0      0      0      0      0      0      0      0      0      0
 [21,]      0      0      0      0      0      0      0      0      0      0
 [22,]      0      0      0      0      0      0      0      0      0      0
 [23,]      0      0      0      0      0      0      0      0      0      0
 [24,]      0      0      0      0      0      0      0      0      0      0
 [25,]      0      0      0      0      0      0      0      0      0      0
 [26,]      0      0      0      0      0      0      0      0      0      0
 [27,]      0      0      0      0      0      0      0      0      0      0
 [28,]      0      0      0      0      0      0      0      0      0      0
 [29,]      0      0      0      0      0      0      0      0      0      0
 [30,]      0      0      0      0      0      0      0      0      0      0
 [31,]      0      0      0      0      0      0      0      0      0      0
 [32,]      0      0      0      0      0      0      0      0      0      0
 [33,]      0      0      0      0      0      0      0      0      0      0
 [34,]      0      0      0      0      0      0      0      0      0      0
 [35,]      0      0      0      0      0      0      0      0      0      0
 [36,]      0      0      0      0      0      0      0      0      0      0
 [37,]      0      0      0      0      0      0      0      0      0      0
 [38,]      0      0      0      0      0      0      0      0      0      0
 [39,]      0      0      0      0      0      0      0      0      0      0
 [40,]      0      0      0      0      0      0      0      0      0      0
 [41,]      0      0      0      0      0      0      0      0      0      0
 [42,]      0      0      0      0      0      0      0      0      0      0
 [43,]      0      0      0      0      0      0      0      0      0      0
 [44,]      0      0      0      0      0      0      0      0      0      0
 [45,]      0      0      0      0      0      0      0      0      0      0
 [46,]      0      0      0      0      0      0      0      0      0      0
 [47,]      0      0      0      0      0      0      0      0      0      0
 [48,]      0      0      0      0      0      0      0      0      0      0
 [49,]      0      0      0      0      0      0      0      0      0      0
 [50,]      0      0      0      0      0      0      0      0      0      0
 [51,]      0      0      0      0      0      0      0      0      0      0
 [52,]      0      0      0      0      0      0      0      0      0      0
 [53,]      0      0      0      0      0      0      0      0      0      0
 [54,]      0      0      0      0      0      0      0      0      0      0
 [55,]      0      0      0      0      0      0      0      0      0      0
 [56,]      0      0      0      0      0      0      0      0      0      0
 [57,]      0      0      0      0      0      0      0      0      0      0
 [58,]      0      0      0      0      0      0      0      0      0      0
 [59,]      0      0      0      0      0      0      0      0      0      0
 [60,]      0      0      0      0      0      0      0      0      0      0
 [61,]      0      0      0      0      0      0      0      0      0      0
 [62,]      0      0      0      0      0      0      0      0      0      0
 [63,]      0      0      0      0      0      0      0      0      0      0
 [64,]      0      0      0      0      0      0      0      0      0      0
 [65,]      0      0      0      0      0      0      0      0      0      0
 [66,]      0      0      0      0      0      0      0      0      0      0
 [67,]      0      0      0      0      0      0      0      0      0      0
 [68,]      0      0      0      0      0      0      0      0      0      0
 [69,]      0      0      0      0      0      0      0      0      0      0
 [70,]      0      0      0      0      0      0      0      0      0      0
 [71,]      0      0      0      0      0      0      0      0      0      0
 [72,]      0      0      0      0      0      0      0      0      0      0
 [73,]      0      0      0      0      0      0      0      0      0      0
 [74,]      0      0      0      0      0      0      0      0      0      0
 [75,]      0      0      0      0      0      0      0      0      0      0
 [76,]      0      0      0      0      0      0      0      0      0      0
 [77,]      0      0      0      0      0      0      0      0      0      0
 [78,]      0      0      0      0      0      0      0      0      0      0
 [79,]      0      0      0      0      0      0      0      0      0      0
 [80,]      0      0      0      0      0      0      0      0      0      0
 [81,]      0      0      0      0      0      0      0      0      0      0
 [82,]      0      0      0      0      0      0      0      0      0      0
 [83,]      0      0      0      0      0      0      0      0      0      0
 [84,]      0      0      0      0      0      0      0      0      0      0
 [85,]      0      0      0      0      0      0      0      0      0      0
 [86,]      0      0      0      0      0      0      0      0      0      0
 [87,]      0      0      0      0      0      0      0      0      0      0
 [88,]      0      0      0      0      0      0      0      0      0      0
 [89,]      0      0      0      0      0      0      0      0      0      0
 [90,]      0      0      0      0      0      0      0      0      0      0
 [91,]      7      7      7      7      7      7      7      7      7      7
 [92,]      7      7      7      7      7      7      7      7      7      7
 [93,]      7      7      7      7      7      7      7      7      7      7
 [94,]      7      7      7      7      7      7      7      7      7      7
 [95,]      7      7      7      7      7      7      7      7      7      7
 [96,]      7      7      7      7      7      7      7      7      7      7
 [97,]      7      7      7      7      7      7      7      7      7      7
 [98,]      7      7      7      7      7      7      7      7      7      7
 [99,]      7      7      7      7      7      7      7      7      7      7
[100,]      7      7      7      7      7      7      7      7      7      7
[101,]      7      7      7      7      7      7      7      7      7      7
[102,]      7      7      7      7      7      7      7      7      7      7
[103,]      7      7      7      7      7      7      7      7      7      7
[104,]      7      7      7      7      7      7      7      7      7      7
[105,]      7      7      7      7      7      7      7      7      7      7
[106,]      7      7      7      7      7      7      7      7      7      7
[107,]      7      7      7      7      7      7      7      7      7      7
[108,]      7      7      7      7      7      7      7      7      7      7
[109,]      7      7      7      7      7      7      7      7      7      7
[110,]      7      7      7      7      7      7      7      7      7      7
[111,]      7      7      7      7      7      7      7      7      7      7
[112,]      7      7      7      7      7      7      7      7      7      7
[113,]      7      7      7      7      7      7      7      7      7      7
[114,]      7      7      7      7      7      7      7      7      7      7
[115,]      7      7      7      7      7      7      7      7      7      7
[116,]      7      7      7      7      7      7      7      7      7      7
[117,]      7      7      7      7      7      7      7      7      7      7
[118,]     19      7      7      7      7      7      7      7      7      7
[119,]      7     19      7      7      7      7      7      7      7      7
[120,]      7      7     19      7      7      7      7      7      7      7
[121,]      7      7      7     19      7      7      7      7      7      7
[122,]      7      7      7      7     19      7      7      7      7      7
[123,]      7      7      7      7      7     19      7      7      7      7
[124,]      7      7      7      7      7      7     19      7      7      7
[125,]      7      7      7      7      7      7      7     19      7      7
[126,]      7      7      7      7      7      7      7      7     19      7
[127,]      7      7      7      7      7      7      7      7      7     19
[128,]      7      7      7      7      7      7      7      7      7      7
[129,]      7      7      7      7      7      7      7      7      7      7
[130,]      7      7      7      7      7      7      7      7      7      7
[131,]      7      7      7      7      7      7      7      7      7      7
[132,]      7      7      7      7      7      7      7      7      7      7
[133,]      7      7      7      7      7      7      7      7      7      7
[134,]      7      7      7      7      7      7      7      7      7      7
[135,]      7      7      7      7      7      7      7      7      7      7
[136,]      7      7      7      7      7      7      7      7      7      7
[137,]      7      7      7      7      7      7      7      7      7      7
[138,]      7      7      7      7      7      7      7      7      7      7
[139,]      7      7      7      7      7      7      7      7      7      7
[140,]      7      7      7      7      7      7      7      7      7      7
[141,]      7      7      7      7      7      7      7      7      7      7
[142,]      7      7      7      7      7      7      7      7      7      7
[143,]      7      7      7      7      7      7      7      7      7      7
[144,]      7      7      7      7      7      7      7      7      7      7
[145,]      7      7      7      7      7      7      7      7      7      7
[146,]      7      7      7      7      7      7      7      7      7      7
[147,]      7      7      7      7      7      7      7      7      7      7
[148,]      7      7      7      7      7      7      7      7      7      7
[149,]      7      7      7      7      7      7      7      7      7      7
[150,]      7      7      7      7      7      7      7      7      7      7
[151,]      7      7      7      7      7      7      7      7      7      7
[152,]      7      7      7      7      7      7      7      7      7      7
[153,]      7      7      7      7      7      7      7      7      7      7
[154,]      7      7      7      7      7      7      7      7      7      7
[155,]      7      7      7      7      7      7      7      7      7      7
[156,]      7      7      7      7      7      7      7      7      7      7
[157,]      7      7      7      7      7      7      7      7      7      7
[158,]      7      7      7      7      7      7      7      7      7      7
[159,]      7      7      7      7      7      7      7      7      7      7
[160,]      7      7      7      7      7      7      7      7      7      7
[161,]      7      7      7      7      7      7      7      7      7      7
[162,]      7      7      7      7      7      7      7      7      7      7
[163,]      7      7      7      7      7      7      7      7      7      7
[164,]      7      7      7      7      7      7      7      7      7      7
[165,]      7      7      7      7      7      7      7      7      7      7
[166,]      7      7      7      7      7      7      7      7      7      7
[167,]      7      7      7      7      7      7      7      7      7      7
[168,]      7      7      7      7      7      7      7      7      7      7
[169,]      7      7      7      7      7      7      7      7      7      7
[170,]      7      7      7      7      7      7      7      7      7      7
[171,]      7      7      7      7      7      7      7      7      7      7
[172,]      7      7      7      7      7      7      7      7      7      7
[173,]      7      7      7      7      7      7      7      7      7      7
[174,]      7      7      7      7      7      7      7      7      7      7
[175,]      7      7      7      7      7      7      7      7      7      7
[176,]      7      7      7      7      7      7      7      7      7      7
[177,]      7      7      7      7      7      7      7      7      7      7
[178,]      7      7      7      7      7      7      7      7      7      7
[179,]      7      7      7      7      7      7      7      7      7      7
[180,]      7      7      7      7      7      7      7      7      7      7
       [,128] [,129] [,130] [,131] [,132] [,133] [,134] [,135] [,136] [,137]
  [1,]      0      0      0      0      0      0      0      0      0      0
  [2,]      0      0      0      0      0      0      0      0      0      0
  [3,]      0      0      0      0      0      0      0      0      0      0
  [4,]      0      0      0      0      0      0      0      0      0      0
  [5,]      0      0      0      0      0      0      0      0      0      0
  [6,]      0      0      0      0      0      0      0      0      0      0
  [7,]      0      0      0      0      0      0      0      0      0      0
  [8,]      0      0      0      0      0      0      0      0      0      0
  [9,]      0      0      0      0      0      0      0      0      0      0
 [10,]      0      0      0      0      0      0      0      0      0      0
 [11,]      0      0      0      0      0      0      0      0      0      0
 [12,]      0      0      0      0      0      0      0      0      0      0
 [13,]      0      0      0      0      0      0      0      0      0      0
 [14,]      0      0      0      0      0      0      0      0      0      0
 [15,]      0      0      0      0      0      0      0      0      0      0
 [16,]      0      0      0      0      0      0      0      0      0      0
 [17,]      0      0      0      0      0      0      0      0      0      0
 [18,]      0      0      0      0      0      0      0      0      0      0
 [19,]      0      0      0      0      0      0      0      0      0      0
 [20,]      0      0      0      0      0      0      0      0      0      0
 [21,]      0      0      0      0      0      0      0      0      0      0
 [22,]      0      0      0      0      0      0      0      0      0      0
 [23,]      0      0      0      0      0      0      0      0      0      0
 [24,]      0      0      0      0      0      0      0      0      0      0
 [25,]      0      0      0      0      0      0      0      0      0      0
 [26,]      0      0      0      0      0      0      0      0      0      0
 [27,]      0      0      0      0      0      0      0      0      0      0
 [28,]      0      0      0      0      0      0      0      0      0      0
 [29,]      0      0      0      0      0      0      0      0      0      0
 [30,]      0      0      0      0      0      0      0      0      0      0
 [31,]      0      0      0      0      0      0      0      0      0      0
 [32,]      0      0      0      0      0      0      0      0      0      0
 [33,]      0      0      0      0      0      0      0      0      0      0
 [34,]      0      0      0      0      0      0      0      0      0      0
 [35,]      0      0      0      0      0      0      0      0      0      0
 [36,]      0      0      0      0      0      0      0      0      0      0
 [37,]      0      0      0      0      0      0      0      0      0      0
 [38,]      0      0      0      0      0      0      0      0      0      0
 [39,]      0      0      0      0      0      0      0      0      0      0
 [40,]      0      0      0      0      0      0      0      0      0      0
 [41,]      0      0      0      0      0      0      0      0      0      0
 [42,]      0      0      0      0      0      0      0      0      0      0
 [43,]      0      0      0      0      0      0      0      0      0      0
 [44,]      0      0      0      0      0      0      0      0      0      0
 [45,]      0      0      0      0      0      0      0      0      0      0
 [46,]      0      0      0      0      0      0      0      0      0      0
 [47,]      0      0      0      0      0      0      0      0      0      0
 [48,]      0      0      0      0      0      0      0      0      0      0
 [49,]      0      0      0      0      0      0      0      0      0      0
 [50,]      0      0      0      0      0      0      0      0      0      0
 [51,]      0      0      0      0      0      0      0      0      0      0
 [52,]      0      0      0      0      0      0      0      0      0      0
 [53,]      0      0      0      0      0      0      0      0      0      0
 [54,]      0      0      0      0      0      0      0      0      0      0
 [55,]      0      0      0      0      0      0      0      0      0      0
 [56,]      0      0      0      0      0      0      0      0      0      0
 [57,]      0      0      0      0      0      0      0      0      0      0
 [58,]      0      0      0      0      0      0      0      0      0      0
 [59,]      0      0      0      0      0      0      0      0      0      0
 [60,]      0      0      0      0      0      0      0      0      0      0
 [61,]      0      0      0      0      0      0      0      0      0      0
 [62,]      0      0      0      0      0      0      0      0      0      0
 [63,]      0      0      0      0      0      0      0      0      0      0
 [64,]      0      0      0      0      0      0      0      0      0      0
 [65,]      0      0      0      0      0      0      0      0      0      0
 [66,]      0      0      0      0      0      0      0      0      0      0
 [67,]      0      0      0      0      0      0      0      0      0      0
 [68,]      0      0      0      0      0      0      0      0      0      0
 [69,]      0      0      0      0      0      0      0      0      0      0
 [70,]      0      0      0      0      0      0      0      0      0      0
 [71,]      0      0      0      0      0      0      0      0      0      0
 [72,]      0      0      0      0      0      0      0      0      0      0
 [73,]      0      0      0      0      0      0      0      0      0      0
 [74,]      0      0      0      0      0      0      0      0      0      0
 [75,]      0      0      0      0      0      0      0      0      0      0
 [76,]      0      0      0      0      0      0      0      0      0      0
 [77,]      0      0      0      0      0      0      0      0      0      0
 [78,]      0      0      0      0      0      0      0      0      0      0
 [79,]      0      0      0      0      0      0      0      0      0      0
 [80,]      0      0      0      0      0      0      0      0      0      0
 [81,]      0      0      0      0      0      0      0      0      0      0
 [82,]      0      0      0      0      0      0      0      0      0      0
 [83,]      0      0      0      0      0      0      0      0      0      0
 [84,]      0      0      0      0      0      0      0      0      0      0
 [85,]      0      0      0      0      0      0      0      0      0      0
 [86,]      0      0      0      0      0      0      0      0      0      0
 [87,]      0      0      0      0      0      0      0      0      0      0
 [88,]      0      0      0      0      0      0      0      0      0      0
 [89,]      0      0      0      0      0      0      0      0      0      0
 [90,]      0      0      0      0      0      0      0      0      0      0
 [91,]      7      7      7      7      7      7      7      7      7      7
 [92,]      7      7      7      7      7      7      7      7      7      7
 [93,]      7      7      7      7      7      7      7      7      7      7
 [94,]      7      7      7      7      7      7      7      7      7      7
 [95,]      7      7      7      7      7      7      7      7      7      7
 [96,]      7      7      7      7      7      7      7      7      7      7
 [97,]      7      7      7      7      7      7      7      7      7      7
 [98,]      7      7      7      7      7      7      7      7      7      7
 [99,]      7      7      7      7      7      7      7      7      7      7
[100,]      7      7      7      7      7      7      7      7      7      7
[101,]      7      7      7      7      7      7      7      7      7      7
[102,]      7      7      7      7      7      7      7      7      7      7
[103,]      7      7      7      7      7      7      7      7      7      7
[104,]      7      7      7      7      7      7      7      7      7      7
[105,]      7      7      7      7      7      7      7      7      7      7
[106,]      7      7      7      7      7      7      7      7      7      7
[107,]      7      7      7      7      7      7      7      7      7      7
[108,]      7      7      7      7      7      7      7      7      7      7
[109,]      7      7      7      7      7      7      7      7      7      7
[110,]      7      7      7      7      7      7      7      7      7      7
[111,]      7      7      7      7      7      7      7      7      7      7
[112,]      7      7      7      7      7      7      7      7      7      7
[113,]      7      7      7      7      7      7      7      7      7      7
[114,]      7      7      7      7      7      7      7      7      7      7
[115,]      7      7      7      7      7      7      7      7      7      7
[116,]      7      7      7      7      7      7      7      7      7      7
[117,]      7      7      7      7      7      7      7      7      7      7
[118,]      7      7      7      7      7      7      7      7      7      7
[119,]      7      7      7      7      7      7      7      7      7      7
[120,]      7      7      7      7      7      7      7      7      7      7
[121,]      7      7      7      7      7      7      7      7      7      7
[122,]      7      7      7      7      7      7      7      7      7      7
[123,]      7      7      7      7      7      7      7      7      7      7
[124,]      7      7      7      7      7      7      7      7      7      7
[125,]      7      7      7      7      7      7      7      7      7      7
[126,]      7      7      7      7      7      7      7      7      7      7
[127,]      7      7      7      7      7      7      7      7      7      7
[128,]     19      7      7      7      7      7      7      7      7      7
[129,]      7     19      7      7      7      7      7      7      7      7
[130,]      7      7     19      7      7      7      7      7      7      7
[131,]      7      7      7     19      7      7      7      7      7      7
[132,]      7      7      7      7     19      7      7      7      7      7
[133,]      7      7      7      7      7     19      7      7      7      7
[134,]      7      7      7      7      7      7     19      7      7      7
[135,]      7      7      7      7      7      7      7     19      7      7
[136,]      7      7      7      7      7      7      7      7     19      7
[137,]      7      7      7      7      7      7      7      7      7     19
[138,]      7      7      7      7      7      7      7      7      7      7
[139,]      7      7      7      7      7      7      7      7      7      7
[140,]      7      7      7      7      7      7      7      7      7      7
[141,]      7      7      7      7      7      7      7      7      7      7
[142,]      7      7      7      7      7      7      7      7      7      7
[143,]      7      7      7      7      7      7      7      7      7      7
[144,]      7      7      7      7      7      7      7      7      7      7
[145,]      7      7      7      7      7      7      7      7      7      7
[146,]      7      7      7      7      7      7      7      7      7      7
[147,]      7      7      7      7      7      7      7      7      7      7
[148,]      7      7      7      7      7      7      7      7      7      7
[149,]      7      7      7      7      7      7      7      7      7      7
[150,]      7      7      7      7      7      7      7      7      7      7
[151,]      7      7      7      7      7      7      7      7      7      7
[152,]      7      7      7      7      7      7      7      7      7      7
[153,]      7      7      7      7      7      7      7      7      7      7
[154,]      7      7      7      7      7      7      7      7      7      7
[155,]      7      7      7      7      7      7      7      7      7      7
[156,]      7      7      7      7      7      7      7      7      7      7
[157,]      7      7      7      7      7      7      7      7      7      7
[158,]      7      7      7      7      7      7      7      7      7      7
[159,]      7      7      7      7      7      7      7      7      7      7
[160,]      7      7      7      7      7      7      7      7      7      7
[161,]      7      7      7      7      7      7      7      7      7      7
[162,]      7      7      7      7      7      7      7      7      7      7
[163,]      7      7      7      7      7      7      7      7      7      7
[164,]      7      7      7      7      7      7      7      7      7      7
[165,]      7      7      7      7      7      7      7      7      7      7
[166,]      7      7      7      7      7      7      7      7      7      7
[167,]      7      7      7      7      7      7      7      7      7      7
[168,]      7      7      7      7      7      7      7      7      7      7
[169,]      7      7      7      7      7      7      7      7      7      7
[170,]      7      7      7      7      7      7      7      7      7      7
[171,]      7      7      7      7      7      7      7      7      7      7
[172,]      7      7      7      7      7      7      7      7      7      7
[173,]      7      7      7      7      7      7      7      7      7      7
[174,]      7      7      7      7      7      7      7      7      7      7
[175,]      7      7      7      7      7      7      7      7      7      7
[176,]      7      7      7      7      7      7      7      7      7      7
[177,]      7      7      7      7      7      7      7      7      7      7
[178,]      7      7      7      7      7      7      7      7      7      7
[179,]      7      7      7      7      7      7      7      7      7      7
[180,]      7      7      7      7      7      7      7      7      7      7
       [,138] [,139] [,140] [,141] [,142] [,143] [,144] [,145] [,146] [,147]
  [1,]      0      0      0      0      0      0      0      0      0      0
  [2,]      0      0      0      0      0      0      0      0      0      0
  [3,]      0      0      0      0      0      0      0      0      0      0
  [4,]      0      0      0      0      0      0      0      0      0      0
  [5,]      0      0      0      0      0      0      0      0      0      0
  [6,]      0      0      0      0      0      0      0      0      0      0
  [7,]      0      0      0      0      0      0      0      0      0      0
  [8,]      0      0      0      0      0      0      0      0      0      0
  [9,]      0      0      0      0      0      0      0      0      0      0
 [10,]      0      0      0      0      0      0      0      0      0      0
 [11,]      0      0      0      0      0      0      0      0      0      0
 [12,]      0      0      0      0      0      0      0      0      0      0
 [13,]      0      0      0      0      0      0      0      0      0      0
 [14,]      0      0      0      0      0      0      0      0      0      0
 [15,]      0      0      0      0      0      0      0      0      0      0
 [16,]      0      0      0      0      0      0      0      0      0      0
 [17,]      0      0      0      0      0      0      0      0      0      0
 [18,]      0      0      0      0      0      0      0      0      0      0
 [19,]      0      0      0      0      0      0      0      0      0      0
 [20,]      0      0      0      0      0      0      0      0      0      0
 [21,]      0      0      0      0      0      0      0      0      0      0
 [22,]      0      0      0      0      0      0      0      0      0      0
 [23,]      0      0      0      0      0      0      0      0      0      0
 [24,]      0      0      0      0      0      0      0      0      0      0
 [25,]      0      0      0      0      0      0      0      0      0      0
 [26,]      0      0      0      0      0      0      0      0      0      0
 [27,]      0      0      0      0      0      0      0      0      0      0
 [28,]      0      0      0      0      0      0      0      0      0      0
 [29,]      0      0      0      0      0      0      0      0      0      0
 [30,]      0      0      0      0      0      0      0      0      0      0
 [31,]      0      0      0      0      0      0      0      0      0      0
 [32,]      0      0      0      0      0      0      0      0      0      0
 [33,]      0      0      0      0      0      0      0      0      0      0
 [34,]      0      0      0      0      0      0      0      0      0      0
 [35,]      0      0      0      0      0      0      0      0      0      0
 [36,]      0      0      0      0      0      0      0      0      0      0
 [37,]      0      0      0      0      0      0      0      0      0      0
 [38,]      0      0      0      0      0      0      0      0      0      0
 [39,]      0      0      0      0      0      0      0      0      0      0
 [40,]      0      0      0      0      0      0      0      0      0      0
 [41,]      0      0      0      0      0      0      0      0      0      0
 [42,]      0      0      0      0      0      0      0      0      0      0
 [43,]      0      0      0      0      0      0      0      0      0      0
 [44,]      0      0      0      0      0      0      0      0      0      0
 [45,]      0      0      0      0      0      0      0      0      0      0
 [46,]      0      0      0      0      0      0      0      0      0      0
 [47,]      0      0      0      0      0      0      0      0      0      0
 [48,]      0      0      0      0      0      0      0      0      0      0
 [49,]      0      0      0      0      0      0      0      0      0      0
 [50,]      0      0      0      0      0      0      0      0      0      0
 [51,]      0      0      0      0      0      0      0      0      0      0
 [52,]      0      0      0      0      0      0      0      0      0      0
 [53,]      0      0      0      0      0      0      0      0      0      0
 [54,]      0      0      0      0      0      0      0      0      0      0
 [55,]      0      0      0      0      0      0      0      0      0      0
 [56,]      0      0      0      0      0      0      0      0      0      0
 [57,]      0      0      0      0      0      0      0      0      0      0
 [58,]      0      0      0      0      0      0      0      0      0      0
 [59,]      0      0      0      0      0      0      0      0      0      0
 [60,]      0      0      0      0      0      0      0      0      0      0
 [61,]      0      0      0      0      0      0      0      0      0      0
 [62,]      0      0      0      0      0      0      0      0      0      0
 [63,]      0      0      0      0      0      0      0      0      0      0
 [64,]      0      0      0      0      0      0      0      0      0      0
 [65,]      0      0      0      0      0      0      0      0      0      0
 [66,]      0      0      0      0      0      0      0      0      0      0
 [67,]      0      0      0      0      0      0      0      0      0      0
 [68,]      0      0      0      0      0      0      0      0      0      0
 [69,]      0      0      0      0      0      0      0      0      0      0
 [70,]      0      0      0      0      0      0      0      0      0      0
 [71,]      0      0      0      0      0      0      0      0      0      0
 [72,]      0      0      0      0      0      0      0      0      0      0
 [73,]      0      0      0      0      0      0      0      0      0      0
 [74,]      0      0      0      0      0      0      0      0      0      0
 [75,]      0      0      0      0      0      0      0      0      0      0
 [76,]      0      0      0      0      0      0      0      0      0      0
 [77,]      0      0      0      0      0      0      0      0      0      0
 [78,]      0      0      0      0      0      0      0      0      0      0
 [79,]      0      0      0      0      0      0      0      0      0      0
 [80,]      0      0      0      0      0      0      0      0      0      0
 [81,]      0      0      0      0      0      0      0      0      0      0
 [82,]      0      0      0      0      0      0      0      0      0      0
 [83,]      0      0      0      0      0      0      0      0      0      0
 [84,]      0      0      0      0      0      0      0      0      0      0
 [85,]      0      0      0      0      0      0      0      0      0      0
 [86,]      0      0      0      0      0      0      0      0      0      0
 [87,]      0      0      0      0      0      0      0      0      0      0
 [88,]      0      0      0      0      0      0      0      0      0      0
 [89,]      0      0      0      0      0      0      0      0      0      0
 [90,]      0      0      0      0      0      0      0      0      0      0
 [91,]      7      7      7      7      7      7      7      7      7      7
 [92,]      7      7      7      7      7      7      7      7      7      7
 [93,]      7      7      7      7      7      7      7      7      7      7
 [94,]      7      7      7      7      7      7      7      7      7      7
 [95,]      7      7      7      7      7      7      7      7      7      7
 [96,]      7      7      7      7      7      7      7      7      7      7
 [97,]      7      7      7      7      7      7      7      7      7      7
 [98,]      7      7      7      7      7      7      7      7      7      7
 [99,]      7      7      7      7      7      7      7      7      7      7
[100,]      7      7      7      7      7      7      7      7      7      7
[101,]      7      7      7      7      7      7      7      7      7      7
[102,]      7      7      7      7      7      7      7      7      7      7
[103,]      7      7      7      7      7      7      7      7      7      7
[104,]      7      7      7      7      7      7      7      7      7      7
[105,]      7      7      7      7      7      7      7      7      7      7
[106,]      7      7      7      7      7      7      7      7      7      7
[107,]      7      7      7      7      7      7      7      7      7      7
[108,]      7      7      7      7      7      7      7      7      7      7
[109,]      7      7      7      7      7      7      7      7      7      7
[110,]      7      7      7      7      7      7      7      7      7      7
[111,]      7      7      7      7      7      7      7      7      7      7
[112,]      7      7      7      7      7      7      7      7      7      7
[113,]      7      7      7      7      7      7      7      7      7      7
[114,]      7      7      7      7      7      7      7      7      7      7
[115,]      7      7      7      7      7      7      7      7      7      7
[116,]      7      7      7      7      7      7      7      7      7      7
[117,]      7      7      7      7      7      7      7      7      7      7
[118,]      7      7      7      7      7      7      7      7      7      7
[119,]      7      7      7      7      7      7      7      7      7      7
[120,]      7      7      7      7      7      7      7      7      7      7
[121,]      7      7      7      7      7      7      7      7      7      7
[122,]      7      7      7      7      7      7      7      7      7      7
[123,]      7      7      7      7      7      7      7      7      7      7
[124,]      7      7      7      7      7      7      7      7      7      7
[125,]      7      7      7      7      7      7      7      7      7      7
[126,]      7      7      7      7      7      7      7      7      7      7
[127,]      7      7      7      7      7      7      7      7      7      7
[128,]      7      7      7      7      7      7      7      7      7      7
[129,]      7      7      7      7      7      7      7      7      7      7
[130,]      7      7      7      7      7      7      7      7      7      7
[131,]      7      7      7      7      7      7      7      7      7      7
[132,]      7      7      7      7      7      7      7      7      7      7
[133,]      7      7      7      7      7      7      7      7      7      7
[134,]      7      7      7      7      7      7      7      7      7      7
[135,]      7      7      7      7      7      7      7      7      7      7
[136,]      7      7      7      7      7      7      7      7      7      7
[137,]      7      7      7      7      7      7      7      7      7      7
[138,]     19      7      7      7      7      7      7      7      7      7
[139,]      7     19      7      7      7      7      7      7      7      7
[140,]      7      7     19      7      7      7      7      7      7      7
[141,]      7      7      7     19      7      7      7      7      7      7
[142,]      7      7      7      7     19      7      7      7      7      7
[143,]      7      7      7      7      7     19      7      7      7      7
[144,]      7      7      7      7      7      7     19      7      7      7
[145,]      7      7      7      7      7      7      7     19      7      7
[146,]      7      7      7      7      7      7      7      7     19      7
[147,]      7      7      7      7      7      7      7      7      7     19
[148,]      7      7      7      7      7      7      7      7      7      7
[149,]      7      7      7      7      7      7      7      7      7      7
[150,]      7      7      7      7      7      7      7      7      7      7
[151,]      7      7      7      7      7      7      7      7      7      7
[152,]      7      7      7      7      7      7      7      7      7      7
[153,]      7      7      7      7      7      7      7      7      7      7
[154,]      7      7      7      7      7      7      7      7      7      7
[155,]      7      7      7      7      7      7      7      7      7      7
[156,]      7      7      7      7      7      7      7      7      7      7
[157,]      7      7      7      7      7      7      7      7      7      7
[158,]      7      7      7      7      7      7      7      7      7      7
[159,]      7      7      7      7      7      7      7      7      7      7
[160,]      7      7      7      7      7      7      7      7      7      7
[161,]      7      7      7      7      7      7      7      7      7      7
[162,]      7      7      7      7      7      7      7      7      7      7
[163,]      7      7      7      7      7      7      7      7      7      7
[164,]      7      7      7      7      7      7      7      7      7      7
[165,]      7      7      7      7      7      7      7      7      7      7
[166,]      7      7      7      7      7      7      7      7      7      7
[167,]      7      7      7      7      7      7      7      7      7      7
[168,]      7      7      7      7      7      7      7      7      7      7
[169,]      7      7      7      7      7      7      7      7      7      7
[170,]      7      7      7      7      7      7      7      7      7      7
[171,]      7      7      7      7      7      7      7      7      7      7
[172,]      7      7      7      7      7      7      7      7      7      7
[173,]      7      7      7      7      7      7      7      7      7      7
[174,]      7      7      7      7      7      7      7      7      7      7
[175,]      7      7      7      7      7      7      7      7      7      7
[176,]      7      7      7      7      7      7      7      7      7      7
[177,]      7      7      7      7      7      7      7      7      7      7
[178,]      7      7      7      7      7      7      7      7      7      7
[179,]      7      7      7      7      7      7      7      7      7      7
[180,]      7      7      7      7      7      7      7      7      7      7
       [,148] [,149] [,150] [,151] [,152] [,153] [,154] [,155] [,156] [,157]
  [1,]      0      0      0      0      0      0      0      0      0      0
  [2,]      0      0      0      0      0      0      0      0      0      0
  [3,]      0      0      0      0      0      0      0      0      0      0
  [4,]      0      0      0      0      0      0      0      0      0      0
  [5,]      0      0      0      0      0      0      0      0      0      0
  [6,]      0      0      0      0      0      0      0      0      0      0
  [7,]      0      0      0      0      0      0      0      0      0      0
  [8,]      0      0      0      0      0      0      0      0      0      0
  [9,]      0      0      0      0      0      0      0      0      0      0
 [10,]      0      0      0      0      0      0      0      0      0      0
 [11,]      0      0      0      0      0      0      0      0      0      0
 [12,]      0      0      0      0      0      0      0      0      0      0
 [13,]      0      0      0      0      0      0      0      0      0      0
 [14,]      0      0      0      0      0      0      0      0      0      0
 [15,]      0      0      0      0      0      0      0      0      0      0
 [16,]      0      0      0      0      0      0      0      0      0      0
 [17,]      0      0      0      0      0      0      0      0      0      0
 [18,]      0      0      0      0      0      0      0      0      0      0
 [19,]      0      0      0      0      0      0      0      0      0      0
 [20,]      0      0      0      0      0      0      0      0      0      0
 [21,]      0      0      0      0      0      0      0      0      0      0
 [22,]      0      0      0      0      0      0      0      0      0      0
 [23,]      0      0      0      0      0      0      0      0      0      0
 [24,]      0      0      0      0      0      0      0      0      0      0
 [25,]      0      0      0      0      0      0      0      0      0      0
 [26,]      0      0      0      0      0      0      0      0      0      0
 [27,]      0      0      0      0      0      0      0      0      0      0
 [28,]      0      0      0      0      0      0      0      0      0      0
 [29,]      0      0      0      0      0      0      0      0      0      0
 [30,]      0      0      0      0      0      0      0      0      0      0
 [31,]      0      0      0      0      0      0      0      0      0      0
 [32,]      0      0      0      0      0      0      0      0      0      0
 [33,]      0      0      0      0      0      0      0      0      0      0
 [34,]      0      0      0      0      0      0      0      0      0      0
 [35,]      0      0      0      0      0      0      0      0      0      0
 [36,]      0      0      0      0      0      0      0      0      0      0
 [37,]      0      0      0      0      0      0      0      0      0      0
 [38,]      0      0      0      0      0      0      0      0      0      0
 [39,]      0      0      0      0      0      0      0      0      0      0
 [40,]      0      0      0      0      0      0      0      0      0      0
 [41,]      0      0      0      0      0      0      0      0      0      0
 [42,]      0      0      0      0      0      0      0      0      0      0
 [43,]      0      0      0      0      0      0      0      0      0      0
 [44,]      0      0      0      0      0      0      0      0      0      0
 [45,]      0      0      0      0      0      0      0      0      0      0
 [46,]      0      0      0      0      0      0      0      0      0      0
 [47,]      0      0      0      0      0      0      0      0      0      0
 [48,]      0      0      0      0      0      0      0      0      0      0
 [49,]      0      0      0      0      0      0      0      0      0      0
 [50,]      0      0      0      0      0      0      0      0      0      0
 [51,]      0      0      0      0      0      0      0      0      0      0
 [52,]      0      0      0      0      0      0      0      0      0      0
 [53,]      0      0      0      0      0      0      0      0      0      0
 [54,]      0      0      0      0      0      0      0      0      0      0
 [55,]      0      0      0      0      0      0      0      0      0      0
 [56,]      0      0      0      0      0      0      0      0      0      0
 [57,]      0      0      0      0      0      0      0      0      0      0
 [58,]      0      0      0      0      0      0      0      0      0      0
 [59,]      0      0      0      0      0      0      0      0      0      0
 [60,]      0      0      0      0      0      0      0      0      0      0
 [61,]      0      0      0      0      0      0      0      0      0      0
 [62,]      0      0      0      0      0      0      0      0      0      0
 [63,]      0      0      0      0      0      0      0      0      0      0
 [64,]      0      0      0      0      0      0      0      0      0      0
 [65,]      0      0      0      0      0      0      0      0      0      0
 [66,]      0      0      0      0      0      0      0      0      0      0
 [67,]      0      0      0      0      0      0      0      0      0      0
 [68,]      0      0      0      0      0      0      0      0      0      0
 [69,]      0      0      0      0      0      0      0      0      0      0
 [70,]      0      0      0      0      0      0      0      0      0      0
 [71,]      0      0      0      0      0      0      0      0      0      0
 [72,]      0      0      0      0      0      0      0      0      0      0
 [73,]      0      0      0      0      0      0      0      0      0      0
 [74,]      0      0      0      0      0      0      0      0      0      0
 [75,]      0      0      0      0      0      0      0      0      0      0
 [76,]      0      0      0      0      0      0      0      0      0      0
 [77,]      0      0      0      0      0      0      0      0      0      0
 [78,]      0      0      0      0      0      0      0      0      0      0
 [79,]      0      0      0      0      0      0      0      0      0      0
 [80,]      0      0      0      0      0      0      0      0      0      0
 [81,]      0      0      0      0      0      0      0      0      0      0
 [82,]      0      0      0      0      0      0      0      0      0      0
 [83,]      0      0      0      0      0      0      0      0      0      0
 [84,]      0      0      0      0      0      0      0      0      0      0
 [85,]      0      0      0      0      0      0      0      0      0      0
 [86,]      0      0      0      0      0      0      0      0      0      0
 [87,]      0      0      0      0      0      0      0      0      0      0
 [88,]      0      0      0      0      0      0      0      0      0      0
 [89,]      0      0      0      0      0      0      0      0      0      0
 [90,]      0      0      0      0      0      0      0      0      0      0
 [91,]      7      7      7      7      7      7      7      7      7      7
 [92,]      7      7      7      7      7      7      7      7      7      7
 [93,]      7      7      7      7      7      7      7      7      7      7
 [94,]      7      7      7      7      7      7      7      7      7      7
 [95,]      7      7      7      7      7      7      7      7      7      7
 [96,]      7      7      7      7      7      7      7      7      7      7
 [97,]      7      7      7      7      7      7      7      7      7      7
 [98,]      7      7      7      7      7      7      7      7      7      7
 [99,]      7      7      7      7      7      7      7      7      7      7
[100,]      7      7      7      7      7      7      7      7      7      7
[101,]      7      7      7      7      7      7      7      7      7      7
[102,]      7      7      7      7      7      7      7      7      7      7
[103,]      7      7      7      7      7      7      7      7      7      7
[104,]      7      7      7      7      7      7      7      7      7      7
[105,]      7      7      7      7      7      7      7      7      7      7
[106,]      7      7      7      7      7      7      7      7      7      7
[107,]      7      7      7      7      7      7      7      7      7      7
[108,]      7      7      7      7      7      7      7      7      7      7
[109,]      7      7      7      7      7      7      7      7      7      7
[110,]      7      7      7      7      7      7      7      7      7      7
[111,]      7      7      7      7      7      7      7      7      7      7
[112,]      7      7      7      7      7      7      7      7      7      7
[113,]      7      7      7      7      7      7      7      7      7      7
[114,]      7      7      7      7      7      7      7      7      7      7
[115,]      7      7      7      7      7      7      7      7      7      7
[116,]      7      7      7      7      7      7      7      7      7      7
[117,]      7      7      7      7      7      7      7      7      7      7
[118,]      7      7      7      7      7      7      7      7      7      7
[119,]      7      7      7      7      7      7      7      7      7      7
[120,]      7      7      7      7      7      7      7      7      7      7
[121,]      7      7      7      7      7      7      7      7      7      7
[122,]      7      7      7      7      7      7      7      7      7      7
[123,]      7      7      7      7      7      7      7      7      7      7
[124,]      7      7      7      7      7      7      7      7      7      7
[125,]      7      7      7      7      7      7      7      7      7      7
[126,]      7      7      7      7      7      7      7      7      7      7
[127,]      7      7      7      7      7      7      7      7      7      7
[128,]      7      7      7      7      7      7      7      7      7      7
[129,]      7      7      7      7      7      7      7      7      7      7
[130,]      7      7      7      7      7      7      7      7      7      7
[131,]      7      7      7      7      7      7      7      7      7      7
[132,]      7      7      7      7      7      7      7      7      7      7
[133,]      7      7      7      7      7      7      7      7      7      7
[134,]      7      7      7      7      7      7      7      7      7      7
[135,]      7      7      7      7      7      7      7      7      7      7
[136,]      7      7      7      7      7      7      7      7      7      7
[137,]      7      7      7      7      7      7      7      7      7      7
[138,]      7      7      7      7      7      7      7      7      7      7
[139,]      7      7      7      7      7      7      7      7      7      7
[140,]      7      7      7      7      7      7      7      7      7      7
[141,]      7      7      7      7      7      7      7      7      7      7
[142,]      7      7      7      7      7      7      7      7      7      7
[143,]      7      7      7      7      7      7      7      7      7      7
[144,]      7      7      7      7      7      7      7      7      7      7
[145,]      7      7      7      7      7      7      7      7      7      7
[146,]      7      7      7      7      7      7      7      7      7      7
[147,]      7      7      7      7      7      7      7      7      7      7
[148,]     19      7      7      7      7      7      7      7      7      7
[149,]      7     19      7      7      7      7      7      7      7      7
[150,]      7      7     19      7      7      7      7      7      7      7
[151,]      7      7      7     19      7      7      7      7      7      7
[152,]      7      7      7      7     19      7      7      7      7      7
[153,]      7      7      7      7      7     19      7      7      7      7
[154,]      7      7      7      7      7      7     19      7      7      7
[155,]      7      7      7      7      7      7      7     19      7      7
[156,]      7      7      7      7      7      7      7      7     19      7
[157,]      7      7      7      7      7      7      7      7      7     19
[158,]      7      7      7      7      7      7      7      7      7      7
[159,]      7      7      7      7      7      7      7      7      7      7
[160,]      7      7      7      7      7      7      7      7      7      7
[161,]      7      7      7      7      7      7      7      7      7      7
[162,]      7      7      7      7      7      7      7      7      7      7
[163,]      7      7      7      7      7      7      7      7      7      7
[164,]      7      7      7      7      7      7      7      7      7      7
[165,]      7      7      7      7      7      7      7      7      7      7
[166,]      7      7      7      7      7      7      7      7      7      7
[167,]      7      7      7      7      7      7      7      7      7      7
[168,]      7      7      7      7      7      7      7      7      7      7
[169,]      7      7      7      7      7      7      7      7      7      7
[170,]      7      7      7      7      7      7      7      7      7      7
[171,]      7      7      7      7      7      7      7      7      7      7
[172,]      7      7      7      7      7      7      7      7      7      7
[173,]      7      7      7      7      7      7      7      7      7      7
[174,]      7      7      7      7      7      7      7      7      7      7
[175,]      7      7      7      7      7      7      7      7      7      7
[176,]      7      7      7      7      7      7      7      7      7      7
[177,]      7      7      7      7      7      7      7      7      7      7
[178,]      7      7      7      7      7      7      7      7      7      7
[179,]      7      7      7      7      7      7      7      7      7      7
[180,]      7      7      7      7      7      7      7      7      7      7
       [,158] [,159] [,160] [,161] [,162] [,163] [,164] [,165] [,166] [,167]
  [1,]      0      0      0      0      0      0      0      0      0      0
  [2,]      0      0      0      0      0      0      0      0      0      0
  [3,]      0      0      0      0      0      0      0      0      0      0
  [4,]      0      0      0      0      0      0      0      0      0      0
  [5,]      0      0      0      0      0      0      0      0      0      0
  [6,]      0      0      0      0      0      0      0      0      0      0
  [7,]      0      0      0      0      0      0      0      0      0      0
  [8,]      0      0      0      0      0      0      0      0      0      0
  [9,]      0      0      0      0      0      0      0      0      0      0
 [10,]      0      0      0      0      0      0      0      0      0      0
 [11,]      0      0      0      0      0      0      0      0      0      0
 [12,]      0      0      0      0      0      0      0      0      0      0
 [13,]      0      0      0      0      0      0      0      0      0      0
 [14,]      0      0      0      0      0      0      0      0      0      0
 [15,]      0      0      0      0      0      0      0      0      0      0
 [16,]      0      0      0      0      0      0      0      0      0      0
 [17,]      0      0      0      0      0      0      0      0      0      0
 [18,]      0      0      0      0      0      0      0      0      0      0
 [19,]      0      0      0      0      0      0      0      0      0      0
 [20,]      0      0      0      0      0      0      0      0      0      0
 [21,]      0      0      0      0      0      0      0      0      0      0
 [22,]      0      0      0      0      0      0      0      0      0      0
 [23,]      0      0      0      0      0      0      0      0      0      0
 [24,]      0      0      0      0      0      0      0      0      0      0
 [25,]      0      0      0      0      0      0      0      0      0      0
 [26,]      0      0      0      0      0      0      0      0      0      0
 [27,]      0      0      0      0      0      0      0      0      0      0
 [28,]      0      0      0      0      0      0      0      0      0      0
 [29,]      0      0      0      0      0      0      0      0      0      0
 [30,]      0      0      0      0      0      0      0      0      0      0
 [31,]      0      0      0      0      0      0      0      0      0      0
 [32,]      0      0      0      0      0      0      0      0      0      0
 [33,]      0      0      0      0      0      0      0      0      0      0
 [34,]      0      0      0      0      0      0      0      0      0      0
 [35,]      0      0      0      0      0      0      0      0      0      0
 [36,]      0      0      0      0      0      0      0      0      0      0
 [37,]      0      0      0      0      0      0      0      0      0      0
 [38,]      0      0      0      0      0      0      0      0      0      0
 [39,]      0      0      0      0      0      0      0      0      0      0
 [40,]      0      0      0      0      0      0      0      0      0      0
 [41,]      0      0      0      0      0      0      0      0      0      0
 [42,]      0      0      0      0      0      0      0      0      0      0
 [43,]      0      0      0      0      0      0      0      0      0      0
 [44,]      0      0      0      0      0      0      0      0      0      0
 [45,]      0      0      0      0      0      0      0      0      0      0
 [46,]      0      0      0      0      0      0      0      0      0      0
 [47,]      0      0      0      0      0      0      0      0      0      0
 [48,]      0      0      0      0      0      0      0      0      0      0
 [49,]      0      0      0      0      0      0      0      0      0      0
 [50,]      0      0      0      0      0      0      0      0      0      0
 [51,]      0      0      0      0      0      0      0      0      0      0
 [52,]      0      0      0      0      0      0      0      0      0      0
 [53,]      0      0      0      0      0      0      0      0      0      0
 [54,]      0      0      0      0      0      0      0      0      0      0
 [55,]      0      0      0      0      0      0      0      0      0      0
 [56,]      0      0      0      0      0      0      0      0      0      0
 [57,]      0      0      0      0      0      0      0      0      0      0
 [58,]      0      0      0      0      0      0      0      0      0      0
 [59,]      0      0      0      0      0      0      0      0      0      0
 [60,]      0      0      0      0      0      0      0      0      0      0
 [61,]      0      0      0      0      0      0      0      0      0      0
 [62,]      0      0      0      0      0      0      0      0      0      0
 [63,]      0      0      0      0      0      0      0      0      0      0
 [64,]      0      0      0      0      0      0      0      0      0      0
 [65,]      0      0      0      0      0      0      0      0      0      0
 [66,]      0      0      0      0      0      0      0      0      0      0
 [67,]      0      0      0      0      0      0      0      0      0      0
 [68,]      0      0      0      0      0      0      0      0      0      0
 [69,]      0      0      0      0      0      0      0      0      0      0
 [70,]      0      0      0      0      0      0      0      0      0      0
 [71,]      0      0      0      0      0      0      0      0      0      0
 [72,]      0      0      0      0      0      0      0      0      0      0
 [73,]      0      0      0      0      0      0      0      0      0      0
 [74,]      0      0      0      0      0      0      0      0      0      0
 [75,]      0      0      0      0      0      0      0      0      0      0
 [76,]      0      0      0      0      0      0      0      0      0      0
 [77,]      0      0      0      0      0      0      0      0      0      0
 [78,]      0      0      0      0      0      0      0      0      0      0
 [79,]      0      0      0      0      0      0      0      0      0      0
 [80,]      0      0      0      0      0      0      0      0      0      0
 [81,]      0      0      0      0      0      0      0      0      0      0
 [82,]      0      0      0      0      0      0      0      0      0      0
 [83,]      0      0      0      0      0      0      0      0      0      0
 [84,]      0      0      0      0      0      0      0      0      0      0
 [85,]      0      0      0      0      0      0      0      0      0      0
 [86,]      0      0      0      0      0      0      0      0      0      0
 [87,]      0      0      0      0      0      0      0      0      0      0
 [88,]      0      0      0      0      0      0      0      0      0      0
 [89,]      0      0      0      0      0      0      0      0      0      0
 [90,]      0      0      0      0      0      0      0      0      0      0
 [91,]      7      7      7      7      7      7      7      7      7      7
 [92,]      7      7      7      7      7      7      7      7      7      7
 [93,]      7      7      7      7      7      7      7      7      7      7
 [94,]      7      7      7      7      7      7      7      7      7      7
 [95,]      7      7      7      7      7      7      7      7      7      7
 [96,]      7      7      7      7      7      7      7      7      7      7
 [97,]      7      7      7      7      7      7      7      7      7      7
 [98,]      7      7      7      7      7      7      7      7      7      7
 [99,]      7      7      7      7      7      7      7      7      7      7
[100,]      7      7      7      7      7      7      7      7      7      7
[101,]      7      7      7      7      7      7      7      7      7      7
[102,]      7      7      7      7      7      7      7      7      7      7
[103,]      7      7      7      7      7      7      7      7      7      7
[104,]      7      7      7      7      7      7      7      7      7      7
[105,]      7      7      7      7      7      7      7      7      7      7
[106,]      7      7      7      7      7      7      7      7      7      7
[107,]      7      7      7      7      7      7      7      7      7      7
[108,]      7      7      7      7      7      7      7      7      7      7
[109,]      7      7      7      7      7      7      7      7      7      7
[110,]      7      7      7      7      7      7      7      7      7      7
[111,]      7      7      7      7      7      7      7      7      7      7
[112,]      7      7      7      7      7      7      7      7      7      7
[113,]      7      7      7      7      7      7      7      7      7      7
[114,]      7      7      7      7      7      7      7      7      7      7
[115,]      7      7      7      7      7      7      7      7      7      7
[116,]      7      7      7      7      7      7      7      7      7      7
[117,]      7      7      7      7      7      7      7      7      7      7
[118,]      7      7      7      7      7      7      7      7      7      7
[119,]      7      7      7      7      7      7      7      7      7      7
[120,]      7      7      7      7      7      7      7      7      7      7
[121,]      7      7      7      7      7      7      7      7      7      7
[122,]      7      7      7      7      7      7      7      7      7      7
[123,]      7      7      7      7      7      7      7      7      7      7
[124,]      7      7      7      7      7      7      7      7      7      7
[125,]      7      7      7      7      7      7      7      7      7      7
[126,]      7      7      7      7      7      7      7      7      7      7
[127,]      7      7      7      7      7      7      7      7      7      7
[128,]      7      7      7      7      7      7      7      7      7      7
[129,]      7      7      7      7      7      7      7      7      7      7
[130,]      7      7      7      7      7      7      7      7      7      7
[131,]      7      7      7      7      7      7      7      7      7      7
[132,]      7      7      7      7      7      7      7      7      7      7
[133,]      7      7      7      7      7      7      7      7      7      7
[134,]      7      7      7      7      7      7      7      7      7      7
[135,]      7      7      7      7      7      7      7      7      7      7
[136,]      7      7      7      7      7      7      7      7      7      7
[137,]      7      7      7      7      7      7      7      7      7      7
[138,]      7      7      7      7      7      7      7      7      7      7
[139,]      7      7      7      7      7      7      7      7      7      7
[140,]      7      7      7      7      7      7      7      7      7      7
[141,]      7      7      7      7      7      7      7      7      7      7
[142,]      7      7      7      7      7      7      7      7      7      7
[143,]      7      7      7      7      7      7      7      7      7      7
[144,]      7      7      7      7      7      7      7      7      7      7
[145,]      7      7      7      7      7      7      7      7      7      7
[146,]      7      7      7      7      7      7      7      7      7      7
[147,]      7      7      7      7      7      7      7      7      7      7
[148,]      7      7      7      7      7      7      7      7      7      7
[149,]      7      7      7      7      7      7      7      7      7      7
[150,]      7      7      7      7      7      7      7      7      7      7
[151,]      7      7      7      7      7      7      7      7      7      7
[152,]      7      7      7      7      7      7      7      7      7      7
[153,]      7      7      7      7      7      7      7      7      7      7
[154,]      7      7      7      7      7      7      7      7      7      7
[155,]      7      7      7      7      7      7      7      7      7      7
[156,]      7      7      7      7      7      7      7      7      7      7
[157,]      7      7      7      7      7      7      7      7      7      7
[158,]     19      7      7      7      7      7      7      7      7      7
[159,]      7     19      7      7      7      7      7      7      7      7
[160,]      7      7     19      7      7      7      7      7      7      7
[161,]      7      7      7     19      7      7      7      7      7      7
[162,]      7      7      7      7     19      7      7      7      7      7
[163,]      7      7      7      7      7     19      7      7      7      7
[164,]      7      7      7      7      7      7     19      7      7      7
[165,]      7      7      7      7      7      7      7     19      7      7
[166,]      7      7      7      7      7      7      7      7     19      7
[167,]      7      7      7      7      7      7      7      7      7     19
[168,]      7      7      7      7      7      7      7      7      7      7
[169,]      7      7      7      7      7      7      7      7      7      7
[170,]      7      7      7      7      7      7      7      7      7      7
[171,]      7      7      7      7      7      7      7      7      7      7
[172,]      7      7      7      7      7      7      7      7      7      7
[173,]      7      7      7      7      7      7      7      7      7      7
[174,]      7      7      7      7      7      7      7      7      7      7
[175,]      7      7      7      7      7      7      7      7      7      7
[176,]      7      7      7      7      7      7      7      7      7      7
[177,]      7      7      7      7      7      7      7      7      7      7
[178,]      7      7      7      7      7      7      7      7      7      7
[179,]      7      7      7      7      7      7      7      7      7      7
[180,]      7      7      7      7      7      7      7      7      7      7
       [,168] [,169] [,170] [,171] [,172] [,173] [,174] [,175] [,176] [,177]
  [1,]      0      0      0      0      0      0      0      0      0      0
  [2,]      0      0      0      0      0      0      0      0      0      0
  [3,]      0      0      0      0      0      0      0      0      0      0
  [4,]      0      0      0      0      0      0      0      0      0      0
  [5,]      0      0      0      0      0      0      0      0      0      0
  [6,]      0      0      0      0      0      0      0      0      0      0
  [7,]      0      0      0      0      0      0      0      0      0      0
  [8,]      0      0      0      0      0      0      0      0      0      0
  [9,]      0      0      0      0      0      0      0      0      0      0
 [10,]      0      0      0      0      0      0      0      0      0      0
 [11,]      0      0      0      0      0      0      0      0      0      0
 [12,]      0      0      0      0      0      0      0      0      0      0
 [13,]      0      0      0      0      0      0      0      0      0      0
 [14,]      0      0      0      0      0      0      0      0      0      0
 [15,]      0      0      0      0      0      0      0      0      0      0
 [16,]      0      0      0      0      0      0      0      0      0      0
 [17,]      0      0      0      0      0      0      0      0      0      0
 [18,]      0      0      0      0      0      0      0      0      0      0
 [19,]      0      0      0      0      0      0      0      0      0      0
 [20,]      0      0      0      0      0      0      0      0      0      0
 [21,]      0      0      0      0      0      0      0      0      0      0
 [22,]      0      0      0      0      0      0      0      0      0      0
 [23,]      0      0      0      0      0      0      0      0      0      0
 [24,]      0      0      0      0      0      0      0      0      0      0
 [25,]      0      0      0      0      0      0      0      0      0      0
 [26,]      0      0      0      0      0      0      0      0      0      0
 [27,]      0      0      0      0      0      0      0      0      0      0
 [28,]      0      0      0      0      0      0      0      0      0      0
 [29,]      0      0      0      0      0      0      0      0      0      0
 [30,]      0      0      0      0      0      0      0      0      0      0
 [31,]      0      0      0      0      0      0      0      0      0      0
 [32,]      0      0      0      0      0      0      0      0      0      0
 [33,]      0      0      0      0      0      0      0      0      0      0
 [34,]      0      0      0      0      0      0      0      0      0      0
 [35,]      0      0      0      0      0      0      0      0      0      0
 [36,]      0      0      0      0      0      0      0      0      0      0
 [37,]      0      0      0      0      0      0      0      0      0      0
 [38,]      0      0      0      0      0      0      0      0      0      0
 [39,]      0      0      0      0      0      0      0      0      0      0
 [40,]      0      0      0      0      0      0      0      0      0      0
 [41,]      0      0      0      0      0      0      0      0      0      0
 [42,]      0      0      0      0      0      0      0      0      0      0
 [43,]      0      0      0      0      0      0      0      0      0      0
 [44,]      0      0      0      0      0      0      0      0      0      0
 [45,]      0      0      0      0      0      0      0      0      0      0
 [46,]      0      0      0      0      0      0      0      0      0      0
 [47,]      0      0      0      0      0      0      0      0      0      0
 [48,]      0      0      0      0      0      0      0      0      0      0
 [49,]      0      0      0      0      0      0      0      0      0      0
 [50,]      0      0      0      0      0      0      0      0      0      0
 [51,]      0      0      0      0      0      0      0      0      0      0
 [52,]      0      0      0      0      0      0      0      0      0      0
 [53,]      0      0      0      0      0      0      0      0      0      0
 [54,]      0      0      0      0      0      0      0      0      0      0
 [55,]      0      0      0      0      0      0      0      0      0      0
 [56,]      0      0      0      0      0      0      0      0      0      0
 [57,]      0      0      0      0      0      0      0      0      0      0
 [58,]      0      0      0      0      0      0      0      0      0      0
 [59,]      0      0      0      0      0      0      0      0      0      0
 [60,]      0      0      0      0      0      0      0      0      0      0
 [61,]      0      0      0      0      0      0      0      0      0      0
 [62,]      0      0      0      0      0      0      0      0      0      0
 [63,]      0      0      0      0      0      0      0      0      0      0
 [64,]      0      0      0      0      0      0      0      0      0      0
 [65,]      0      0      0      0      0      0      0      0      0      0
 [66,]      0      0      0      0      0      0      0      0      0      0
 [67,]      0      0      0      0      0      0      0      0      0      0
 [68,]      0      0      0      0      0      0      0      0      0      0
 [69,]      0      0      0      0      0      0      0      0      0      0
 [70,]      0      0      0      0      0      0      0      0      0      0
 [71,]      0      0      0      0      0      0      0      0      0      0
 [72,]      0      0      0      0      0      0      0      0      0      0
 [73,]      0      0      0      0      0      0      0      0      0      0
 [74,]      0      0      0      0      0      0      0      0      0      0
 [75,]      0      0      0      0      0      0      0      0      0      0
 [76,]      0      0      0      0      0      0      0      0      0      0
 [77,]      0      0      0      0      0      0      0      0      0      0
 [78,]      0      0      0      0      0      0      0      0      0      0
 [79,]      0      0      0      0      0      0      0      0      0      0
 [80,]      0      0      0      0      0      0      0      0      0      0
 [81,]      0      0      0      0      0      0      0      0      0      0
 [82,]      0      0      0      0      0      0      0      0      0      0
 [83,]      0      0      0      0      0      0      0      0      0      0
 [84,]      0      0      0      0      0      0      0      0      0      0
 [85,]      0      0      0      0      0      0      0      0      0      0
 [86,]      0      0      0      0      0      0      0      0      0      0
 [87,]      0      0      0      0      0      0      0      0      0      0
 [88,]      0      0      0      0      0      0      0      0      0      0
 [89,]      0      0      0      0      0      0      0      0      0      0
 [90,]      0      0      0      0      0      0      0      0      0      0
 [91,]      7      7      7      7      7      7      7      7      7      7
 [92,]      7      7      7      7      7      7      7      7      7      7
 [93,]      7      7      7      7      7      7      7      7      7      7
 [94,]      7      7      7      7      7      7      7      7      7      7
 [95,]      7      7      7      7      7      7      7      7      7      7
 [96,]      7      7      7      7      7      7      7      7      7      7
 [97,]      7      7      7      7      7      7      7      7      7      7
 [98,]      7      7      7      7      7      7      7      7      7      7
 [99,]      7      7      7      7      7      7      7      7      7      7
[100,]      7      7      7      7      7      7      7      7      7      7
[101,]      7      7      7      7      7      7      7      7      7      7
[102,]      7      7      7      7      7      7      7      7      7      7
[103,]      7      7      7      7      7      7      7      7      7      7
[104,]      7      7      7      7      7      7      7      7      7      7
[105,]      7      7      7      7      7      7      7      7      7      7
[106,]      7      7      7      7      7      7      7      7      7      7
[107,]      7      7      7      7      7      7      7      7      7      7
[108,]      7      7      7      7      7      7      7      7      7      7
[109,]      7      7      7      7      7      7      7      7      7      7
[110,]      7      7      7      7      7      7      7      7      7      7
[111,]      7      7      7      7      7      7      7      7      7      7
[112,]      7      7      7      7      7      7      7      7      7      7
[113,]      7      7      7      7      7      7      7      7      7      7
[114,]      7      7      7      7      7      7      7      7      7      7
[115,]      7      7      7      7      7      7      7      7      7      7
[116,]      7      7      7      7      7      7      7      7      7      7
[117,]      7      7      7      7      7      7      7      7      7      7
[118,]      7      7      7      7      7      7      7      7      7      7
[119,]      7      7      7      7      7      7      7      7      7      7
[120,]      7      7      7      7      7      7      7      7      7      7
[121,]      7      7      7      7      7      7      7      7      7      7
[122,]      7      7      7      7      7      7      7      7      7      7
[123,]      7      7      7      7      7      7      7      7      7      7
[124,]      7      7      7      7      7      7      7      7      7      7
[125,]      7      7      7      7      7      7      7      7      7      7
[126,]      7      7      7      7      7      7      7      7      7      7
[127,]      7      7      7      7      7      7      7      7      7      7
[128,]      7      7      7      7      7      7      7      7      7      7
[129,]      7      7      7      7      7      7      7      7      7      7
[130,]      7      7      7      7      7      7      7      7      7      7
[131,]      7      7      7      7      7      7      7      7      7      7
[132,]      7      7      7      7      7      7      7      7      7      7
[133,]      7      7      7      7      7      7      7      7      7      7
[134,]      7      7      7      7      7      7      7      7      7      7
[135,]      7      7      7      7      7      7      7      7      7      7
[136,]      7      7      7      7      7      7      7      7      7      7
[137,]      7      7      7      7      7      7      7      7      7      7
[138,]      7      7      7      7      7      7      7      7      7      7
[139,]      7      7      7      7      7      7      7      7      7      7
[140,]      7      7      7      7      7      7      7      7      7      7
[141,]      7      7      7      7      7      7      7      7      7      7
[142,]      7      7      7      7      7      7      7      7      7      7
[143,]      7      7      7      7      7      7      7      7      7      7
[144,]      7      7      7      7      7      7      7      7      7      7
[145,]      7      7      7      7      7      7      7      7      7      7
[146,]      7      7      7      7      7      7      7      7      7      7
[147,]      7      7      7      7      7      7      7      7      7      7
[148,]      7      7      7      7      7      7      7      7      7      7
[149,]      7      7      7      7      7      7      7      7      7      7
[150,]      7      7      7      7      7      7      7      7      7      7
[151,]      7      7      7      7      7      7      7      7      7      7
[152,]      7      7      7      7      7      7      7      7      7      7
[153,]      7      7      7      7      7      7      7      7      7      7
[154,]      7      7      7      7      7      7      7      7      7      7
[155,]      7      7      7      7      7      7      7      7      7      7
[156,]      7      7      7      7      7      7      7      7      7      7
[157,]      7      7      7      7      7      7      7      7      7      7
[158,]      7      7      7      7      7      7      7      7      7      7
[159,]      7      7      7      7      7      7      7      7      7      7
[160,]      7      7      7      7      7      7      7      7      7      7
[161,]      7      7      7      7      7      7      7      7      7      7
[162,]      7      7      7      7      7      7      7      7      7      7
[163,]      7      7      7      7      7      7      7      7      7      7
[164,]      7      7      7      7      7      7      7      7      7      7
[165,]      7      7      7      7      7      7      7      7      7      7
[166,]      7      7      7      7      7      7      7      7      7      7
[167,]      7      7      7      7      7      7      7      7      7      7
[168,]     19      7      7      7      7      7      7      7      7      7
[169,]      7     19      7      7      7      7      7      7      7      7
[170,]      7      7     19      7      7      7      7      7      7      7
[171,]      7      7      7     19      7      7      7      7      7      7
[172,]      7      7      7      7     19      7      7      7      7      7
[173,]      7      7      7      7      7     19      7      7      7      7
[174,]      7      7      7      7      7      7     19      7      7      7
[175,]      7      7      7      7      7      7      7     19      7      7
[176,]      7      7      7      7      7      7      7      7     19      7
[177,]      7      7      7      7      7      7      7      7      7     19
[178,]      7      7      7      7      7      7      7      7      7      7
[179,]      7      7      7      7      7      7      7      7      7      7
[180,]      7      7      7      7      7      7      7      7      7      7
       [,178] [,179] [,180]
  [1,]      0      0      0
  [2,]      0      0      0
  [3,]      0      0      0
  [4,]      0      0      0
  [5,]      0      0      0
  [6,]      0      0      0
  [7,]      0      0      0
  [8,]      0      0      0
  [9,]      0      0      0
 [10,]      0      0      0
 [11,]      0      0      0
 [12,]      0      0      0
 [13,]      0      0      0
 [14,]      0      0      0
 [15,]      0      0      0
 [16,]      0      0      0
 [17,]      0      0      0
 [18,]      0      0      0
 [19,]      0      0      0
 [20,]      0      0      0
 [21,]      0      0      0
 [22,]      0      0      0
 [23,]      0      0      0
 [24,]      0      0      0
 [25,]      0      0      0
 [26,]      0      0      0
 [27,]      0      0      0
 [28,]      0      0      0
 [29,]      0      0      0
 [30,]      0      0      0
 [31,]      0      0      0
 [32,]      0      0      0
 [33,]      0      0      0
 [34,]      0      0      0
 [35,]      0      0      0
 [36,]      0      0      0
 [37,]      0      0      0
 [38,]      0      0      0
 [39,]      0      0      0
 [40,]      0      0      0
 [41,]      0      0      0
 [42,]      0      0      0
 [43,]      0      0      0
 [44,]      0      0      0
 [45,]      0      0      0
 [46,]      0      0      0
 [47,]      0      0      0
 [48,]      0      0      0
 [49,]      0      0      0
 [50,]      0      0      0
 [51,]      0      0      0
 [52,]      0      0      0
 [53,]      0      0      0
 [54,]      0      0      0
 [55,]      0      0      0
 [56,]      0      0      0
 [57,]      0      0      0
 [58,]      0      0      0
 [59,]      0      0      0
 [60,]      0      0      0
 [61,]      0      0      0
 [62,]      0      0      0
 [63,]      0      0      0
 [64,]      0      0      0
 [65,]      0      0      0
 [66,]      0      0      0
 [67,]      0      0      0
 [68,]      0      0      0
 [69,]      0      0      0
 [70,]      0      0      0
 [71,]      0      0      0
 [72,]      0      0      0
 [73,]      0      0      0
 [74,]      0      0      0
 [75,]      0      0      0
 [76,]      0      0      0
 [77,]      0      0      0
 [78,]      0      0      0
 [79,]      0      0      0
 [80,]      0      0      0
 [81,]      0      0      0
 [82,]      0      0      0
 [83,]      0      0      0
 [84,]      0      0      0
 [85,]      0      0      0
 [86,]      0      0      0
 [87,]      0      0      0
 [88,]      0      0      0
 [89,]      0      0      0
 [90,]      0      0      0
 [91,]      7      7      7
 [92,]      7      7      7
 [93,]      7      7      7
 [94,]      7      7      7
 [95,]      7      7      7
 [96,]      7      7      7
 [97,]      7      7      7
 [98,]      7      7      7
 [99,]      7      7      7
[100,]      7      7      7
[101,]      7      7      7
[102,]      7      7      7
[103,]      7      7      7
[104,]      7      7      7
[105,]      7      7      7
[106,]      7      7      7
[107,]      7      7      7
[108,]      7      7      7
[109,]      7      7      7
[110,]      7      7      7
[111,]      7      7      7
[112,]      7      7      7
[113,]      7      7      7
[114,]      7      7      7
[115,]      7      7      7
[116,]      7      7      7
[117,]      7      7      7
[118,]      7      7      7
[119,]      7      7      7
[120,]      7      7      7
[121,]      7      7      7
[122,]      7      7      7
[123,]      7      7      7
[124,]      7      7      7
[125,]      7      7      7
[126,]      7      7      7
[127,]      7      7      7
[128,]      7      7      7
[129,]      7      7      7
[130,]      7      7      7
[131,]      7      7      7
[132,]      7      7      7
[133,]      7      7      7
[134,]      7      7      7
[135,]      7      7      7
[136,]      7      7      7
[137,]      7      7      7
[138,]      7      7      7
[139,]      7      7      7
[140,]      7      7      7
[141,]      7      7      7
[142,]      7      7      7
[143,]      7      7      7
[144,]      7      7      7
[145,]      7      7      7
[146,]      7      7      7
[147,]      7      7      7
[148,]      7      7      7
[149,]      7      7      7
[150,]      7      7      7
[151,]      7      7      7
[152,]      7      7      7
[153,]      7      7      7
[154,]      7      7      7
[155,]      7      7      7
[156,]      7      7      7
[157,]      7      7      7
[158,]      7      7      7
[159,]      7      7      7
[160,]      7      7      7
[161,]      7      7      7
[162,]      7      7      7
[163,]      7      7      7
[164,]      7      7      7
[165,]      7      7      7
[166,]      7      7      7
[167,]      7      7      7
[168,]      7      7      7
[169,]      7      7      7
[170,]      7      7      7
[171,]      7      7      7
[172,]      7      7      7
[173,]      7      7      7
[174,]      7      7      7
[175,]      7      7      7
[176,]      7      7      7
[177,]      7      7      7
[178,]     19      7      7
[179,]      7     19      7
[180,]      7      7     19

rho1 <- sig_b1/(sig_b1 + sig_e1)
rho2 <- sig_b2/(sig_b2 + sig_e2)
c(rho1 = rho1, rho2 = rho2)

     rho1      rho2 
0.3333333 0.3684211 

# Simulação por matrixNormal::rmatnorm e construção do banco
Mean <- Z %*% B                     # n x m
Eraw <- matrixNormal::rmatnorm(1, 
                               M = matrix(0, n, m), 
                               U = Psi, 
                               V = Sigma)
E <- if (length(dim(Eraw)) == 3) Eraw[,,1, drop = FALSE] else Eraw
E <- as.matrix(E)
stopifnot(all(dim(E) == c(n, m)))
Y <- Mean + E
colnames(Y) <- c("Anatomia","Fisiologia")

dados <- data.frame(Turma = Turma, Sexo = Sexo, Idade = Idade,
                    Anatomia = Y[,1], Fisiologia = Y[,2])
head(dados)

# A tibble: 6 × 5
  Turma  Sexo Idade Anatomia Fisiologia
  <fct> <int> <dbl>    <dbl>      <dbl>
1 1         0  22.4     51.0       65.0
2 1         0  24.6     57.3       70.0
3 1         1  21.8     86.4       85.0
4 1         0  20.4     57.7       77.3
5 1         1  18.5     60.1       64.8
6 1         1  22.3     87.9       97.3

# GLS por branqueamento (Ψ^{-1/2}) e MANOVA (Wilks/Pillai)
# Fator de branqueamento: L L' = Psi  => L^{-1} via solve(L, I)
L  <- base::chol(Psi)                      # superior por padrão
Linv <- base::solve(L)                     # L^{-1}
Yw <- Linv %*% Y                     # n x m
Zw <- Linv %*% Z                     # n x p

# Construir data.frame com preditores "whitened" e respostas "whitened"
dw <- data.frame(
  Y1w = Yw[,1], Y2w = Yw[,2],
  Zw_Intercepto = Zw[,1],
  Zw_Sexo = Zw[,2],
  Zw_Idade = Zw[,3],
  Zw_Turma2 = Zw[,4]
)

# Ajuste mlm sobre dados branqueados (sem intercepto na fórmula; ele já está em Zw_Intercepto)
fit_mlm <- lm(cbind(Y1w, Y2w) ~ 0 + Zw_Intercepto + Zw_Sexo + 
                Zw_Idade + Zw_Turma2, 
              data = dw)

# MANOVA (car::Anova) com testes multivariados para cada preditor
man <- car::Anova(fit_mlm, test.statistic = "Wilks")
man_pillai <- car::Anova(fit_mlm, test.statistic = "Pillai")
man

Type II MANOVA Tests: Wilks test statistic
              Df test stat approx F num Df den Df    Pr(>F)    
Zw_Intercepto  1   0.84947  15.5054      2    175 6.316e-07 ***
Zw_Sexo        1   0.94735   4.8631      2    175  0.008802 ** 
Zw_Idade       1   0.99548   0.3970      2    175  0.672922    
Zw_Turma2      1   0.83551  17.2270      2    175 1.481e-07 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

man_pillai

Type II MANOVA Tests: Pillai test statistic
              Df test stat approx F num Df den Df    Pr(>F)    
Zw_Intercepto  1  0.150530  15.5054      2    175 6.316e-07 ***
Zw_Sexo        1  0.052652   4.8631      2    175  0.008802 ** 
Zw_Idade       1  0.004517   0.3970      2    175  0.672922    
Zw_Turma2      1  0.164494  17.2270      2    175 1.481e-07 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

# Resultados univariados (apenas para conferência)
# Estimativas GLS (via normal equations com dados branqueados)
Bhat_gls <- base::solve(crossprod(Zw), crossprod(Zw,Yw))   # p x m
Bhat_gls

             Anatomia Fisiologia
Intercepto 60.3977077 76.5009251
Sexo       -5.7835930 -6.7496808
Idade       0.3942794  0.5823103
Turma2      9.7128295 -8.9586032

# Exporta dados simulados
write.csv(dados, "Sim_MRLM_2turmas_heteroPsi.csv", row.names = FALSE)

Exemplo: Teste dos efeitos principais e de interação sexo:turma

Deseja-se avaliar o efeito de interação Turma×Sexo sobre duas notas da mesma avaliação (por exemplo, Anatomia e Fisiologia) em estudantes do 2º ano de Medicina. As duas notas do mesmo estudante são correlacionadas entre si, e as notas de estudantes diferentes não são independentes devido a condições compartilhadas por turma (cronograma, docentes, materiais). Essa dependência entre linhas viola a independência exigida pela MANOVA clássica aplicada diretamente aos dados.

Formulação duplamente multivariada

Considere \[ \mathbf{Y}\in\mathbb{R}^{n\times m},\quad \mathbf{Z}\in\mathbb{R}^{n\times p},\quad \boldsymbol{\beta}\in\mathbb{R}^{p\times m}, \] com o modelo \[ \mathbf{Y}=\mathbf{Z}\boldsymbol{\beta}+\boldsymbol{\varepsilon},\qquad \mathrm{vec}\!\left(\boldsymbol{\varepsilon}\right)\sim\mathcal{N}_{nm}\!\left(\mathbf{0},\,\boldsymbol{\Psi}\otimes\mathbf{\Sigma}\right). \] A matriz \(\mathbf{\Sigma}\in\mathbb{R}^{m\times m}\) descreve a correlação entre respostas do mesmo estudante; \(\boldsymbol{\Psi}\in\mathbb{R}^{n\times n}\) descreve a dependência entre estudantes (tipicamente por blocos de turma).

Branqueamento (GLS)

Se \(\boldsymbol{\Psi}\) é conhecida e definida positiva, aplica-se \[ \mathbf{Y}^{\ast}=\boldsymbol{\Psi}^{-1/2}\mathbf{Y},\qquad \mathbf{Z}^{\ast}=\boldsymbol{\Psi}^{-1/2}\mathbf{Z}, \] onde \(\boldsymbol{\Psi}^{-1/2}\) pode ser obtida via Cholesky \(\boldsymbol{\Psi}=\mathbf{L}\mathbf{L}^{\prime}\), com \(\boldsymbol{\Psi}^{-1/2}=\mathbf{L}^{-1}\). No espaço branqueado, \[ \mathrm{vec}\!\left(\boldsymbol{\varepsilon}^{\ast}\right)\sim\mathcal{N}_{nm}\!\left(\mathbf{0},\,\mathbf{I}_{n}\otimes\mathbf{\Sigma}\right), \] logo as linhas de \(\mathbf{Y}^{\ast}\) são independentes. O estimador GLS é \[ \hat{\boldsymbol{\beta}}=\left(\mathbf{Z}^{\ast\prime}\mathbf{Z}^{\ast}\right)^{-1}\mathbf{Z}^{\ast\prime}\mathbf{Y}^{\ast}. \]

Estimativa de \(\boldsymbol{\Sigma}\) e \(\boldsymbol{\Psi}\)

Quando \(\boldsymbol{\Psi}\) e \(\boldsymbol{\Sigma}\) são desconhecidas, pode-se estimá-las por máxima verossimilhança via algoritmo flip–flop (Dutilleul, 1999), impondo identificação por \(\mathrm{tr}(\mathbf{\Sigma})=m\): \[ \hat{\mathbf{\Sigma}}\leftarrow\frac{1}{n}\,\mathbf{E}^{\prime}\hat{\boldsymbol{\Psi}}^{-1}\mathbf{E},\qquad \hat{\boldsymbol{\Psi}}\leftarrow\frac{1}{m}\,\mathbf{E}\hat{\mathbf{\Sigma}}^{-1}\mathbf{E}^{\prime}, \] com regularização espectral para manter definidas‑positivas e iteração até convergência. Em seguida, procede-se ao branqueamento com \(\hat{\boldsymbol{\Psi}}^{-1/2}\).

LRT (Wilks) no espaço branqueado

Sob \(H_0:\ \mathbf{C}\boldsymbol{\beta}=\mathbf{0}\), definem-se \[ \mathbf{E}=\left(\mathbf{Y}^{\ast}-\mathbf{Z}^{\ast}\hat{\boldsymbol{\beta}}_{1}\right)^{\prime}\left(\mathbf{Y}^{\ast}-\mathbf{Z}^{\ast}\hat{\boldsymbol{\beta}}_{1}\right)\in\mathbb{R}^{m\times m}, \] \[ \hat{\mathbf{R}}=\mathbf{C}\hat{\boldsymbol{\beta}}_{1},\qquad \mathbf{M}=\left[\mathbf{C}\left(\mathbf{Z}^{\ast\prime}\mathbf{Z}^{\ast}\right)^{-1}\mathbf{C}^{\prime}\right]^{-1},\qquad \mathbf{H}=\hat{\mathbf{R}}^{\prime}\mathbf{M}\hat{\mathbf{R}}. \] Então \(\mathbf{E}_{0}=\mathbf{E}+\mathbf{H}\) e a estatística de Wilks é \[ \Lambda=\frac{|\mathbf{E}|}{|\mathbf{E}+\mathbf{H}|},\qquad -2\ln\Lambda\ \dot{\sim}\ \chi^{2}_{q\,m}\ \ (\text{aprox. assintótica}). \]

Teste exato de Pham‑Gia (2008) para \(m=2\) e \(q=1\)

Para duas respostas e uma restrição, a distribuição exata de \(\Lambda\) sob \(H_0\) é a do produto de duas variáveis Beta independentes: \[ \Lambda = X_1X_2,\quad X_1\sim\mathrm{Beta}\!\left(\frac{\nu_e}{2},\,\frac{\nu_h}{2}\right),\quad X_2\sim\mathrm{Beta}\!\left(\frac{\nu_e-1}{2},\,\frac{\nu_h}{2}\right), \] com \(\nu_e=n-\mathrm{rank}(\mathbf{Z}^{\ast})\) e \(\nu_h=q\). A CDF é \[ F_\Lambda(t) = I_t\!\left(\frac{\nu_e}{2},\frac{\nu_h}{2}\right) + \int_{x=t}^{1} I_{t/x}\!\left(\frac{\nu_e-1}{2},\frac{\nu_h}{2}\right)\, \mathrm{BetaPDF}\!\left(x;\frac{\nu_e}{2},\frac{\nu_h}{2}\right)\,\frac{dx}{x}, \] em que \(I_z(a,b)\) é a Beta incompleta regularizada. O p‑valor exato é \(p_{\text{exato}}=F_\Lambda(\Lambda_{\text{obs}})\), apropriado porque valores menores de \(\Lambda\) evidenciam afastamento de \(H_0\). Para \(m>2\), a forma exata envolve funções hipergeométricas de matriz.

Interpretação

1. O branqueamento remove a dependência entre estudantes induzida por \(\boldsymbol{\Psi}\), preservando a correlação entre respostas via \(\mathbf{\Sigma}\), tornando MANOVA/LRT válidos.
   
2. \(-2\ln\Lambda\sim\chi^{2}_{q\,m}\) é rápido e acurado para amostras grandes; pode ser liberal ou conservador quando \(\Lambda\approx 1\) e \(n\) moderado.
   
3. O teste exato de Pham‑Gia fornece p‑valores precisos para \(m=2\), eliminando a aproximação assintótica.

# LRT_AllEffects_Exact_m2_PhamGia.R
# - Estima Psi e Sigma por flip–flop (tr(Sigma)=m).
# - Branqueia via Psi_hat^{-1/2}, ajusta MRLM e obtém Wilks Λ para cada termo.
# - p-valor EXATO (Pham-Gia, 2008) para m=2 via distribuição do produto de duas Betas independentes.
# - Compara com p-valor qui-quadrado aproximado e com car::Anova (Wilks) no branqueado.
#
# Observação: Para m=2 e q=1, sob H0, Λ = X1 * X2, onde
#   X1 ~ Beta(a1, b),  a1 = nu_e/2,   b = nu_h/2
#   X2 ~ Beta(a2, b),  a2 = (nu_e-1)/2,  b = nu_h/2
# independentes. Então F_Λ(t) = P(X1*X2 ≤ t) = F_X1(t) + ∫_{x=t}^1 F_X2(t/x) f_X1(x) (1/x) dx.
# O p-valor de teste é p = P(Λ ≤ Λ_obs) (cauda à esquerda) => p = F_Λ(Λ_obs).
# Muitas referências reportam p = 1 - F_Λ, mas isso vale quando a estatística é monotônica em sentido oposto.
# Para Wilks, menor Λ indica maior evidência contra H0; logo p = F_Λ(Λ_obs).

set.seed(20251107)
suppressPackageStartupMessages({
  library(Matrix)
  library(matrixNormal)
  library(car)
})

# ---------- Utilitários SPD ----------
spd_fix <- function(A, eps=1e-8){
  A <- (A + t(A))/2
  ee <- eigen(A, symmetric=TRUE)
  lam <- pmax(ee$values, eps)
  A1 <- ee$vectors %*% (lam * t(ee$vectors))
  (A1 + t(A1))/2
}
spd_inv <- function(A, eps=1e-8){
  A <- (A + t(A))/2
  ee <- eigen(A, symmetric=TRUE)
  lam <- pmax(ee$values, eps)
  Ai  <- ee$vectors %*% ((1/lam) * t(ee$vectors))
  (Ai + t(Ai))/2
}

# ---------- Flip–flop com tr(Sigma)=m ----------
ff_constrained <- function(E, m, maxit=200, tol=1e-8, eps=1e-8){
  n <- nrow(E)
  Sigma <- crossprod(E) / (n - 1)
  Sigma <- m * Sigma / sum(diag(Sigma))
  Sigma <- spd_fix(Sigma, eps)

  Psi <- diag(n)
  for(it in 1:maxit){
    iS  <- spd_inv(Sigma, eps)
    Psi <- (E %*% iS %*% t(E)) / m
    Psi <- spd_fix(Psi, eps)

    iP  <- spd_inv(Psi, eps)
    Sigma_new <- (t(E) %*% iP %*% E) / n
    Sigma_new <- m * Sigma_new / sum(diag(Sigma_new))
    Sigma_new <- spd_fix(Sigma_new, eps)

    d <- norm(Sigma_new - Sigma, "F")/max(1, norm(Sigma, "F"))
    Sigma <- Sigma_new
    if(d < tol) break
  }
  list(Sigma=Sigma, Psi=Psi, it=it)
}

# ---------- CDF do produto de duas Betas independentes (Pham-Gia, m=2) ----------
F_prod2beta <- function(t, a1, b1, a2, b2){
  if(t <= 0) return(0)
  if(t >= 1) return(1)
  Fx_t <- pbeta(t, a1, b1)
  integrand <- function(x){
    # x in [t,1]; note que t/x ∈ [0,1]
    pbeta(t/x, a2, b2) * dbeta(x, a1, b1) / x
  }
  val <- try(integrate(integrand, lower = t, upper = 1,
                       rel.tol = 1e-10, abs.tol = 0)$value, silent = TRUE)
  if(inherits(val, "try-error")) return(NA_real_)
  Fx_t + val
}

# ---------- Simulação (duas turmas, m=2) ----------
n1 <- 90; n2 <- 90; n <- n1 + n2
m  <- 2
Turma <- factor(c(rep(1,n1), rep(2,n2)))
Sexo  <- c(rbinom(n1,1,0.45), rbinom(n2,1,0.50))
Idade <- c(rnorm(n1,21.5,1.8), rnorm(n2,21.7,1.6))
Turma2 <- as.integer(Turma==2)
Int_Turma2_Sexo <- Turma2 * Sexo

Z_full <- cbind(Intercepto=1, Sexo=Sexo, Idade=Idade, Turma2=Turma2, Int=Int_Turma2_Sexo)

B_true <- rbind(
  c(65, 68),
  c(-2, -1),
  c( 0.6, 0.4),
  c( 1.5, 2.0),
  c( 0.0, 0.0)  # interação nula
)
Sigma_true <- matrix(c(25,12, 12,20), 2,2, byrow=TRUE)
sig_b1 <- 5; sig_e1 <- 10
sig_b2 <- 7; sig_e2 <- 12
Psi1 <- sig_b1*matrix(1,n1,n1) + sig_e1*diag(n1)
Psi2 <- sig_b2*matrix(1,n2,n2) + sig_e2*diag(n2)
Psi_true <- as.matrix(bdiag(Psi1,Psi2))

Mean <- Z_full %*% B_true
Eraw <- rmatnorm(1, M=matrix(0,n,m), U=Psi_true, V=Sigma_true)
E <- if(length(dim(Eraw))==3) Eraw[,,1,drop=FALSE] else Eraw
E <- as.matrix(E)
Y <- Mean + E
colnames(Y) <- c("Anatomia","Fisiologia")

# ---------- Estimação externa curta de (Psi, Sigma) e branqueamento ----------
Bhat <- solve(crossprod(Z_full), crossprod(Z_full, Y))
Ehat <- Y - Z_full %*% Bhat
ff <- ff_constrained(Ehat, m=m, maxit=200, tol=1e-8, eps=1e-8)
Psi_hat <- ff$Psi; Sigma_hat <- ff$Sigma

L <- chol(Psi_hat); Linv <- solve(L)
Yw <- Linv %*% Y; Zw <- Linv %*% Z_full

# ---------- Função para Λ, LR e p-valores (exato m=2, chi2) por termo ----------
wilks_by_term <- function(Zw, Yw, idx_term, m){
  B_full <- solve(crossprod(Zw), crossprod(Zw, Yw))
  E_full <- Yw - Zw %*% B_full
  E_mat  <- crossprod(E_full)

  p_full <- ncol(Zw)
  C <- matrix(0, nrow=1, ncol=p_full); C[1, idx_term] <- 1
  R_hat <- C %*% B_full
  M_mat <- solve(C %*% solve(crossprod(Zw)) %*% t(C))
  H_mat <- t(R_hat) %*% M_mat %*% R_hat
  E0_mat <- E_mat + H_mat

  logLambda <- as.numeric(determinant(E_mat, TRUE)$modulus - determinant(E0_mat, TRUE)$modulus)
  Lambda <- exp(logLambda)
  LR <- -2 * logLambda

  # Graus de liberdade sob H0 (central): nu_h = q = 1 por termo; nu_e = n - rank(Zw)
  nu_h <- 1L
  nu_e <- nrow(Zw) - qr(Zw)$rank

  # Parâmetros Beta para m=2 (Pham-Gia)
  a1 <- (nu_e)   / 2
  a2 <- (nu_e-1) / 2
  b  <- (nu_h)   / 2

  # p exato (cauda esquerda: P(Λ <= Λ_obs)) e p qui-quadrado (cauda direita de LR)
  p_exact <- F_prod2beta(Lambda, a1, b, a2, b)
  p_chi2  <- pchisq(LR, df = nu_h * m, lower.tail = FALSE)

  list(Lambda=Lambda, LR=LR, p_exact=p_exact, p_chi2=p_chi2,
       nu_e=nu_e, nu_h=nu_h)
}

idx <- setNames(match(c("Intercepto","Sexo","Idade","Turma2","Int"), colnames(Zw)),
                c("Intercepto","Sexo","Idade","Turma2","Int"))

res_Sexo   <- wilks_by_term(Zw, Yw, idx["Sexo"],   m)
res_Idade  <- wilks_by_term(Zw, Yw, idx["Idade"],  m)
res_Turma2 <- wilks_by_term(Zw, Yw, idx["Turma2"], m)
res_Int    <- wilks_by_term(Zw, Yw, idx["Int"],    m)

out <- data.frame(
  Termo   = c("Sexo","Idade","Turma2","Interacao"),
  Lambda  = c(res_Sexo$Lambda, res_Idade$Lambda, res_Turma2$Lambda, res_Int$Lambda),
  LR      = c(res_Sexo$LR, res_Idade$LR, res_Turma2$LR, res_Int$LR),
  p_exato = c(res_Sexo$p_exact, res_Idade$p_exact, res_Turma2$p_exact, res_Int$p_exact),
  p_chi2  = c(res_Sexo$p_chi2, res_Idade$p_chi2, res_Turma2$p_chi2, res_Int$p_chi2)
)
print(out, digits=6)

      Termo   Lambda        LR     p_exato   p_chi2
1      Sexo 0.990281 0.0195323 4.28449e-01 0.990281
2     Idade 0.994942 0.0101419 6.43844e-01 0.994942
3    Turma2 0.880220 0.2551679 1.58506e-05 0.880220
4 Interacao 0.981643 0.0370559 2.00443e-01 0.981643

# ---------- Comparação com car::Anova (Wilks) ----------
dw <- data.frame(
  Y1w = Yw[,1], Y2w = Yw[,2],
  Intercepto = Zw[,1],
  Sexo = Zw[,2],
  Idade = Zw[,3],
  Turma2 = Zw[,4],
  Int = Zw[,5]
)
fit <- lm(cbind(Y1w, Y2w) ~ 0 + Intercepto + Sexo + Idade + Turma2 + Int, data=dw)
man_w <- car::Anova(fit, test.statistic="Wilks")
cat("\n--- car::Anova (Wilks) no branqueado ---\n")

--- car::Anova (Wilks) no branqueado ---

print(man_w)

Type II MANOVA Tests: Wilks test statistic
           Df test stat approx F num Df den Df    Pr(>F)    
Intercepto  1   0.86726  13.3159      2    174 4.159e-06 ***
Sexo        1   0.99028   0.8538      2    174    0.4276    
Idade       1   0.99494   0.4423      2    174    0.6433    
Turma2      1   0.88022  11.8390      2    174 1.512e-05 ***
Int         1   0.98164   1.6270      2    174    0.1995    
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Questões

7.1, 7.2, 7.3, 7.6, 7.8, 7.9, 7.11, 7.12, 7.21, 7.22, 7.23, 7.24, 7.25, 7.27

• Regression effective degrees of freedom: Wikipedia

Códigos em R

dados <- read.csv("JW6Data/T5-1.dat", sep = "", header = FALSE)
colnames(dados) <- c("Suor", "Na", "K")
print(psych::describe(dados))

     vars  n  mean    sd median trimmed   mad  min  max range  skew kurtosis
Suor    1 20  4.64  1.70   4.50    4.58  1.48  1.5  8.5   7.0  0.40    -0.39
Na      2 20 45.40 14.13  47.30   45.81 12.82 13.5 71.6  58.1 -0.32    -0.44
K       3 20  9.96  1.90   9.75    9.87  2.22  7.1 14.0   6.9  0.34    -1.00
       se
Suor 0.38
Na   3.16
K    0.43

print(cov(dados), digits = 3)

      Suor     Na     K
Suor  2.88  10.01 -1.81
Na   10.01 199.79 -5.64
K    -1.81  -5.64  3.63

car::Boxplot(dados)

centroid <- colMeans(dados)
rgl::plot3d(lm(K~Suor+Na, data = dados), size = 5)
rgl::points3d(centroid, size = 8, col = "purple3")
rgl::rglwidget()

sigma <- matrix(c(4,3,3,4), ncol = 2, nrow = 2)
mu <- c(5, 5)
n <- 1000
set.seed(123)
x <- mvtnorm::rmvnorm(n = n, mean = mu, sigma = sigma)
d <- data.frame(x)
p2 <- ggplot2::ggplot(d, 
                      ggplot2::aes(x = X1, y = X2)) +
  ggplot2::geom_point(alpha = .5) +
  ggplot2::geom_density_2d()
p2

# Regressão3D
x1 <- rep(seq(0,10,0.5),100)
 x2 <- rep(seq(0,10,0.5),each=100)
 par(mfrow=c(2,2))
 Ey1 <- 83 + 9*x1 + 6*x2
 scatterplot3d::scatterplot3d(x1,x2,Ey1,highlight.3d=TRUE,
                              xlim=c(0,10),
                ylim=c(0,10),zlim=c(0,240),
                xlab=expression(x[1]),
                ylab=expression(x[2]),
                zlab="E(y)",main =
                expression(paste("A 3-d plot for ", 
                                 E(Y*"|"*x,beta) == 83 + 9*x[1]
                                     + 6*x[2])),z.ticklabs="")
 Ey2 <- 83 + 9*x1 + 6*x2 + 3*x1*x2
 scatterplot3d::scatterplot3d(x1,x2,Ey2,highlight.3d=TRUE,
                              xlim=c(0,10),
                ylim=c(0,10),zlim=c(0,600),
                xlab=expression(x[1]),
                ylab=expression(x[2]),zlab="E(y)",main =
                expression(paste("A 3-d plot for ",
                                 E(Y*"|"*x,beta)== 83 + 9*x[1]
                                     + 6*x[2] + 3*x[1]*x[2])),
                z.ticklabs="")
 Ey3 <- 83 + 9*x1 + 6*x2 + 2*x1^4 + 3*x2^3 + 3*x1*x2
 scatterplot3d::scatterplot3d(x1,x2,Ey3,highlight.3d=TRUE,
                              xlim=c(0,10),
                ylim=c(0,10),
                zlim=c(0,25000),
                xlab=expression(x[1]),
                ylab=expression(x[2]),
                zlab="E(y)",main =
                expression(paste("A 3-d plot for ",
                                 E(Y*"|"*x,beta)== 83 + 9*x[1]
                                    + 6*x[2] + 2*x[1]^4 + 3*x[2]^3 + 3*x[1]*x[2])),
                z.ticklabs="")
 Ey4 <- 83 + 9*x1 + 6*x2 - 2*x1^4 - 3*x2^3 + 3*x1*x2
 scatterplot3d::scatterplot3d(x1,x2,Ey4,highlight.3d=TRUE,
                              xlim=c(0,10),
                ylim=c(0,10),zlim=c(-23000,100),
                xlab=expression(x[1]),
                ylab=expression(x[2]),
                zlab="E(y)",main =
                expression(paste("A 3-d plot for ",
                                 E(Y*"|"*x,beta)==83 + 9*x[1]
                                     + 6*x[2] - 2*x[1]^4 - 3*x[2]^3 + 3*x[1]*x[2])),
                z.ticklabs="")

par(mfrow=c(2,2))
x1=x2=seq(from=0,to=10,by=0.2)
ey1 <- function(a,b) 83 + 9*a + 6*b
Ey1 <- outer(x1,x2,ey1)
contour(x1,x2,Ey1,main = expression(paste("Cantour plot for ",
                                          E(Y*"|"*x,beta) ==83 + 9*x[1]+ 6*x[2])))
ey2 <- function(a,b) 83 + 9*a + 6*b + 3*a*b
Ey2 <- outer(x1,x2,ey2)
contour(x1,x2,Ey2,main = expression(paste("Cantour plot for ",
                                          E(Y*"|"*x,beta)==83 + 9*x[1]+ 6*x[2] + 3*x[1]*x[2])))
ey3 <- function(a,b) 83 + 9*a + 6*b + 2*a^4 + 3*b^3 + 3*a*b
Ey3 <- outer(x1,x2,ey3)
contour(x1,x2,Ey3,main = expression(paste("Cantour plot for ",
                                          E(Y*"|"*x,beta)==83 + 9*x[1] + 6*x[2] + 2*x[1]^4 + 3*x[2]^3 + 3*x[1]*x[2])))
ey4 <- function(a,b) 83 + 9*a + 6*b - 2*a^4 - 3*b^3 + 3*a*b
Ey4 <- outer(x1,x2,ey4)
contour(x1,x2,Ey4,main = expression(paste("Cantour plot for ",
                                          E(Y*"|"*x,beta)==83 + 9*x[1] + 6*x[2] - 2*x[1]^4 - 3*x[2]^3 + 3*x[1]*x[2])))

Aplicativos

• OpenAI (2021) ChatGPT. https://openai.com/research/chatgpt
• Wolfram Research (n.d.) Wolfram|Alpha. https://www.wolframalpha.com/
• Scilab Enterprises (n.d.) Scilab - Open source software for numerical computation. https://www.scilab.org/

Análise estatística multivariada em R e Python na internet

• Chaves Neto, A. CE-704 ANÁLISE MULTIVARIADA APLICADA À PESQUISA. https://docs.ufpr.br/~soniaisoldi/ce090/CE076AM_2010.pdf

• ME 731 - Métodos em Análise Multivariada em R. https://www.ime.unicamp.br/~cnaber/Material_AM_2S_2020.htm

• Nogueira, FE (2007) Modelos de regressão multivariada. Dissertação (Mestrado). https://teses.usp.br/teses/disponiveis/45/45133/tde-25062007-163150/publico/dissertacao_4.pdf

• Análise Multivariada. https://www.professores.uff.br/samuelcampos/analise-multivariada/

• Severn, K (2023) Multivariate Statistics. https://rich-d-wilkinson.github.io/MATH3030/

• Powell, J (2019) Multivariate statistics in R. https://www.hiercourse.com/multivariate

• Plotting PCA/clustering results using ggplot2 and ggfortify: https://rpubs.com/sinhrks/plot_pca

• ggfortify : Extension to ggplot2 to handle some popular packages - R software and data visualization: http://www.sthda.com/english/wiki/ggfortify-extension-to-ggplot2-to-handle-some-popular-packages-r-software-and-data-visualization

• A Little Book of Python for Multivariate Analysis: https://python-for-multivariate-analysis.readthedocs.io/index.html

Matriz e vetor no YouTube

• Zach Star: The Applications of Matrices | What I wish my teachers told me way earlier

• Zach Star: O determinante | A essência da Álgebra Linear, capítulo 5

• Zach Star: The applications of eigenvectors and eigenvalues | That thing you heard in Endgame has other uses

Bibliografia

• Livro-texto:
  • JOHNSON, RA & WICHERN, DW (2007) Applied multivariate statistical analysis. 6^th ed. NJ: Prentice Hall.
  • JOHNSON, RA & WICHERN, DW (2007) Applied multivariate statistical analysis: Solutions Manual. 6^th ed. NJ: Prentice Hall.
  • JOHNSON, RA & WICHERN, DW (2002) Applied multivariate statistical analysis. 5^th ed. NJ: Prentice Hall.
• ANDERSON, TW (2003) An introduction to multivariate statistical analysis. 3^rd ed. NY: Wiley.
• EVERITT, BS & HOTHORN, T (2011) An introduction to applied multivariate analysis with R. USA: Springer.
• FLURY, B (1997) A first course in multivariate statistics. NY: Springer-Verlag.
• HARDLE, W & SIMAR, L (2015) Applied multivariate statistical analysis. 4^th ed. NY: Springer-Verlag.
• JAMES, G; WITTEN, D; HASTIE, T; & TIBSHIRANI, R (2021) An Introduction to statistical learning with applications in R. 2^nd ed. USA: Springer.
• MARDIA, KV, KENT, JT & BIBBY, JM (2003) Multivariate analysis. UK: Academic.
• MORRISON, DF (1990) Multivariate statistical methods. 3^rd ed. NY: McGraw-Hill.
• MULLER, KE & STEWART, PW (2006) Linear model theory: Univariate, multivariate, and mixed models. NJ: Wiley.
• REIS, E (2001) Estatística multivariada aplicada. 2^a ed. Lisboa: Sílabo.
• REIS, SF (1988) Morfometria e Estatística Multivariada em Biologia Evolutiva. Revista Brasileira de Zoologia 5(4): 571-80.
• RENCHER, AC & CHRISTENSEN, WF (2012) Methods of multivariate analysis. 3^rd ed. NJ: Wiley.
• SAVILLE, DJ & WOOD, GR (1996) Statistical methods: a geometric primer.USA: Lawrence Erlbaum.
• SOUZA, J (1997) Estatística econômica e social. RJ: Campus.
• SRIVASTAVA, MS & CARTER, EM (1983) An Introduction to applied multivariate Statistics. North Holland.
• SRIVASTAVA, MS (2006) Methods of multivariate statistics. NY: Wiley.
• WICKENS, TD (1995) The geometry of multivariate Statistics. USA: Lawrence Erlbaum.

Bibliografia adicional

• Soch, J et al. (2020) The Book of Statistical Proofs: https://statproofbook.github.io/

• Artes, R & Barroso, LP (2023) Métodos multivariados de análise estatística. SP: Blucher/ABE.

• Batschelet, E (1978) Introdução à matemática para biocientistas. Tradução da 2ª ed. São Paulo: EDUSP e Rio de Janeiro: Interciência.

• Batschelet, E (1979) Introduction to mathematics for life scientists. 3rd ed. NY: Springer.

• Bickel, PJ & Doksum, KA (2001) Mathematical Statistics: Basic Ideas and Selected Topics, Volume I. USA: CRC.

• Bilodeau, M & Brenner, D (1999) Theory of Multivariate Statistics. USA: Springer. T^2 de Hotelling

• Chartier, S & Faulkner, A (2008) General Linear Models: An integrated approach to statistics. Tutorial in Quantitative Methods for Psychology 4(2): 65‐78.

• Cochran, WG (1957) Analysis of Covariance: Its Nature and Uses. Biometrics 13(3): 261–281. https://doi.org/10.2307/2527916

• Denis, DJ (2021) Applied Univariate, Bivariate, and Multivariate Statistics Using Python: A Beginners Guide to Advanced Data Analysis. NJ: Wiley.

• Draper, NR & Smith, H (1998) Applied Regression Analysis. 3rd ed. NJ: Wiley.

• Dutilleul, P (1999) The mle algorithm for the matrix normal distribution. Journal of Statistical Computation and Simulation 64(2): 105–23. https://doi.org/10.1080/00949659908811970

• Fox, J (2018) Applied Regression Analysis and Generalized Linear Models. 3rd ed. EUA: SAGE.

• Galton, F (1886) Regression towards mediocrity in hereditary stature. The Journal of the Anthropological Institute of Great Britain and Ireland 15: 246–63. https://doi.org/10.2307/2841583

• Genz, A (1992) Numerical Computation of Multivariate Normal Probabilities. Journal of Computational and Graphical Statistics 1(2): 141–149. https://doi.org/10.2307/1390838

• Gupta, AK & Nagar, DK (1999) Matrix Variate Distributions. USA: Chapman & Hall/CRC.

• Hardle, W & Hlavka, Z (2007) Multivariate Statistics - Exercises and Solutions. USA: Springer.

• Kassambara, A (2017) Practical guide to cluster analysis in R: Unsupervised machine learning. STHDA: http://www.sthda.com.

• Kollo, T & von Rosen, D (2005) Advanced Multivariate Statistics with Matrices. USA: Springer.

• Kutner, MH; Nachtsheim, CJ; Neter, J & Li, W (2005) Applied linear statistical model. 5^th ed. NY: McGraw-Hill/Irwin.

• Loesch, C & Hoeltgebaum, M (2012) Métodos estatísticos multivariados. SP: Saraiva.

• Mair, P (2018) Modern psychometrics with R. USA: Springer.

• Mallows, CL (1973) Some comments on Cp. Technometrics 15(4): 661–75.

• Manly, BFJ & Alberto, JAN (2017) Multivariate Statistical Methods: A Primer using R. 4^th ed. USA: CRC.
  

• Matloff, N (2020) Probability and Statistics for Data Science: Math + R + Data. USA: CRC.

• McColl, JH (2004) Multivariate probability. UK: Arnold.

• Melo, J. M. & & Ferreira, D. F. (2017) PROPOSTA DE UM TESTE DE NORMALIDADE MULTIVARIADA EXATO BASEADO EM UMA TRANSFORMAÇÃO t DE STUDENT. Brazilian Journal of Biometrics, 35(2): 242–65. https://biometria.ufla.br/index.php/BBJ/article/view/55

• Mirman, D (2014) Growth Curve Analysis and Visualization Using R. USA: CRC.

• Mittelhammer, RC, Judge, GG & Miller, DJ (2000) Econometric foundations. UK: Cambridge.

• Olejnik, S et al. (2000) Using Wherry’s Adjusted R^2 and Mallow’s Cp for Model Selection From All Possible Regressions. The Journal of Experimental Education 68(4): 365–80. https://doi.org/10.1080/00220970009600643

• Pessoa, DGC (2008) Exemplos do livro de Johnson e Wichern.

• Rawlings, JO et al. (1998) Applied Regression Analysis: A Research Tool. USA: Springer. T^2 de Hotelling

• Schumacker, RE (2016) Using R With Multivariate Statistics. USA: SAGE.

• Shiffler, RE (1988) Maximum Z scores and outliers. The American Statistician 42(1): 79-80.

• Silveira PSP, Vieira JE & Siqueira JO (2024) Is the Bland-Altman plot method useful without inferences for accuracy, precision, and agreement? Rev Saude Publica 58:01. DOI 10.11606/s1518-8787.2024058005430: PDF

• Siqueira, JO (2012) Fundamentos de métodos quantitativos: aplicados em Administração, Economia, Contabilidade e Atuária usando WolframAlpha e SCILAB. São Paulo: Saraiva. Soluções dos exercícios em https://www.researchgate.net/publication/326533772_Fundamentos_de_metodos_quantitativos_-_Solucoes.

• Tay, A (2018) OLS using Matrix Algebra. http://www.mysmu.edu/faculty/anthonytay/MFE/OLS_using_Matrix_Algebra.pdf

• Teichroew, D (1964) An introduction to management science: deterministic models. NJ: Wiley.

• Timm, NH (2002) Applied Multivariate Analysis. USA: Springer. T^2 de Hotelling

• Weisberg, S (2005) Applied linear regression. 3rd ed. NJ: Wiley.

• Zelterman, D (2015) Applied Multivariate Statistics with R. USA: Springer.