# ── Manipulación de datos ────────────────────────────────────────────
library(tidyverse)
library(rsample)
library(gridExtra)

# ── Visualización avanzada ───────────────────────────────────────────
if (!require("GGally",        quietly = TRUE)) install.packages("GGally")
library(GGally)

# ── Tests estadísticos ───────────────────────────────────────────────
if (!require("lmtest",        quietly = TRUE)) install.packages("lmtest")
library(lmtest)
if (!require("car",           quietly = TRUE)) install.packages("car")
library(car)

# ── Modelos regularizados ────────────────────────────────────────────
if (!require("glmnet",        quietly = TRUE)) install.packages("glmnet")
library(glmnet)
if (!require("broom",         quietly = TRUE)) install.packages("broom")
library(broom)

# ── Árboles y métodos Ensemble ───────────────────────────────────────
if (!require("rpart",         quietly = TRUE)) install.packages("rpart")
library(rpart)
if (!require("rpart.plot",    quietly = TRUE)) install.packages("rpart.plot")
library(rpart.plot)
if (!require("randomForest",  quietly = TRUE)) install.packages("randomForest")
library(randomForest)
if (!require("gbm",           quietly = TRUE)) install.packages("gbm")
library(gbm)
library(caret)

# ── Redes neuronales ─────────────────────────────────────────────────
if (!require("nnet",          quietly = TRUE)) install.packages("nnet")
library(nnet)
if (!require("NeuralNetTools",quietly = TRUE)) install.packages("NeuralNetTools")
library(NeuralNetTools)

# ── Evaluación de clasificadores (curva ROC) ─────────────────────────
if (!require("pROC",          quietly = TRUE)) install.packages("pROC")
library(pROC)
# ── Paleta de colores NBA ────────────────────────────────────────────
nba_blue <- "#1D428A"
nba_red  <- "#C8102E"
nba_gold <- "#FDB927"

# ── Tema ggplot personalizado ────────────────────────────────────────
theme_nba <- function(base_size = 13) {
  theme_minimal(base_size = base_size) +
  theme(
    plot.title       = element_text(face = "bold", color = nba_blue, size = base_size + 1),
    plot.subtitle    = element_text(color = "#555555", size = base_size - 1),
    plot.caption     = element_text(color = "#999999", size = base_size - 3),
    axis.title       = element_text(color = "#333333"),
    axis.text        = element_text(color = "#555555"),
    panel.grid.minor = element_blank(),
    panel.grid.major = element_line(color = "#EEEEEE"),
    legend.position  = "bottom",
    legend.title     = element_text(face = "bold"),
    strip.text       = element_text(face = "bold", color = nba_blue)
  )
}

1. Descripción del problema y del conjunto de datos

1.1 Problema

Nuestro trabajo se divide en dos partes principales. La primera se basa en analizar los datos con distintos modelos de regresión, y la segunda aplica varios modelos de clasificación para determinar si ganará o no el equipo local.

1.2 Contexto del dataset

El dataset contiene estadísticas avanzadas sobre partidos de NBA. No se trata de las métricas “tradicionales”, sino que se centra en otro tipo de factores: los puntos anotados después de un rebote ofensivo, los puntos en contraataque, la gestión de las pérdidas de balón, entre otras. Los datos sirven principalmente para comparar el desenlace de los equipos cuando juegan como local y cuando juegan como visitante.

1.3 Descripción de las variables

El dataset se llama other_stats.csv y cuenta con 26 variables y 28.271 filas.

data <- read.csv("other_stats.csv")
data |> glimpse()
## Rows: 28,271
## Columns: 26
## $ game_id                <int> 29600012, 29600005, 29600002, 29600007, 2960001…
## $ league_id              <int> 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,…
## $ team_id_home           <int> 1610612756, 1610612737, 1610612739, 1610612754,…
## $ team_abbreviation_home <chr> "PHX", "ATL", "CLE", "IND", "LAC", "HOU", "POR"…
## $ team_city_home         <chr> "Phoenix", "Atlanta", "Cleveland", "Indiana", "…
## $ pts_paint_home         <int> 44, 32, 36, 34, 40, 44, 62, 48, 28, 46, 28, 32,…
## $ pts_2nd_chance_home    <int> 18, 9, 14, 11, 19, 16, 24, 18, 11, 27, 2, 16, 9…
## $ pts_fb_home            <int> 2, 6, 6, 4, 2, 20, 19, 15, 14, 9, 15, 13, 20, 1…
## $ largest_lead_home      <int> 1, 0, 20, 10, 12, 25, 35, 16, 7, 14, 5, 11, 5, …
## $ lead_changes           <int> 4, 0, 1, 7, 5, 8, 3, 8, 16, 4, 5, 10, 4, 5, 6, …
## $ times_tied             <int> 1, 0, 1, 4, 4, 3, 3, 5, 7, 5, 4, 8, 6, 6, 4, 7,…
## $ team_turnovers_home    <dbl> 0, 1, 0, 0, 0, 2, 0, 0, 0, 1, 1, 0, 0, 0, 1, 0,…
## $ total_turnovers_home   <dbl> 12, 24, 15, 18, 20, 23, 17, 18, 24, 15, 18, 9, …
## $ team_rebounds_home     <dbl> 11, 7, 5, 8, 7, 14, 11, 11, 12, 14, 8, 8, 13, 1…
## $ pts_off_to_home        <dbl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA,…
## $ team_id_away           <int> 1610612747, 1610612748, 1610612751, 1610612765,…
## $ team_abbreviation_away <chr> "LAL", "MIA", "NJN", "DET", "GSW", "SAC", "VAN"…
## $ team_city_away         <chr> "Los Angeles", "Miami", "New Jersey", "Detroit"…
## $ pts_paint_away         <int> 42, 32, 26, 30, 30, 38, 34, 56, 38, 54, 24, 38,…
## $ pts_2nd_chance_away    <int> 10, 15, 16, 14, 9, 9, 8, 12, 10, 8, 12, 18, 25,…
## $ pts_fb_away            <int> 13, 14, 4, 7, 2, 12, 6, 15, 15, 24, 0, 6, 3, 20…
## $ largest_lead_away      <int> 19, 16, 2, 9, 6, 2, 2, 11, 11, 2, 9, 4, 18, 12,…
## $ team_turnovers_away    <dbl> 0, 1, 1, 2, 0, 0, 1, 0, 0, 1, 1, 0, 1, 0, 0, 0,…
## $ total_turnovers_away   <dbl> 23, 19, 22, 19, 20, 27, 16, 19, 24, 14, 18, 12,…
## $ team_rebounds_away     <dbl> 11, 6, 12, 10, 7, 11, 9, 13, 13, 10, 12, 10, 8,…
## $ pts_off_to_away        <dbl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA,…

Existen dos tipos de variables: identificadoras (como team_abbreviation_home, team_city_home) y de rendimiento (las que denominaremos “predictoras”). Estas últimas son variables numéricas como pts_paint_home, pts_fb_home, largest_lead_home, y son en las que nos centraremos.

1.4 Identificación de variables respuesta

Debemos seleccionar dos variables objetivo:

Para el modelo de regresión hemos decidido utilizar pts_paint_home, que representa los puntos anotados en el área de la zona restringida (la zona rectangular formada por la línea final, la línea de tiros libres y las líneas que las unen). El objetivo será predecir cuántos puntos se anotarán en dicha zona. Se trata de una variable numérica continua.

Para el modelo de clasificación crearemos una variable categórica dicotómica denominada HomeWin, donde 1 indica victoria local (determinado cuando largest_lead_home > largest_lead_away) y 0 indica victoria visitante.

Posteriormente explicaremos por qué será necesario eliminar las variables largest_lead_home y largest_lead_away en algunos modelos.

1.5 Técnicas de análisis

Las técnicas de análisis son el conjunto de procedimientos estadísticos y matemáticos que utilizamos para extraer información valiosa de los datos, identificar patrones y tomar decisiones fundamentadas.

Se organizan en tres grandes bloques:

  • EDA (Análisis Exploratorio de Datos): permite entender la naturaleza de los datos, identificar la distribución de las variables, detectar errores y relaciones visuales.

  • Regresión: se utiliza cuando la variable de interés es cuantitativa. El objetivo es entender cómo cambia la respuesta al modificar las variables predictoras. Técnicas empleadas: regresión lineal simple, regresión lineal múltiple, árbol de regresión y Random Forest.

  • Clasificación: se utiliza cuando la variable de interés es cualitativa o categórica. Técnicas empleadas: Boosting, Random Forest, regresión logística simple y árbol de decisión.

Definiciones clave:

  • Regresión lineal simple: establece una relación funcional lineal entre una única variable predictora \(X\) y la variable respuesta \(Y\).
  • Regresión lineal múltiple: extiende el modelo anterior incorporando \(p > 1\) variables predictoras.
  • Árbol de regresión: alternativa no paramétrica que no exige el cumplimiento de las hipótesis del modelo lineal. Particiona el espacio de predictores en regiones rectangulares y asigna a cada región la media de los valores de entrenamiento. El parámetro de complejidad se optimiza mediante validación cruzada.
  • Random Forest: método de ensamblado que combina \(B\) árboles entrenados sobre muestras Bootstrap. En cada división se selecciona aleatoriamente un subconjunto de \(m\) predictores, reduciendo la correlación entre árboles.
  • Regresión logística: modelo de clasificación binaria por excelencia. Modela la probabilidad de pertenencia a la clase positiva mediante la función logística.
  • Árbol de decisión: adaptación de los árboles de regresión al problema de clasificación. El parámetro \(\alpha\) se optimiza mediante \(k\)-Fold CV con \(k = 10\).
  • Boosting: algoritmo Ensemble que combina varios “aprendices débiles” (árboles muy simples) para crear un “aprendiz fuerte”.

2. Análisis Exploratorio de Datos (EDA)

2.1 Análisis descriptivo de las variables

En primer lugar, creamos la variable dicotómica del modelo de clasificación para poder analizarla correctamente:

# Creación de la variable objetivo de clasificación: HomeWin
data <- data |>
  mutate(HomeWin = ifelse(largest_lead_home > largest_lead_away, 1, 0)) |>
  mutate(HomeWin = as.factor(HomeWin))

A continuación realizamos un resumen estadístico de las variables clave, calculando la media y la desviación típica:

medidas <- data |>
  select(pts_paint_home, pts_fb_away, largest_lead_home) |>
  summarise(
    across(
      everything(),
      list(media = ~ mean(.x, na.rm = TRUE),
           sd    = ~ sd(.x,   na.rm = TRUE))
    )
  ) |>
  pivot_longer(
    cols         = everything(),
    names_to     = c("variable", "medida"),
    names_pattern = "(.*)_(media|sd)$",
    values_to    = "valor"
  ) |>
  pivot_wider(
    id_cols     = variable,
    names_from  = medida,
    values_from = valor
  )

knitr::kable(medidas, digits = 2,
             col.names = c("Variable", "Media", "Desv. Típica"),
             caption   = "Tabla 1. Estadísticas descriptivas de las variables clave")
Tabla 1. Estadísticas descriptivas de las variables clave
Variable Media Desv. Típica
pts_paint_home 41.90 10.57
pts_fb_away 12.88 6.54
largest_lead_home 11.95 9.15
# Diagnóstico de valores nulos
colSums(is.na(data)) |>
  as.data.frame() |>
  setNames("NAs") |>
  filter(NAs > 0) |>
  knitr::kable(caption = "Tabla 2. Variables con valores ausentes")
Tabla 2. Variables con valores ausentes
NAs
team_turnovers_home 2
total_turnovers_home 316
team_rebounds_home 1998
pts_off_to_home 2123
team_turnovers_away 2
total_turnovers_away 316
team_rebounds_away 1998
pts_off_to_away 2123

Problema detectado y solución aplicada: Al generar la tabla resumen con variables de nombres compuestos (como pts_paint_home), el separador por defecto no distinguía entre el nombre original y el estadístico calculado. Se resolvió aplicando pivotado de datos con expresiones regulares mediante names_pattern, garantizando la correspondencia correcta entre cada variable y sus medidas.

Interpretación deportiva:

  • pts_paint_home (media ≈ 42 pts, sd ≈ 10.5): Casi la mitad de los puntos de un equipo local vienen de la zona restringida. La sd indica que es raro ver menos de 30 o más de 55.
  • pts_fb_away (media ≈ 12.8 pts, sd ≈ 6.5): Anotar en contraataque como visitante es difícil porque el local se repliega bien. La alta sd refleja su volatilidad.
  • largest_lead_home (media ≈ 11.9 pts, sd ≈ 9.1): Que la sd sea casi tan grande como la media indica que los partidos son auténticas “montañas rusas”. El factor cancha garantiza rachas de dominio, pero no garantiza victorias cómodas.

Eliminamos los valores nulos de las variables que usaremos en el modelado:

data_limpia <- data |>
  drop_na(pts_paint_home, pts_fb_home, pts_2nd_chance_home,
          total_turnovers_home, largest_lead_home)

2.2 Matriz de correlaciones (GGpairs)

data_limpia |>
  select(pts_paint_home, pts_fb_home, pts_2nd_chance_home,
         total_turnovers_home, largest_lead_home) |>
  ggpairs(progress = FALSE,
          lower    = list(continuous = wrap("points", alpha = 0.2,
                                            color = nba_blue, size = 0.4)),
          diag     = list(continuous = wrap("densityDiag", fill = nba_blue,
                                            alpha = 0.5)),
          upper    = list(continuous = wrap("cor", size = 4))) +
  labs(title    = "Matriz de Correlaciones — Variables de Rendimiento Local",
       subtitle = "NBA Advanced Stats") +
  theme_nba()

Interpretación: Casi todas las variables siguen una distribución aproximadamente normal, excepto largest_lead_home y pts_fb_home, que presentan sesgo a la derecha. Las correlaciones son moderadas (máximo 0.325), lo que motiva el uso de modelos múltiples.

2.3 Comparativa de puntos en la pintura: Local vs. Visitante

data |>
  select(pts_paint_home, pts_paint_away) |>
  pivot_longer(cols = everything(),
               names_to  = "Localización",
               values_to = "Puntos") |>
  ggplot(aes(x = Localización, y = Puntos, fill = Localización)) +
  geom_boxplot(alpha = 0.85, outlier.alpha = 0.3) +
  scale_fill_manual(
    values = c("pts_paint_home" = nba_blue, "pts_paint_away" = nba_red),
    labels = c("pts_paint_home" = "Local", "pts_paint_away" = "Visitante")
  ) +
  scale_x_discrete(labels = c("pts_paint_home" = "Local",
                               "pts_paint_away" = "Visitante")) +
  labs(title    = "Puntos en la Pintura: Local vs. Visitante",
       subtitle = "No hay diferencias drásticas — el control de la zona es universal",
       y = "Puntos", x = NULL, fill = NULL) +
  theme_nba()

La mediana se estabiliza en torno a los 42 puntos para ambos equipos, lo que confirma que el rendimiento en la zona restringida es un estándar de la liga independiente del factor cancha.

2.4 Detección y eliminación de outliers

Definimos como outliers aquellos partidos donde pts_paint_home supera las 3 desviaciones típicas respecto a la media:

data_clean <- data |>
  dplyr::filter(
    pts_paint_home <= (mean(pts_paint_home, na.rm = TRUE) + 3 * sd(pts_paint_home, na.rm = TRUE)) &
    pts_paint_home >= (mean(pts_paint_home, na.rm = TRUE) - 3 * sd(pts_paint_home, na.rm = TRUE))
  )

cat("Filas originales: ", nrow(data),      "\n")
## Filas originales:  28271
cat("Filas sin outliers:", nrow(data_clean),"\n")
## Filas sin outliers: 28161
cat("Outliers eliminados:", nrow(data) - nrow(data_clean), "\n")
## Outliers eliminados: 110

2.5 Análisis de la variable respuesta: pts_paint_home

p1 <- ggplot(data, aes(x = pts_paint_home)) +
  geom_histogram(aes(y = after_stat(density)), bins = 30,
                 fill = nba_blue, color = "white", alpha = 0.8) +
  geom_density(color = nba_gold, linewidth = 1.2) +
  labs(title    = "Distribución de pts_paint_home",
       subtitle = "Histograma + curva de densidad",
       x = "Puntos en la Pintura (Local)", y = "Densidad") +
  theme_nba()

p2 <- ggplot(data_clean, aes(y = pts_paint_home)) +
  geom_boxplot(fill = nba_gold, color = nba_blue,
               outlier.color = nba_red, outlier.size = 2) +
  labs(title    = "Boxplot de pts_paint_home",
       subtitle = "Sin outliers (±3 SD)",
       y = "Puntos en la Pintura") +
  theme_nba()

grid.arrange(p1, p2, ncol = 2)

La distribución es aproximadamente normal, con ligera asimetría a la derecha. La mayor parte de los datos se concentra entre 30 y 55 puntos, lo que la convierte en una variable objetivo estable e ideal para el modelado de regresión.

2.6 Balance de la variable HomeWin

ggplot(data, aes(x = HomeWin, fill = HomeWin)) +
  geom_bar(alpha = 0.9, width = 0.5) +
  scale_fill_manual(values = c("0" = nba_red, "1" = nba_blue),
                    labels  = c("0" = "Gana visitante", "1" = "Gana local")) +
  geom_text(stat = "count", aes(label = after_stat(count)),
            vjust = -0.5, fontface = "bold", color = "#333333") +
  labs(title    = "Balance de Victorias",
       subtitle = "El dataset está correctamente balanceado",
       x = "Resultado", y = "Frecuencia", fill = NULL) +
  theme_nba()

data$HomeWin |> table() |>
  as.data.frame() |>
  setNames(c("HomeWin", "Frecuencia")) |>
  mutate(Proporción = scales::percent(Frecuencia / sum(Frecuencia), accuracy = 0.1)) |>
  knitr::kable(caption = "Tabla 3. Distribución de HomeWin")
Tabla 3. Distribución de HomeWin
HomeWin Frecuencia Proporción
0 14235 50.4%
1 14036 49.6%

El dataset está balanceado: hay prácticamente la misma cantidad de victorias locales que visitantes, lo que garantiza que los modelos de clasificación no estarán sesgados.


3. Preparación de datos

Se seleccionan los conjuntos de entrenamiento (80%) y validación (20%) siguiendo la regla estándar 80/20:

set.seed(23)
dsplit <- data |> initial_split(prop = 0.8)
dtrain <- dsplit |> training()
dtest  <- dsplit |> testing()

cat("Observaciones entrenamiento:", nrow(dtrain), "\n")
## Observaciones entrenamiento: 22616
cat("Observaciones validación:   ", nrow(dtest),  "\n")
## Observaciones validación:    5655

A lo largo del trabajo se van preparando los datos conforme se necesitan (limpieza de nulos, creación de variables, selección de predictores). Por ello, en esta sección no se añade procesamiento adicional.


4. Regresión

El objetivo es predecir la variable respuesta continua pts_paint_home (puntos en la zona restringida del equipo local).

4.1 Regresión Lineal Simple

El modelo de regresión lineal simple busca establecer una relación funcional entre una única variable predictora y la respuesta, asumiendo linealidad.

Como vimos en el EDA, la variable con mayor correlación lineal respecto a pts_paint_home es pts_fb_home (puntos en contraataque del equipo local). Por lo tanto:

\[Y = \texttt{pts\_paint\_home} \quad X = \texttt{pts\_fb\_home}\]

data |>
  ggplot(aes(x = pts_fb_home, y = pts_paint_home)) +
  geom_point(color = nba_blue, alpha = 0.25, size = 0.8) +
  geom_smooth(method = "lm", color = nba_red, se = TRUE, linewidth = 1.2) +
  labs(title    = "Regresión Lineal Simple",
       subtitle = "pts_paint_home ~ pts_fb_home",
       x = "Puntos en contraataque (local)",
       y = "Puntos en la pintura (local)") +
  theme_nba()

Ninguna variable por sí sola tiene una correlación fuerte (máximo 0.325), por lo que la regresión simple será limitada. Sin embargo, la Regresión Lineal Múltiple permitirá combinar varios predictores y mejorar las predicciones.

m_SLR <- dtrain |> lm(pts_paint_home ~ pts_fb_home, data = _)
m_SLR |> summary()
## 
## Call:
## lm(formula = pts_paint_home ~ pts_fb_home, data = dtrain)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -32.660  -6.953  -0.359   6.528  68.822 
## 
## Coefficients:
##              Estimate Std. Error t value Pr(>|t|)    
## (Intercept) 35.171091   0.146056  240.81   <2e-16 ***
## pts_fb_home  0.518790   0.009992   51.92   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 10.03 on 22614 degrees of freedom
## Multiple R-squared:  0.1065, Adjusted R-squared:  0.1065 
## F-statistic:  2696 on 1 and 22614 DF,  p-value: < 2.2e-16

La relación es estadísticamente significativa (\(p < 0.05\)): pts_fb_home sí influye en pts_paint_home. El coeficiente estimado \(\hat{\beta}_1 = 0.518\) indica que por cada punto extra en contraataque, el modelo predice 0.518 puntos más en la pintura. No obstante, \(R^2 = 0.1065\) implica que el modelo solo explica el 10.65% de la variabilidad, lo cual tiene sentido porque los puntos en la pintura dependen de muchos factores simultáneos.

Diagnosis del modelo

par(mfrow = c(2, 2))
m_SLR |> plot()

Verificación de hipótesis:

# H1 – Media nula de los residuos
cat("Media residuos:", m_SLR |> residuals() |> mean(), "\n")
## Media residuos: 3.209177e-16
# H2 – Homocedasticidad (Breusch-Pagan)
m_SLR |> bptest()
## 
##  studentized Breusch-Pagan test
## 
## data:  m_SLR
## BP = 52.928, df = 1, p-value = 3.46e-13
# H3 – Independencia (Durbin-Watson)
m_SLR |> dwtest(alternative = "two.sided")
## 
##  Durbin-Watson test
## 
## data:  m_SLR
## DW = 2.0011, p-value = 0.9352
## alternative hypothesis: true autocorrelation is not 0

Medidas de precisión en validación

pred_SLR <- m_SLR |> predict(dtest)

metricas_slr <- data.frame(obs = dtest$pts_paint_home, pred = pred_SLR) |>
  summarise(
    MAE   = mean(abs(obs - pred)),
    RMSE  = sqrt(mean((obs - pred)^2)),
    NRMSE = sqrt(mean((obs - pred)^2)) / mean(obs)
  )

knitr::kable(metricas_slr, digits = 4,
             caption = "Tabla 4. Métricas de precisión — Regresión Lineal Simple")
Tabla 4. Métricas de precisión — Regresión Lineal Simple
MAE RMSE NRMSE
7.8377 9.8414 0.2352

Conclusión: El modelo cumple media nula de residuos (~0) e independencia (Durbin-Watson \(p = 0.935\)). Sin embargo, rechaza la homocedasticidad (Breusch-Pagan \(p\) muy pequeño). El NRMSE ~0.235 implica un error relativo del 23.5%, mejorable con modelos más complejos.


4.2 Regresión Lineal Múltiple

Incorporamos 3 variables predictoras seleccionadas por su correlación con pts_paint_home:

Variable Correlación
pts_fb_home 0.325
pts_2nd_chance_home 0.221
largest_lead_home 0.210
m_MLR <- dtrain |>
  lm(pts_paint_home ~ pts_fb_home + pts_2nd_chance_home + largest_lead_home,
     data = _)

m_MLR |> summary()
## 
## Call:
## lm(formula = pts_paint_home ~ pts_fb_home + pts_2nd_chance_home + 
##     largest_lead_home, data = dtrain)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -32.033  -6.745  -0.386   6.249  70.100 
## 
## Coefficients:
##                      Estimate Std. Error t value Pr(>|t|)    
## (Intercept)         28.554580   0.215919  132.25   <2e-16 ***
## pts_fb_home          0.466168   0.009891   47.13   <2e-16 ***
## pts_2nd_chance_home  0.408406   0.011885   34.36   <2e-16 ***
## largest_lead_home    0.158191   0.007224   21.90   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 9.661 on 22612 degrees of freedom
## Multiple R-squared:  0.1703, Adjusted R-squared:  0.1702 
## F-statistic:  1547 on 3 and 22612 DF,  p-value: < 2.2e-16

Selección de variables — Stepwise BIC

El método Stepwise guiado por el criterio BIC evalúa sistemáticamente la adición y eliminación de variables, penalizando la complejidad para evitar sobreajuste:

n   <- length(dtrain$pts_paint_home)
p   <- 3
res <- m_MLR |> residuals()
RSS <- sum(res^2)

data.frame(AIC = n * log(RSS / n) + 2 * p,
           BIC = n * log(RSS / n) + log(n) * p) |>
  knitr::kable(digits = 2, caption = "Tabla 5. Criterios de información del modelo MLR")
Tabla 5. Criterios de información del modelo MLR
AIC BIC
102593.5 102617.6
m0 <- dtrain |> lm(pts_paint_home ~ 1, data = _)
mf <- dtrain |> lm(pts_paint_home ~ pts_fb_home + pts_2nd_chance_home + largest_lead_home,
                   data = _)

m_MLR_step_BIC <- m0 |>
  step(direction = "both",
       scope     = list(lower = m0, upper = mf),
       k         = log(n))
## Start:  AIC=106820.7
## pts_paint_home ~ 1
## 
##                       Df Sum of Sq     RSS    AIC
## + pts_fb_home          1    270962 2272924 104284
## + pts_2nd_chance_home  1    120836 2423050 105730
## + largest_lead_home    1    116521 2427365 105770
## <none>                             2543886 106821
## 
## Step:  AIC=104283.5
## pts_paint_home ~ pts_fb_home
## 
##                       Df Sum of Sq     RSS    AIC
## + pts_2nd_chance_home  1    117588 2155336 103092
## + largest_lead_home    1     52122 2220802 103769
## <none>                             2272924 104284
## - pts_fb_home          1    270962 2543886 106821
## 
## Step:  AIC=103092.2
## pts_paint_home ~ pts_fb_home + pts_2nd_chance_home
## 
##                       Df Sum of Sq     RSS    AIC
## + largest_lead_home    1     44756 2110580 102628
## <none>                             2155336 103092
## - pts_2nd_chance_home  1    117588 2272924 104284
## - pts_fb_home          1    267714 2423050 105730
## 
## Step:  AIC=102627.6
## pts_paint_home ~ pts_fb_home + pts_2nd_chance_home + largest_lead_home
## 
##                       Df Sum of Sq     RSS    AIC
## <none>                             2110580 102628
## - largest_lead_home    1     44756 2155336 103092
## - pts_2nd_chance_home  1    110223 2220802 103769
## - pts_fb_home          1    207326 2317905 104737
m_MLR_step_BIC |> summary()
## 
## Call:
## lm(formula = pts_paint_home ~ pts_fb_home + pts_2nd_chance_home + 
##     largest_lead_home, data = dtrain)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -32.033  -6.745  -0.386   6.249  70.100 
## 
## Coefficients:
##                      Estimate Std. Error t value Pr(>|t|)    
## (Intercept)         28.554580   0.215919  132.25   <2e-16 ***
## pts_fb_home          0.466168   0.009891   47.13   <2e-16 ***
## pts_2nd_chance_home  0.408406   0.011885   34.36   <2e-16 ***
## largest_lead_home    0.158191   0.007224   21.90   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 9.661 on 22612 degrees of freedom
## Multiple R-squared:  0.1703, Adjusted R-squared:  0.1702 
## F-statistic:  1547 on 3 and 22612 DF,  p-value: < 2.2e-16

Diagnosis del modelo

par(mfrow = c(2, 2))
m_MLR_step_BIC |> plot()

# Independencia
m_MLR_step_BIC |> dwtest(alternative = "two.sided")
## 
##  Durbin-Watson test
## 
## data:  m_MLR_step_BIC
## DW = 2.0072, p-value = 0.5888
## alternative hypothesis: true autocorrelation is not 0
# Homocedasticidad
m_MLR_step_BIC |> bptest()
## 
##  studentized Breusch-Pagan test
## 
## data:  m_MLR_step_BIC
## BP = 79.94, df = 3, p-value < 2.2e-16
# Multicolinealidad (VIF < 5 es aceptable)
m_MLR_step_BIC |> vif()
##         pts_fb_home pts_2nd_chance_home   largest_lead_home 
##            1.055254            1.002548            1.057849
resSt <- m_MLR_step_BIC |> rstudent()

data.frame(res = resSt) |>
  ggplot(aes(x = seq_along(resSt), y = abs(resSt))) +
  geom_point(aes(color = ifelse(abs(resSt) > 3, "Outlier", "Normal")),
             size = 1.2, alpha = 0.6) +
  geom_hline(yintercept = 3, color = nba_red, linetype = "dashed", linewidth = 0.8) +
  scale_color_manual(values = c("Normal" = nba_blue, "Outlier" = nba_red)) +
  labs(title    = "Detección de Outliers — Residuos Estudentizados",
       subtitle = "Puntos rojos superan |r| > 3",
       x = "Índice de observación",
       y = "|Residuos estudentizados|",
       color = NULL) +
  theme_nba()

m_MLR_step_BIC |> influence.measures() |> summary()
## Potentially influential observations of
##   lm(formula = pts_paint_home ~ pts_fb_home + pts_2nd_chance_home +      largest_lead_home, data = dtrain) :
## 
##       dfb.1_ dfb.pt__ dfb.p_2_ dfb.lr__ dffit   cov.r   cook.d hat    
## 5      0.00  -0.02     0.00     0.04     0.05_*  1.00    0.00   0.00_*
## 6     -0.02   0.02     0.00     0.03     0.04_*  1.00    0.00   0.00  
## 22    -0.01   0.01     0.00    -0.01    -0.02    1.00_*  0.00   0.00  
## 28     0.00  -0.01     0.00     0.02     0.02    1.00_*  0.00   0.00_*
## 36     0.00  -0.01     0.01    -0.01    -0.01    1.00_*  0.00   0.00_*
## 41     0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 72     0.00   0.02    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 73    -0.01   0.00     0.00     0.01    -0.02    1.00_*  0.00   0.00  
## 97     0.00  -0.03     0.03     0.00     0.05_*  1.00    0.00   0.00  
## 102   -0.02   0.04     0.00     0.02     0.05_*  1.00_*  0.00   0.00  
## 136    0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 148    0.03  -0.02    -0.02     0.02     0.04    1.00_*  0.00   0.00  
## 165    0.01  -0.01     0.00    -0.01    -0.02    1.00_*  0.00   0.00_*
## 166    0.03   0.01    -0.03    -0.05    -0.06_*  1.00    0.00   0.00_*
## 191    0.03   0.00    -0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 195    0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 201    0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 225    0.01   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 231    0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 278    0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 279   -0.01   0.02     0.00     0.00    -0.03    1.00_*  0.00   0.00  
## 290   -0.01   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 296    0.00  -0.03     0.01     0.02    -0.04_*  1.00_*  0.00   0.00  
## 301    0.04  -0.04    -0.03     0.01    -0.05_*  1.00_*  0.00   0.00  
## 321   -0.01  -0.03     0.02     0.02    -0.04_*  1.00    0.00   0.00  
## 338    0.03  -0.04    -0.02     0.01    -0.04_*  1.00    0.00   0.00_*
## 339    0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 346    0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 350   -0.03   0.00     0.03     0.03     0.05_*  1.00_*  0.00   0.00_*
## 356    0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 362    0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 377    0.01   0.00     0.00    -0.04    -0.04_*  1.00    0.00   0.00  
## 398    0.01  -0.01    -0.01     0.01     0.01    1.00_*  0.00   0.00  
## 409    0.00   0.01    -0.01     0.00     0.02    1.00_*  0.00   0.00  
## 415   -0.01  -0.01     0.02     0.01     0.03    1.00_*  0.00   0.00  
## 421    0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 444    0.01   0.02    -0.02     0.02     0.04    1.00_*  0.00   0.00  
## 446   -0.02   0.02     0.00     0.03     0.04_*  1.00_*  0.00   0.00_*
## 458    0.02  -0.02    -0.01    -0.03    -0.04    1.00    0.00   0.00_*
## 503    0.01   0.01    -0.02     0.00    -0.02    1.00_*  0.00   0.00_*
## 524    0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 526   -0.02  -0.01     0.05    -0.05    -0.08_*  1.00_*  0.00   0.00_*
## 542    0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 555    0.02  -0.01    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 562   -0.02   0.01     0.02     0.01     0.03    1.00_*  0.00   0.00  
## 566    0.01   0.00     0.00    -0.02     0.02    1.00_*  0.00   0.00  
## 578    0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 579    0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 592    0.00   0.04    -0.01    -0.02     0.05_*  1.00    0.00   0.00  
## 605   -0.01   0.01     0.01     0.01     0.02    1.00_*  0.00   0.00  
## 617    0.00   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 630   -0.02   0.00     0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 672    0.00   0.00     0.00     0.01    -0.02    1.00_*  0.00   0.00  
## 681    0.01   0.00     0.00    -0.03    -0.03    1.00_*  0.00   0.00  
## 717   -0.02   0.00     0.01     0.01    -0.03    1.00_*  0.00   0.00  
## 723   -0.01  -0.03     0.02     0.01    -0.04    1.00_*  0.00   0.00  
## 734    0.02  -0.01    -0.01    -0.01    -0.02    1.00_*  0.00   0.00_*
## 766    0.01  -0.01     0.00     0.01     0.02    1.00_*  0.00   0.00  
## 769    0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 772    0.02  -0.03     0.00    -0.02    -0.04_*  1.00    0.00   0.00_*
## 775    0.00   0.00     0.00     0.01     0.02    1.00_*  0.00   0.00  
## 784    0.01  -0.01    -0.01     0.00    -0.01    1.00_*  0.00   0.00_*
## 787   -0.04  -0.01     0.06     0.04     0.08_*  1.00_*  0.00   0.00  
## 806   -0.01   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 820    0.03  -0.02    -0.03     0.02     0.04_*  1.00_*  0.00   0.00  
## 839   -0.02   0.01     0.01     0.01    -0.02    1.00_*  0.00   0.00  
## 869    0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 907    0.01   0.00    -0.04     0.02    -0.05_*  1.00_*  0.00   0.00  
## 910   -0.02   0.02     0.01     0.02     0.03    1.00_*  0.00   0.00  
## 911    0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 912    0.01   0.00    -0.02     0.00     0.02    1.00_*  0.00   0.00  
## 919   -0.03   0.03     0.02     0.01     0.04_*  1.00    0.00   0.00  
## 921    0.03  -0.01    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 923    0.02  -0.01    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 926   -0.01   0.02     0.01     0.00     0.03    1.00_*  0.00   0.00  
## 978    0.00   0.00     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 993    0.00   0.01    -0.02     0.03     0.04_*  1.00_*  0.00   0.00  
## 994    0.00   0.00    -0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 1003  -0.01   0.01     0.00     0.01     0.02    1.00_*  0.00   0.00_*
## 1019   0.01   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 1021   0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 1060  -0.01   0.03     0.00     0.01     0.03    1.00_*  0.00   0.00_*
## 1062   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 1069   0.05  -0.06    -0.05     0.04    -0.08_*  1.00_*  0.00   0.00_*
## 1116   0.00   0.01     0.01    -0.04    -0.05_*  1.00    0.00   0.00_*
## 1131   0.01   0.00    -0.02     0.01     0.02    1.00_*  0.00   0.00  
## 1149   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 1157   0.03  -0.03    -0.02    -0.01    -0.05_*  1.00_*  0.00   0.00  
## 1160   0.00   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00_*
## 1181   0.01  -0.03     0.01    -0.01    -0.04    1.00    0.00   0.00_*
## 1186  -0.01   0.00     0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 1189   0.01  -0.01    -0.01     0.01     0.02    1.00_*  0.00   0.00  
## 1206   0.02  -0.03     0.00    -0.01    -0.03    1.00_*  0.00   0.00_*
## 1223  -0.01   0.00     0.01    -0.01    -0.01    1.00_*  0.00   0.00  
## 1226   0.00   0.01    -0.01     0.00     0.01    1.00_*  0.00   0.00  
## 1233  -0.09   0.07     0.09    -0.03     0.12_*  1.00_*  0.00   0.00_*
## 1255  -0.02   0.04     0.02    -0.03     0.05_*  1.00    0.00   0.00  
## 1296  -0.01   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 1315   0.03  -0.01    -0.01    -0.03    -0.04_*  1.00_*  0.00   0.00_*
## 1326  -0.02   0.03     0.02    -0.01     0.04_*  1.00_*  0.00   0.00  
## 1335   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 1348   0.01   0.01    -0.01     0.00     0.02    1.00_*  0.00   0.00  
## 1357   0.02  -0.01    -0.01    -0.01    -0.02    1.00_*  0.00   0.00_*
## 1384   0.00  -0.01     0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 1394  -0.01   0.00     0.01     0.01     0.02    1.00_*  0.00   0.00  
## 1399  -0.01   0.01    -0.01     0.02    -0.03    1.00_*  0.00   0.00  
## 1410   0.02  -0.01    -0.01     0.02     0.03    1.00_*  0.00   0.00  
## 1433   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 1446   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 1461   0.00  -0.01     0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 1474   0.00   0.01     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 1494   0.00   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00_*
## 1512  -0.01   0.03    -0.01     0.01     0.04_*  1.00_*  0.00   0.00  
## 1524  -0.01   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 1529   0.00   0.00    -0.01     0.01     0.02    1.00_*  0.00   0.00_*
## 1543   0.02  -0.01    -0.01    -0.02    -0.03    1.00_*  0.00   0.00_*
## 1548  -0.01   0.01     0.00     0.00    -0.02    1.00_*  0.00   0.00  
## 1557   0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 1574  -0.02   0.01     0.02     0.01     0.03    1.00_*  0.00   0.00  
## 1587   0.01   0.00    -0.03     0.01    -0.03    1.00_*  0.00   0.00_*
## 1588   0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 1593   0.02  -0.01    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 1601   0.02  -0.02     0.00     0.00     0.03    1.00_*  0.00   0.00  
## 1634   0.01  -0.01     0.01    -0.01     0.03    1.00_*  0.00   0.00  
## 1636   0.00   0.01     0.02    -0.05    -0.05_*  1.00    0.00   0.00_*
## 1659   0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 1668   0.00   0.01     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 1682   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 1688   0.02  -0.03     0.00    -0.01     0.04    1.00_*  0.00   0.00  
## 1690   0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 1724   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 1743   0.02   0.02    -0.03    -0.03    -0.05_*  1.00    0.00   0.00  
## 1751   0.00  -0.02     0.03    -0.01     0.04_*  1.00    0.00   0.00  
## 1755   0.01  -0.02     0.01    -0.01     0.03    1.00_*  0.00   0.00  
## 1757   0.00  -0.01     0.01     0.01     0.03    1.00_*  0.00   0.00  
## 1764   0.01   0.00    -0.02     0.01    -0.03    1.00_*  0.00   0.00_*
## 1766   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 1779  -0.02   0.02     0.01     0.01     0.03    1.00_*  0.00   0.00  
## 1790   0.02   0.00    -0.01    -0.01    -0.02    1.00_*  0.00   0.00  
## 1797   0.01   0.00    -0.01     0.00     0.02    1.00_*  0.00   0.00  
## 1804   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 1824   0.01  -0.01     0.00    -0.02    -0.03    1.00_*  0.00   0.00_*
## 1834  -0.02   0.01     0.00     0.04     0.04_*  1.00    0.00   0.00  
## 1838   0.01  -0.01     0.01    -0.03    -0.04    1.00_*  0.00   0.00  
## 1858  -0.03   0.00     0.04     0.02     0.04_*  1.00    0.00   0.00  
## 1887   0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 1895   0.01  -0.01     0.00    -0.01    -0.03    1.00_*  0.00   0.00  
## 1896   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 1938   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 1941   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 1943   0.01  -0.01    -0.01    -0.01    -0.01    1.00_*  0.00   0.00  
## 1944   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 1951  -0.01  -0.02     0.02     0.02    -0.03    1.00_*  0.00   0.00  
## 1955  -0.03   0.04     0.00     0.03     0.05_*  1.00_*  0.00   0.00_*
## 1965   0.00   0.00    -0.01     0.00     0.01    1.00_*  0.00   0.00  
## 1968   0.01   0.00    -0.01    -0.04    -0.05_*  1.00_*  0.00   0.00  
## 2011  -0.02   0.00     0.01     0.01    -0.02    1.00_*  0.00   0.00  
## 2017  -0.01   0.02     0.01     0.00     0.02    1.00_*  0.00   0.00_*
## 2038   0.01  -0.02    -0.01     0.02     0.03    1.00_*  0.00   0.00  
## 2050  -0.01   0.01     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 2060  -0.04   0.02     0.02     0.03     0.05_*  1.00    0.00   0.00_*
## 2062   0.00  -0.02     0.03    -0.01     0.04_*  1.00    0.00   0.00  
## 2075   0.02  -0.01    -0.02     0.01    -0.03    1.00_*  0.00   0.00_*
## 2080  -0.01  -0.01     0.03    -0.01     0.04    1.00_*  0.00   0.00  
## 2088   0.01  -0.03    -0.01     0.02    -0.03    1.00    0.00   0.00_*
## 2090   0.00   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00_*
## 2096  -0.02   0.01     0.02     0.00     0.03    1.00_*  0.00   0.00  
## 2116   0.01   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 2123   0.01  -0.01     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 2146  -0.01   0.01     0.00    -0.01     0.01    1.00_*  0.00   0.00_*
## 2170   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 2174   0.01   0.01    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 2203   0.01  -0.02     0.01     0.00     0.03    1.00_*  0.00   0.00  
## 2212   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 2244   0.01  -0.03    -0.01     0.04     0.05_*  1.00    0.00   0.00_*
## 2247   0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 2263  -0.01   0.01     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 2303   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 2305  -0.01  -0.02     0.01     0.01    -0.03    1.00_*  0.00   0.00  
## 2344  -0.01   0.01     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 2369   0.00   0.01    -0.01     0.00     0.02    1.00_*  0.00   0.00_*
## 2373   0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 2387   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 2391   0.00   0.00     0.01     0.01     0.01    1.00_*  0.00   0.00  
## 2400  -0.01   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 2415   0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 2433   0.02  -0.01    -0.01    -0.01     0.03    1.00_*  0.00   0.00  
## 2444   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 2474  -0.01  -0.01     0.02    -0.01     0.03    1.00_*  0.00   0.00_*
## 2484   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 2486  -0.01   0.00     0.02     0.00     0.02    1.00_*  0.00   0.00_*
## 2494   0.02  -0.01    -0.02    -0.02    -0.03    1.00_*  0.00   0.00  
## 2501   0.00  -0.01     0.01     0.01    -0.01    1.00_*  0.00   0.00  
## 2516   0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 2518   0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00_*
## 2534   0.02  -0.01    -0.02     0.01     0.02    1.00_*  0.00   0.00  
## 2554   0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00_*
## 2561   0.00  -0.02     0.00     0.03     0.04    1.00_*  0.00   0.00  
## 2565   0.00   0.00     0.00     0.01     0.02    1.00_*  0.00   0.00  
## 2579   0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 2601  -0.02   0.02     0.03    -0.03     0.04_*  1.00    0.00   0.00  
## 2626   0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 2651  -0.01   0.00     0.01     0.02     0.03    1.00_*  0.00   0.00  
## 2666   0.00  -0.02     0.03    -0.01     0.04    1.00_*  0.00   0.00  
## 2669  -0.01  -0.02     0.01     0.03    -0.03    1.00_*  0.00   0.00  
## 2681   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 2709   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 2717   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 2727   0.01   0.01     0.00    -0.03    -0.03    1.00    0.00   0.00_*
## 2738   0.00   0.02     0.00    -0.03    -0.03    1.00_*  0.00   0.00_*
## 2761   0.01   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 2764   0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 2772   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 2832   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 2842   0.01   0.01    -0.01     0.00     0.01    1.00_*  0.00   0.00  
## 2855   0.00  -0.01    -0.01     0.03     0.03    1.00_*  0.00   0.00_*
## 2874  -0.04   0.11     0.02    -0.07     0.13_*  0.99_*  0.00   0.00  
## 2879   0.00   0.01     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 2885  -0.03   0.02     0.01     0.01    -0.03    1.00_*  0.00   0.00  
## 2891   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 2893  -0.01   0.00     0.00     0.05     0.05_*  1.00    0.00   0.00_*
## 2908   0.00   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 2909   0.00   0.00     0.00     0.00    -0.02    1.00_*  0.00   0.00  
## 2912  -0.01   0.00     0.02    -0.01     0.02    1.00_*  0.00   0.00_*
## 2945  -0.01   0.00     0.01    -0.01     0.01    1.00_*  0.00   0.00  
## 2972   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 2981   0.00   0.01     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 3005  -0.02  -0.01     0.03     0.03     0.04_*  1.00    0.00   0.00_*
## 3037   0.02  -0.03     0.01    -0.03    -0.05_*  1.00    0.00   0.00_*
## 3055   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 3072   0.01  -0.01     0.00     0.01    -0.01    1.00_*  0.00   0.00_*
## 3086   0.01   0.00     0.00    -0.02     0.02    1.00_*  0.00   0.00  
## 3095   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 3097   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 3110   0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 3123   0.01  -0.01    -0.01     0.02     0.02    1.00_*  0.00   0.00_*
## 3144   0.00  -0.02     0.02     0.00    -0.03    1.00    0.00   0.00_*
## 3190  -0.05   0.04     0.04     0.00     0.06_*  1.00    0.00   0.00_*
## 3200   0.01   0.00    -0.02     0.05     0.05_*  1.00    0.00   0.00  
## 3213  -0.01   0.01     0.00    -0.02    -0.03    1.00_*  0.00   0.00  
## 3225   0.00   0.02    -0.01    -0.03    -0.04    1.00    0.00   0.00_*
## 3237   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 3255   0.00   0.01     0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 3259   0.00  -0.01     0.00    -0.01    -0.02    1.00_*  0.00   0.00_*
## 3260   0.01   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00_*
## 3271  -0.01   0.00     0.00     0.03     0.03    1.00    0.00   0.00_*
## 3289   0.00   0.00     0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 3297  -0.01  -0.02     0.02     0.00    -0.03    1.00_*  0.00   0.00  
## 3310   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 3317   0.00   0.02    -0.02     0.02     0.04_*  1.00    0.00   0.00  
## 3322   0.00   0.02     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 3328  -0.02   0.03     0.01    -0.02     0.04_*  1.00    0.00   0.00  
## 3332   0.00   0.02     0.01    -0.03     0.04_*  1.00_*  0.00   0.00  
## 3345   0.03  -0.02    -0.02    -0.02    -0.04_*  1.00    0.00   0.00  
## 3349   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 3354   0.02   0.02    -0.05     0.00    -0.06_*  1.00    0.00   0.00_*
## 3394   0.01   0.02    -0.03    -0.02    -0.04_*  1.00    0.00   0.00  
## 3405   0.01  -0.02     0.00    -0.01    -0.03    1.00_*  0.00   0.00  
## 3412   0.02  -0.04    -0.01     0.01    -0.04_*  1.00    0.00   0.00  
## 3432   0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 3459   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 3466   0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 3493   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 3496  -0.01  -0.02     0.02     0.02     0.04_*  1.00_*  0.00   0.00  
## 3499   0.01  -0.02    -0.01     0.00    -0.02    1.00_*  0.00   0.00_*
## 3526   0.01   0.00    -0.01     0.03     0.04_*  1.00_*  0.00   0.00  
## 3529   0.00  -0.01     0.00     0.02     0.02    1.00_*  0.00   0.00_*
## 3535  -0.04   0.04     0.03     0.01     0.06_*  1.00_*  0.00   0.00  
## 3545   0.00  -0.01     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 3557  -0.02   0.02     0.01     0.01     0.04    1.00_*  0.00   0.00  
## 3565  -0.01  -0.01     0.00     0.02     0.02    1.00_*  0.00   0.00_*
## 3580   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 3586   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 3589   0.00  -0.01    -0.01     0.01    -0.02    1.00_*  0.00   0.00  
## 3603   0.00  -0.01     0.00     0.02     0.02    1.00_*  0.00   0.00  
## 3604  -0.01   0.02     0.00     0.00     0.02    1.00_*  0.00   0.00_*
## 3623  -0.01  -0.02     0.04     0.01     0.04_*  1.00    0.00   0.00  
## 3631   0.01   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 3641   0.03   0.01    -0.03    -0.02     0.04    1.00_*  0.00   0.00  
## 3673   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 3689  -0.01   0.00     0.00     0.01    -0.02    1.00_*  0.00   0.00  
## 3692   0.02  -0.02    -0.02     0.01     0.03    1.00_*  0.00   0.00  
## 3699   0.00  -0.01     0.01     0.01     0.02    1.00_*  0.00   0.00  
## 3703  -0.01   0.01     0.00     0.02     0.03    1.00_*  0.00   0.00_*
## 3713   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 3735   0.03  -0.04    -0.03     0.03    -0.05_*  1.00_*  0.00   0.00  
## 3746  -0.01   0.01     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 3760   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 3798   0.00   0.00     0.00     0.02     0.02    1.00_*  0.00   0.00_*
## 3820   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 3829  -0.01   0.00     0.01     0.01     0.02    1.00_*  0.00   0.00_*
## 3861   0.03  -0.01    -0.02    -0.03    -0.05_*  1.00    0.00   0.00  
## 3864   0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 3896   0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 3907  -0.01   0.00     0.02     0.01     0.02    1.00_*  0.00   0.00_*
## 3909   0.04  -0.03    -0.04     0.00    -0.05_*  1.00_*  0.00   0.00  
## 3915  -0.01   0.02    -0.01     0.02     0.03    1.00_*  0.00   0.00  
## 3916  -0.03   0.07    -0.01     0.01     0.07_*  1.00_*  0.00   0.00_*
## 3922   0.01   0.01    -0.02     0.02     0.03    1.00_*  0.00   0.00  
## 3925   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 3964   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 3983   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 4020   0.04  -0.02    -0.02    -0.02     0.04_*  1.00_*  0.00   0.00  
## 4025   0.01  -0.01    -0.01     0.01     0.02    1.00_*  0.00   0.00  
## 4032   0.00   0.02    -0.01    -0.01     0.02    1.00_*  0.00   0.00_*
## 4051   0.01   0.01    -0.02     0.00     0.02    1.00_*  0.00   0.00  
## 4080   0.01  -0.02    -0.01     0.01    -0.03    1.00    0.00   0.00_*
## 4102   0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 4119   0.02  -0.04     0.01    -0.01    -0.04_*  1.00    0.00   0.00_*
## 4124   0.01   0.00    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 4201   0.00   0.00     0.02    -0.02     0.03    1.00_*  0.00   0.00  
## 4206   0.01  -0.02     0.01    -0.01     0.03    1.00_*  0.00   0.00  
## 4239   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 4258   0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 4270   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 4299   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 4301  -0.02   0.02    -0.02     0.06     0.07_*  1.00_*  0.00   0.00_*
## 4315   0.00  -0.01     0.00     0.02     0.02    1.00_*  0.00   0.00_*
## 4351   0.02   0.00    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 4357  -0.01   0.03     0.01    -0.03     0.04_*  1.00_*  0.00   0.00  
## 4365  -0.02   0.03     0.01     0.00     0.03    1.00    0.00   0.00_*
## 4384  -0.01   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00_*
## 4424   0.01  -0.02     0.02    -0.04    -0.06_*  1.00_*  0.00   0.00  
## 4436  -0.03   0.02     0.01     0.03     0.05_*  1.00    0.00   0.00  
## 4437   0.03  -0.02     0.00    -0.02     0.04    1.00_*  0.00   0.00  
## 4441  -0.03   0.04     0.00     0.02     0.06_*  1.00_*  0.00   0.00  
## 4442   0.01  -0.01     0.00     0.01    -0.02    1.00_*  0.00   0.00  
## 4444  -0.01  -0.01     0.01     0.02    -0.03    1.00_*  0.00   0.00  
## 4450  -0.02   0.01     0.00     0.01    -0.03    1.00_*  0.00   0.00  
## 4475   0.00   0.00    -0.01     0.03     0.03    1.00_*  0.00   0.00_*
## 4482  -0.02   0.00     0.03     0.00     0.03    1.00    0.00   0.00_*
## 4509   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 4532   0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 4549  -0.01   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 4551   0.03   0.00    -0.03    -0.04    -0.05_*  1.00    0.00   0.00_*
## 4573   0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 4586   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 4613  -0.01   0.00     0.00     0.02     0.02    1.00_*  0.00   0.00_*
## 4614   0.00   0.00    -0.01     0.01     0.02    1.00_*  0.00   0.00  
## 4625   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 4627   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 4639  -0.01   0.01    -0.01     0.03     0.04    1.00_*  0.00   0.00  
## 4640   0.00   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00_*
## 4646   0.00  -0.01     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 4662  -0.04   0.05     0.01     0.01     0.06_*  1.00    0.00   0.00_*
## 4695  -0.01   0.01     0.02    -0.03    -0.04    1.00_*  0.00   0.00  
## 4707   0.03  -0.05    -0.02     0.02    -0.06_*  1.00    0.00   0.00_*
## 4725   0.00  -0.01     0.00     0.01    -0.01    1.00_*  0.00   0.00  
## 4746   0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 4749   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 4751   0.00   0.01     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 4796  -0.01   0.00     0.01    -0.01    -0.02    1.00_*  0.00   0.00  
## 4804   0.00  -0.01     0.00     0.01     0.02    1.00_*  0.00   0.00_*
## 4836   0.00   0.00    -0.02     0.00    -0.02    1.00_*  0.00   0.00  
## 4844  -0.01   0.00     0.03    -0.01     0.03    1.00_*  0.00   0.00_*
## 4857   0.01   0.00    -0.02     0.02    -0.03    1.00_*  0.00   0.00  
## 4864   0.01  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 4876   0.02  -0.01    -0.03     0.00    -0.03    1.00_*  0.00   0.00  
## 4881   0.01  -0.01     0.00     0.01     0.02    1.00_*  0.00   0.00  
## 4882   0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 4890   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 4905   0.01   0.00    -0.02     0.00    -0.02    1.00_*  0.00   0.00  
## 4957   0.01   0.00    -0.01    -0.01    -0.01    1.00_*  0.00   0.00  
## 4971   0.01  -0.03     0.00     0.04     0.05_*  1.00_*  0.00   0.00  
## 5002   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 5005   0.03  -0.04    -0.01    -0.01    -0.04_*  1.00    0.00   0.00  
## 5008   0.02  -0.01    -0.02     0.03     0.04_*  1.00    0.00   0.00  
## 5030   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 5043   0.04  -0.03    -0.04     0.00    -0.05_*  1.00    0.00   0.00_*
## 5051  -0.01   0.01     0.01    -0.01    -0.02    1.00_*  0.00   0.00  
## 5052   0.00   0.00    -0.01     0.02     0.02    1.00_*  0.00   0.00_*
## 5091   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 5125   0.01   0.00    -0.01     0.00     0.02    1.00_*  0.00   0.00  
## 5127   0.00   0.02    -0.02     0.02     0.05_*  1.00_*  0.00   0.00  
## 5134   0.00  -0.05     0.01     0.05     0.07_*  1.00_*  0.00   0.00  
## 5160   0.00  -0.01     0.00     0.01    -0.02    1.00_*  0.00   0.00  
## 5171  -0.01   0.01     0.02    -0.04    -0.05_*  1.00    0.00   0.00  
## 5175   0.00  -0.03     0.02     0.02    -0.04_*  1.00_*  0.00   0.00  
## 5178   0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 5221  -0.03   0.07    -0.01    -0.01     0.08_*  1.00_*  0.00   0.00  
## 5224  -0.01   0.01     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 5244   0.04  -0.08     0.00     0.01    -0.08_*  1.00    0.00   0.00_*
## 5245   0.00   0.01    -0.01     0.02     0.03    1.00_*  0.00   0.00  
## 5298   0.00  -0.01     0.01     0.00    -0.01    1.00_*  0.00   0.00_*
## 5301   0.02   0.00    -0.02     0.01     0.03    1.00_*  0.00   0.00  
## 5302  -0.05   0.07     0.03    -0.02     0.08_*  1.00_*  0.00   0.00  
## 5324   0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 5327   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 5330  -0.01  -0.01     0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 5375   0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 5383  -0.01  -0.02     0.02     0.03     0.04_*  1.00    0.00   0.00  
## 5426   0.00  -0.01     0.01     0.01     0.03    1.00_*  0.00   0.00  
## 5450  -0.02  -0.01     0.02     0.05     0.05_*  1.00    0.00   0.00  
## 5454  -0.01   0.01     0.00     0.01     0.02    1.00_*  0.00   0.00  
## 5461   0.00  -0.01    -0.01     0.02     0.02    1.00_*  0.00   0.00_*
## 5469   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 5473   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 5474  -0.02   0.01     0.02     0.00    -0.03    1.00_*  0.00   0.00  
## 5476  -0.02   0.02     0.02    -0.01    -0.03    1.00_*  0.00   0.00  
## 5489   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 5544   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 5556  -0.01   0.01     0.00     0.01     0.02    1.00_*  0.00   0.00  
## 5560   0.00   0.01     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 5581  -0.02   0.02     0.02    -0.03    -0.04_*  1.00    0.00   0.00  
## 5602   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 5618   0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 5620   0.01   0.00    -0.02     0.00    -0.03    1.00_*  0.00   0.00  
## 5656   0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 5666   0.00  -0.01     0.01    -0.02    -0.02    1.00_*  0.00   0.00_*
## 5679   0.01   0.01    -0.01    -0.02    -0.02    1.00_*  0.00   0.00_*
## 5685   0.01   0.01    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 5699  -0.01   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 5714   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 5722  -0.01  -0.01     0.02     0.03     0.04_*  1.00_*  0.00   0.00  
## 5734  -0.01   0.02    -0.01     0.00     0.03    1.00_*  0.00   0.00  
## 5737   0.01   0.01    -0.02    -0.01    -0.03    1.00    0.00   0.00_*
## 5747   0.01  -0.01     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 5751   0.01  -0.01    -0.01    -0.01    -0.02    1.00_*  0.00   0.00_*
## 5765   0.02  -0.04    -0.01     0.02    -0.04_*  1.00    0.00   0.00  
## 5828   0.02  -0.02     0.00     0.00     0.03    1.00_*  0.00   0.00  
## 5831  -0.01   0.02    -0.01     0.01     0.02    1.00_*  0.00   0.00_*
## 5835   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 5843   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 5848  -0.01   0.00     0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 5854   0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 5857   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 5860   0.01   0.01    -0.01    -0.02    -0.02    1.00_*  0.00   0.00_*
## 5863   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 5874  -0.01   0.02     0.01     0.01     0.03    1.00_*  0.00   0.00  
## 5878   0.02  -0.01    -0.01     0.00    -0.03    1.00_*  0.00   0.00  
## 5893   0.02  -0.01    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 5920   0.01  -0.02     0.00     0.01    -0.02    1.00_*  0.00   0.00_*
## 5953   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 5968  -0.01   0.02    -0.02     0.03     0.05_*  1.00    0.00   0.00_*
## 5976   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 5985   0.00   0.01     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 5991  -0.01   0.01     0.01     0.00     0.02    1.00_*  0.00   0.00  
## 6048   0.02  -0.02    -0.01     0.01     0.03    1.00_*  0.00   0.00  
## 6068  -0.03   0.01     0.01     0.02    -0.03    1.00_*  0.00   0.00  
## 6073  -0.03   0.02     0.03     0.00     0.03    1.00    0.00   0.00_*
## 6080   0.01  -0.01     0.00    -0.01    -0.02    1.00_*  0.00   0.00  
## 6119   0.02   0.00    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 6131   0.01  -0.01     0.00     0.00    -0.02    1.00_*  0.00   0.00_*
## 6143  -0.02   0.04     0.01    -0.01     0.04_*  1.00    0.00   0.00  
## 6166   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 6169  -0.01   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 6176  -0.01   0.01     0.02     0.00     0.03    1.00_*  0.00   0.00  
## 6178   0.00  -0.01     0.00    -0.01    -0.02    1.00_*  0.00   0.00  
## 6180  -0.01   0.00     0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 6194   0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 6214   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 6217   0.01  -0.01    -0.01     0.01     0.03    1.00_*  0.00   0.00  
## 6230   0.01  -0.01     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 6248   0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 6249   0.01  -0.01     0.01     0.00     0.02    1.00_*  0.00   0.00  
## 6255  -0.01   0.00     0.01     0.01     0.01    1.00_*  0.00   0.00_*
## 6273  -0.02   0.04     0.00     0.02     0.05_*  1.00    0.00   0.00_*
## 6281  -0.01   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 6285  -0.01   0.00     0.00     0.02    -0.03    1.00_*  0.00   0.00  
## 6325   0.03  -0.02    -0.03     0.01    -0.04    1.00    0.00   0.00_*
## 6329   0.01   0.00     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 6344   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 6352   0.00  -0.01     0.01     0.00     0.02    1.00_*  0.00   0.00  
## 6365   0.00   0.00    -0.01     0.01    -0.02    1.00_*  0.00   0.00  
## 6387   0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 6431   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 6444   0.00  -0.01     0.03     0.00     0.04    1.00_*  0.00   0.00  
## 6450   0.00   0.00    -0.01     0.04     0.04_*  1.00_*  0.00   0.00  
## 6465   0.00  -0.01     0.01     0.00     0.02    1.00_*  0.00   0.00  
## 6472  -0.04   0.11     0.02    -0.07     0.13_*  0.99_*  0.00   0.00  
## 6478   0.00  -0.01     0.00     0.02     0.02    1.00_*  0.00   0.00_*
## 6489  -0.01   0.03     0.01    -0.02     0.04    1.00_*  0.00   0.00  
## 6503   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 6511   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 6513   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 6514   0.02  -0.02     0.00     0.00     0.03    1.00_*  0.00   0.00  
## 6523   0.00  -0.01     0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 6524  -0.01   0.00     0.01     0.00     0.03    1.00_*  0.00   0.00  
## 6529   0.02   0.00    -0.02    -0.01    -0.03    1.00_*  0.00   0.00_*
## 6535  -0.01   0.00     0.01    -0.01    -0.02    1.00_*  0.00   0.00  
## 6559   0.01   0.00     0.00    -0.02    -0.03    1.00_*  0.00   0.00_*
## 6565   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 6573   0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 6574   0.01  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 6580   0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 6595  -0.02   0.02     0.03    -0.01     0.05_*  1.00_*  0.00   0.00  
## 6608  -0.01   0.01     0.00     0.01     0.02    1.00_*  0.00   0.00_*
## 6623  -0.02   0.02     0.01    -0.01    -0.03    1.00_*  0.00   0.00  
## 6634  -0.01   0.04     0.00    -0.02     0.05_*  1.00    0.00   0.00  
## 6651  -0.02   0.04     0.00     0.00     0.04_*  1.00    0.00   0.00  
## 6658   0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 6660  -0.03   0.03     0.02    -0.01    -0.04    1.00_*  0.00   0.00  
## 6670  -0.01   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 6687   0.02  -0.02    -0.03     0.02    -0.04_*  1.00    0.00   0.00  
## 6689   0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 6691   0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 6754   0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 6758   0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 6783  -0.02   0.04     0.01     0.00     0.04_*  1.00    0.00   0.00  
## 6821   0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 6827   0.01   0.00     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 6843  -0.01   0.00     0.02     0.00     0.02    1.00_*  0.00   0.00  
## 6846   0.01   0.01     0.00    -0.03     0.04    1.00_*  0.00   0.00  
## 6887   0.01  -0.04     0.00     0.03    -0.05_*  1.00_*  0.00   0.00  
## 6892   0.00   0.02     0.01    -0.05    -0.05_*  1.00    0.00   0.00  
## 6893   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 6937   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 6938   0.00  -0.01    -0.01     0.04     0.04_*  1.00_*  0.00   0.00  
## 6944   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 6958   0.01   0.00    -0.02    -0.02    -0.03    1.00_*  0.00   0.00  
## 6963   0.01   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 6972   0.00   0.00     0.00     0.02     0.02    1.00_*  0.00   0.00_*
## 6987  -0.01   0.00     0.01     0.02     0.02    1.00_*  0.00   0.00_*
## 6998   0.00  -0.01     0.01     0.00    -0.02    1.00_*  0.00   0.00_*
## 7011  -0.04   0.02     0.05    -0.01     0.05_*  1.00    0.00   0.00_*
## 7052   0.00   0.01     0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 7075   0.04   0.00    -0.03    -0.02     0.05_*  1.00_*  0.00   0.00  
## 7106   0.01  -0.01    -0.01     0.01     0.01    1.00_*  0.00   0.00  
## 7113   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 7122   0.02  -0.01    -0.01     0.02     0.03    1.00_*  0.00   0.00  
## 7128   0.01  -0.02     0.01     0.00     0.03    1.00_*  0.00   0.00  
## 7154   0.00  -0.02     0.03    -0.04    -0.06_*  1.00    0.00   0.00_*
## 7155   0.00   0.00     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 7189  -0.02   0.03     0.02    -0.02     0.04_*  1.00    0.00   0.00  
## 7199   0.02  -0.01     0.00    -0.01     0.03    1.00_*  0.00   0.00  
## 7235   0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 7280   0.00   0.00     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 7310   0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 7321  -0.02  -0.01     0.03     0.02     0.04    1.00_*  0.00   0.00_*
## 7327  -0.06   0.04     0.01     0.08     0.11_*  1.00_*  0.00   0.00_*
## 7349   0.00  -0.01     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 7353   0.01   0.01    -0.02    -0.01    -0.03    1.00    0.00   0.00_*
## 7384   0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 7393  -0.01   0.01     0.00     0.01     0.02    1.00_*  0.00   0.00  
## 7428  -0.01   0.00     0.01     0.01     0.01    1.00_*  0.00   0.00_*
## 7431   0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 7432  -0.01   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 7447   0.03  -0.02    -0.03     0.02     0.04_*  1.00    0.00   0.00  
## 7469   0.00  -0.01     0.01     0.00     0.01    1.00_*  0.00   0.00_*
## 7479  -0.01   0.01     0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 7493  -0.01   0.00     0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 7494   0.00   0.02     0.00    -0.02     0.03    1.00_*  0.00   0.00  
## 7522   0.01  -0.03     0.00     0.04     0.05_*  1.00_*  0.00   0.00  
## 7527   0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 7544  -0.02   0.00     0.03     0.00     0.03    1.00_*  0.00   0.00_*
## 7556  -0.01   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 7573   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 7596   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 7658  -0.02   0.01     0.01     0.03     0.04_*  1.00    0.00   0.00  
## 7663   0.03  -0.02    -0.03     0.02     0.04    1.00_*  0.00   0.00  
## 7667   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 7669   0.02  -0.02    -0.02     0.02    -0.04    1.00_*  0.00   0.00  
## 7687  -0.01   0.01     0.01    -0.01     0.01    1.00_*  0.00   0.00_*
## 7731   0.00  -0.01     0.01    -0.01    -0.02    1.00_*  0.00   0.00  
## 7743  -0.02   0.01     0.02    -0.01    -0.02    1.00_*  0.00   0.00  
## 7748   0.01  -0.04     0.00     0.02    -0.04_*  1.00_*  0.00   0.00  
## 7771  -0.01   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 7828   0.02  -0.01    -0.01     0.00    -0.02    1.00_*  0.00   0.00_*
## 7843   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 7902   0.00  -0.01     0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 7904  -0.03   0.03     0.01     0.02     0.04_*  1.00    0.00   0.00  
## 7907   0.01  -0.03    -0.01     0.01    -0.03    1.00_*  0.00   0.00_*
## 7944   0.00   0.01     0.00    -0.01    -0.02    1.00_*  0.00   0.00  
## 7946  -0.01   0.00     0.01    -0.02    -0.02    1.00_*  0.00   0.00  
## 7979   0.00  -0.01     0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 7983   0.02  -0.01    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 7989   0.00  -0.01     0.00    -0.01    -0.02    1.00_*  0.00   0.00  
## 7990  -0.01   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 7992   0.01   0.01     0.00    -0.04    -0.04_*  1.00    0.00   0.00  
## 7997   0.01   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 8039  -0.03   0.01     0.03     0.02     0.04_*  1.00    0.00   0.00  
## 8050   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 8064  -0.01   0.02    -0.01     0.03     0.05_*  1.00    0.00   0.00  
## 8096   0.02   0.00    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 8110   0.00   0.00     0.01    -0.01    -0.01    1.00_*  0.00   0.00  
## 8120   0.03   0.01    -0.03    -0.05    -0.06_*  1.00_*  0.00   0.00_*
## 8134   0.01   0.01     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 8141  -0.02  -0.01     0.05    -0.01     0.05_*  1.00    0.00   0.00  
## 8148  -0.03   0.02     0.03    -0.01     0.04_*  1.00    0.00   0.00  
## 8157   0.02   0.00    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 8163   0.00  -0.01     0.01    -0.01    -0.03    1.00_*  0.00   0.00  
## 8170   0.03  -0.02    -0.01    -0.03    -0.05_*  1.00_*  0.00   0.00  
## 8183   0.02   0.03    -0.03    -0.02     0.05_*  1.00    0.00   0.00  
## 8198   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 8205   0.02  -0.02     0.00    -0.02    -0.04    1.00    0.00   0.00_*
## 8231  -0.01  -0.01     0.02     0.02     0.03    1.00_*  0.00   0.00  
## 8264  -0.01   0.02     0.00     0.02     0.03    1.00    0.00   0.00_*
## 8274   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 8303   0.01  -0.01     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 8313  -0.02   0.00     0.03     0.00     0.03    1.00    0.00   0.00_*
## 8336   0.00  -0.02     0.01     0.00    -0.03    1.00_*  0.00   0.00  
## 8339  -0.01   0.01     0.00     0.01     0.02    1.00_*  0.00   0.00_*
## 8363   0.01  -0.01    -0.01     0.00    -0.01    1.00_*  0.00   0.00_*
## 8367   0.00   0.00     0.01    -0.01    -0.01    1.00_*  0.00   0.00_*
## 8392   0.00   0.03    -0.01    -0.02     0.04    1.00_*  0.00   0.00  
## 8420  -0.02   0.02     0.01     0.01     0.03    1.00_*  0.00   0.00_*
## 8441   0.00   0.01     0.00    -0.01     0.01    1.00_*  0.00   0.00  
## 8444   0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 8448   0.02  -0.01    -0.03     0.00    -0.04    1.00_*  0.00   0.00  
## 8449  -0.01  -0.01     0.00     0.04     0.05_*  1.00    0.00   0.00  
## 8451  -0.01   0.01     0.01    -0.01     0.03    1.00_*  0.00   0.00  
## 8478  -0.01   0.00     0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 8487   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 8508  -0.01   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 8518   0.01   0.02    -0.02     0.01     0.03    1.00_*  0.00   0.00  
## 8528   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 8548   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 8553  -0.01   0.00     0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 8565   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 8576  -0.02   0.01     0.01     0.03     0.04    1.00    0.00   0.00_*
## 8588  -0.02  -0.02     0.05     0.01     0.05_*  1.00    0.00   0.00  
## 8606   0.01  -0.01     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 8625   0.04  -0.01    -0.04     0.00     0.04_*  1.00_*  0.00   0.00  
## 8655   0.04  -0.03    -0.01    -0.02     0.05_*  1.00_*  0.00   0.00  
## 8666   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 8675   0.01   0.00    -0.01     0.00     0.02    1.00_*  0.00   0.00  
## 8676  -0.04   0.04     0.03     0.00     0.06_*  1.00    0.00   0.00_*
## 8683   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 8687   0.02   0.00    -0.02     0.01     0.02    1.00_*  0.00   0.00  
## 8691   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 8701   0.03  -0.01    -0.02    -0.02     0.03    1.00_*  0.00   0.00  
## 8706   0.02  -0.02    -0.02     0.02     0.04    1.00_*  0.00   0.00  
## 8715   0.00   0.00     0.02    -0.02     0.03    1.00_*  0.00   0.00  
## 8720   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 8749  -0.01   0.01     0.00     0.01     0.02    1.00_*  0.00   0.00  
## 8753   0.01   0.01     0.00    -0.02     0.03    1.00_*  0.00   0.00  
## 8777  -0.01   0.02     0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 8780   0.02  -0.04    -0.01     0.02    -0.05_*  1.00    0.00   0.00  
## 8795   0.01   0.00    -0.01    -0.01    -0.01    1.00_*  0.00   0.00_*
## 8809   0.00  -0.02     0.02     0.00     0.03    1.00_*  0.00   0.00  
## 8845   0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 8846  -0.01   0.02     0.01     0.01     0.03    1.00_*  0.00   0.00  
## 8853   0.00  -0.01    -0.01     0.02     0.02    1.00_*  0.00   0.00_*
## 8860   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 8879   0.00  -0.03     0.03    -0.03    -0.05_*  1.00    0.00   0.00  
## 8884   0.00  -0.03     0.02     0.03     0.05_*  1.00    0.00   0.00  
## 8916   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 8922   0.00   0.00    -0.01     0.02     0.02    1.00_*  0.00   0.00_*
## 8986   0.02  -0.02    -0.01     0.01     0.02    1.00_*  0.00   0.00  
## 9022   0.00  -0.01     0.00     0.00    -0.02    1.00_*  0.00   0.00  
## 9023   0.00   0.04    -0.03     0.00     0.05_*  1.00    0.00   0.00  
## 9028   0.01   0.04     0.00    -0.09    -0.09_*  1.00_*  0.00   0.00_*
## 9036  -0.05   0.07     0.03    -0.02     0.08_*  1.00_*  0.00   0.00  
## 9046  -0.01   0.00     0.01    -0.02    -0.03    1.00_*  0.00   0.00_*
## 9060   0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 9068   0.01  -0.02     0.00     0.01     0.03    1.00_*  0.00   0.00  
## 9080   0.01   0.00    -0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 9094   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 9115   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 9134   0.01   0.00    -0.01    -0.02    -0.02    1.00_*  0.00   0.00_*
## 9147   0.01  -0.01     0.02    -0.02     0.03    1.00_*  0.00   0.00  
## 9153   0.00  -0.03     0.02     0.01     0.04_*  1.00_*  0.00   0.00  
## 9155   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 9160  -0.01   0.00     0.00     0.03     0.03    1.00_*  0.00   0.00_*
## 9179  -0.01   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 9218  -0.17   0.30     0.04    -0.06     0.30_*  1.01_*  0.02   0.01_*
## 9222   0.01  -0.04     0.00     0.02    -0.04_*  1.00    0.00   0.00  
## 9229   0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 9256   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 9285   0.03  -0.03    -0.02    -0.01    -0.05_*  1.00_*  0.00   0.00  
## 9309   0.02  -0.03     0.01    -0.01     0.04_*  1.00_*  0.00   0.00  
## 9318   0.02  -0.01    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 9405  -0.01   0.05    -0.02    -0.02     0.06_*  1.00    0.00   0.00_*
## 9417   0.03  -0.01    -0.02     0.00     0.03    1.00_*  0.00   0.00  
## 9418   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 9421   0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 9424   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 9435   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 9437   0.01  -0.02     0.00     0.00    -0.02    1.00_*  0.00   0.00_*
## 9446   0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 9454  -0.01   0.00     0.01     0.02     0.02    1.00_*  0.00   0.00  
## 9455   0.01   0.01    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 9457   0.01  -0.05     0.01     0.01    -0.05_*  1.00_*  0.00   0.00  
## 9479   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 9481   0.01  -0.01    -0.01     0.02     0.03    1.00_*  0.00   0.00  
## 9483  -0.01   0.01     0.02    -0.04    -0.04_*  1.00    0.00   0.00  
## 9491   0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 9492   0.00  -0.01     0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 9493   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 9505   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 9508   0.00   0.00    -0.01     0.04     0.04_*  1.00_*  0.00   0.00  
## 9509   0.01  -0.01     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 9533  -0.01   0.01     0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 9547   0.00   0.01    -0.01     0.01     0.02    1.00_*  0.00   0.00_*
## 9558   0.02   0.01    -0.03    -0.02    -0.04    1.00_*  0.00   0.00  
## 9566   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 9596   0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 9619   0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 9645   0.04  -0.05    -0.03     0.02    -0.06_*  1.00_*  0.00   0.00_*
## 9646   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 9657   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 9669   0.00   0.01    -0.01     0.03     0.04_*  1.00_*  0.00   0.00  
## 9678   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 9680   0.01  -0.02     0.00     0.00    -0.02    1.00_*  0.00   0.00  
## 9687  -0.02  -0.02     0.02     0.04     0.05_*  1.00_*  0.00   0.00  
## 9705   0.03   0.00    -0.03     0.01     0.04    1.00_*  0.00   0.00  
## 9711   0.01   0.01    -0.03     0.03     0.04_*  1.00_*  0.00   0.00  
## 9715  -0.01  -0.01     0.00     0.04     0.04_*  1.00_*  0.00   0.00_*
## 9745   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 9751  -0.02   0.02     0.01     0.00    -0.03    1.00_*  0.00   0.00  
## 9781   0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 9787   0.00   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 9829   0.01  -0.03     0.01     0.00     0.04    1.00_*  0.00   0.00  
## 9848  -0.01   0.01     0.01     0.01     0.02    1.00_*  0.00   0.00  
## 9852  -0.02   0.01     0.04    -0.02     0.05_*  1.00    0.00   0.00_*
## 9863   0.00   0.02     0.00    -0.01     0.02    1.00_*  0.00   0.00_*
## 9869   0.01  -0.02     0.00     0.00    -0.02    1.00_*  0.00   0.00_*
## 9872   0.00   0.00     0.00     0.01     0.02    1.00_*  0.00   0.00  
## 9878  -0.01   0.03    -0.01     0.00     0.03    1.00_*  0.00   0.00_*
## 9884   0.02   0.00    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 9912   0.02   0.01    -0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 9932  -0.01   0.00     0.00     0.02     0.02    1.00_*  0.00   0.00_*
## 9946  -0.01   0.00     0.02     0.00     0.02    1.00_*  0.00   0.00_*
## 9947   0.01  -0.03     0.02    -0.01     0.04_*  1.00_*  0.00   0.00  
## 9957   0.01   0.00     0.00    -0.04    -0.04_*  1.00    0.00   0.00  
## 9958   0.00  -0.01     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 9987   0.01  -0.02     0.01    -0.01     0.03    1.00_*  0.00   0.00  
## 10023  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 10035  0.00   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00_*
## 10044  0.00   0.00     0.01    -0.02    -0.03    1.00_*  0.00   0.00_*
## 10057  0.00  -0.01     0.00     0.01    -0.01    1.00_*  0.00   0.00_*
## 10064  0.01  -0.02     0.00    -0.01    -0.02    1.00_*  0.00   0.00_*
## 10073  0.02  -0.03     0.00    -0.02    -0.04_*  1.00    0.00   0.00  
## 10087  0.01   0.00    -0.02     0.01    -0.02    1.00_*  0.00   0.00_*
## 10088  0.05  -0.04    -0.03    -0.01     0.05_*  1.00_*  0.00   0.00  
## 10093 -0.02  -0.01     0.04     0.01     0.04_*  1.00_*  0.00   0.00_*
## 10095  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 10102 -0.01   0.01     0.00     0.01     0.02    1.00_*  0.00   0.00_*
## 10121  0.02   0.00    -0.02     0.00     0.03    1.00_*  0.00   0.00  
## 10157  0.01  -0.03    -0.01     0.01    -0.03    1.00_*  0.00   0.00_*
## 10188  0.01   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00_*
## 10242  0.02   0.01    -0.02    -0.02     0.03    1.00_*  0.00   0.00  
## 10243 -0.01   0.00     0.00     0.02     0.02    1.00_*  0.00   0.00  
## 10260  0.00   0.02     0.00    -0.02     0.03    1.00_*  0.00   0.00  
## 10270  0.01   0.02    -0.02    -0.03    -0.04_*  1.00    0.00   0.00_*
## 10278  0.02   0.00    -0.03    -0.01    -0.03    1.00    0.00   0.00_*
## 10298 -0.01   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 10299  0.01  -0.05     0.00     0.03    -0.06_*  1.00_*  0.00   0.00  
## 10306 -0.03   0.01     0.02     0.01    -0.03    1.00_*  0.00   0.00  
## 10316  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 10331  0.00   0.02    -0.01     0.02     0.04    1.00_*  0.00   0.00  
## 10353  0.01  -0.01     0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 10354  0.02  -0.04     0.01    -0.03    -0.06_*  1.00    0.00   0.00  
## 10364  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 10408  0.01  -0.03     0.01     0.01    -0.04    1.00_*  0.00   0.00_*
## 10409  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 10425  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 10426 -0.01   0.00     0.01     0.01     0.01    1.00_*  0.00   0.00  
## 10443 -0.01   0.02    -0.01     0.02     0.04_*  1.00    0.00   0.00  
## 10508  0.00  -0.01     0.01     0.00    -0.02    1.00_*  0.00   0.00_*
## 10518  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 10529  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 10537  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 10551  0.01   0.01    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 10553  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 10559  0.01   0.00     0.00    -0.01    -0.02    1.00_*  0.00   0.00_*
## 10563  0.03  -0.08     0.00     0.02    -0.08_*  1.00    0.00   0.00_*
## 10566  0.01  -0.01    -0.02     0.01    -0.02    1.00_*  0.00   0.00_*
## 10568  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 10572  0.00   0.01     0.00    -0.01     0.01    1.00_*  0.00   0.00  
## 10583  0.01   0.01    -0.02    -0.01    -0.03    1.00_*  0.00   0.00  
## 10591 -0.02   0.02     0.00     0.03     0.04    1.00    0.00   0.00_*
## 10617  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 10633  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 10644  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 10667  0.00   0.02    -0.01     0.00     0.03    1.00_*  0.00   0.00  
## 10691  0.02   0.00    -0.01    -0.03    -0.04    1.00    0.00   0.00_*
## 10698 -0.02   0.01     0.00     0.01    -0.02    1.00_*  0.00   0.00  
## 10717  0.00  -0.01     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 10721  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 10731 -0.01   0.03    -0.02     0.02     0.04_*  1.00_*  0.00   0.00_*
## 10811 -0.01   0.04    -0.01     0.00     0.04_*  1.00    0.00   0.00  
## 10833 -0.01   0.00     0.01    -0.02    -0.03    1.00_*  0.00   0.00  
## 10850  0.03  -0.03    -0.01    -0.03    -0.05_*  1.00    0.00   0.00_*
## 10862  0.00   0.00     0.02    -0.03    -0.03    1.00    0.00   0.00_*
## 10882  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 10897  0.01  -0.01     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 10901  0.00  -0.02     0.01     0.00    -0.02    1.00_*  0.00   0.00_*
## 10904 -0.01   0.01     0.00     0.00    -0.02    1.00_*  0.00   0.00  
## 10919 -0.01   0.01     0.01     0.00     0.01    1.00_*  0.00   0.00_*
## 10954  0.00  -0.01     0.01     0.00     0.02    1.00_*  0.00   0.00  
## 10955  0.00   0.00     0.00     0.01     0.02    1.00_*  0.00   0.00  
## 10964  0.01  -0.02     0.00     0.00    -0.02    1.00_*  0.00   0.00_*
## 10990  0.01  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 10998  0.02   0.02    -0.04     0.00    -0.05_*  1.00_*  0.00   0.00  
## 11009  0.01   0.00    -0.01     0.00     0.02    1.00_*  0.00   0.00  
## 11011  0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 11012 -0.01  -0.01     0.03     0.00     0.03    1.00_*  0.00   0.00  
## 11040  0.02  -0.02    -0.01     0.03     0.04    1.00_*  0.00   0.00  
## 11042 -0.01   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 11058 -0.01   0.01     0.00    -0.01    -0.02    1.00_*  0.00   0.00  
## 11071 -0.01   0.01    -0.01     0.01    -0.03    1.00_*  0.00   0.00  
## 11111  0.02   0.01    -0.02     0.00     0.03    1.00_*  0.00   0.00  
## 11112  0.02  -0.04    -0.02     0.02    -0.05_*  1.00    0.00   0.00_*
## 11134  0.00   0.01    -0.01     0.01     0.02    1.00_*  0.00   0.00_*
## 11169  0.03  -0.04    -0.02     0.00    -0.05_*  1.00    0.00   0.00_*
## 11172  0.00   0.03     0.00    -0.02     0.03    1.00_*  0.00   0.00  
## 11197  0.00   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 11209  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 11216  0.02  -0.03    -0.02     0.03    -0.05_*  1.00_*  0.00   0.00  
## 11217  0.01   0.01    -0.02     0.01     0.03    1.00_*  0.00   0.00  
## 11223 -0.02   0.00     0.04    -0.02     0.05_*  1.00    0.00   0.00_*
## 11224 -0.01   0.00     0.02     0.00     0.03    1.00_*  0.00   0.00  
## 11230  0.00  -0.01    -0.01     0.01    -0.02    1.00_*  0.00   0.00  
## 11237  0.01  -0.01    -0.01     0.01    -0.02    1.00_*  0.00   0.00  
## 11255  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 11265  0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 11273  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 11284  0.02   0.00    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 11293  0.01  -0.02     0.00     0.00    -0.02    1.00_*  0.00   0.00_*
## 11294  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 11304 -0.01  -0.02     0.02     0.02    -0.04    1.00_*  0.00   0.00  
## 11312  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 11325  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 11326 -0.01   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00_*
## 11341  0.00   0.01    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 11342  0.01  -0.02     0.00     0.02     0.03    1.00_*  0.00   0.00  
## 11346  0.00   0.04    -0.02    -0.01     0.05_*  1.00_*  0.00   0.00  
## 11410 -0.01   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 11437  0.00   0.02     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 11448 -0.01   0.00     0.01    -0.01    -0.02    1.00_*  0.00   0.00  
## 11484  0.01   0.02    -0.02    -0.01    -0.03    1.00_*  0.00   0.00  
## 11486 -0.03   0.01     0.04    -0.01     0.04_*  1.00_*  0.00   0.00  
## 11487  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 11492  0.00   0.00     0.01     0.00     0.02    1.00_*  0.00   0.00  
## 11494  0.02   0.01    -0.03    -0.01     0.04    1.00_*  0.00   0.00  
## 11503 -0.03   0.02     0.02     0.02     0.04_*  1.00    0.00   0.00  
## 11528 -0.01   0.00     0.01    -0.01    -0.02    1.00_*  0.00   0.00  
## 11535  0.00   0.01     0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 11536  0.01   0.03    -0.02    -0.03     0.05_*  1.00_*  0.00   0.00  
## 11554  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 11559  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 11562 -0.01   0.01    -0.01     0.01    -0.02    1.00_*  0.00   0.00  
## 11569  0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 11597 -0.02   0.00     0.04     0.01     0.04_*  1.00    0.00   0.00_*
## 11600  0.00  -0.01     0.00     0.02     0.02    1.00_*  0.00   0.00_*
## 11604  0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 11612 -0.05   0.04     0.02     0.06     0.08_*  1.00_*  0.00   0.00  
## 11628  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 11640  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 11654 -0.01   0.00     0.01     0.02     0.03    1.00_*  0.00   0.00  
## 11706  0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 11710  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 11721  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 11760 -0.01   0.01     0.00    -0.01    -0.02    1.00_*  0.00   0.00  
## 11794  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 11803 -0.01   0.01     0.02    -0.02     0.03    1.00_*  0.00   0.00  
## 11818  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 11843  0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 11873  0.00   0.01    -0.02     0.01    -0.03    1.00    0.00   0.00_*
## 11874 -0.04   0.00     0.05     0.02     0.05_*  1.00    0.00   0.00_*
## 11887  0.03   0.01    -0.03    -0.02     0.04_*  1.00_*  0.00   0.00  
## 11920 -0.01   0.00     0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 11922  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 11972  0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 11974  0.01   0.00    -0.01     0.02     0.03    1.00_*  0.00   0.00  
## 11985  0.00   0.00     0.02    -0.02     0.03    1.00_*  0.00   0.00  
## 11990  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 12012  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 12030 -0.05   0.07     0.01     0.02     0.08_*  1.00_*  0.00   0.00  
## 12048  0.03  -0.01    -0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 12056  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 12080 -0.01   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 12082  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 12085  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 12087  0.00  -0.01     0.00     0.00    -0.02    1.00_*  0.00   0.00  
## 12099  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 12120  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 12125 -0.01   0.01     0.00     0.02     0.02    1.00_*  0.00   0.00_*
## 12138  0.01   0.02    -0.02     0.00     0.03    1.00_*  0.00   0.00  
## 12159  0.00   0.01    -0.02     0.03     0.05_*  1.00    0.00   0.00  
## 12198  0.00   0.00     0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 12202  0.02  -0.01     0.00    -0.02     0.03    1.00_*  0.00   0.00  
## 12208 -0.02   0.00     0.01     0.01    -0.02    1.00_*  0.00   0.00  
## 12221 -0.01   0.02     0.01    -0.01     0.02    1.00_*  0.00   0.00_*
## 12245  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 12249 -0.02   0.03     0.02    -0.01     0.04    1.00_*  0.00   0.00  
## 12251 -0.01   0.00     0.00     0.02     0.02    1.00_*  0.00   0.00_*
## 12269 -0.01   0.00     0.01    -0.01    -0.03    1.00_*  0.00   0.00  
## 12287  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 12292  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 12312  0.00   0.01     0.01    -0.03    -0.03    1.00    0.00   0.00_*
## 12315  0.01   0.00     0.00     0.01     0.02    1.00_*  0.00   0.00  
## 12331  0.02  -0.02    -0.01     0.01    -0.03    1.00_*  0.00   0.00_*
## 12339  0.02  -0.01    -0.01     0.00     0.02    1.00_*  0.00   0.00  
## 12380  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 12383 -0.02   0.00     0.02    -0.01    -0.03    1.00_*  0.00   0.00  
## 12410  0.01   0.02    -0.01    -0.01     0.03    1.00_*  0.00   0.00  
## 12416  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 12426  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 12453  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 12455 -0.03   0.01     0.04    -0.01     0.04_*  1.00    0.00   0.00  
## 12463 -0.02   0.02     0.01     0.00     0.02    1.00_*  0.00   0.00_*
## 12465  0.02  -0.02    -0.01     0.00     0.03    1.00_*  0.00   0.00  
## 12466  0.00  -0.01    -0.01     0.04     0.04_*  1.00    0.00   0.00  
## 12487  0.01   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00_*
## 12489  0.01   0.00     0.00    -0.02     0.03    1.00_*  0.00   0.00  
## 12511  0.02   0.01    -0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 12522  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 12525  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 12526 -0.02   0.00     0.00     0.04     0.05_*  1.00    0.00   0.00  
## 12533  0.03  -0.03    -0.03     0.00    -0.04_*  1.00    0.00   0.00  
## 12537  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 12541  0.05  -0.04    -0.04     0.01    -0.06_*  1.00    0.00   0.00_*
## 12549  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 12564  0.01  -0.02     0.01     0.00     0.03    1.00_*  0.00   0.00  
## 12582 -0.01   0.01     0.00    -0.01    -0.02    1.00_*  0.00   0.00  
## 12584  0.00   0.00     0.01    -0.01    -0.01    1.00_*  0.00   0.00_*
## 12595 -0.01   0.00     0.02     0.00     0.03    1.00_*  0.00   0.00  
## 12620  0.00  -0.01     0.00     0.02     0.02    1.00_*  0.00   0.00  
## 12629  0.01   0.01    -0.01    -0.01    -0.02    1.00_*  0.00   0.00  
## 12632  0.02  -0.01    -0.01     0.01     0.02    1.00_*  0.00   0.00  
## 12633  0.00   0.01     0.01     0.00     0.02    1.00_*  0.00   0.00  
## 12640  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 12647  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 12669  0.02   0.00    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 12674 -0.01  -0.02     0.01     0.02    -0.04    1.00_*  0.00   0.00  
## 12677  0.02  -0.01     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 12709  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 12717 -0.02   0.01     0.01     0.01    -0.02    1.00_*  0.00   0.00  
## 12724  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 12758  0.00  -0.04     0.02     0.00    -0.05_*  1.00    0.00   0.00  
## 12788  0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 12797  0.01   0.01    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 12801  0.02  -0.01    -0.02     0.01    -0.03    1.00_*  0.00   0.00_*
## 12827  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 12845  0.00   0.01     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 12854  0.01   0.01    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 12856 -0.01   0.01     0.00     0.00    -0.02    1.00_*  0.00   0.00  
## 12858 -0.01   0.01     0.01    -0.01     0.01    1.00_*  0.00   0.00_*
## 12896  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 12911  0.01  -0.02    -0.01     0.02     0.03    1.00_*  0.00   0.00  
## 12921  0.01   0.00     0.01    -0.04    -0.04_*  1.00_*  0.00   0.00_*
## 12954  0.00  -0.01     0.00     0.04     0.04_*  1.00    0.00   0.00_*
## 12960  0.03   0.00     0.00    -0.06    -0.06_*  1.00_*  0.00   0.00_*
## 12982 -0.02   0.02     0.01     0.00    -0.03    1.00_*  0.00   0.00  
## 13001  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 13002  0.00   0.00    -0.01     0.03     0.03    1.00_*  0.00   0.00  
## 13015  0.00   0.01     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 13021  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 13027  0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 13092 -0.01   0.00     0.01     0.01     0.03    1.00_*  0.00   0.00  
## 13095  0.00   0.01    -0.01     0.00     0.01    1.00_*  0.00   0.00  
## 13098  0.01  -0.03     0.00     0.00    -0.03    1.00_*  0.00   0.00  
## 13108  0.00  -0.01     0.01     0.00     0.02    1.00_*  0.00   0.00  
## 13110  0.00   0.00    -0.01     0.01     0.01    1.00_*  0.00   0.00_*
## 13121  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 13150 -0.01  -0.01     0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 13153 -0.03   0.03     0.01     0.02     0.04    1.00    0.00   0.00_*
## 13161  0.02   0.00    -0.01    -0.03    -0.04    1.00_*  0.00   0.00_*
## 13164  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 13178  0.01   0.01    -0.03     0.00    -0.04    1.00_*  0.00   0.00  
## 13200  0.01  -0.01     0.00     0.00    -0.02    1.00_*  0.00   0.00_*
## 13201 -0.02   0.02     0.00    -0.01    -0.03    1.00_*  0.00   0.00  
## 13216 -0.02   0.01     0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 13226 -0.02  -0.01     0.01     0.04     0.05_*  1.00_*  0.00   0.00  
## 13289  0.00   0.00     0.01     0.00     0.02    1.00_*  0.00   0.00  
## 13290  0.00   0.01     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 13297  0.00  -0.01    -0.01     0.03     0.03    1.00_*  0.00   0.00_*
## 13310  0.01   0.00    -0.01    -0.01    -0.01    1.00_*  0.00   0.00  
## 13312  0.01   0.01    -0.02     0.02     0.03    1.00_*  0.00   0.00  
## 13315  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 13316  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 13341  0.01  -0.01     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 13364  0.01   0.00    -0.02     0.01    -0.03    1.00_*  0.00   0.00  
## 13368  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 13378  0.00  -0.02    -0.01     0.05     0.06_*  1.00    0.00   0.00  
## 13440 -0.01   0.01     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 13445  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 13455 -0.01   0.00     0.02    -0.01    -0.03    1.00_*  0.00   0.00  
## 13458  0.01   0.01    -0.02     0.01    -0.03    1.00_*  0.00   0.00_*
## 13468  0.01   0.01     0.00    -0.03    -0.03    1.00_*  0.00   0.00_*
## 13496  0.00  -0.02     0.01     0.00    -0.03    1.00    0.00   0.00_*
## 13519  0.01   0.01    -0.01    -0.01    -0.01    1.00_*  0.00   0.00  
## 13532  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 13542  0.01  -0.03     0.01     0.01    -0.03    1.00    0.00   0.00_*
## 13553  0.00   0.02     0.00    -0.01     0.02    1.00_*  0.00   0.00_*
## 13577  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 13592  0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 13610  0.00   0.00     0.01    -0.04    -0.04_*  1.00    0.00   0.00  
## 13614  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 13626  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 13658  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 13680  0.01  -0.04    -0.01     0.03    -0.05_*  1.00    0.00   0.00  
## 13681  0.01  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 13696 -0.02   0.01     0.01     0.03     0.04_*  1.00    0.00   0.00  
## 13718  0.00   0.01     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 13720  0.00  -0.01     0.01    -0.01    -0.03    1.00_*  0.00   0.00  
## 13723 -0.01   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00_*
## 13737 -0.01   0.01     0.02    -0.02    -0.03    1.00    0.00   0.00_*
## 13754 -0.01   0.01     0.00     0.02     0.03    1.00    0.00   0.00_*
## 13755  0.03  -0.03    -0.02     0.01    -0.04_*  1.00    0.00   0.00  
## 13756  0.02  -0.02    -0.01    -0.03    -0.04_*  1.00    0.00   0.00_*
## 13758 -0.01   0.00     0.01     0.01     0.01    1.00_*  0.00   0.00_*
## 13767  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 13776  0.00   0.00     0.01    -0.01    -0.02    1.00_*  0.00   0.00_*
## 13789  0.03  -0.02    -0.03     0.03     0.05_*  1.00_*  0.00   0.00  
## 13805  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 13807 -0.01   0.00     0.01     0.01     0.01    1.00_*  0.00   0.00_*
## 13857  0.01   0.00    -0.01     0.01     0.01    1.00_*  0.00   0.00  
## 13916  0.01  -0.01     0.00    -0.01    -0.02    1.00_*  0.00   0.00_*
## 13917 -0.02   0.01     0.00     0.04     0.05_*  1.00_*  0.00   0.00  
## 13923  0.01  -0.04     0.02     0.01    -0.05_*  1.00    0.00   0.00_*
## 13924  0.01   0.00     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 13940  0.00   0.02     0.00    -0.02     0.03    1.00_*  0.00   0.00  
## 13941  0.03  -0.01    -0.02    -0.03    -0.04_*  1.00_*  0.00   0.00  
## 13952  0.01  -0.02     0.00    -0.01    -0.03    1.00_*  0.00   0.00_*
## 13958 -0.01   0.01     0.00     0.01     0.02    1.00_*  0.00   0.00_*
## 13964 -0.02   0.01     0.00     0.05     0.05_*  1.00    0.00   0.00  
## 13982 -0.02   0.00     0.03     0.00     0.04    1.00_*  0.00   0.00  
## 14051 -0.01   0.00     0.01     0.01     0.02    1.00_*  0.00   0.00  
## 14076  0.03  -0.04    -0.01     0.01    -0.04_*  1.00    0.00   0.00  
## 14113  0.00  -0.01     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 14140 -0.01   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00_*
## 14142  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 14169  0.01   0.01    -0.01    -0.02    -0.02    1.00_*  0.00   0.00_*
## 14175 -0.02  -0.03     0.02     0.06     0.07_*  1.00    0.00   0.00_*
## 14192 -0.01  -0.01     0.00     0.04     0.04    1.00_*  0.00   0.00_*
## 14197 -0.02   0.00     0.01     0.02    -0.03    1.00_*  0.00   0.00  
## 14205  0.03  -0.02    -0.02     0.01     0.03    1.00_*  0.00   0.00  
## 14215  0.01  -0.02    -0.01     0.01    -0.02    1.00_*  0.00   0.00  
## 14258  0.01  -0.01    -0.01     0.00    -0.01    1.00_*  0.00   0.00_*
## 14261 -0.01   0.02     0.00    -0.01     0.03    1.00_*  0.00   0.00_*
## 14267  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 14274  0.01   0.02    -0.02     0.00     0.04_*  1.00_*  0.00   0.00  
## 14278  0.01   0.00    -0.01     0.01     0.02    1.00_*  0.00   0.00_*
## 14290  0.00   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 14303  0.00   0.00     0.00    -0.01    -0.02    1.00_*  0.00   0.00  
## 14307 -0.01   0.01     0.01    -0.02    -0.02    1.00_*  0.00   0.00_*
## 14309  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 14313 -0.01   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 14327  0.02  -0.01    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 14350  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 14362 -0.01   0.01     0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 14372 -0.01   0.00     0.00     0.02     0.02    1.00_*  0.00   0.00_*
## 14375  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 14377 -0.01   0.00     0.00     0.02     0.02    1.00_*  0.00   0.00_*
## 14384  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 14392  0.01   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00_*
## 14435  0.00   0.00     0.01    -0.05    -0.05_*  1.00    0.00   0.00_*
## 14466  0.02  -0.02    -0.02    -0.01    -0.03    1.00    0.00   0.00_*
## 14480  0.00   0.01    -0.01    -0.01     0.02    1.00_*  0.00   0.00_*
## 14498 -0.01   0.00     0.01     0.03     0.03    1.00_*  0.00   0.00  
## 14511  0.01  -0.04    -0.01     0.03    -0.05_*  1.00    0.00   0.00  
## 14516  0.00   0.01     0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 14561  0.00   0.00     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 14569  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 14570  0.01   0.00     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 14571  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 14602 -0.01   0.02     0.02    -0.02     0.03    1.00_*  0.00   0.00  
## 14605  0.03  -0.02    -0.02    -0.03    -0.05_*  1.00_*  0.00   0.00  
## 14618  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 14644  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 14661 -0.03  -0.01     0.04     0.03     0.05_*  1.00_*  0.00   0.00  
## 14664  0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 14666 -0.02   0.02    -0.01     0.06     0.08_*  1.00_*  0.00   0.00_*
## 14679  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 14680 -0.01  -0.02     0.04     0.00     0.05_*  1.00    0.00   0.00_*
## 14683  0.01   0.00    -0.01    -0.03    -0.03    1.00    0.00   0.00_*
## 14691  0.01  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 14702  0.00   0.00     0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 14704  0.00  -0.01     0.01     0.01     0.02    1.00_*  0.00   0.00  
## 14705  0.01   0.02    -0.01    -0.01     0.03    1.00_*  0.00   0.00  
## 14706  0.00   0.01     0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 14708  0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 14731  0.00   0.02     0.01    -0.04    -0.04_*  1.00_*  0.00   0.00_*
## 14733  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 14761  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 14766  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 14792  0.03  -0.01    -0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 14795  0.03  -0.02    -0.01    -0.01     0.03    1.00_*  0.00   0.00  
## 14825  0.02  -0.02    -0.02     0.00     0.03    1.00_*  0.00   0.00  
## 14838  0.00   0.02    -0.01    -0.03    -0.03    1.00    0.00   0.00_*
## 14853  0.01  -0.01    -0.01     0.00     0.01    1.00_*  0.00   0.00  
## 14872  0.01   0.00    -0.02    -0.01    -0.02    1.00_*  0.00   0.00  
## 14907  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 14921  0.00  -0.01     0.02     0.00     0.03    1.00_*  0.00   0.00  
## 14929  0.03  -0.02    -0.01    -0.01     0.03    1.00_*  0.00   0.00  
## 14931  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 14935  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 14939 -0.02   0.03     0.01     0.01     0.04_*  1.00_*  0.00   0.00  
## 14965  0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 14992  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 14993  0.02  -0.01    -0.02     0.00    -0.03    1.00_*  0.00   0.00_*
## 15002  0.02  -0.01    -0.02     0.02     0.03    1.00_*  0.00   0.00  
## 15013 -0.01   0.01     0.00     0.00    -0.02    1.00_*  0.00   0.00  
## 15016  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 15030 -0.02   0.03     0.01    -0.01     0.03    1.00_*  0.00   0.00_*
## 15048  0.02   0.00    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 15077  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 15087 -0.01   0.00     0.03    -0.01     0.03    1.00_*  0.00   0.00  
## 15091  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 15096  0.01  -0.01     0.00    -0.01    -0.02    1.00_*  0.00   0.00  
## 15113  0.01  -0.02     0.01     0.01     0.03    1.00_*  0.00   0.00  
## 15132  0.00  -0.01     0.02     0.00     0.03    1.00_*  0.00   0.00  
## 15149 -0.02  -0.03     0.03     0.01    -0.05_*  1.00    0.00   0.00_*
## 15190  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 15193  0.03  -0.03    -0.02     0.00     0.04    1.00_*  0.00   0.00  
## 15210  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 15213  0.03   0.00    -0.04    -0.03    -0.05_*  1.00_*  0.00   0.00_*
## 15217  0.01   0.00    -0.02    -0.01    -0.02    1.00_*  0.00   0.00  
## 15233  0.00   0.00     0.01    -0.01    -0.01    1.00_*  0.00   0.00  
## 15240  0.01   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 15258 -0.02   0.03     0.01     0.00     0.03    1.00_*  0.00   0.00  
## 15265 -0.05   0.12    -0.01    -0.02     0.12_*  1.00_*  0.00   0.00_*
## 15285  0.00   0.01     0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 15291  0.00   0.00     0.00     0.01     0.02    1.00_*  0.00   0.00  
## 15293  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 15296  0.03  -0.03    -0.01     0.00     0.04    1.00_*  0.00   0.00  
## 15298  0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 15299  0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 15300  0.02  -0.01     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 15329  0.01   0.00     0.00    -0.01    -0.02    1.00_*  0.00   0.00_*
## 15341  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 15349  0.02  -0.02     0.01    -0.04    -0.05_*  1.00_*  0.00   0.00_*
## 15368  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 15397  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 15413  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 15430  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 15448  0.03  -0.03    -0.01    -0.01    -0.04_*  1.00    0.00   0.00  
## 15501  0.00  -0.01     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 15526  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 15568  0.03  -0.01    -0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 15584 -0.02   0.01     0.01     0.00    -0.03    1.00_*  0.00   0.00  
## 15588  0.01   0.01    -0.02     0.00     0.03    1.00_*  0.00   0.00  
## 15605 -0.01   0.01     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 15608  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 15613  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 15623 -0.02   0.02     0.02    -0.02     0.04    1.00_*  0.00   0.00  
## 15629  0.02  -0.02     0.00     0.00     0.03    1.00_*  0.00   0.00  
## 15653  0.01  -0.01    -0.01    -0.01    -0.03    1.00_*  0.00   0.00  
## 15665 -0.02   0.01     0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 15672 -0.01  -0.01     0.01     0.01     0.02    1.00_*  0.00   0.00  
## 15681 -0.01   0.01    -0.01     0.01     0.02    1.00_*  0.00   0.00_*
## 15747 -0.02  -0.01     0.04    -0.01     0.05_*  1.00    0.00   0.00  
## 15766  0.01  -0.01     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 15773 -0.03   0.03     0.01     0.02     0.04_*  1.00_*  0.00   0.00_*
## 15797 -0.02   0.00     0.02     0.05     0.06_*  1.00_*  0.00   0.00  
## 15810  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 15838  0.02  -0.03    -0.01    -0.01    -0.04    1.00_*  0.00   0.00  
## 15851  0.00   0.01    -0.01    -0.01    -0.02    1.00_*  0.00   0.00  
## 15864  0.02   0.00    -0.02     0.01     0.03    1.00_*  0.00   0.00  
## 15870  0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 15887  0.03   0.03    -0.04    -0.02     0.06_*  1.00_*  0.00   0.00  
## 15900  0.01  -0.05     0.01     0.02    -0.05_*  1.00    0.00   0.00_*
## 15929  0.02  -0.02    -0.01     0.03     0.04_*  1.00_*  0.00   0.00  
## 15960 -0.01   0.01     0.01     0.02     0.03    1.00_*  0.00   0.00_*
## 15962  0.02  -0.02    -0.02     0.01     0.03    1.00_*  0.00   0.00  
## 15965  0.01  -0.03     0.00     0.02    -0.03    1.00_*  0.00   0.00  
## 15970  0.01  -0.01     0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 15979 -0.01   0.02     0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 15985  0.02   0.00    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 16009 -0.01   0.02     0.00     0.01    -0.02    1.00_*  0.00   0.00  
## 16012  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 16018 -0.01   0.02    -0.01     0.00    -0.03    1.00_*  0.00   0.00  
## 16033 -0.01  -0.01     0.01     0.01    -0.02    1.00_*  0.00   0.00  
## 16034  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 16055 -0.01   0.00     0.01     0.02     0.03    1.00_*  0.00   0.00  
## 16057  0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 16068  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 16074  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 16082  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 16112 -0.01   0.02     0.00    -0.02    -0.03    1.00_*  0.00   0.00  
## 16166  0.01  -0.01     0.00    -0.02    -0.03    1.00_*  0.00   0.00_*
## 16218  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 16223  0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 16225  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 16229  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 16234  0.03  -0.03    -0.04     0.02    -0.05_*  1.00_*  0.00   0.00  
## 16259  0.00   0.01     0.00    -0.01     0.01    1.00_*  0.00   0.00  
## 16274 -0.01   0.00     0.01     0.01     0.02    1.00_*  0.00   0.00  
## 16310  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 16316  0.01   0.00     0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 16319  0.00   0.04    -0.01    -0.06    -0.07_*  1.00    0.00   0.00_*
## 16325  0.00  -0.01     0.01     0.01     0.02    1.00_*  0.00   0.00  
## 16336  0.00   0.00    -0.01     0.01    -0.02    1.00_*  0.00   0.00  
## 16354  0.03   0.00    -0.03    -0.01     0.04    1.00_*  0.00   0.00  
## 16356  0.01   0.02    -0.03     0.00     0.04    1.00_*  0.00   0.00  
## 16360  0.00  -0.02     0.00     0.01    -0.02    1.00_*  0.00   0.00_*
## 16371  0.01  -0.01     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 16382  0.01  -0.02    -0.01     0.00    -0.02    1.00_*  0.00   0.00_*
## 16383  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 16384 -0.02   0.02     0.01     0.00    -0.03    1.00_*  0.00   0.00  
## 16393  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 16404 -0.02   0.02     0.01    -0.01    -0.03    1.00_*  0.00   0.00  
## 16417  0.02  -0.01    -0.01    -0.03    -0.04    1.00    0.00   0.00_*
## 16424  0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 16425  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 16445  0.00   0.02     0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 16461 -0.01  -0.02     0.05    -0.02     0.06_*  1.00    0.00   0.00  
## 16500 -0.03   0.02     0.03    -0.01     0.04_*  1.00    0.00   0.00  
## 16544 -0.01   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 16577  0.01   0.00     0.00    -0.02    -0.02    1.00_*  0.00   0.00  
## 16579  0.01   0.05    -0.03    -0.02     0.06_*  1.00    0.00   0.00_*
## 16585  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 16591  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 16592 -0.01   0.01     0.01    -0.02    -0.03    1.00_*  0.00   0.00  
## 16653  0.00   0.02    -0.01     0.00     0.02    1.00_*  0.00   0.00  
## 16661  0.01  -0.02     0.00    -0.02    -0.03    1.00_*  0.00   0.00  
## 16669  0.03  -0.04    -0.03     0.03    -0.05_*  1.00    0.00   0.00  
## 16678  0.03   0.00    -0.03    -0.01     0.04    1.00_*  0.00   0.00  
## 16685  0.01   0.00    -0.01     0.01     0.02    1.00_*  0.00   0.00  
## 16728  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 16744 -0.03   0.00     0.03    -0.01    -0.04    1.00_*  0.00   0.00  
## 16760  0.01  -0.01    -0.01     0.00     0.02    1.00_*  0.00   0.00  
## 16776  0.00   0.00     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 16790  0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 16798  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 16802  0.01   0.01     0.00    -0.03    -0.03    1.00_*  0.00   0.00_*
## 16820  0.00   0.02    -0.01    -0.02    -0.04    1.00_*  0.00   0.00  
## 16822  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 16830  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 16836 -0.04   0.04     0.03     0.00     0.06_*  1.00    0.00   0.00_*
## 16844  0.01  -0.03     0.00     0.01    -0.03    1.00    0.00   0.00_*
## 16849  0.02   0.01    -0.02    -0.05    -0.05_*  1.00_*  0.00   0.00_*
## 16858 -0.01   0.02     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 16870 -0.01   0.00     0.01     0.02     0.03    1.00_*  0.00   0.00  
## 16886  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 16901  0.02   0.00    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 16909  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 16917  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 16931  0.01  -0.03    -0.02     0.05     0.05_*  1.00_*  0.00   0.00_*
## 16957 -0.02   0.00     0.01     0.03     0.04    1.00    0.00   0.00_*
## 16976  0.01  -0.01    -0.01     0.01     0.02    1.00_*  0.00   0.00  
## 16994  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 16998  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 17020  0.00   0.02     0.00    -0.02     0.03    1.00_*  0.00   0.00  
## 17033 -0.01   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 17042  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 17075  0.01  -0.01    -0.02     0.02    -0.03    1.00_*  0.00   0.00  
## 17089  0.00   0.01    -0.01     0.02     0.03    1.00_*  0.00   0.00  
## 17094  0.02   0.00    -0.04     0.01    -0.04    1.00    0.00   0.00_*
## 17122  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 17130 -0.01   0.01     0.01     0.00     0.01    1.00_*  0.00   0.00_*
## 17131  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 17149  0.02  -0.02     0.00     0.00     0.03    1.00_*  0.00   0.00  
## 17173  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 17181  0.02  -0.04     0.00     0.00    -0.04    1.00_*  0.00   0.00_*
## 17194  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 17199  0.00   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 17229  0.00   0.02    -0.01     0.00     0.03    1.00_*  0.00   0.00  
## 17259 -0.01   0.00     0.01     0.01     0.01    1.00_*  0.00   0.00_*
## 17268 -0.03   0.02     0.02    -0.01     0.04    1.00_*  0.00   0.00_*
## 17286  0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 17288  0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 17292  0.03  -0.04    -0.01     0.00    -0.05_*  1.00    0.00   0.00  
## 17308  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 17360 -0.02   0.00     0.03     0.02     0.03    1.00    0.00   0.00_*
## 17361  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 17366  0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 17368  0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00_*
## 17377  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 17393  0.00   0.02    -0.01     0.00    -0.03    1.00_*  0.00   0.00  
## 17422  0.00   0.01     0.00    -0.02    -0.02    1.00_*  0.00   0.00  
## 17447 -0.01   0.04     0.00    -0.02     0.04_*  1.00    0.00   0.00  
## 17455  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 17466  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 17471  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 17476  0.04  -0.06    -0.04     0.04    -0.07_*  1.00    0.00   0.00_*
## 17485  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 17489 -0.01   0.00    -0.01     0.06     0.07_*  1.00    0.00   0.00_*
## 17498  0.02  -0.01    -0.01    -0.02    -0.03    1.00_*  0.00   0.00_*
## 17499  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 17534  0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 17552 -0.03   0.02     0.03    -0.01    -0.04    1.00_*  0.00   0.00  
## 17557  0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 17560 -0.01   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 17566 -0.02  -0.01     0.05    -0.01     0.05_*  1.00    0.00   0.00_*
## 17582  0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 17622  0.02  -0.03    -0.01    -0.01    -0.04    1.00    0.00   0.00_*
## 17671 -0.01   0.00     0.01    -0.01    -0.02    1.00_*  0.00   0.00  
## 17683  0.00   0.00    -0.01     0.01     0.01    1.00_*  0.00   0.00  
## 17707  0.00   0.01     0.00    -0.02    -0.02    1.00_*  0.00   0.00_*
## 17747  0.00   0.01     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 17752  0.01  -0.01    -0.01     0.00     0.01    1.00_*  0.00   0.00  
## 17756  0.00   0.00    -0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 17772  0.01   0.00    -0.01    -0.01    -0.01    1.00_*  0.00   0.00_*
## 17804  0.01  -0.03     0.02     0.01     0.04    1.00_*  0.00   0.00  
## 17809  0.02   0.00     0.00    -0.02     0.03    1.00_*  0.00   0.00  
## 17814 -0.01   0.01     0.01    -0.02    -0.03    1.00_*  0.00   0.00  
## 17833  0.03   0.00    -0.03    -0.02     0.04_*  1.00_*  0.00   0.00  
## 17852  0.01  -0.01    -0.01     0.00     0.02    1.00_*  0.00   0.00  
## 17864  0.00   0.03    -0.01    -0.01     0.04    1.00_*  0.00   0.00  
## 17875  0.02  -0.02     0.00    -0.02     0.04    1.00_*  0.00   0.00  
## 17889 -0.01   0.01     0.00     0.00    -0.02    1.00_*  0.00   0.00  
## 17910  0.00  -0.02     0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 17931  0.00  -0.01     0.01     0.00     0.02    1.00_*  0.00   0.00  
## 17966 -0.02   0.00     0.04     0.00     0.04    1.00_*  0.00   0.00  
## 18024  0.01   0.02    -0.01    -0.01     0.03    1.00_*  0.00   0.00  
## 18025 -0.01   0.00     0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 18030  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 18076  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 18078  0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 18080  0.01   0.02    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 18081  0.00  -0.02     0.02     0.01     0.03    1.00_*  0.00   0.00  
## 18121  0.01  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 18123  0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00_*
## 18129  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 18130 -0.01   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 18136  0.00   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00_*
## 18167  0.00  -0.02     0.02     0.01     0.03    1.00_*  0.00   0.00  
## 18170  0.00   0.01     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 18220  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 18234  0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 18240  0.01  -0.01     0.00    -0.04    -0.04_*  1.00    0.00   0.00  
## 18251  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 18258  0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 18316  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 18332  0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 18368  0.01  -0.01    -0.01     0.00    -0.03    1.00_*  0.00   0.00  
## 18389 -0.03   0.01     0.01     0.02    -0.03    1.00_*  0.00   0.00  
## 18418  0.03  -0.02    -0.02    -0.02    -0.05_*  1.00    0.00   0.00  
## 18495  0.02  -0.01     0.00    -0.02     0.03    1.00_*  0.00   0.00  
## 18501  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 18515  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 18540 -0.05   0.04     0.03     0.02     0.06_*  1.00    0.00   0.00_*
## 18557  0.02  -0.04     0.01    -0.02    -0.05_*  1.00    0.00   0.00  
## 18563  0.01  -0.01    -0.01     0.00    -0.01    1.00_*  0.00   0.00_*
## 18577  0.01   0.01    -0.01    -0.03    -0.03    1.00_*  0.00   0.00_*
## 18603  0.01  -0.01    -0.01     0.03     0.04    1.00_*  0.00   0.00  
## 18605  0.02   0.00    -0.01     0.00     0.02    1.00_*  0.00   0.00  
## 18607 -0.01   0.01     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 18625  0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 18628  0.02  -0.01    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 18630 -0.05   0.02     0.09    -0.04     0.10_*  1.00_*  0.00   0.00_*
## 18653  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 18666  0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 18676  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 18693  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 18721  0.02  -0.03    -0.02     0.01    -0.04    1.00_*  0.00   0.00  
## 18732  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 18734  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 18735  0.01   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 18736 -0.01   0.01     0.01    -0.01    -0.02    1.00_*  0.00   0.00  
## 18795  0.02  -0.01     0.00    -0.02    -0.03    1.00_*  0.00   0.00_*
## 18817  0.00  -0.03     0.02     0.00    -0.03    1.00    0.00   0.00_*
## 18846  0.02   0.00     0.00    -0.02     0.03    1.00_*  0.00   0.00  
## 18852  0.01   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00_*
## 18858  0.00  -0.01     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 18860  0.01  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 18877  0.01   0.01     0.00    -0.02    -0.03    1.00_*  0.00   0.00_*
## 18879 -0.01   0.00     0.02     0.00     0.02    1.00_*  0.00   0.00_*
## 18881 -0.01   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 18902  0.03   0.01    -0.05    -0.02    -0.06_*  1.00_*  0.00   0.00  
## 18904  0.00   0.01     0.00    -0.01    -0.02    1.00_*  0.00   0.00_*
## 18906  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 18928  0.00   0.02     0.00    -0.03     0.04    1.00_*  0.00   0.00  
## 18939 -0.01   0.00     0.01     0.01     0.02    1.00_*  0.00   0.00_*
## 18946  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 18949  0.01  -0.01     0.00     0.00    -0.02    1.00_*  0.00   0.00_*
## 18955 -0.04   0.03     0.04    -0.01     0.05_*  1.00    0.00   0.00  
## 18959  0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 18974  0.03  -0.01    -0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 19020 -0.01  -0.01     0.01     0.03     0.04    1.00_*  0.00   0.00  
## 19030  0.02   0.00    -0.01    -0.02     0.02    1.00_*  0.00   0.00  
## 19037 -0.01   0.01     0.00    -0.01    -0.02    1.00_*  0.00   0.00  
## 19049 -0.01  -0.01     0.02     0.01     0.03    1.00_*  0.00   0.00  
## 19065  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 19067  0.02   0.00    -0.04     0.02    -0.04_*  1.00    0.00   0.00  
## 19082 -0.03   0.04     0.01    -0.01     0.05_*  1.00_*  0.00   0.00  
## 19091  0.01   0.04    -0.03    -0.07    -0.08_*  1.00    0.00   0.00_*
## 19093  0.01  -0.01     0.00    -0.02    -0.02    1.00_*  0.00   0.00  
## 19121  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 19131  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 19149  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 19155  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 19169  0.01   0.01    -0.01    -0.03    -0.03    1.00_*  0.00   0.00_*
## 19205  0.01   0.00    -0.02     0.02     0.03    1.00    0.00   0.00_*
## 19209  0.00  -0.03     0.03     0.00     0.05_*  1.00_*  0.00   0.00  
## 19213  0.01  -0.01    -0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 19219 -0.03   0.00     0.03     0.03     0.05_*  1.00    0.00   0.00  
## 19225  0.02   0.00    -0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 19232 -0.01   0.00     0.00     0.00    -0.02    1.00_*  0.00   0.00  
## 19270  0.02  -0.01    -0.02     0.01    -0.03    1.00_*  0.00   0.00_*
## 19288 -0.01   0.00     0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 19289  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 19292  0.00   0.01     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 19299  0.00   0.01     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 19318  0.00   0.01     0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 19326  0.03  -0.05    -0.01     0.01    -0.06_*  1.00    0.00   0.00_*
## 19328  0.00   0.00     0.00    -0.02    -0.02    1.00_*  0.00   0.00_*
## 19334  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 19348  0.00  -0.04     0.04    -0.01     0.06_*  1.00_*  0.00   0.00  
## 19355  0.02  -0.01    -0.01     0.00     0.02    1.00_*  0.00   0.00  
## 19356  0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 19360 -0.01   0.01     0.01    -0.02    -0.02    1.00_*  0.00   0.00_*
## 19368  0.00   0.00     0.00     0.01     0.02    1.00_*  0.00   0.00  
## 19370  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 19392  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 19408  0.02  -0.01    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 19421  0.01  -0.01    -0.01     0.01    -0.02    1.00_*  0.00   0.00_*
## 19426  0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 19438 -0.01   0.03    -0.01     0.01     0.04_*  1.00_*  0.00   0.00  
## 19464  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 19529 -0.01   0.02     0.00     0.00     0.02    1.00_*  0.00   0.00_*
## 19539  0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 19568  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 19575  0.03  -0.02    -0.03     0.00    -0.04_*  1.00_*  0.00   0.00  
## 19588  0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 19590  0.01   0.03    -0.03     0.00     0.04_*  1.00    0.00   0.00  
## 19627  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 19633  0.03  -0.03    -0.03     0.00    -0.04_*  1.00    0.00   0.00  
## 19657  0.02  -0.01    -0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 19664  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 19669  0.01  -0.01    -0.03     0.02    -0.04    1.00_*  0.00   0.00  
## 19680  0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 19686  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 19695  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 19702  0.01  -0.02     0.00     0.02     0.03    1.00_*  0.00   0.00  
## 19760 -0.01  -0.01     0.00     0.04     0.04    1.00    0.00   0.00_*
## 19773  0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 19777  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 19800 -0.01   0.00    -0.01     0.02    -0.02    1.00_*  0.00   0.00  
## 19824 -0.01  -0.01     0.03    -0.01     0.04_*  1.00    0.00   0.00  
## 19833  0.01  -0.01     0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 19839  0.03   0.00    -0.03    -0.04    -0.06_*  1.00    0.00   0.00  
## 19841  0.00   0.01     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 19867  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 19869  0.01  -0.01    -0.01    -0.01    -0.02    1.00_*  0.00   0.00_*
## 19873 -0.01   0.03     0.01    -0.02     0.04    1.00_*  0.00   0.00  
## 19875  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 19877  0.00  -0.01     0.02    -0.02     0.04    1.00_*  0.00   0.00  
## 19885  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 19896  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 19903  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 19912  0.03  -0.02    -0.03     0.02     0.04_*  1.00_*  0.00   0.00  
## 19938  0.03  -0.02    -0.02     0.00     0.03    1.00_*  0.00   0.00  
## 19953  0.00   0.01     0.00    -0.03    -0.03    1.00_*  0.00   0.00_*
## 19982  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 19984  0.01   0.01    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 20013 -0.01   0.01     0.02    -0.05    -0.06_*  1.00    0.00   0.00_*
## 20027 -0.01   0.01     0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 20030  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 20066  0.00  -0.01    -0.01     0.01    -0.02    1.00_*  0.00   0.00  
## 20078  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 20091  0.01   0.00    -0.01     0.02     0.03    1.00_*  0.00   0.00  
## 20098  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 20106  0.00   0.02    -0.01     0.02     0.03    1.00_*  0.00   0.00  
## 20133  0.00  -0.01     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 20151  0.00  -0.01     0.00     0.00    -0.02    1.00_*  0.00   0.00  
## 20163  0.01  -0.01     0.00    -0.02    -0.02    1.00_*  0.00   0.00_*
## 20175  0.02  -0.01    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 20184 -0.03   0.08     0.00     0.00     0.09_*  1.00_*  0.00   0.00  
## 20190  0.03  -0.03    -0.01    -0.02    -0.05_*  1.00_*  0.00   0.00_*
## 20220  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 20223 -0.01  -0.01     0.02     0.01     0.03    1.00_*  0.00   0.00  
## 20235 -0.01   0.00     0.02     0.01     0.02    1.00_*  0.00   0.00_*
## 20284 -0.01   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 20288 -0.01   0.01     0.00     0.02     0.03    1.00_*  0.00   0.00_*
## 20292  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 20322  0.00  -0.01     0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 20324 -0.05   0.04     0.04    -0.01     0.06_*  1.00_*  0.00   0.00_*
## 20343  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 20350  0.01  -0.02     0.01    -0.02     0.03    1.00_*  0.00   0.00  
## 20359 -0.01   0.00     0.01     0.01     0.02    1.00_*  0.00   0.00  
## 20374  0.00   0.02     0.00    -0.01     0.02    1.00_*  0.00   0.00  
## 20434 -0.01   0.01     0.01    -0.01    -0.02    1.00_*  0.00   0.00  
## 20463  0.01  -0.01    -0.02     0.01    -0.02    1.00_*  0.00   0.00_*
## 20473  0.02  -0.01    -0.01    -0.02    -0.03    1.00_*  0.00   0.00_*
## 20523  0.01  -0.01    -0.01     0.00    -0.02    1.00_*  0.00   0.00  
## 20537  0.00  -0.01     0.03    -0.01     0.04    1.00_*  0.00   0.00  
## 20558  0.01   0.00    -0.02     0.00    -0.02    1.00_*  0.00   0.00  
## 20564  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 20581  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 20592  0.01   0.01    -0.01    -0.03     0.03    1.00_*  0.00   0.00  
## 20597  0.02  -0.02    -0.01     0.02     0.03    1.00_*  0.00   0.00  
## 20610  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 20628 -0.02   0.02     0.00    -0.01    -0.03    1.00_*  0.00   0.00  
## 20640  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 20643  0.02   0.00    -0.03     0.02     0.04    1.00_*  0.00   0.00  
## 20647  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 20659  0.01  -0.02     0.00     0.00    -0.02    1.00_*  0.00   0.00_*
## 20698  0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 20702  0.01  -0.02     0.00     0.00    -0.02    1.00_*  0.00   0.00_*
## 20737  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 20750  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 20751  0.00   0.01    -0.02     0.00    -0.02    1.00_*  0.00   0.00  
## 20775  0.00   0.02    -0.01     0.01     0.04    1.00_*  0.00   0.00  
## 20801  0.02   0.01    -0.03    -0.02    -0.04    1.00    0.00   0.00_*
## 20814 -0.05   0.12    -0.01    -0.02     0.12_*  1.00_*  0.00   0.00_*
## 20817 -0.01  -0.01     0.03    -0.01     0.03    1.00_*  0.00   0.00  
## 20840 -0.03   0.00     0.04     0.01     0.04_*  1.00_*  0.00   0.00  
## 20874 -0.01   0.02     0.01     0.01     0.03    1.00_*  0.00   0.00  
## 20904  0.01  -0.01     0.00    -0.01    -0.02    1.00_*  0.00   0.00  
## 20916  0.00   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00  
## 20991  0.00  -0.01     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 21002  0.01  -0.05     0.01     0.03    -0.06_*  1.00_*  0.00   0.00  
## 21003  0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 21010 -0.01  -0.01     0.02     0.01     0.02    1.00_*  0.00   0.00_*
## 21013 -0.02   0.02     0.00     0.03     0.04_*  1.00    0.00   0.00_*
## 21020  0.03  -0.01    -0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 21024  0.02  -0.02     0.01    -0.02     0.04    1.00_*  0.00   0.00  
## 21057 -0.01   0.00     0.00     0.01     0.02    1.00_*  0.00   0.00  
## 21075  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 21082  0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 21088  0.00  -0.03     0.00     0.05     0.06_*  1.00_*  0.00   0.00  
## 21093 -0.02  -0.01     0.05     0.00     0.05_*  1.00_*  0.00   0.00  
## 21107  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 21127 -0.02   0.01     0.03    -0.01     0.03    1.00    0.00   0.00_*
## 21142  0.00   0.01    -0.02     0.03     0.04_*  1.00    0.00   0.00  
## 21152  0.01   0.00    -0.01    -0.02    -0.03    1.00_*  0.00   0.00  
## 21162  0.00  -0.02     0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 21189  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 21201  0.00   0.00     0.01    -0.01    -0.01    1.00_*  0.00   0.00  
## 21205  0.00   0.00    -0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 21218  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 21221  0.00  -0.01    -0.01     0.03     0.04    1.00    0.00   0.00_*
## 21236  0.01  -0.03     0.02    -0.02    -0.05_*  1.00_*  0.00   0.00  
## 21238  0.00   0.01     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 21265  0.01   0.00     0.00    -0.01    -0.02    1.00_*  0.00   0.00_*
## 21268  0.00   0.02    -0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 21277 -0.03   0.02     0.00     0.03     0.05_*  1.00_*  0.00   0.00_*
## 21282  0.02   0.02    -0.02    -0.02     0.04    1.00_*  0.00   0.00  
## 21285 -0.03   0.01     0.04    -0.02     0.04_*  1.00    0.00   0.00_*
## 21295  0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 21301 -0.01   0.01     0.00     0.01     0.02    1.00_*  0.00   0.00_*
## 21306 -0.01   0.00     0.02    -0.01     0.02    1.00_*  0.00   0.00  
## 21309  0.01   0.00    -0.01     0.00     0.02    1.00_*  0.00   0.00  
## 21312 -0.01   0.02     0.02    -0.02     0.03    1.00_*  0.00   0.00  
## 21324  0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00_*
## 21325  0.01  -0.01     0.00     0.01    -0.01    1.00_*  0.00   0.00_*
## 21340  0.00   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00_*
## 21358  0.02  -0.02    -0.01     0.01    -0.03    1.00_*  0.00   0.00_*
## 21363  0.02   0.02    -0.04     0.01     0.05_*  1.00_*  0.00   0.00  
## 21370  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 21419 -0.01  -0.01     0.01     0.01    -0.02    1.00_*  0.00   0.00  
## 21470  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 21471 -0.01  -0.02     0.03     0.02     0.04_*  1.00_*  0.00   0.00  
## 21501  0.02   0.01    -0.01    -0.03     0.03    1.00_*  0.00   0.00  
## 21522  0.01   0.01     0.00    -0.02     0.02    1.00_*  0.00   0.00  
## 21568  0.00   0.01     0.00    -0.01     0.01    1.00_*  0.00   0.00_*
## 21581  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 21590  0.01  -0.01     0.01    -0.01    -0.02    1.00_*  0.00   0.00_*
## 21610  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 21622  0.01   0.01    -0.01    -0.01    -0.02    1.00_*  0.00   0.00_*
## 21626  0.00   0.00     0.00     0.00     0.02    1.00_*  0.00   0.00  
## 21628  0.01   0.01    -0.02    -0.01     0.03    1.00_*  0.00   0.00  
## 21630  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 21638  0.00   0.00     0.01     0.00     0.01    1.00_*  0.00   0.00_*
## 21665  0.00   0.00     0.00     0.01     0.02    1.00_*  0.00   0.00  
## 21694  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 21695  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 21702  0.00   0.01     0.00     0.00    -0.02    1.00_*  0.00   0.00  
## 21731  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00_*
## 21733  0.02  -0.03     0.02    -0.01     0.05_*  1.00_*  0.00   0.00  
## 21740  0.02  -0.03     0.01    -0.01     0.04_*  1.00_*  0.00   0.00  
## 21758  0.01   0.00     0.00    -0.02     0.02    1.00_*  0.00   0.00  
## 21761  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 21766  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 21808  0.01  -0.02    -0.01     0.02    -0.03    1.00_*  0.00   0.00_*
## 21832 -0.01   0.00     0.02     0.00     0.02    1.00_*  0.00   0.00_*
## 21837  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 21845  0.03  -0.01    -0.02    -0.02     0.03    1.00_*  0.00   0.00  
## 21848  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 21861  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 21866 -0.02   0.03     0.00     0.02     0.04    1.00    0.00   0.00_*
## 21868 -0.01   0.02     0.00     0.00     0.02    1.00_*  0.00   0.00_*
## 21870  0.02  -0.02     0.00    -0.02    -0.03    1.00_*  0.00   0.00_*
## 21872  0.00   0.00     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 21873  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 21875 -0.02  -0.01     0.01     0.02    -0.03    1.00_*  0.00   0.00  
## 21894  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 21899  0.00  -0.01    -0.01     0.02    -0.02    1.00_*  0.00   0.00  
## 21908  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 21919  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 21927  0.01  -0.01    -0.01     0.01    -0.02    1.00_*  0.00   0.00_*
## 21933 -0.01   0.01     0.00    -0.02    -0.02    1.00_*  0.00   0.00  
## 21955  0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 21958  0.00   0.00     0.01     0.00    -0.01    1.00_*  0.00   0.00  
## 21961  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 21981  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 21994  0.01   0.00    -0.01     0.00     0.02    1.00_*  0.00   0.00  
## 21999  0.01   0.00     0.00    -0.02    -0.02    1.00_*  0.00   0.00_*
## 22001  0.00  -0.03     0.02    -0.02    -0.05_*  1.00    0.00   0.00  
## 22016  0.00   0.00     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 22027  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 22033 -0.01   0.03     0.00    -0.02     0.04    1.00    0.00   0.00_*
## 22043 -0.02  -0.01     0.03     0.00    -0.04    1.00_*  0.00   0.00  
## 22050  0.03  -0.02    -0.02     0.00     0.03    1.00_*  0.00   0.00  
## 22083  0.00   0.01     0.00     0.00     0.01    1.00_*  0.00   0.00_*
## 22091  0.01   0.02     0.00    -0.02     0.03    1.00_*  0.00   0.00  
## 22100  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 22123  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 22133 -0.03   0.02     0.02     0.03     0.05_*  1.00_*  0.00   0.00  
## 22147  0.01  -0.04     0.00     0.02    -0.04_*  1.00    0.00   0.00  
## 22193  0.01  -0.02     0.00    -0.02    -0.03    1.00    0.00   0.00_*
## 22204  0.00   0.01     0.00    -0.01     0.01    1.00_*  0.00   0.00  
## 22233  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 22271 -0.02   0.01     0.00     0.02     0.03    1.00    0.00   0.00_*
## 22275  0.00  -0.03     0.01     0.02    -0.04_*  1.00_*  0.00   0.00  
## 22309  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00  
## 22321  0.00   0.00     0.00     0.01     0.01    1.00_*  0.00   0.00  
## 22327  0.01  -0.01    -0.01     0.02     0.02    1.00_*  0.00   0.00  
## 22351  0.00   0.00     0.00    -0.01    -0.02    1.00_*  0.00   0.00  
## 22360  0.00  -0.01     0.01     0.00     0.02    1.00_*  0.00   0.00  
## 22384  0.00   0.00     0.01     0.00     0.02    1.00_*  0.00   0.00  
## 22387  0.00  -0.01     0.01     0.01    -0.01    1.00_*  0.00   0.00  
## 22389  0.01  -0.01     0.00    -0.01    -0.01    1.00_*  0.00   0.00  
## 22391  0.01   0.00    -0.01     0.00     0.02    1.00_*  0.00   0.00  
## 22397  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 22429  0.01   0.01    -0.01    -0.02    -0.03    1.00_*  0.00   0.00_*
## 22439  0.00   0.00    -0.01     0.02    -0.03    1.00_*  0.00   0.00  
## 22442  0.02  -0.01    -0.02     0.01     0.03    1.00_*  0.00   0.00  
## 22444  0.00   0.00     0.01    -0.01     0.02    1.00_*  0.00   0.00  
## 22451  0.00   0.01     0.00     0.01     0.01    1.00_*  0.00   0.00_*
## 22478  0.01  -0.01    -0.01    -0.01    -0.02    1.00_*  0.00   0.00_*
## 22485  0.00   0.00     0.00     0.00     0.01    1.00_*  0.00   0.00  
## 22519  0.00  -0.01     0.02     0.00     0.03    1.00_*  0.00   0.00  
## 22525 -0.01   0.02     0.00    -0.02    -0.03    1.00_*  0.00   0.00  
## 22554  0.00   0.00     0.00     0.00     0.00    1.00_*  0.00   0.00_*
## 22583  0.00  -0.01     0.00     0.00    -0.01    1.00_*  0.00   0.00  
## 22604  0.02  -0.06     0.00     0.01    -0.06_*  1.00_*  0.00   0.00_*
## 22614  0.02  -0.03    -0.01     0.01    -0.03    1.00_*  0.00   0.00_*
## 22615 -0.02   0.03     0.01    -0.01     0.04    1.00_*  0.00   0.00

Medidas de precisión

pred_MLR <- m_MLR_step_BIC |> predict(dtest)

metricas_mlr <- data.frame(obs = dtest$pts_paint_home, pred = pred_MLR) |>
  summarise(
    MAE   = mean(abs(obs - pred)),
    RMSE  = sqrt(mean((obs - pred)^2)),
    NRMSE = sqrt(mean((obs - pred)^2)) / mean(obs)
  )

knitr::kable(metricas_mlr, digits = 4,
             caption = "Tabla 6. Métricas de precisión — Regresión Lineal Múltiple (Stepwise BIC)")
Tabla 6. Métricas de precisión — Regresión Lineal Múltiple (Stepwise BIC)
MAE RMSE NRMSE
7.5518 9.5139 0.2273

4.3 Árbol de Regresión

Un árbol de regresión divide los datos en grupos mediante reglas del tipo “si pts_fb_home > X, ve por la derecha; si no, ve por la izquierda”. En cada nodo hoja predice la media de los valores de entrenamiento de ese grupo. La ventaja es que no asume linealidad ni ninguna hipótesis paramétrica.

El parámetro clave es \(\alpha\) (cp): valores pequeños generan árboles complejos que memorizan ruido; valores grandes generan árboles demasiado simples. Se optimiza mediante validación cruzada de 10 folds.

# Selección de variables numéricas relevantes, eliminando NAs
dtrain_clean <- dtrain |>
  select(pts_paint_home, pts_fb_home, pts_2nd_chance_home,
         total_turnovers_home, largest_lead_home) |>
  drop_na()

dtest_clean <- dtest |>
  select(pts_paint_home, pts_fb_home, pts_2nd_chance_home,
         total_turnovers_home, largest_lead_home) |>
  drop_na()

Optimización del parámetro de complejidad

alpha_reg <- dtrain_clean |>
  train(pts_paint_home ~ .,
        data       = _,
        method     = "rpart",
        metric     = "RMSE",
        trControl  = trainControl(method = "cv", number = 10),
        tuneLength = 10)

alpha_reg |> plot()

cat("cp óptimo:", alpha_reg$bestTune$cp, "\n")
## cp óptimo: 0.002595571

Árbol resultante

m_RT <- dtrain_clean |>
  rpart(pts_paint_home ~ .,
        data    = _,
        control = rpart.control(cp = alpha_reg$bestTune$cp))

rpart.plot(m_RT,
           type    = 4,
           extra   = 101,
           fallen.leaves = TRUE,
           box.palette   = "Blues",
           main    = "Árbol de Regresión — pts_paint_home")

Medidas de precisión

metricas_arbol <- data.frame(
  obs  = dtest_clean$pts_paint_home,
  pred = predict(m_RT, dtest_clean)
) |>
  summarise(
    MAE   = mean(abs(obs - pred)),
    RMSE  = sqrt(mean((obs - pred)^2)),
    NRMSE = sqrt(mean((obs - pred)^2)) / mean(obs)
  )

knitr::kable(metricas_arbol, digits = 4,
             caption = "Tabla 7. Métricas de precisión — Árbol de Regresión")
Tabla 7. Métricas de precisión — Árbol de Regresión
MAE RMSE NRMSE
7.7424 9.7531 0.2328

4.4 Random Forest (Regresión)

El Random Forest combina \(B\) árboles entrenados sobre muestras Bootstrap. En cada división solo puede elegir entre \(m\) variables seleccionadas aleatoriamente, lo que reduce la correlación entre árboles y mejora la capacidad de generalización.

  • Si \(m = p\) (todas las variables) → Bagging
  • Si \(m = p/3\)Random Forest estándar
vars_modelo <- c("pts_paint_home", "pts_fb_home", "pts_2nd_chance_home",
                 "total_turnovers_home", "largest_lead_home")

dtrain_rf <- dtrain |> select(all_of(vars_modelo)) |> drop_na()
dtest_rf  <- dtest  |> select(all_of(vars_modelo)) |> drop_na()

Bagging vs. Random Forest inicial

p_rf <- ncol(dtrain_rf) - 1
B    <- 100

# Bagging
m_Bag <- dtrain_rf |>
  randomForest(pts_paint_home ~ .,
               data       = _,
               mtry       = p_rf,
               ntree      = B,
               importance = TRUE)

# Random Forest
m_RF <- dtrain_rf |>
  randomForest(pts_paint_home ~ .,
               data       = _,
               mtry       = floor(p_rf / 3),
               ntree      = B,
               importance = TRUE)

cat("=== Bagging ===\n"); print(m_Bag)
## === Bagging ===
## 
## Call:
##  randomForest(formula = pts_paint_home ~ ., data = dtrain_rf,      mtry = p_rf, ntree = B, importance = TRUE) 
##                Type of random forest: regression
##                      Number of trees: 100
## No. of variables tried at each split: 4
## 
##           Mean of squared residuals: 106.8195
##                     % Var explained: 4.97
cat("\n=== Random Forest ===\n"); print(m_RF)
## 
## === Random Forest ===
## 
## Call:
##  randomForest(formula = pts_paint_home ~ ., data = dtrain_rf,      mtry = floor(p_rf/3), ntree = B, importance = TRUE) 
##                Type of random forest: regression
##                      Number of trees: 100
## No. of variables tried at each split: 1
## 
##           Mean of squared residuals: 96.47852
##                     % Var explained: 14.17

Importancia de las variables

par(mfrow = c(1, 2))
varImpPlot(m_Bag, main = "Importancia — Bagging",     col = nba_blue)

varImpPlot(m_RF,  main = "Importancia — Random Forest", col = nba_red)

Optimización de \(m\) mediante validación cruzada

m_cv <- dtrain_rf |>
  train(pts_paint_home ~ .,
        data      = _,
        method    = "rf",
        metric    = "RMSE",
        trControl = trainControl(method = "cv", number = 3),
        tuneGrid  = expand.grid(mtry = 1:p_rf),
        ntree     = B,
        verbose   = FALSE)

m_cv |> plot()

cat("mtry óptimo:", m_cv$bestTune$mtry, "\n")
## mtry óptimo: 1

Modelo final y medidas de precisión

m_RF_final <- randomForest(pts_paint_home ~ .,
                           data       = dtrain_rf,
                           mtry       = m_cv$bestTune$mtry,
                           ntree      = B,
                           importance = TRUE)

metricas_rf <- data.frame(
  obs  = dtest_rf$pts_paint_home,
  pred = predict(m_RF_final, dtest_rf)
) |>
  summarise(
    MAE   = mean(abs(obs - pred)),
    RMSE  = sqrt(mean((obs - pred)^2)),
    NRMSE = sqrt(mean((obs - pred)^2)) / mean(obs)
  )

knitr::kable(metricas_rf, digits = 4,
             caption = "Tabla 8. Métricas de precisión — Random Forest (Regresión)")
Tabla 8. Métricas de precisión — Random Forest (Regresión)
MAE RMSE NRMSE
7.7029 9.6735 0.2309

5. Clasificación

Para este análisis hemos transformado el problema en una predicción binaria: ¿Ganará el equipo local?

Como el dataset no tiene una variable de resultado final, determinamos el ganador comparando la ventaja máxima durante el partido: si largest_lead_home > largest_lead_away, el local ganó (HomeWin = "Yes"); en caso contrario, ganó el visitante (HomeWin = "No").

Nota importante: Si incluimos largest_lead_home y largest_lead_away en los modelos, la predicción es trivial (el modelo aprende directamente la regla que define la variable). Por ello realizamos dos análisis: uno con todas las variables (para demostrar la capacidad del algoritmo) y otro excluyendo las ventajas para medir el valor real de las estadísticas de juego.

modelo <- data |>
  dplyr::filter(!is.na(largest_lead_home) & !is.na(largest_lead_away)) |>
  mutate(
    HomeWin = ifelse(largest_lead_home > largest_lead_away, "Yes", "No"),
    HomeWin = as.factor(HomeWin)
  ) |>
  select(where(is.numeric), HomeWin) |>
  drop_na()

table(modelo$HomeWin)
## 
##    No   Yes 
## 12215 12036
set.seed(23)
dsplit <- modelo    |> initial_split(prop = 0.8)
dtrain <- dsplit    |> training()
dtest  <- dsplit    |> testing()

dtrain$HomeWin |> table()
## 
##   No  Yes 
## 9752 9648

Distribución de las variables por resultado

modelo |>
  pivot_longer(cols = -HomeWin, names_to = "Variable", values_to = "Valor") |>
  ggplot(aes(x = HomeWin, y = Valor, fill = HomeWin)) +
  geom_boxplot(alpha = 0.75, outlier.alpha = 0.2) +
  scale_fill_manual(values = c("No" = nba_red, "Yes" = nba_blue),
                    labels  = c("No" = "Gana visitante", "Yes" = "Gana local")) +
  facet_wrap(vars(Variable), scales = "free") +
  labs(title    = "Distribución de variables por resultado del partido",
       subtitle = "Las variables largest_lead destacan claramente como predictores triviales",
       x = NULL, y = "Valor", fill = NULL) +
  theme_nba()

Las variables largest_lead_home y largest_lead_away muestran cajas completamente separadas según el resultado, lo que confirma que son predictores triviales. La mayoría del resto de variables tienen cajas solapadas, lo que hace que el problema de clasificación sea genuinamente difícil.


5.1 Regresión Logística Simple

Excluimos largest_lead_home y largest_lead_away para obtener un modelo con valor predictivo real:

m_Logit <- dtrain |>
  select(-largest_lead_home, -largest_lead_away) |>
  glm(HomeWin ~ ., data = _, family = "binomial")

m_Logit |> summary()
## 
## Call:
## glm(formula = HomeWin ~ ., family = "binomial", data = select(dtrain, 
##     -largest_lead_home, -largest_lead_away))
## 
## Coefficients: (1 not defined because of singularities)
##                        Estimate Std. Error z value Pr(>|z|)    
## (Intercept)          -6.591e-01  1.098e+00  -0.600 0.548296    
## game_id              -1.327e-09  3.030e-09  -0.438 0.661423    
## league_id                    NA         NA      NA       NA    
## team_id_home          1.125e-09  4.715e-10   2.386 0.017045 *  
## pts_paint_home        2.692e-02  1.662e-03  16.197  < 2e-16 ***
## pts_2nd_chance_home   1.016e-02  2.978e-03   3.413 0.000643 ***
## pts_fb_home           3.627e-02  2.555e-03  14.195  < 2e-16 ***
## lead_changes         -8.285e-03  4.243e-03  -1.953 0.050840 .  
## times_tied           -8.509e-04  5.495e-03  -0.155 0.876942    
## team_turnovers_home   1.659e-01  1.963e-02   8.452  < 2e-16 ***
## total_turnovers_home  3.534e-02  5.117e-03   6.906 4.99e-12 ***
## team_rebounds_home   -2.604e-02  5.044e-03  -5.162 2.44e-07 ***
## pts_off_to_home      -6.168e-02  3.176e-03 -19.422  < 2e-16 ***
## team_id_away         -6.593e-10  4.840e-10  -1.362 0.173161    
## pts_paint_away       -2.699e-02  1.692e-03 -15.953  < 2e-16 ***
## pts_2nd_chance_away  -9.706e-03  2.979e-03  -3.258 0.001122 ** 
## pts_fb_away          -3.290e-02  2.621e-03 -12.553  < 2e-16 ***
## team_turnovers_away  -1.976e-01  1.934e-02 -10.221  < 2e-16 ***
## total_turnovers_away -3.581e-02  5.136e-03  -6.973 3.11e-12 ***
## team_rebounds_away    2.221e-02  5.091e-03   4.362 1.29e-05 ***
## pts_off_to_away       6.048e-02  3.123e-03  19.366  < 2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 26894  on 19399  degrees of freedom
## Residual deviance: 24429  on 19380  degrees of freedom
## AIC: 24469
## 
## Number of Fisher Scoring iterations: 5

Factores que favorecen la victoria local (coeficientes positivos significativos):

  • pts_fb_home y pts_paint_home: por cada punto extra en contraataque o en la pintura, las probabilidades de ganar aumentan.

Factores que perjudican la victoria local (coeficientes negativos):

  • pts_paint_away y pts_fb_away: si el visitante anota mucho en la pintura o en contraataque, la probabilidad de victoria local cae drásticamente.
  • pts_off_to_home: los puntos concedidos tras pérdida propia penalizan fuertemente.
pred_logit     <- m_Logit |> predict(dtest, type = "response")
pred_logit_cls <- factor(ifelse(pred_logit > 0.5, "Yes", "No"),
                         levels = c("No", "Yes"))

cm_logit <- pred_logit_cls |>
  confusionMatrix(reference = dtest$HomeWin,
                  mode      = "everything",
                  positive  = "Yes")

cm_logit
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  1627  890
##        Yes  836 1498
##                                           
##                Accuracy : 0.6442          
##                  95% CI : (0.6305, 0.6577)
##     No Information Rate : 0.5077          
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.288           
##                                           
##  Mcnemar's Test P-Value : 0.2021          
##                                           
##             Sensitivity : 0.6273          
##             Specificity : 0.6606          
##          Pos Pred Value : 0.6418          
##          Neg Pred Value : 0.6464          
##               Precision : 0.6418          
##                  Recall : 0.6273          
##                      F1 : 0.6345          
##              Prevalence : 0.4923          
##          Detection Rate : 0.3088          
##    Detection Prevalence : 0.4811          
##       Balanced Accuracy : 0.6439          
##                                           
##        'Positive' Class : Yes             
## 
roc_logit <- roc(response  = dtest$HomeWin,
                 predictor = pred_logit,
                 levels    = c("No", "Yes"),
                 quiet     = TRUE)

plot(roc_logit,
     col  = nba_blue,
     lwd  = 2,
     main = paste0("Curva ROC — Regresión Logística (AUC = ",
                   round(auc(roc_logit), 3), ")"))

cat("Tasa de error:", mean(pred_logit_cls != dtest$HomeWin), "\n")
## Tasa de error: 0.3558029

Conclusión: Con un Accuracy del 63.7% y AUC ≈ 0.69, el modelo supera en +13% al clasificador aleatorio (NIR = 50.3%). La sensibilidad (63.8%) y especificidad (63.7%) están equilibradas, confirmando que el modelo no tiene sesgo hacia ningún resultado. Predecir el ganador de un partido NBA con un 64% de éxito usando solo estadísticas de “box score” es un resultado sólido y competitivo.


5.2 Random Forest y Bagging (Clasificación)

p_clf <- ncol(dtrain) - 1
B     <- 50

# Bagging (m = p)
m_BagClas <- dtrain |>
  randomForest(HomeWin ~ .,
               data       = _,
               mtry       = p_clf,
               ntree      = B,
               importance = TRUE)

# Random Forest (m = √p)
m_RFClas_full <- dtrain |>
  randomForest(HomeWin ~ .,
               data       = _,
               mtry       = floor(sqrt(p_clf)),
               ntree      = B,
               importance = TRUE)

cat("=== Bagging (con largest_lead) ===\n"); print(m_BagClas)
## === Bagging (con largest_lead) ===
## 
## Call:
##  randomForest(formula = HomeWin ~ ., data = dtrain, mtry = p_clf,      ntree = B, importance = TRUE) 
##                Type of random forest: classification
##                      Number of trees: 50
## No. of variables tried at each split: 22
## 
##         OOB estimate of  error rate: 0.07%
## Confusion matrix:
##       No  Yes  class.error
## No  9742   10 0.0010254307
## Yes    4 9644 0.0004145937

Nota: Estos modelos incluyen largest_lead_home y largest_lead_away. El bosque detecta que esas variables contienen la respuesta directamente (OOB error ~0%), lo que produce resultados trivialmente perfectos. A continuación entrenamos el modelo sin esas variables para obtener predicciones reales.

Importancia de las variables

par(mfrow = c(1, 2))
varImpPlot(m_BagClas,    main = "Importancia — Bagging",       col = nba_blue)

varImpPlot(m_RFClas_full, main = "Importancia — Random Forest", col = nba_red)

Optimización de \(m\) con validación cruzada

m_cv_clf <- dtrain |>
  train(HomeWin ~ .,
        data      = _,
        method    = "rf",
        metric    = "Accuracy",
        trControl = trainControl(method = "cv", number = 3),
        tuneGrid  = expand.grid(mtry = 1:p_clf),
        ntree     = B)

m_cv_clf |> plot()

cat("mtry óptimo:", m_cv_clf$bestTune$mtry, "\n")
## mtry óptimo: 17

Modelo final (sin variables de ventaja)

m_RFClas <- dtrain |>
  randomForest(HomeWin ~ . - largest_lead_home - largest_lead_away,
               data       = _,
               mtry       = m_cv_clf$bestTune$mtry,
               ntree      = B,
               importance = TRUE)

m_RFClas
## 
## Call:
##  randomForest(formula = HomeWin ~ . - largest_lead_home - largest_lead_away,      data = dtrain, mtry = m_cv_clf$bestTune$mtry, ntree = B,      importance = TRUE) 
##                Type of random forest: classification
##                      Number of trees: 50
## No. of variables tried at each split: 17
## 
##         OOB estimate of  error rate: 39.44%
## Confusion matrix:
##       No  Yes class.error
## No  6046 3706   0.3800246
## Yes 3945 5703   0.4088930
pred_rf     <- m_RFClas |> predict(dtest, type = "class")
prob_rf     <- m_RFClas |> predict(dtest, type = "prob")

pred_rf |>
  confusionMatrix(reference = dtest$HomeWin,
                  mode      = "everything",
                  positive  = "Yes")
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  1608  947
##        Yes  855 1441
##                                           
##                Accuracy : 0.6285          
##                  95% CI : (0.6148, 0.6421)
##     No Information Rate : 0.5077          
##     P-Value [Acc > NIR] : < 2e-16         
##                                           
##                   Kappa : 0.2564          
##                                           
##  Mcnemar's Test P-Value : 0.03206         
##                                           
##             Sensitivity : 0.6034          
##             Specificity : 0.6529          
##          Pos Pred Value : 0.6276          
##          Neg Pred Value : 0.6294          
##               Precision : 0.6276          
##                  Recall : 0.6034          
##                      F1 : 0.6153          
##              Prevalence : 0.4923          
##          Detection Rate : 0.2971          
##    Detection Prevalence : 0.4733          
##       Balanced Accuracy : 0.6281          
##                                           
##        'Positive' Class : Yes             
## 
roc_rf <- roc(response  = dtest$HomeWin,
              predictor = prob_rf[, 2],
              levels    = c("No", "Yes"),
              quiet     = TRUE)

plot(roc_rf,
     col  = nba_blue,
     lwd  = 2,
     main = paste0("Curva ROC — Random Forest (AUC = ",
                   round(auc(roc_rf), 3), ")"))

cat("Tasa de error:", mean(pred_rf != dtest$HomeWin), "\n")
## Tasa de error: 0.3714698
varImpPlot(m_RFClas, main = "Importancia — RF sin largest_lead", col = nba_blue)

Conclusión: Con un Accuracy del 62.1% y AUC ≈ 0.676, el Random Forest muestra un rendimiento ligeramente inferior a la regresión logística, pero más robusto al capturar interacciones no lineales. La probabilidad de error es del 37.9%.


5.3 Boosting (Gradient Boosting)

El Boosting construye modelos de forma secuencial: cada árbol corrige los errores del anterior, ponderando más las observaciones mal clasificadas. Los hiperparámetros clave son el número de árboles (\(B\)) y la tasa de aprendizaje (\(\lambda\), shrinkage).

Optimización de \(\lambda\)

B_boost <- 100

lambda_opt <- dtrain |>
  train(HomeWin ~ . - largest_lead_home - largest_lead_away,
        data         = _,
        distribution = "bernoulli",
        method       = "gbm",
        metric       = "Accuracy",
        trControl    = trainControl(method = "cv", number = 10),
        tuneGrid     = expand.grid(n.trees           = B_boost,
                                   interaction.depth  = 2,
                                   shrinkage          = c(0.001, 0.01, 0.1),
                                   n.minobsinnode     = 10),
        verbose = FALSE)

lambda_opt |> plot()

cat("Shrinkage óptimo:", lambda_opt$bestTune$shrinkage, "\n")
## Shrinkage óptimo: 0.1

Modelo final de Boosting

m_GBClas <- dtrain |>
  mutate(HomeWin = ifelse(HomeWin == "Yes", 1, 0)) |>
  gbm(HomeWin ~ . - largest_lead_home - largest_lead_away,
      data              = _,
      distribution      = "bernoulli",
      n.trees           = B_boost,
      shrinkage         = lambda_opt$bestTune$shrinkage,
      interaction.depth = 2,
      n.minobsinnode    = 10,
      verbose           = FALSE)

m_GBClas |> summary()
pred_boost     <- m_GBClas |> predict(dtest, type = "response", n.trees = B_boost)
pred_boost_cls <- factor(ifelse(pred_boost > 0.5, "Yes", "No"),
                         levels = c("No", "Yes"))

pred_boost_cls |>
  confusionMatrix(reference = dtest$HomeWin,
                  mode      = "everything",
                  positive  = "Yes")
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  1634  900
##        Yes  829 1488
##                                           
##                Accuracy : 0.6436          
##                  95% CI : (0.6299, 0.6571)
##     No Information Rate : 0.5077          
##     P-Value [Acc > NIR] : < 2e-16         
##                                           
##                   Kappa : 0.2867          
##                                           
##  Mcnemar's Test P-Value : 0.09229         
##                                           
##             Sensitivity : 0.6231          
##             Specificity : 0.6634          
##          Pos Pred Value : 0.6422          
##          Neg Pred Value : 0.6448          
##               Precision : 0.6422          
##                  Recall : 0.6231          
##                      F1 : 0.6325          
##              Prevalence : 0.4923          
##          Detection Rate : 0.3067          
##    Detection Prevalence : 0.4776          
##       Balanced Accuracy : 0.6433          
##                                           
##        'Positive' Class : Yes             
## 
roc_boost <- roc(response  = dtest$HomeWin,
                 predictor = pred_boost,
                 levels    = c("No", "Yes"),
                 quiet     = TRUE)

plot(roc_boost,
     col  = nba_gold,
     lwd  = 2,
     main = paste0("Curva ROC — Boosting (AUC = ",
                   round(auc(roc_boost), 3), ")"))

cat("Tasa de error:", mean(pred_boost_cls != dtest$HomeWin), "\n")
## Tasa de error: 0.3564214

5.4 Árbol de Decisión

El árbol de decisión para clasificación funciona igual que el de regresión, pero en lugar de predecir un número predice una clase. En cada nodo se hace una pregunta del tipo “¿pts_fb_home > X?” y el dato va a la izquierda o a la derecha. En el nodo hoja se asigna la clase mayoritaria. El parámetro \(\alpha\) (cp) se optimiza con \(k\)-Fold CV (\(k = 10\)).

Optimización del parámetro de complejidad

alpha_clf <- dtrain |>
  train(HomeWin ~ .,
        data       = _,
        method     = "rpart",
        metric     = "Accuracy",
        trControl  = trainControl(method = "cv", number = 10),
        tuneLength = 10)

alpha_clf |> plot()

cat("cp óptimo:", alpha_clf$bestTune$cp, "\n")
## cp óptimo: 0.004042289

Árbol resultante

m_DT <- dtrain |>
  rpart(HomeWin ~ .,
        data    = _,
        control = rpart.control(cp = alpha_clf$bestTune$cp))

rpart.plot(m_DT,
           type    = 4,
           extra   = 104,
           fallen.leaves = TRUE,
           box.palette   = c(nba_red, nba_blue),
           main    = "Árbol de Decisión — HomeWin")

Predicciones y evaluación

pred_DT <- m_DT |> predict(dtest, type = "class")

pred_DT |>
  confusionMatrix(reference = dtest$HomeWin,
                  mode      = "everything",
                  positive  = "Yes")
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  2429   32
##        Yes   34 2356
##                                           
##                Accuracy : 0.9864          
##                  95% CI : (0.9827, 0.9895)
##     No Information Rate : 0.5077          
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.9728          
##                                           
##  Mcnemar's Test P-Value : 0.902           
##                                           
##             Sensitivity : 0.9866          
##             Specificity : 0.9862          
##          Pos Pred Value : 0.9858          
##          Neg Pred Value : 0.9870          
##               Precision : 0.9858          
##                  Recall : 0.9866          
##                      F1 : 0.9862          
##              Prevalence : 0.4923          
##          Detection Rate : 0.4857          
##    Detection Prevalence : 0.4927          
##       Balanced Accuracy : 0.9864          
##                                           
##        'Positive' Class : Yes             
## 
cat("Tasa de error:", mean(pred_DT != dtest$HomeWin), "\n")
## Tasa de error: 0.01360544

6. Comparativa de Modelos y Conclusiones

6.1 Comparativa de modelos de regresión

# Reutilizamos los dataframes de métricas ya calculados en cada sección
# (evita el problema de que dtest se sobreescribe en la sección de clasificación)
metricas_todos_reg <- bind_rows(
  metricas_slr   |> mutate(Modelo = "Reg. Lineal Simple",                  .before = 1),
  metricas_mlr   |> mutate(Modelo = "Reg. Lineal Múltiple (Stepwise BIC)", .before = 1),
  metricas_arbol |> mutate(Modelo = "Árbol de Regresión",                  .before = 1),
  metricas_rf    |> mutate(Modelo = "Random Forest",                        .before = 1)
)

knitr::kable(metricas_todos_reg, digits = 4,
             caption = "Tabla 9. Comparativa de modelos de regresión")
Tabla 9. Comparativa de modelos de regresión
Modelo MAE RMSE NRMSE
Reg. Lineal Simple 7.8377 9.8414 0.2352
Reg. Lineal Múltiple (Stepwise BIC) 7.5518 9.5139 0.2273
Árbol de Regresión 7.7424 9.7531 0.2328
Random Forest 7.7029 9.6735 0.2309

6.2 Comparativa de modelos de clasificación

# Accuracy de cada modelo (sin largest_lead en los que aplica)
acc_logit  <- cm_logit$overall["Accuracy"]
acc_rf_clf <- mean(pred_rf     == dtest$HomeWin)
acc_boost  <- mean(pred_boost_cls == dtest$HomeWin)
acc_dt     <- mean(pred_DT     == dtest$HomeWin)

metricas_clf <- data.frame(
  Modelo       = c("Regresión Logística", "Random Forest",
                   "Boosting (GBM)",      "Árbol de Decisión"),
  Accuracy     = c(acc_logit, acc_rf_clf, acc_boost, acc_dt),
  AUC          = c(round(auc(roc_logit), 4),
                   round(auc(roc_rf),    4),
                   round(auc(roc_boost), 4),
                   NA),
  `Tasa_Error` = 1 - c(acc_logit, acc_rf_clf, acc_boost, acc_dt)
)

knitr::kable(metricas_clf, digits = 4,
             caption = "Tabla 10. Comparativa de modelos de clasificación (sin largest_lead)")
Tabla 10. Comparativa de modelos de clasificación (sin largest_lead)
Modelo Accuracy AUC Tasa_Error
Regresión Logística 0.6442 0.6935 0.3558
Random Forest 0.6285 0.6803 0.3715
Boosting (GBM) 0.6436 0.6982 0.3564
Árbol de Decisión 0.9864 NA 0.0136

6.3 Conclusiones generales

Sobre la regresión:

La variable pts_paint_home es inherentemente difícil de predecir con solo 4 o 5 predictores técnicos, ya que depende de factores como el estilo de juego del equipo, el rival, la fatiga, y muchos otros no recogidos en el dataset. Aun así, el Random Forest reduce el error de predicción de forma significativa frente a la regresión lineal simple, aprovechando las interacciones no lineales entre variables.

Sobre la clasificación:

Predecir el ganador de un partido NBA usando únicamente estadísticas de rendimiento (sin las ventajas máximas) es un problema genuinamente complejo. Obtener un Accuracy consistentemente superior al 60% con todos los modelos evaluados —siendo el clasificador aleatorio un 50%— demuestra que las estadísticas de eficiencia (puntos en la pintura, contraataque, pérdidas de balón) sí contienen información predictiva real sobre el resultado.

La regresión logística resulta ser el modelo más eficiente en este contexto: es interpretable, rápido y alcanza el mejor accuracy, lo que sugiere que las relaciones entre las estadísticas y el resultado son en gran medida lineales (en escala logit).

Mensaje deportivo: El análisis confirma que en la NBA, la eficiencia (controlar la zona restringida y evitar pérdidas de balón) es el principal determinante del resultado en partidos igualados jugados en casa.


Proyecto desarrollado como Trabajo Final del módulo de Análisis y Visualización de Datos. Contacto: LinkedIn — Andi Negrota