2.2.1 Razón de correlación

La razón de correlación sirve para medir la relación entre una variable continua \(X\) y otra cualitativa \(Y\) con \(K\) categorías. La partición de los \(n\) individuos, inducida por \(Y\), permite descomponer la varianza de \(X\), en varianza entre y varianza intra. La razón de correlación se define como el cociente entre varianza entre y varianza total:

\[\eta^2_{XY} = \frac{\sigma^2_{entre}}{\sigma^2}\]

Donde la varianza entre es:

\[\sigma^2_{entre} = \sum_{k=1}^{K}\frac{n_k}{n}(\overline{X}_k-\overline{X})^2\]

Con \(\overline{X}_k = \frac{1}{n_k}\sum_{i \in I_k} X_i\), es decir, el promedio de los individuos que pertenecen a la clase \(k\), y \(\overline{X}\) es el promedio de los \(n\) individuos, \(I_k\) es el conjunto de los individuos que pertenecen a la clase \(k\) y \(n_k\) el número de ellos.

A continuación, se calculan las razones de correlación entre las notas de los exámenes y la carrera (expresadas en porcentaje), utilizando la función centroids{FactoClass}, la cual nos ayuda a calcular los centroides de una partición y la razón de correlaciones, dicha función espera por parámetros una partición, coordenadas y pesos y arroja las coordenadas de los centroides y las razones de correlaciones.

Las razones de correlación son bajas, pero se destacan las de matemáticas y el puntaje global (exam) sobre las demás. Entonces, la componente de matemáticas es la que más hace diferencia entre carreras.

A continuacion, como ejemplo ilustrativo, realizaremos dichos calculos de manera manual.

\[\begin{align*} n &= 445 \\ \sigma^2 &= 1.281 \\ \overline{x} &= 11.795 \end{align*}\]

\[ \left \{ \begin{align*} n_{Biol} &= 63 & n_{Esta} &= 66 & n_{Farm} &= 73 & n_{Fisi} &= 82 \\ \overline{x}_{Biol} &= 11.50 & \overline{x}_{Esta} &= 11.57 & \overline{x}_{Farm} &= 11.25 & \overline{x}_{Fisi} &= 12.18 \\ \hline n_{Geol} &= 45 & n_{Mate} &= 53 & n_{Quim} &= 63 \\ \overline{x}_{Geol} &= 12.12 & \overline{x}_{Mate} &= 12.65 & \overline{x}_{Quim} &= 11.52 \\ \end{align*} \right. \]

\[\begin{align*} \sigma^2_{entre} &= \sum \frac{63}{445}(11.50-11.795)^2 + \frac{66}{445}(11.57-11.795)^2+ \cdots \\ &+ \frac{53}{445}(12.65-11.795)^2 + \frac{63}{445}(11.52-11.795)^2 \\ &= 0.2032 \end{align*}\]

\[\eta^2_{XY} = \frac{0.2032}{1.281} = 0.1586\]

Var_Mat <- (nrow(admi)-1)/nrow(admi)*var(admi$mate) # 1.281
Mean_Mat <- mean(admi$mate)                         # 11.796

A <- admi[,1:2]

tapply(X = A$mate, INDEX = A$carr, length)

## Biol Esta Farm Fisi Geol Mate Quim 
##   63   66   73   82   45   53   63

round(tapply(X = A$mate, INDEX = A$carr, mean),2)

##  Biol  Esta  Farm  Fisi  Geol  Mate  Quim 
## 11.50 11.57 11.25 12.18 12.12 12.65 11.52

centroids(df = admi[,2:7], cl = admi$carr)$cr

##           mate       cien       soci       text     imag      exam
## [1,] 0.1586254 0.04312485 0.03218455 0.02343066 0.044212 0.1187063

2.2.2 Ordenamiento por valores test para describir una variable cualitativa según varias variables continuas

En (Morineau 1984) se presentan los denominados “valores test” para buscar las variables continuas que más caracterizan a un grupo de \(n_k\) individuos, asociados a una categoría \(k\) de una variable cualitativa. El interés es comparar la media del grupo con la media general, para cada una de las variables continuas. El valor test se define como la diferencia de la media del grupo \(k\) con respecto a la media global, en términos de desviaciones estándar.

Para calcular el valor test se usa como distribución de referencia la de la variable aleatoria \(\overline{X}_k\), definida como la media de una muestra aleatoria de tamaño \(n_k\) tomada sin reemplazamiento de los \(n\) individuos de análisis. La distribución de \(\overline{X}_k\) tiene como parámetros, la media de los \(n\) datos \(\mu\) y la varianza \(\sigma^2_k\):

\[\sigma^2_k = \frac{n-n_k}{n-1}\frac{\sigma^2}{n_k}\]

donde \(\frac{n-n_k}{n-1}\) es el factor de corrección por tamaño de población finita y \(\sigma^2\) es la varianza de los \(n\) datos. Entonces, el valor test queda definido como:

\[t_k = \frac{\bar{x}_k-\mu}{\sigma_k} = \sqrt{\frac{(n-1)n_k}{n-n_k}} \cdot \frac{\bar{x}_k-\mu}{\sigma}\]

Valores test más grandes que \(2\) indican que la clase \(k\) se caracteriza por tener una media superior a la media global; y los inferiores a \(-2\) por tener una media inferior a la global.

Como ejemplo, se calcula el valor test para el puntaje total del examen en la Carrera de Estadística:

\[ \left \{ \begin{align*} n &= 445 & n_{esta}&=66 \\ \bar{x} &= 718.4 & \bar{x}_{esta}&=680.2 \\ \sigma^2 &= 8038.7 \end{align*} \right. \] \[t_{est} = \sqrt{\frac{(445-1)\cdot66}{445-66}} \cdot \frac{680.2-718.4}{\sqrt{8038.7}} = -3.746\]

La sintaxis para calcularlo desde \(\texttt{R}\) se expone a continuación,

n         <- nrow(admi)
n_Est     <- nrow(admi[carr=="Esta",])
Mean      <- mean(admi$exam); Mean <- round(Mean,1)
Mean_Est  <- mean(admi[carr=="Esta",]$exam); Mean_Est <- round(Mean_Est,1)
Varianza  <- var(admi$exam); Varianza <- round(Varianza,1)

sqrt(((n-1)*n_Est)/(n-n_Est))*((Mean_Est-Mean)/sqrt(Varianza))

## [1] -3.746401

La función cluster.carac{FactoClass} ordena las categorías según el valor test y solo presenta a las que en valor absoluto son mayores que \(2\), parámetro que se puede cambiar al llamar la función. A continuación, se muestra la caracterización de las carreras según los resultados de sus admitidos en el examen por áreas y puntaje total.

• Podemos observar que los admitidos a Biología obtienen en promedio menores puntajes en Matemáticas.
• Los admitidos a Estadística obtienen en promedio menores puntajes en las áreas de Análisis Textual, de Ciencias Sociales y de Ciencias Naturales.
• Los admitidos a Farmacia, en promedio, obtienen menores puntajes en Análisis de Imagen y Matemáticas, y los de Química menores en matemáticas.
• Los admitidos a Física obtienen mayores puntajes en Matemáticas y , Ciencias Naturales, los de Geología mayores en Matemáticas y los de Matemáticas obtienen, en promedio, mayores puntajes en Matemáticas y Análisis de Imagen.

2.3.1 Dos medidas de asociación entre variables cualitativas

En una tabla de contingencia, denotada \(N\), con \(J\) categorías en fila y \(K\) categorías en columna, \(n_{jk}\) es el número de individuos que asumen simultáneamente las categorías \(j\) y \(k\).

\(n_j\) es el número de individuos que asumen la categoría \(j\) (marginal fila), \(n_k\) el número de individuos asumen la categoría \(k\) (marginal columna), y \(n\) el número total de individuos de la tabla.

La estadística \(\chi^2\) es utilizada para contrastar la hipótesis de independencia, se puede usar como medida de asociación entre dos variables cualitativas y se expresa como (Canavos et al. 1988):

\[\chi^2_{p} = \sum_{j=1}^{J}\sum_{k=1}^{K} \frac{(n_{jk}-\frac{n_j\cdot n_k}{n})^2}{\frac{n_j\cdot n_k}{n}}\]

Para probar la independencia en una tabla de contingencia, se utiliza la distribución asintótica de \(\chi^2\), la cual se distribuye con \(v=(J-1)\cdot(K-1)\) \(\textit{grados de libertad}\). La aproximación se considera buena si ninguna celda de la tabla bajo el supuesto de independencia, de término general \(\frac{n_j\cdot n_k}{n}\), es inferior a \(5\) (Agresti 2010).

Aquí se utiliza como índice descriptivo. Se calcula además su \(\textit{valor p}\),

\[P(\chi^{2}_{\scriptsize{\mathit{(J-1)\cdot(K-1)}}}\geq\chi^2_{p})\]

donde \(\chi^2_{p}\) es el valor calculado en la tabla de contingencia. Al \(\textit{valor p}\) se le asocia el cuantil de la normal estándar, denominado \(\textit{valor test}\):

\[\textit{t tal que } P(Z \geq t)= \textit{valor p, donde } Z\overset{d}{=} \mathcal{N}(0,1)\]

La estadística \(\chi^2\) depende del total de la tabla \(n\). Por lo tanto, también se utiliza el índice de asociación \(\phi^2\):

\[\phi^2 = \frac{\chi^2_{p}}{n}\]

Con la función chisq.carac{FactoClass} se pueden obtener los índices de asociación entre una variable cualitativa (a caracterizar) y otras variables cualitativas. Se muestra, como ejemplo, la asociación de las carreras con las variables sociodemográficas de los admitidos: gene, estr, orig y edad.

Solo entre las carreras y el origen de los admitidos no se muestra asociación. En la sección siguiente se muestran las categorías responsables de las relaciones entre carreras y las otras variables a través de sus categorías.

chisq.carac(df = admi[,8:11], cl = admi$carr, decr = F)

##           chi2 dfr         pval       tval       phi2
## gene 44.108034   6 7.036257e-08  5.2642992 0.09911918
## estr 29.190003  12 3.691872e-03  2.6790224 0.06559551
## orig  9.676163  12 6.443468e-01 -0.3701022 0.02174419
## edad 33.553436  18 1.429273e-02  2.1891565 0.07540098

A continuación, calcularemos manualmente, y como ejemplo ilustrativo, la relación entre la edad y el estrato, para ello recordemos como estaba construida la tabla de contingencia (realizada anteriormente).

Debajo de cada valor de \(n_{jk}\) se encuentra el valor de su respectivo \(\frac{n_j\cdot n_k}{n}\), así, por ejemplo, para la primera celda, el valor de 47.46 se consigue mediante \(\frac{\color{Orange} {118\cdot 179}}{445}\). Con lo anterior podemos realizar el cálculo de \(\chi^2_{p}\) fácilmente,

\[\begin{align*} \chi^2_{p} &= \sum_{j=1}^{J}\sum_{k=1}^{K} \frac{(n_{jk}-\frac{n_j\cdot n_k}{n})^2}{\frac{n_j\cdot n_k}{n}} \\ &= \frac{(44-47.46)^2}{47.46}+\frac{(58-68.72)^2}{68.72}+\cdots+\frac{(8-10.19)^2}{10.19}+\frac{(7-18.20)^2}{18.20} \\ &= 0.2529+1.69080+\cdots+0.47192+6.89422 \\ &= 18.99072 \end{align*}\]

Con ello, ya podemos proceder a calcular el \(\textit{valor p}\),

\[\textit{valor p}=P(\chi^{2}_{2\cdot3=6}\geq18.99072)=0.00417\]

X_p <- 18.99072
pchisq(q = X_p, df = 6, lower.tail = F)

## [1] 0.004179334

Con el \(\textit{valor p}\) calculado, fácilmente podemos calcular el \(\textit{valor test}\),

\[\begin{align*} \textit{valor t} &=P(Z \geq t)=0.00417 \\ &\xrightarrow[\cdots]{\textit{buscando en la tabla de } Z \textit{ dicho cuantil}} \\ &= 2.6372 \end{align*}\]

qnorm(p = 0.004179334, lower.tail = F)

## [1] 2.637228

Por último, el \(\textit{índice de asociación}\) o \(\phi^2\) se calcula de manera muy sencilla,

\[\phi^2 = \frac{18.99072}{445} = 0.04268\]

X_p/nrow(admi)

## [1] 0.04267578

Para verificar que dichos cálculos llevados a cabo están bien, corroboraremos los resultados con los valores arrojados por la función ya presentada chisq.carac{FactoClass}.

chisq.carac(df = admi$estr, cl = admi$edad, decr = F)

##        chi2 dfr        pval     tval       phi2
## df 18.99072   6 0.004179336 2.637228 0.04267577

2.3.2 Ordenamiento por valores test para describir una variable cualitativa según las categorías de varias variables cualitativas

Para ordenar automáticamente las categorías más características en los perfiles de la variable cualitativa, que se está describiendo (categoría \(k\)), se recurre a calcular los valores test (Morineau 1984). La proporción de individuos que asumen una categoría \(j\) (de otra variable que caracteriza) dentro del grupo \(k: \frac{n_{jk}}{n_k}\) se compara con la proporción de la categoría \(j\) en los \(n\) individuos: \(\frac{n_j}{n}\). Una manera de definir esa diferencia, cuando es positiva, es calculando la probabilidad de obtener \(n_{jk}\) individuos o más, en una muestra aleatoria de tamaño \(n_k\) sin reemplazamiento. El esquema de comparación se muestra a continuación.

Esquema para obtener el \(\textit{valor p}\) como índice de comparación entre la proporción de la categoría \(j\) dentro de la clase \(k\) y su proporción global.

En la urna hay \(n\) “bolas” (que representan a los individuos) y entre estas hay algunas (\(n_j\)) que tienen la característica \(j\). De la urna se extrae una muestra al azar y sin reemplazo de tamaño \(n_k\).

Sea la variable aleatoria \(N :=\) “número de bolas con la característica \(j\) al extraer \(n_k\) bolas al azar y sin reemplazo”. La variable aleatoria \(N\) tiene distribución hipergeométrica de parámetros \(n\), \(n_j\) y \(n_k\). La probabilidad que se desea calcular, notada \(\textit{valor p}\), es:

\[ \textit{valor p}=\left\{\begin{matrix} P(N \geq n_{kj}) & \textit{si } \frac{n_{kj}}{n_k}\geq \frac{n_j}{n}\\ P(N \leq n_{kj}) & \textit{en otro caso} \end{matrix}\right. \]

Si la probabilidad es muy baja, por ejemplo, menor que \(0.05\), la categoría \(j\) caracteriza a la clase \(k\) por tener mayor o menor proporción de la categoría dentro de la clase comparada con su proporción global. El \(\textit{valor p}\) no es práctico porque es decimal y puede tener muchos ceros a la izquierda. Por eso (Morineau 1984) propone transformarlos en valores test, que son cuantiles de la normal estándar.

El valor test es el cuantil de la normal estándar que corresponde al \(\textit{valor p}\):

\[ \textit{valor test}=\textit{t tal que}\left\{\begin{matrix} P(Z \geq t)=\frac{\textit{valor p}}{2} & \textit{si } \frac{n_{kj}}{n_k}\geq \frac{n_j}{n}\\ P(Z \leq t)=\frac{\textit{valor p}}{2} & \textit{en otro caso} \end{matrix}\right. \]

La división del \(\textit{valor p}\) sobre \(2\) se introduce porque se consideran las dos diferencias, es decir, el \(\textit{valor test}\) está asociado a una prueba de hipótesis bilateral o de dos colas. Cuando la proporción de la característica \(j\) dentro del grupo \(k\) es menor que la global, el \(\textit{valor test}\) es negativo.

La función cluster.carac{FactoClass} calcula los \(\textit{valores p}\) y los \(\textit{valores test}\) asociados. En el objeto de salida, para cada una de las categorías de la variable que se está caracterizando (clase \(k\)) se presentan las categorías de las demás variables que la caracterizan (categorías \(j\)), ordenadas por los \(\textit{valores test}\). cluster.carac muestra solamente las categorías que tienen \(\textit{valores test}\) superiores, en valor absoluto, al umbral \(v.lim = 2\), parámetro que se puede cambiar.

En la siguiente tabla se muestra la salida que caracteriza las carreras según las cuatro variables sociodemográficas y las dos variables que indican si los admitidos tienen que nivelar o no.

Las tablas: de contingencia que cruza \(\textit{niMa} \times \textit{carr}\), de frecuencias relativas, de perfiles fila y de perfiles columna se presentan en la siguiente tabla y de ellas se deriva el resumen de la tabla anterior.

tcCarrNiMa <- unclass(table(admi$niMa, admi$carr))
tabs <- plotct(tcCarrNiMa, tables = TRUE)

tabs$ctm                                # Tabla de Contingencia

##      Biol Esta Farm Fisi Geol Mate Quim marR
## siMa   55   53   66   45   24   23   49  315
## noMa    8   13    7   37   21   30   14  130
## marC   63   66   73   82   45   53   63  445

round(tabs$ctm*100/445,1)               # Frecuencias Relativas

##      Biol Esta Farm Fisi Geol Mate Quim  marR
## siMa 12.4 11.9 14.8 10.1  5.4  5.2 11.0  70.8
## noMa  1.8  2.9  1.6  8.3  4.7  6.7  3.1  29.2
## marC 14.2 14.8 16.4 18.4 10.1 11.9 14.2 100.0

addmargins(tabs$perR[-3,], margin = 2)  # Perfiles Fila

##      Biol Esta Farm Fisi Geol Mate Quim   Sum
## siMa 17.5 16.8 21.0 14.3  7.6  7.3 15.6 100.1
## noMa  6.2 10.0  5.4 28.5 16.2 23.1 10.8 100.2

addmargins(tabs$perC, margin = 1)       # Perfiles Columna

##       Biol  Esta  Farm  Fisi  Geol  Mate  Quim  marg
## siMa  87.3  80.3  90.4  54.9  53.3  43.4  77.8  70.8
## noMa  12.7  19.7   9.6  45.1  46.7  56.6  22.2  29.2
## Sum  100.0 100.0 100.0 100.0 100.0 100.0 100.0 100.0

Considérense, por ejemplo, algunos de los valores de la primera fila de la tabla:

• El \(87.3\%\) de la celda \((1; 1)\) de los perfiles columna.
• El \(70.8\%\) corresponde al marginal de la fila \(siMa\) de la tabla de frecuencias relativas.
• El \(17.5\%\) de la celda \((1; 1)\) de la tabla de perfiles fila y el \(315\) marginal \(siMa\) de la tabla de contingencia.

Para mostrar la lectura y un cálculo, tomemos la primera fila de la tabla de caracterización de las carreras según algunas variables cualitativas, corresponde a la categoría \(siMa\), dentro del grupo de los admitidos a Biología. El \(\textit{valor test} = 3.332\), que corresponde a un \(\textit{valor p}\) de \(0.001\), indica que el porcentaje de \(87.3\%\) (columna \(Cat/Cl\)) de los que tienen que nivelar matemáticas dentro de Biología es característico, comparado con el \(70.8\%\) (penúltima columna) de todos los admitidos.

El \(17.5\%\) de la columna \(Cl/Cat\) indica que de los \(315\) (última columna) admitidos que tienen que nivelar matemáticas el \(17.5\%\) están en los admitidos a Biología. Como \(niMa\), solo tiene dos categorías, el \(\textit{valor test}\) para los que no tienen que nivelar es \(-3.332\), es decir, Biología se caracteriza por tener menos proporción que el global de los que no tienen que nivelar matem_aticas. Sin embargo, no hay necesidad de decirlo porque es el resultado complementario.

A continuación, se ilustra el cálculo del \(\textit{valor p}\) y del \(\textit{valor test}\) para la categoría \(siMa\) dentro de Biología. La variable aleatoria \(N :=\) número de admitidos que tienen que nivelar matemáticas en la muestra de tamaño 63, tomada sin reemplazo de los 445 admitidos a Ciencias, donde hay 315 que tienen que nivelar matemáticas, tiene distribución hipergeométrica. \[N \overset{d}{=}Hg(N=445, n=63, R=315)\] Los parámetros se toman como \(N=445\), \(n_k=n_{biol}=63\), \(n_j=n_{siMa}=315\).

El valor de los admitidos a Biología que tienen que nivelar matemáticas, \(n_{kj} = 55\), se toma como una muestra específica. Entonces, hay que calcular primero la probabilidad,

\[P(N \geq 55)= \textit{con modelo }N \overset{d}{=}Hg(N=445, n=63, R=315)\]

Esa probabilidad es el \(\textit{valor p}\) y el cuantil de la normal estándar.

En este caso suponemos que se tiene un conjunto de \(N\) objetos de los cuales \(m\) son de una primera clase, y \(N-R\) son de una segunda clase. Suponga que de este conjunto se toma una muestra de tamaño \(n\), sin reemplazo y en donde el orden de los objetos seleccionados no importa.

Para evaluar \(1-F_X(x)\) de una distribuci?n Hg(N, n, R) se debe escribir en \(\texttt{R}\) como phyper(x, R, N-R, n, lower.tail=F).

attach(admi)
N <- nrow(admi) # Total de estudiantes
R <- nrow(admi[niMa=="siMa",]) # Estudiantes que poseen la cualidad
n <- nrow(admi[carr=="Biol",]) # Tamaño de muestra
x <- nrow(admi[niMa=="siMa"&carr=="Biol",]) # Del tamaño de la muestra los que tiene la cualidad

( Valor_p <- phyper(x-1, R, N-R, n, lower.tail = F) )

## [1] 0.000862394

( qnorm(p = Valor_p/2, lower.tail = F))

## [1] 3.331951

3.2.1 Preliminares

En la nube de los \(n\) individuos en \(\mathbb{R}^p\) los ejes son las variables y las coordenadas de cada punto son los valores de las variables que asume el individuo de la fila de \(\mathbf{Y}\). A continuación, se muestra en 3D la nube de los diez individuos del ejemplo “Café”.

Y <- cafe[1:10, 1:3]
NubeIndv3D(Y, DataCentrada = F)

Sobre la nube de individuos se define el centro de gravedad, notado \(g\), que generaliza el concepto de media como una medida de localización multivariada. El centro de gravedad constituye un individuo artificial denominado típico porque es el punto de referencia para comparar a los demás.

Los valores para el café típico son \(276.70, 401.16 \text{ y } 35.50\), respectivamente. Esas son las coordenadas del centro de gravedad en la representación sin centrar.

TablaPreli <- Matrices_NubeIndv3D(Y)
TablaPreli$CentroGravedad

##  Color     DA     EA 
## 276.70 401.16  35.50

El centrado de los individuos permite trasladar el cero de la representación al centro de gravedad. En la gráfica centrada se pierden las coordenadas del centro de gravedad, por lo tanto, es necesario registrar esos valores, que son los promedios de las variables.

A continuación, se muestra la representación en 3D de la nube de puntos centrados del ejemplo “Café”. La representación centrada tiene la misma forma que la original, pero las coordenadas de los cafés han cambiado. Las coordenadas en cada eje representan la diferencia de un café con respecto al café típico, por ejemplo, el café excelso con tostación clara (ExCl) tiene \(21.30\) unidades de color más que el café típico, \(16.06\) unidades menos de densidad aparente y \(10.05\) unidades menos de extracto acuoso.

NubeIndv3D(Y, DataCentrada = T)

La distancia entre individuos es igual si se calcula a partir de la matriz de datos originales o la matriz de datos centrados. En la Tabla 3 aparecen las distancias entre los diez cafés. Una distancia de \(0\) indicaría que los dos cafés tienen los mismos valores para las variables. En las dos gráficas expuestas (ambas \(\mathbf{Y}\) y \(\mathbf{Y_C}\) están representando también las distancias entre los cafés), las parejas de cafés más alejados son ExOs y C40M, la distancia entre ellos es \(221\), la mayor en la tabla. Los más próximos son O20C y O20M, con una distancia de \(16\).

Las varianzas dependen de las unidades de medida de las variables. Por lo tanto, al cambiar la escala cambia su varianza. La influencia de esas unidades de medida se elimina con la operación de reducido, que consiste en dividir cada columna de la matriz de datos centrados por la desviación estándar de la variable correspondiente.

El análisis en componentes principales que se realiza casi todas las veces se denomina normado y se hace con la matriz \(\mathbf{X} = \mathbf{Y_C}\mathbf{D_{\sigma}^{-1}}\), que contiene los datos estandarizados, es decir, centrados y reducidos.

Cuando los datos están estandarizados, la inercia de la nube de puntos es igual al número de variables, ya que cada una de ellas contribuye con \(1\) a la inercia total. Esto implica que la inercia, en el ACP normado deja de tener significado estadístico porque no depende de los valores de la tabla que se está analizando, sino del número de variables que contenga. En el ejemplo la inercia es \(3\).

3.2.2 Análisis

Values.ACP$quanti.sup$cor

##                Dim.1       Dim.2
## Impresion -0.7887268 -0.05268367

X <- scale(Y, center = T, scale = T)
# Cálculo de matriz correlaciones
V <- cor(X) # V <- t(X)%*%X/9
# Cálculo de valores y vectores propios
Descomp <- eigen(V)
Lambda  <- Descomp$values
U <- Descomp$vectors
rownames(U) <- rownames(V)
colnames(U) <- paste("Eje ", 1:3, sep='')
Lambda ; U

# [1] 2.0670307 0.8216466 0.1113227
#            Eje 1       Eje 2      Eje 3
# Color  0.5794934 -0.57140813  0.5811025
# DA     0.6728898 -0.06680772 -0.7367197
# EA     0.4597898  0.81794222  0.3457801

3.3.1 Objetivos del análisis

Se realiza un ACP con el objeto de:

1. Validar el puntaje total que es el resumen de los 5 puntajes.
2. Explorar relaciones entre los resultados y las carreras a las que fueron admitidos los estudiantes.
3. Explorar relaciones entre algunas variables sociodemográficas y los resultados del examen.

3.3.2 Resultados de análisis

Para cumplir con esos objetivos se realiza un ACP normado utilizando como variables activas los puntajes obtenidos por los admitidos en los cinco componentes del examen y el puntaje total como variable ilustrativa.

Como variables cualitativas suplementarias se proyectan las carreras y las características sociodemográficas presentes en los datos.

3.3.3 Número de ejes a analizar

El número de ejes a retener para el análisis es la primera decisión en un ACP. Se toma con varios criterios orientadores:

1. La forma del “histograma de valores propios”.
2. Los ejes que corresponden a valores propios mayores que \(1\), en el caso del ACP normado.
3. La selección de un eje adicional si se considera que suministra información importante que no se ha visto en los anteriores.

A continuación, se muestra el histograma de valores propios con los valores numéricos en la parte inferior. Tres valores propios se destacan, pero solo dos son mayores que \(1\). Seguramente dos son suficientes, pero se debe verificar si el tercer eje permite alguna descripción adicional al primer plano factorial. El primer plano retiene el \(57.5\%\) de la inercia y los tres primeros ejes, el \(74.9\%\).

Data <- admi[,-c(14:15)]
Values.ACP <- PCA(Data, ncp = 3, quanti.sup = 7, quali.sup = c(1,8:13), graph = F)

# ---------------------------------- BARPLOT BÁSICO ----------------------------------- #
par(col.axis="#F13057", las = 1)
barplot(rev(Values.ACP$eig[,1]), names.arg = 5:1, horiz = T, density = 40, col = rainbow(5))

# ---------------------------------- VALORES PROPIOS ---------------------------------- #
TablaEigenvalue <- t(Values.ACP$eig)
colnames(TablaEigenvalue) <- 1:5
rownames(TablaEigenvalue) <- c("Valor Propio", "Inercia Acumulada", "Porcentaje Acumulado")

En resumen, el primer valor propio se destaca sobre los demás y retiene el \(37.0\%\) de la inercia. El segundo valor propio es también mayor que \(1\) y el primer plano retiene el \(57.5\%\) de la inercia. La forma del histograma sugiere retener uno o tres ejes para el análisis.

3.3.4 Círculo de correlaciones

En el círculo de correlación expuesto a continuación, se observa un primer eje de tamaño, que muestra alta correlación con el puntaje total y con los mejores puntajes de coordenadas positivas (lado derecho del eje).

El factor tamaño se presenta cuando todas las correlaciones entre las variables activas son positivas y se observan porque tienen coordenadas con el eje del mismo lado. El primer eje se muestra como otra manera de obtener un puntaje global ya que su correlación con el resultado del examen es de \(0.985\). Para tener la coordenada en el mismo sentido basta cambiarle de signo a todas las coordenadas sobre el primer eje.

El segundo eje contrapone los resultados en los componentes de Análisis de Imagen, Matemática y Ciencias Naturales versus Ciencias Sociales y Análisis Textual. El tercer eje es inferior a uno, pero su valor es cercano al segundo y destaca la oposición entre los resultados en las pruebas de Análisis de Imagen (positivo) y Ciencias Naturales (negativo).

3.3.5 Primer plano factorial de los admitidos

Los admitidos son anónimos en este ACP, pero las variables cualitativas permiten observar grupos de ellos, según las categorías que asuman. La figura anterior muestra el primer plano factorial de los individuos con las categorías de las variables cualitativas como ilustrativas.

La estructura del plano está dada por los resultados del examen, de modo que cualquier ordenamiento de las categorías es indicio de alguna relación con esos resultados.

Obsérvese que las categorías de la variable estrato están ordenadas en el primer eje (bajo, medio y alto) lo cual indica que los admitidos de estratos más altos tienden a obtener mejores resultados en el examen. En cambio, la edad no está ordenada, y son los de diecisiete años quienes tienden a obtener mejores resultados. En cuanto a género, los hombres obtienen en promedio mejores resultados que las mujeres. Según la variable origen de los admitidos, los de Bogotá en promedio obtienen los mejores resultados; y los de otros lugares los peores.

Las carreras con mejores resultados son Matemáticas, Física y Geología, en oposición a Estadística, Farmacia y Química. Los admitidos a Matemáticas en promedio tienen mejores resultados en las pruebas de Análisis de Imagen, Matemática y Ciencias Naturales. Son pocos los admitidos que tienen que nivelar LectoEscritura (siLE), y por eso se ubican más lejos, al lado superior-izquierdo, donde se sitúan los de peores resultados en el examen de admisión. En la nivelación de Matemáticas Básicas la situación es inversa, y los que no tienen que hacerlo están al lado superior-derecho, de mejores resultados en el examen.

En el tercer eje (ver valores test en la Tabla 9) se observa que en promedio los que tienen edades de dieciséis años o menos, por un lado, y los que vienen de otra región, por otro, tienen resultados inferiores en la componente de Análisis de Imagen.

3.3.6 Conclusiones del análisis

El primer eje del ACP realizado es un indicador que resume el rendimiento de los estudiantes admitidos a la Facultad de Ciencias en el primer semestre del 2013. El componente de Matemáticas es el que más pesa en dicho indicador y el de Análisis de Imagen, el que menos. La correlación entre el indicador y la nota global del examen es de \(0.985\) (Tabla 8).

Los estudiantes de estratos altos, diecisiete años, hombres y de origen bogotano son los que tienen en promedio mejores resultados en los componentes del examen, comparados con las otras categorías de sus respectivas variables: estrato, edad, género y origen (Tabla 9).

Según las carreras, los admitidos a Matemáticas, Geología y Física son en promedio los de mejores resultados, mientras que los admitidos a Estadística, Farmacia y Química tienen en promedio resultados más bajos. Los admitidos a Matemáticas tienen mejor promedio en la componente de Análisis de Imagen.

3.5.1 Estandarización de datos

En el análisis de componentes principales, las variables a menudo se escalan (es decir, están estandarizadas). Esto se recomienda especialmente cuando las variables se miden en diferentes escalas (por ejemplo: kilogramos, kilómetros, centímetros, …); de lo contrario, las salidas del ACP obtenidas se verán gravemente afectadas.

La función base de \(\texttt{R}\) scale() se puede utilizar para estandarizar los datos. Toma una matriz numérica como entrada y realiza el escalado en las columnas.

Tenga en cuenta que, por defecto, la función PCA{FactoMineR}, estandariza los datos automáticamente durante el ACP; así que no necesitamos hacer esta transformación antes de la ACP.

El siguiente código \(\texttt{R}\) calcula el análisis de componentes principales (ACP).

• X: Un data frame. Las filas son individuos y las columnas son variables numéricas.
• scale.unit: Un valor lógico. Si es TRUE, los datos se escalan. Esta estandarización a la misma escala evita que algunas variables se vuelvan dominantes solo por sus grandes unidades de medida.
• ncp: Número de dimensiones mantenidas en los resultados finales.
• graph: Un valor lógico. Si es TRUE, se muestra un gráfico.

data("admi"); Data <- admi[,2:6]
Data.ACP <- PCA(Data, scale.unit = T, graph = F)

La salida de la función PCA{} es una lista que incluye los siguientes componentes:

print(Data.ACP)

## **Results for the Principal Component Analysis (PCA)**
## The analysis was performed on 445 individuals, described by 5 variables
## *The results are available in the following objects:
## 
##    name               description                          
## 1  "$eig"             "eigenvalues"                        
## 2  "$var"             "results for the variables"          
## 3  "$var$coord"       "coord. for the variables"           
## 4  "$var$cor"         "correlations variables - dimensions"
## 5  "$var$cos2"        "cos2 for the variables"             
## 6  "$var$contrib"     "contributions of the variables"     
## 7  "$ind"             "results for the individuals"        
## 8  "$ind$coord"       "coord. for the individuals"         
## 9  "$ind$cos2"        "cos2 for the individuals"           
## 10 "$ind$contrib"     "contributions of the individuals"   
## 11 "$call"            "summary statistics"                 
## 12 "$call$centre"     "mean of the variables"              
## 13 "$call$ecart.type" "standard error of the variables"    
## 14 "$call$row.w"      "weights for the individuals"        
## 15 "$call$col.w"      "weights for the variables"

3.5.2 Visualización e interpretación

Utilizaremos el paquete factoextra para ayudar en la interpretación del ACP. No importa qué función decida utilizar [prcomp{stats}, PCA{FactoMiner}, dudi.pca{ade4}, epPCA{ExPosition}], puede extraer y visualizar fácilmente los resultados del ACP utilizando las funciones \(\texttt{R}\) proporcionadas en el paquete factoextra.

Estas funciones incluyen:

• get_eigenvalue(Data.ACP): Extrae los valores propios/varianzas de los componentes principales.
• fviz_eig(Data.ACP): Visualiza los valores propios.
• get_pca_ind(Data.ACP), get_pca_var(Data.ACP): Extrae los resultados para individuos y variables, respectivamente.
• fviz_pca_ind(Data.ACP), fviz_pca_var(Data.ACP): Visualice los resultados individuales y variables, respectivamente.
• fviz_pca_biplot(Data.ACP): Crea un biplot de individuos y variables.

Valores Propios y Varianzas

Los valores propios miden la cantidad de variación retenida por cada componente principal. Los valores propios son grandes para los primeros componentes principales y pequeños para los posteriores. Es decir, los primeros componentes principales corresponden a las direcciones con la cantidad máxima de variación en el conjunto de datos.

Examinamos los valores propios para determinar el número de componentes principales a considerar. Los valores propios y la proporción de variaciones (es decir, información) retenidos por los componentes principales (PC) se pueden extraer mediante la función get_eigenvalue{factoextra}.

• Un valor propio \(>1\) indica que los PC representan más varianza que la contabilizada por una de las variables originales en los datos estandarizados. Esto se usa comúnmente como un punto de corte para el cual se retienen los PC. Esto es válido solo cuando los datos están estandarizados.
• También puede limitar el número de componentes a ese número que representa una cierta fracción de la varianza total. Por ejemplo, si está satisfecho con el \(70\%\) de la varianza total explicada, use la cantidad de componentes para lograrlo.

( Eig_Val <- get_eigenvalue(Data.ACP) )

##       eigenvalue variance.percent cumulative.variance.percent
## Dim.1  1.8516980         37.03396                    37.03396
## Dim.2  1.0248954         20.49791                    57.53187
## Dim.3  0.8696715         17.39343                    74.92530
## Dim.4  0.6380381         12.76076                    87.68606
## Dim.5  0.6156969         12.31394                   100.00000

La proporción de variación explicada por cada valor propio se da en la segunda columna. Por ejemplo, el primer valor propio se destaca sobre los demás y retiene el \(37.0\%\) de la inercia. El segundo valor propio es también mayor que uno, el primer plano retiene el \(57.5\%\) de la inercia (aproximadamente el \(57.53\%\) de la variación se explica por los dos primeros valores propios juntos).

En nuestro análisis, los primeros tres componentes principales explican el \(74.9\%\) de la variación. Este es un porcentaje aceptablemente grande.

Un método alternativo para determinar el número de componentes principales es mirar un diagrama de barras, en el cual los valores propios son ordenados de mayor a menor. El número de componentes se determina en el punto, más allá del cual los valores propios restantes son relativamente pequeños y de tamaño comparable.

El diagrama de barras se puede generar utilizando la función fviz_eig{FactoMineR} o fviz_screeplot{factoextra}.

Col1 <- rainbow(5, alpha = 0.7); Col2 <- rainbow(5, v = 0.3)
fviz_eig(Data.ACP, addlabels = TRUE, ylim = c(0, 40), bar_width = 0.7, rotate = T,
         barfill = Col1, barcolor = Col2, linecolor = "black", ggtheme = theme_classic())

## Coordinate system already present. Adding new coordinate system, which will replace the existing one.

Gráficos de Variables

Un método simple para extraer los resultados, para las variables, de una salida del ACP es utilizar la función get_pca_var{factoextra}. Esta función proporciona una lista de matrices que contiene todos los resultados para las variables activas (coordenadas, correlación entre variables y ejes, coseno cuadrado y contribuciones)

Variables <- get_pca_var(Data.ACP)
Variables

## Principal Component Analysis Results for variables
##  ===================================================
##   Name       Description                                    
## 1 "$coord"   "Coordinates for the variables"                
## 2 "$cor"     "Correlations between variables and dimensions"
## 3 "$cos2"    "Cos2 for the variables"                       
## 4 "$contrib" "contributions of the variables"

Variables$coord     # Coordenadas

##          Dim.1      Dim.2      Dim.3      Dim.4       Dim.5
## mate 0.7062207  0.2592443 -0.2039603 -0.5953070 -0.19507558
## cien 0.6120326  0.2416146 -0.6016550  0.3871628  0.23485044
## soci 0.6448098 -0.4195867  0.3511748 -0.1153949  0.52108310
## text 0.6478378 -0.4962385  0.1051525  0.2731014 -0.49840968
## imag 0.3780120  0.6906552  0.5759359  0.2141315 -0.05047607

# Variables$cos2    # Cos2: Calidad en el mapa factorial
# Variables$contrib # Contribuciones a los componentes principales

Los componentes de get_pca_var() se pueden usar en la gráfica de variables de la siguiente manera:

• Variables$coord: Coordenadas de variables para crear un diagrama de dispersión
• Variables$cos2: Representa la calidad de representación de las variables en el mapa de factores. Se calcula como las coordenadas al cuadrado.
• Variables$contrib: Contiene las contribuciones (en porcentaje) de las variables a los componentes principales. La contribución de una variable (var) a un componente principal dado es (en porcentaje): (var.cos2*100)/(cos2 total del componente).

Tenga en cuenta que es posible trazar variables y colorearlas de acuerdo con su calidad en el mapa de factores (cos2) o sus valores de contribución a los componentes principales (contrib).

Círculo de Correlaciones

La correlación entre una variable y un componente principal (PC) se utiliza como las coordenadas de la variable en la PC. La representación de las variables difiere de la gráfica de las observaciones: las observaciones están representadas por sus proyecciones, pero las variables están representadas por sus correlaciones.

fviz_pca_var(Data.ACP, col.var = "#B6200F", repel = T,
             col.circle = "orange", ggtheme = theme_bw())

La gráfica anterior muestra las relaciones entre todas las variables. Se puede interpretar de la siguiente manera:

• Las variables positivamente correlacionadas se agrupan juntas.
• Las variables negativamente correlacionadas se colocan en lados opuestos del origen de la trama (cuadrantes opuestos).
• La distancia entre las variables y el origen mide la calidad de las variables en el mapa de factores. Las variables que están lejos del origen están bien representadas en el mapa de factores.

Calidad de Representación

Puede visualizar el cos2 de variables en todas las dimensiones usando el paquete corrplot:

corrplot(Variables$cos2, is.corr = F) # La matriz de entrada no es de correlación

Tenga en cuenta que,

• Un cos2 alto indica una buena representación de la variable en el componente principal. En este caso, la variable se coloca cerca de la circunferencia del círculo de correlación.
• Un cos2 bajo indica que la variable no está perfectamente representada por las PC. En este caso, la variable está cerca del centro del círculo.
• Para una variable dada, la suma de cos2 en todos los componentes principales es igual a uno.
• Si una variable está perfectamente representada por solo dos componentes principales (Dim.1 y Dim.2), la suma de cos2 en estas dos PC es igual a uno.
• Para algunas de las variables, se pueden requerir más de 2 componentes para representar perfectamente los datos. En este caso, las variables se colocan dentro del círculo de correlaciones.

En resumen:

• Los valores cos2 se utilizan para estimar la calidad de la representación.
• Cuanto más cerca esté una variable del círculo de correlaciones, mejor será su representación en el mapa de factores (y más importante es interpretar estos componentes)
• Las variables que están cerradas al centro de la gráfica son menos importantes para los primeros componentes.
• Es posible colorear las variables por sus valores cos2 usando el argumento col.var="cos2". Esto produce un degradado de colores. En este caso, el argumento gradient.cols se puede usar para proporcionar un color personalizado.

fviz_pca_var(Data.ACP, col.var = "cos2", col.circle = "#00C853",
             gradient.cols = c("#0097A2","#FFC100","#FC4E07"),
             ggtheme = theme_light(), repel = T)

3.5.3 Contribuciones de variables a los PC

Las contribuciones de las variables en la contabilización de la variabilidad en un componente principal dado se expresan en porcentaje. Las variables que están correlacionadas con PC1 (es decir, Dim.1) y PC2 (es decir, Dim.2) son las más importantes para explicar la variabilidad en el conjunto de datos.

Las variables que no se correlacionan con ninguna PC o se correlacionan con las últimas dimensiones son variables con baja contribución y pueden eliminarse para simplificar el análisis general. Cuanto mayor es el valor de la contribución, más contribuye la variable al componente.

La función fviz_contrib{factoextra} se puede utilizar para dibujar un diagrama de barras de contribuciones variables. Si sus datos contienen muchas variables, puede decidir mostrar solo las principales variables contribuyentes. El código \(\texttt{R}\) a continuación muestra las 5 principales variables que contribuyen a los componentes principales:

# Contributions of variables to PC1
fviz_contrib(Data.ACP, choice = "var", axes = 1, top = 5)

# Contributions of variables to PC2
fviz_contrib(Data.ACP, choice = "var", axes = 2, top = 5)

La línea roja discontinua en el gráfico anterior indica la contribución promedio esperada. Si la contribución de las variables fuera uniforme, el valor esperado sería \(\frac{1}{\text{variables}} = \frac{1}{5} = 20%\). Para un componente dado, una variable con una contribución mayor que este límite podría considerarse importante para contribuir al componente.

Color por Grupos

También es posible cambiar el color de las variables por grupos definidos por una variable cualitativa/categórica, también llamada factor en la terminología de \(\texttt{R}\).

Como no tenemos ninguna variable de agrupación en nuestros conjuntos de datos para clasificar variables, la crearemos. En el siguiente ejemplo de demostración, comenzamos clasificando las variables en 3 grupos usando el algoritmo de agrupación kmeans. A continuación, usamos los clústeres devueltos por el algoritmo kmeans para colorear las variables.

set.seed(123)
Data.Km <- kmeans(Variables$coord, centers = 3, nstart = 25)
Grupos  <- as.factor(Data.Km$cluster)
# Color variables by groups
fviz_pca_var(Data.ACP, col.var = Grupos, col.circle = "#0091EA",
             palette = c("#FF8000", "#D41243", "#00C853"),
             ggtheme = theme_bw(), repel = T,
             legend.title = "Cluster")

3.5.4 Gráfica de individuos

# fviz_pca_ind(Data.ACP, pointsize = 0.1,labelsize = 0.1)
fviz_pca_ind(Data.ACP,
             geom.ind = "point",
             col.ind  = admi$estr, # color by groups
             palette  = c("#00AFBB", "#E7B800", "#FC4E07"),
             addEllipses = T,
             axes.linetype = "dashed", # ggpubr::show_line_types()
             title    = "PRINCIPAL COMPONENT ANALYSIS",
             subtitle = "Admi Data Set",
             caption  = "Source: FactoClass",
             legend.title = "Estrato", legend.position = "top",
             ggtheme = theme_gray())

Para más información acerca de los “Métodos de componentes principales en R: Guía práctica” de la libraría FactoMineR puede obtenerla dando clic aquí

4.3.1 Objetivos del análisis

El objetivo principal del análisis es comparar los perfiles departamentales según la calidad educativa de los colegios. También se desea explorar la influencia de la jornada sobre el ordenamiento de los departamentos y la influencia de su tamaño, en términos de población, en ese ordenamiento.

4.3.2 Perfiles de los departamentos

El ACS, en el espacio de las filas, ordena a los departamentos según sus perfiles, construidos con las variables jornada y rendimiento, de los colegios. Esos perfiles se muestran en la figura a continuación. La longitud de cada barra del histograma de la fila es proporcional a la frecuencia relativa de la categoría Jornada \(\times\) Rendimiento y está diferenciada de las demás por su color. Los colores permiten diferenciar también las categorías asociadas.

Nótese que Chocó se diferencia bastante de los demás departamentos: tiene las barras de rendimiento inferior de mayor longitud en las tres jornadas. Esto se evidencia en el ACS de la tabla, pues muestra al Chocó alejado de los demás departamentos. Entonces se toma al Chocó como ilustrativo para poder ver mejor las diferencias de los demás departamentos.

Data <- icfes08
Blue    <- c("#C9F9F6", "#4BBFF9", "#447FE5", "#000080")
Green   <- c("#41FF07", "#78D12F", "#2E9551", "#006702")
Orange  <- c("#FFCB1A", "#FF8000", "#FF4500", "#C83200")
Colores <- c(Blue, Green, Orange)
PlotPerfiles_FC(Data, profiles = "row", col = Colores)

4.3.3 Resultados del ACS

Número de ejes a analizar

Values.AC  <- CA(Data, ncp = 3, row.sup = 23, graph = F)
Valeurs.AC <- ca(Data[-23,])
# ---------------------------------- VALORES PROPIOS ---------------------------------- #
TablaEigenvalue <- t(Values.AC$eig)
colnames(TablaEigenvalue) <- 1:11
rownames(TablaEigenvalue) <- c("Valor Propio", "Inercia Acumulada", "Porcentaje Acumulado")

par(col.axis="#F13057", las = 1)
barplot(rev(Values.AC$eig[,1]), horiz = T, names.arg = 11:1, col = rainbow(11), density = 60,
        cex.names = 1, xaxp = c(0, 0.15, 5))

La inercia total asociada al ACS es \(0.265\). Los tres primeros ejes retienen el \(84.2\%\) (\(0.151\), \(59.9\%\); \(0.049\), \(18.7\%\), y \(0.023\), \(8.6\%\)). Los dos primeros retienen una inercia superior a la inercia promedio (\(\frac{0.265}{11} = 0.024\)).

Los dos primeros ejes (primer plano factorial), proveen una buena síntesis para analizar las asociaciones entre departamentos y Jornada \(\times\) Rendimiento. Sin embargo, se incluyen las coordenadas y ayudas para la interpretación del tercer eje con el objeto afinar un poco el análisis.

Primer plano factorial y tercer eje

El primer eje ordena las categorías de rendimiento de menor (derecha) a mayor (izquierda), y por lo tanto, Bogotá es el departamento de mejor rendimiento y Magdalena, el de peor rendimiento aparte de Chocó, que ya se había detectado con un perfil atípico por su rendimiento muy bajo.

El segundo eje muestra abajo las categorías inferior, baja y media de la jornada completa, lo que se debe a una atracción de los departamentos que tienen más porcentaje de colegios con esa jornada en su perfil.

En la tabla anterior se muestran las ayudas para la interpretación: las contribuciones a la inercia de los ejes sirven para detectar los puntos más relevantes en cada eje y el coseno cuadrado, para ver las calidades de las proyecciones. El coseno cuadrado sobre un plano es la suma de los cosenos cuadrados de los ejes.

El primer plano factorial presenta el efecto Guttman, que es una forma de parábola de las categorías de una variable ordinal. Nótese que, por cada una de las tres jornadas, se ven las categorías de rendimiento como parábolas. En este efecto el primer eje opone los rendimientos extremos (inferior vs. alto) y el segundo eje, los medios a los extremos (bajo y medio vs. inferior y alto).

En el tercer eje se destacan del lado negativo las categorías baja y media de la jornada de la mañana, asociadas a los departamentos de Meta, Quindío, Tolima y Arauca.

El ordenamiento de las categorías se traslada a los departamentos mostrando una parábola. Siguiéndola desde la derecha hasta la izquierda se observa que los departamentos de la región Atlántico son los de menor rendimiento, siguen los departamentos del sur del país, luego los de la región Andina, y sobresalen Risaralda, Quindío y Santander, hasta llegar a Bogotá, la región de mayor rendimiento.

Retorno a los perfiles de departamentos

Se utilizan las coordenadas sobre el primer eje para presentar los perfiles ordenando los departamentos, de modo que los parecidos queden vecinos. Los perfiles de la parte inferior son los peores y van mejorando a medida que se sube en la gráfica. El perfil superior es el marginal que se incluye como referencia para la comparación ya que se sitúa en el origen de la representación \(\{\)coordenadas \((0,0)\) en los planos\(\}\) y la lejanía del centro de un punto indica que el perfil que representa es el más diferente del perfil promedio (marginal).

OrdenDepart <- order(Values.AC$row$coord[,1], decreasing = TRUE)
# -------------------------------- GRÁFICO DE PERFILES -------------------------------- #
Blue    <- c("#C9F9F6", "#4BBFF9", "#447FE5", "#000080")
Green   <- c("#41FF07", "#78D12F", "#2E9551", "#006702")
Orange  <- c("#FFA500", "#FF8000", "#FF4500", "#C83200")
Colores <- c(Blue, Green, Orange); Data <- Data[-23,]
PlotPerfiles_FC(Data[OrdenDepart,], profiles = "row", col = Colores)

4.3.4 Conclusiones del análisis

Los departamentos se ordenan en el primer plano factorial según el rendimiento de sus colegios. Bogotá es el de mayor rendimiento; Chocó es de lejos el de menor rendimiento. El gráfico de perfiles fila anterior es un buen resumen del ordenamiento de los departamentos según su rendimiento en los resultados del examen realizado por el Icfes.

Cada jornada ordena los departamentos de manera similar, pero la jornada de la tarde es la de menor dispersión.

En (Pardo, Bécue-Bertaut, and Ortiz 2013) se pueden ver algunas variaciones del análisis de correspondencias para tener en cuenta la estructura inducida por los cuatro tamaños de los departamentos, según su población, y las tres jornadas.

5.2.1 Ejes factoriales

En el primer eje, las categorías con contribuciones absolutas superiores al promedio (\(\frac{100}{12} = 8.333\%\)) y sus oposiciones son: estrato bajo \(\color{Red}{(+)}\) contra estrato alto \(\color{Blue}{(-)}\) y origen de otro departamento \(\color{Red}{(+)}\) contra origen Bogotá. En el segundo, las mujeres se sitúan arriba \(\color{Red}{(+)}\), los admitidos de 16 años o menos \(\color{Red}{(+)}\) se oponen a los de 19 años o más \(\color{Blue}{(-)}\), y los de estrato alto se ubican arriba \(\color{Red}{(+)}\).

En el primer plano factorial se ven los grupos de categorías. Arriba: 16 años o menos, mujeres y estrato alto; a la izquierda: estrato medio y origen Bogotá, y abajo: 19 años o más.

En el tercer eje, se oponen los de 17 años \(\color{Red}{(+)}\) a los de 18 \(\color{Blue}{(-)}\), los de estrato alto están al lado positivo, al igual que los que vienen de Cundinamarca. Este eje vale la pena leerlo por la edad y por el departamento de origen.

El primer plano factorial en una buena síntesis del análisis, pero conviene leer también los planos \(\text{I-III}\), que representan mejor las categorías de estrato y origen, y \(\text{II-III}\), para ver mejor las categorías de edad y estrato alto.

5.2.2 Relaciones cuasibaricéntricas

De la misma manera que en el ACS, las categorías que pertenecen a cada variable están centradas en el origen de la representación. Como consecuencia, las que están más próximas al origen son las que más frecuencia tienen. Por ejemplo, la variable género, se puede ver como una palanca que está en equilibrio, con apoyo en \((0,0)\). Este equilibrio que implica que hay bastantes más hombres que mujeres, dentro de los admitidos a las carreras de Ciencias.

Por otro lado, las categorías son cuasibaricentros de las coordenadas de los admitidos que las asumen. Entonces, por ejemplo, a la derecha del plano hay admitidos que asumen simultáneamente las categorías origen Bogotá, 18 años y estrato medio.

También se muestra que el origen es el centro de gravedad de las tres categorías de la variable origen del admitido. Las cercanías al centro indican la frecuencia: hay más bogotanos, luego cundinamarqueses y menos de otros departamentos.

5.2.3 Razón de correlación

La figura de abajo muestra que hay una relación alta de las variables estrato y origen con el eje \(\textit{1}\) y edad y género con el eje \(\textit{2}\). La cercanía de las variables estrato y origen indican que las contribuciones de las dos variables a la varianza de los dos ejes son similares. En resumen, buena parte de la inercia del primer eje es entre estratos y también, entre origen; y la del segundo eje es entre edades.

5.2.4 Variables cualitativas

A una variable cualitativa suplementaria también se le puede calcular la relación de correlación e incluirla en la gráfica de las variables. En el ejemplo se proyecta la variable carrera. Su posición, cerca al origen, muestra poca relación con las cuatro variables sociodemográficas.

5.2.5 Variables continuas

Las variables continuas se pueden proyectar en los planos de individuos y categorías, utilizando como coordenadas los coeficientes de correlación entre la variable y el factor. Se interpretan como en un ACP.

Por ejemplo, en el ACM de los admitidos, las correlaciones entre los tres ejes factoriales y el resultado global del examen son:

round(cor(admi[, 7], Values.ACM$ind$coord)*100, 1)

##      Dim 1 Dim 2 Dim 3
## [1,] -26.9  -3.5  29.3

El valor de \(-26.9\%\) de correlación indica, por ejemplo, que hay alguna relación negativa entre el primer eje y las categorías que caracterizan el sentido negativo del eje: edad de 18 años, estratos medio y alto, y origen Bogotá.

6.1.1 K-means

Dentro de los algoritmos que permiten obtener particiones del número de clases deseado, el método K-means es uno de los más utilizados y forma parte de los métodos, conocidos en la literatura francesa, como de agregación alrededor de centros móviles. El algoritmo se detiene si la nueva partición no es mejor que la anterior (la inercia intra-clases deja de disminuir), o si dos iteraciones sucesivas dan la misma partición, o porque se ha alcanzado un número máximo de iteraciones fijado de antemano. Generalmente la partición obtenida depende de la selección inicial de los centros.

6.1.2 Ventajas y desventajas del método K-means

El método K-means se utiliza ampliamente porque es muy rápido y poco exigente en recursos de computo. Sin embargo, tiene dos problemas:

1. Con un método de agrupamiento se pretende descubrir una estructura de clases en los datos y al algoritmo K-means se le suministran el número de clases y los puntos iniciales.
2. En general, la inercia mínima que se obtiene depende de los puntos iniciales.

6.2.1 Índices de similitud para tablas binarias

Se calculan sobre una tabla de n individuos por p atributos de naturaleza binaria. La presencia de un 1 en una celda \((i,j)\) indica que el individuo \(i\) tiene el atributo \(j\) y la de un cero, que no lo tiene. Entonces un conteo para comparar los individuos \(i\) y \(l\) se puede registrar en una tabla de cuatro celdas:

• \(a\): número de atributos presentes en los dos individuos.
• \(b\): número de atributos presentes en el individuo \(i\) y ausentes en el individuo \(l\).
• \(c\): número de atributos ausentes en el individuo \(i\) y presentes en el individuo \(l\).
• \(d\): número de atributos ausentes en los dos individuos.

Se definen, además:

• \(m=a+d\) coincidencias.
• \(u=b+c\) no coincidencias.

En la Tabla 7.2 se muestran algunos de los índices propuestos en la literatura, que están disponibles en la función dist.binary{ade4}. El número de la última columna de la tabla se utiliza para que la función calcule el índice deseado.

6.2.2 Distancias para variables de intervalo

La distancia entre dos individuos \(i\) y \(l\) se calcula a partir de las filas respectivas de la matriz \(X\), cuyas columnas son \(p\) variables cuantitativas.

Gráficos de contorno de acuerdo con cuatro distancias diferentes: los puntos en cualquier curva son todos a la misma distancia desde el punto central.

• Euclidean: La distancia Euclideana entre dos puntos \(A=(a_1,\cdots,a_p)\) y \(B= (b_1,\cdots,b_p)\) en un espacio de \(p\) dimensiones es la raíz cuadrada de la suma de cuadrados de las diferencias de las \(p\) coordenadas. \[d(A,B)=\sqrt{(a_1-b_1)^2+(a_2-b_2)^2+\cdots+(a_p-b_p)^2}\]
• Manhattan: La distancia Manhattan, City Block o \(L_1\) toma la suma de las diferencias absolutas en todas las coordenadas. \[d(A,B)=|a_1-b_1|+|a_2-b_2|+\cdots+|a_p-b_p|\]
• Maximum: Es el máximo de las diferencias absolutas entre coordenadas, también llamada \(L_\infty\). \[d_\infty(A,B)= \max_{i}|a_i-b_i|\]
• Minkowski: \[d(A,B) = \left( (a_1-b_1)^r+(a_2-b_2)^r+\cdots+(a_p-b_p)^r \right)^\frac{1}{r}\]

Puntos en un espacio bidimensional a una distancia de \(1\) desde el centro (\(O\)) utilizando la función de distancia de Minkowski con diferentes valores de \(r\). Mostrando los casos especiales.

Las distancias disponibles en la función dist{stats} se presentan en la Tabla 7.3. La distancia Euclidiana \((r=2)\), y la distancia de Manhattan \((r=1)\) son casos particulares de la distancia de Minkowski. La distancia del Máximo también es un caso particular de la distancia de Minkowski \((r\rightarrow\infty)\).

6.2.3 ¿Cómo calcular (dis)similitudes entre grupos agregados?/ Criterios de agregación

Para completar un procedimiento de aglomeración jerárquica hay que seleccionar una similitud, disimilitud o distancia entre grupos, que se denomina también criterio de agregación. Un algoritmo de agrupamiento jerárquico es bastante fácil de comenzar, al agrupar las observaciones más similares. Pero una vez que se ha producido una agregación, se debe indicar cuál es la distancia entre un grupo recién formado y todos los demás puntos, o entre dos grupos.

• Enlace Simple: El método de salto mínimo (minimal jump), también llamado enlace simple (single linkage) o método vecino más cercano, calcula la distancia entre grupos como la distancia más pequeña entre dos puntos en los dos grupos.

\[d_{12} = \min_{i \in C_1, i \in C_2 } d_{ij}\]

Este criterio tiende a producir grupos alargados (efecto de encadenamiento), que pueden incluir elementos muy distintos en los extremos. El árbol de clúster a menudo se ve como un peine.

En el método de enlace simple, la distancia entre los grupos \(C_1\) y \(C_2\) se define como la distancia entre los dos puntos más cercanos de los grupos.

• Enlace Completo: El método de salto máximo (maximum jump ) o enlace completo (complete linkage) define la distancia entre los dos grupos es la distancia entre los dos individuos de diferente grupo más alejados:

\[d_{12} = \max_{i \in C_1, i \in C_2 } d_{ij}\]

El enlace completo tiende a producir grupos esféricos.

En el método de enlace completo, la distancia entre los grupos \(C_1\) y \(C_2\) se define como la distancia máxima entre pares de puntos de los dos grupos.

• Enlace Promedio: El enlace promedio (average linkage) tiende a unir grupos con varianzas pequeñas y es intermedio entre los enlaces simple y completo. La distancia entre los dos grupos es el promedio de distancias entre todas las parejas de individuos de diferente grupo:

\[d_{12} = \frac{1}{|C_1| |C_2|}\sum_{i \in C_1, i \in C_2 } d_{ij}\]

• Método de Ward: El método de Ward toma un análisis de enfoque de varianza, donde el objetivo es minimizar la varianza dentro de los grupos. Este método es muy eficiente, sin embargo, tiende a crear la ruptura de los grupos en tamaños más pequeños. Para lograr grupos que tengan inercia mínima intraclases se debe utilizar una distancia euclidiana y unir en cada paso del procedimiento los dos grupos que aumenten menos la inercia intra-clases, que corresponde al método de Ward (Ward Jr 1963).

El método Ward maximiza la suma de cuadrados entre grupos, mientras minimiza las sumas de cuadrados dentro de los grupos.

Los algoritmos de clasificación jerárquica son robustos: un método para los mismos datos produce los mismos resultados y no requieren de un número de clases preestablecido.

Precisamente la mayor utilidad del árbol de clasificación es mostrar la estructura de clases que hay en los datos. El método de Ward implementado en algunos programas estadísticos no tiene en cuenta las propiedades de inercia y no permite la interpretación derivada de ella.

Algunos tampoco permiten pesos para los individuos, los cuales son obligatorios cuando se hacen pretratamientos con análisis de correspondencias simples, por ejemplo, o si se desea utilizar factores de expansión muestrales, para que el análisis sea más cercano a la población de donde se ha tomado la muestra.