ANÁLISIS DE COMPONENTES PRINCIPALES

Teoría

Departamento de Matemáticas y Estadística, Universidad del Norte (Barranquilla, Colombia)

hllinas@uninorte.edu.co

Biographical sketch

23/05/26

Abstract

En Rpubs:: toc se pueden ver otros documentos de posible interés.

1 Librerías

1.0.1 Para PCA

El software R dispone de varias funciones de diferentes paquetes para calcular PCA:

• prcomp y princomp, del paquete stats.

• PCA del paquete FactoMineR.

• dudi.pca del paquete ade4.

• epPCA del paquete ExPosition.

Sin importar la función que elija emplear, es posible extraer y representar de manera sencilla los resultados del PCA mediante las funciones del paquete factoextra. En este documento, se hará uso de los paquetes FactoMineR y ade4 para los análisis y factoextra para la visualización basada en ggplot2.

library(FactoMineR)
library(factoextra)
library(ade4)

1.0.2 Para otros análisis

library(aplore3)       #Base de datos para los ejemplos
library(lsm)           #Base de datos para ejemplos y estimaciones del Log-verosimilitud
library(tidyverse)     #Incluye a dplyr y ggplot2
library(stringr)       #Reemplazar caracteres en un data frame
library(outliers)      #outliers::grubbs.test
library(EnvStats)      #EnvStats::rosnerTest
library(DMwR2)         #LOF (Local Outlier Factor)
library(rgl)           #rgl::plot3d
library(corrplot)      #Matriz de correlaciones
library(textshape)     #column_to_rownames

2 Introducción

2.0.1 Preliminares

Es un método de interdependencia para resumir la información contenida en las variables y facilitar su análisis. El ACP transforma el conjunto de variables originales en un subconjunto más pequeño de variables (véase la figura 2.1).

Figure 2.1: Reducción de la dimensión

Estas variables son combinaciones lineales de las primeras, que contienen mayor parte de la variabilidad presente en el conjunto inicial. Para aplicar esta técnica se requiere que las variables sean cuantitativas (véase la figura 2.2).

Figure 2.2: Resumen y visualización de datos multivariados

2.0.2 Propósito

Su objetivo general es lograr una reducción de datos que facilite la interpretación . En este sentido, el método se aplica para representar óptimamente en un espacio de dimensión pequeña, observaciones de un espacio general K-dimensional. Por esta razón, la técnica se considera como el primer paso para identificar posibles variables latentes o no observadas, que están generando la variabilidad de los datos. Siempre está basada en describir la estructura de la matriz de covarianza de un conjunto de variables mediante la utilización de combinaciones lineales de estas variables .

Con esta técnica se busca transformar las variables originales (en general, correladas), en nuevas variables incorreladas, facilitando la interpretación de los datos.

Aunque se requieren las \(N\) componentes principales para reproducir toda la variabilidad del sistema, en la práctica, la mayor parte de esta variabilidad suele explicarse mediante un número reducido \(J\) de componentes principales. En tales casos, las \(J\) primeras componentes principales sustituyen a las \(N\) variables originales, generando así una simplificación del sistema original.

2.0.3 Ejemplo: Pingüino

Este ejemplo (véase la figura 2.3) ilustra la reducción de la dimensionalidad de un conjunto de datos tridimensionales a dos dimensiones.

Figure 2.3: Pingüino

Inicialmente, aparte del estiramiento de los puntos, no se percibe una estructura clara en la distribución de los puntos. Sin embargo, al elegir una rotación adecuada, podemos revelar la estructura subyacente. Esta rotación puede ser concebida como una exploración del conjunto tridimensional, buscando el ángulo óptimo para visualizar los datos. El Análisis de Componentes Principales (ACP) puede ser útil para descubrir esta estructura subyacente. Selecciona una rotación de tal manera que la mayor parte de la variabilidad del conjunto de datos esté capturada en las primeras dimensiones de los datos rotados. Aunque pueda parecer poco útil en nuestro caso tridimensional, este enfoque se vuelve muy poderoso cuando los datos tienen muchas dimensiones (decenas de dimensiones).

2.0.4 Características

1. PCA supone que las direcciones con las mayores varianzas son las más “importantes”, ya que representan las direcciones donde los datos presentan la mayor dispersión y, por tanto, contienen la mayor cantidad de información del conjunto de datos.

2. En la figura 2.4:

   • El eje PC1 representa la primera dirección principal, es decir, la dirección a lo largo de la cual las muestras presentan la máxima variación.

   • El eje PC2 corresponde a la segunda dirección principal y es ortogonal a PC1.

   • En la figura 2.4b, después de proyectar los datos sobre el nuevo sistema de coordenadas definido por las componentes principales, se observa que la mayor dispersión de los datos ocurre a lo largo de PC1, mientras que la variación sobre PC2 es considerablemente menor.

Figure 2.4: Dispersión y PCA

3. La dimensionalidad de nuestros datos bidimensionales puede reducirse a una sola dimensión proyectando cada muestra sobre el primer componente principal (véase la figura @ref(fig:PCA3)b). Esto es posible porque PC1 retiene la mayor parte de la variabilidad presente en los datos originales.

4. Desde el punto de vista técnico, la medida de la cantidad de varianza retenida por cada componente principal se determina a través del valor propio correspondiente.

5. Es importante resaltar que PCA resulta especialmente beneficioso cuando las variables del conjunto de datos presentan una alta correlación. Una alta correlación indica la existencia de redundancia, es decir, que varias variables contienen información similar o parcialmente repetida (véase la figura 2.5). En estas situaciones, gran parte de la variabilidad total de los datos puede describirse mediante un número reducido de direcciones principales.

   • Baja redundancia: las variables aportan información diferente y, por tanto, se requieren más componentes para representar adecuadamente la variabilidad del conjunto de datos.

   • Alta redundancia: las variables contienen información similar debido a su fuerte correlación, permitiendo que la mayor parte de la variabilidad se concentre en pocos componentes principales.

   Aprovechando esta redundancia, PCA transforma las variables originales en un conjunto menor de nuevas variables denominadas componentes principales. Estos componentes principales conservan la mayor parte de la varianza presente en las variables originales, permitiendo reducir la dimensionalidad del conjunto de datos con una pérdida mínima de información.

Figure 2.5: Tipos de redundancia

6. En situaciones de alta redundancia, como en la figura 2.5b, las variables originales aportan información muy parecida. Por esta razón, una sola componente principal puede representar adecuadamente la mayor parte de la estructura y variabilidad de los datos.

2.0.5 Conclusión

En resumen, el objetivo principal del análisis de componentes principales es:

• Identificar patrones ocultos en un conjunto de datos.

• Reducir la dimensionalidad de los datos eliminando el ruido y la redundancia en los datos.

• Identificar variables correlacionadas.

3 Pasos para realizar un PCA

Vamos a explicar el PCA paso a paso sin utilizar demasiada terminología matemática avanzada. En general, se puede visualizar en la figura 3.1.

Figure 3.1: Pasos generales para aplicar un PCA

3.0.1 Paso 1: Describir los Datos y objetivo

Suponga que, en un estudio realizado sobre \(n\) individuos, se tiene un vector \(X=(X_1, X_2, \ldots, X_K)^T\) de tamaño \(K\). El objetivo es encontrar nuevas variables notadas como \(Y_j\), \(j=1, \ldots, J\), que sean combinaciones lineales de las variables originales \(X_k\).

3.0.2 Paso 2: Definir las componentes principales

Se procede de la siguiente manera:

Observación 2.1:

La primera componente principal \(Y_1\) es una combinación lineal de las variables originales que captura la máxima variabilidad posible contenida en los datos:

\[ Y_1 \;=\; a_{11}\, X_1 \;+\; a_{12}\, X_2 \;+\; \cdots \;+\; a_{1K}\, X_K \;=\; a_1^T X \]

donde

\[ a_1=(a_{11},a_{12},\ldots,a_{1K})^T \]

es un vector unitario escogido de tal forma que maximice la varianza de \(Y_1\), sujeto a la restricción:

\[ a_1^T \, a_1 \;=\; \sum_{k=1}^{K} a_{1k}^2 \;=\; 1 \]

Observación 2.2:

La segunda componente principal \(Y_2\) es otra combinación lineal de las variables originales:

\[ Y_2 \;=\; a_{21}\, X_1 \;+\; a_{22}\, X_2 \;+\; \cdots \;+\; a_{2K}\, X_K \;=\; a_2^T \, X \]

donde:

• \(Y_2\) es incorrelada con \(Y_1\), es decir,

\[ Cov(Y_1,Y_2)=0 \]

• y captura la mayor parte de la variabilidad restante de los datos bajo la restricción de ser ortogonal a \(Y_1\).

Observación 2.3:

Del mismo modo se construyen las componentes principales

\[ Y_1, Y_2, \ldots, Y_J \]

de manera que:

• sean incorreladas entre sí,

• estén asociadas a direcciones ortogonales,

• y expliquen cantidades decrecientes de varianza.

Observación 2.4:

La \(j\)-ésima componente principal se define como:

\[ Y_j \;=\; a_{j1}\, X_1 + a_{j2}\, X_2 + \cdots + a_{jK}\, X_K \;=\; a_j^T \, X \]

donde

\[ a_j\;=\;(a_{j1},a_{j2},\ldots,a_{jK})^T \]

es un vector unitario que satisface:

\[ a_j^T a_j \;=\; \sum_{k=1}^{K} a_{jk}^2 \;=\; 1 \]

Además, los vectores asociados a distintas componentes principales son ortogonales entre sí.

Observación 2.5:

La varianza de \(Y_j\) se obtiene utilizando la propiedad de las combinaciones lineales de variables aleatorias:

\[ V(AX)=A\,Cov(X)\,A^T \]

Como la matriz de covarianzas del vector aleatorio \(X\) se denota por:

\[ Cov(X)=\Sigma \]

entonces:

\[ V(Y_j) = V(a_j^T\, X) = a_j^T \, \Sigma \, a_j \]

La expresión

\[ a_j^T \Sigma \, a_j \]

corresponde a la forma matricial compacta de calcular la varianza de una combinación lineal de variables aleatorias.

Por ejemplo, en el caso de dos variables:

\[ Y\; =\; a_1X_1\; +\; a_2X_2 \]

la varianza viene dada por:

\[ V(Y) \; =\; a_1^2\, V(X_1) \; +\; a_2^2\,V(X_2) \; +\; 2\,a_1\,a_2\,Cov(X_1,X_2) \]

Ahora, si definimos:

\[ a= \begin{bmatrix} a_1\\ a_2 \end{bmatrix} \quad \mbox{y} \quad \Sigma= \begin{bmatrix} V(X_1) & Cov(X_1,X_2)\\ Cov(X_1,X_2) & V(X_2) \end{bmatrix} \]

entonces:

\[ a^T\Sigma a \]

produce exactamente la misma expresión anterior. Por tanto, la fórmula:

\[ V(Y_j)\; =\; a_j^T\; \Sigma \; a_j \]

es simplemente la generalización matricial de la varianza de una combinación lineal de múltiples variables aleatorias.

Observación 2.6:

En general, el objetivo consiste en elegir el vector \(a_j\) de manera que maximice la varianza de \(Y_j\), sujeto a la restricción:

\[ a_j^T a_j = 1 \]

y a la condición de ortogonalidad respecto a las componentes principales previamente obtenidas.

Observación 2.7:

Las componentes principales

\[ Y_1,Y_2,\ldots,Y_K \]

resumen la variabilidad total del conjunto de datos en orden decreciente de importancia. En consecuencia, las primeras componentes principales explican la mayor parte de la varianza de los datos originales.

Observación 2.8:

Geométricamente, PCA puede interpretarse como una rotación del sistema de coordenadas original hacia nuevas direcciones ortogonales que maximizan la variabilidad de los datos.

Observación 2.9:

El procedimiento matemático comúnmente utilizado para maximizar funciones bajo restricciones corresponde al método de los multiplicadores de Lagrange.

3.0.3 Paso 3: Matriz de covarianzas o matriz de correlaciones

Existen dos formas habituales de aplicar PCA.

Primera forma 3.1: Matriz de correlaciones

Se recomienda utilizar la matriz de correlaciones cuando:

• las variables originales se encuentran en diferentes unidades de medida,

• o las variables presentan varianzas muy diferentes entre sí.

En este caso, normalmente se requiere estandarizar previamente los datos.

Segunda forma 3.2: Matriz de covarianzas

Se recomienda utilizar la matriz de covarianzas \(\Sigma\) cuando:

• las variables originales se encuentran en las mismas unidades,

• y se desea conservar la información proporcionada por las diferencias naturales de variabilidad entre las variables.

Observación 3.3:

Si las variables comparten unidades similares, ambas alternativas son factibles. En situaciones de incertidumbre, puede resultar útil realizar ambos análisis y comparar los resultados obtenidos.

Observación 3.4:

En los pasos siguientes se considerará únicamente la matriz de covarianzas.

3.0.4 Paso 4: Cálculo de vectores y valores propios

Se calculan los valores propios y vectores propios de la matriz de covarianzas \(\Sigma\).

Si \(a_j\) es un vector propio de \(\Sigma\) asociado al valor propio \(\lambda_j\), entonces se cumple:

\[ \Sigma \, a_j \;=\; \lambda_j\, a_j \]

Como:

\[ V(Y_j) \;=\; V(a_j^T \, X) \;=\; a_j^T \, \Sigma \, a_j \]

entonces:

\[ V(Y_j) \;=\; a_j^T\, (\lambda_j \, a_j) \;=\; \lambda_j \, a_j^T\, a_j \]

y dado que:

\[ a_j^T \, a_j \;=\; 1 \]

se obtiene:

\[ V(Y_j)\;=\;\lambda_j \]

Por tanto:

• cada valor propio representa la varianza explicada por una componente principal,

• y cada vector propio define la dirección principal correspondiente.

En consecuencia, las componentes principales vienen dadas por:

\[ Y_j\;=\;a_j^T X, \quad j=1,\ldots,K \]

3.0.5 Paso 5: Selección de componentes principales

Una vez obtenidas las componentes principales, se seleccionan aquellas que expliquen una proporción suficientemente alta de la variabilidad total del conjunto de datos.

Algunos criterios habitualmente utilizados son:

• Retener las componentes necesarias para alcanzar un porcentaje acumulado de varianza explicada (por ejemplo, 70%, 80% o 90%).

• Utilizar el criterio de Kaiser, el cual sugiere conservar únicamente las componentes cuyos valores propios satisfacen:

\[ \lambda_j > 1 \]

• Analizar visualmente el gráfico Scree Plot para identificar el punto de inflexión a partir del cual los valores propios decrecen lentamente.

Observación 5.1:

Los valores propios

\[ \lambda_1,\, \lambda_2,\, \ldots,\, \lambda_K \]

representan la cantidad de variabilidad explicada por cada componente principal.

Observación 5.2:

Los valores propios asociados a las componentes principales corresponden a sus respectivas varianzas. Es decir:

\[ V(Y_j)\;=\; \lambda_j, \quad j=1,2,\ldots,K \]

Observación 5.3:

Los valores propios se ordenan de mayor a menor:

\[ \lambda_1 \;\geq\; \lambda_2 \;\geq\; \cdots \;\geq\; \lambda_K \]

Por consiguiente, las primeras componentes principales concentran la mayor parte de la variabilidad total del conjunto de datos.

Observación 5.4:

La proporción de varianza explicada por la componente principal \(j\) se calcula mediante:

\[ \frac{\lambda_j}{\sum\limits_{k=1}^{K}\lambda_k} \]

mientras que la proporción acumulada de varianza explicada viene dada por:

\[ \frac{\sum\limits_{j=1}^{m}\lambda_j} {\sum\limits_{k=1}^{K}\lambda_k} \]

donde \(m\) representa el número de componentes principales retenidas.

3.0.6 Paso 6: Proyección de los datos

Las observaciones originales se proyectan sobre las nuevas direcciones definidas por los vectores propios asociados a las componentes principales.

Si:

• \(x_i\) representa la observación \(i\), con \(i=1,2,\ldots,n\)

• y \(a_j\) representa el vector propio asociado a la componente principal \(j\), con \(j=1,2,\ldots,K\)

entonces la coordenada proyectada viene dada por:

\[ y_{ij}=a_j^T x_i \]

donde \(y_{ij}\) representa la coordenada de la observación \(i\) sobre la componente principal \(j\).

En forma matricial:

\[ Y = XA \]

donde:

\[ X\; =\; \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K}\\ x_{21} & x_{22} & \cdots & x_{2K}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n1} & x_{n2} & \cdots & x_{nK} \end{bmatrix} \]

corresponde a la matriz de datos originales, con:

• \(n\) observaciones (filas),

• y \(K\) variables originales (columnas).

La matriz de vectores propios viene dada por:

\[ A\; =\; \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1K}\\ a_{21} & a_{22} & \cdots & a_{2K}\\ \vdots & \vdots & \ddots & \vdots\\ a_{K1} & a_{K2} & \cdots & a_{KK} \end{bmatrix} \; =\; \begin{bmatrix} a_1 & a_2 & \cdots & a_K \end{bmatrix} \]

donde cada columna \(a_j\) corresponde al vector propio asociado a la componente principal \(j\).

Finalmente, la matriz proyectada viene dada por:

\[ Y\; =\; \begin{bmatrix} y_{11} & y_{12} & \cdots & y_{1K}\\ y_{21} & y_{22} & \cdots & y_{2K}\\ \vdots & \vdots & \ddots & \vdots\\ y_{n1} & y_{n2} & \cdots & y_{nK} \end{bmatrix} \]

donde:

\[ y_{ij}=a_j^T x_i \]

representa la coordenada de la observación \(i\) proyectada sobre la componente principal \(j\).

3.0.7 Paso 7: Visualización e interpretación

Finalmente, los datos proyectados sobre las componentes principales pueden visualizarse para:

• identificar patrones,

• detectar agrupamientos,

• analizar relaciones entre variables,

• explorar redundancias,

• y describir la estructura general del conjunto de datos.

En muchos casos, las primeras dos componentes principales permiten representar adecuadamente gran parte de la variabilidad total mediante gráficos bidimensionales.

4 Propiedades según la matriz de varianzas y covarianzas

4.0.1 Propiedades básicas

Propiedad 1:

La influencia de la variable original \(X_k\) sobre la componente principal \(Y_j\) está determinada por la magnitud del coeficiente \(a_{jk}\).

En general:

• valores grandes de \(|a_{jk}|\) indican una mayor contribución de la variable \(X_k\) a la componente principal \(Y_j\),

• mientras que valores cercanos a cero indican una contribución reducida.

Propiedad 2:

Recordemos que la matriz de covarianzas viene dada por:

\[ \Sigma= \begin{bmatrix} Cov(X_1,X_1) & Cov(X_1,X_2) & \cdots & Cov(X_1,X_K)\\ Cov(X_2,X_1) & Cov(X_2,X_2) & \cdots & Cov(X_2,X_K)\\ \vdots & \vdots & \ddots & \vdots\\ Cov(X_K,X_1) & Cov(X_K,X_2) & \cdots & Cov(X_K,X_K) \end{bmatrix} \]

Por tanto:

\[ Cov(X_k,X) = \begin{bmatrix} Cov(X_k,X_1)\\ Cov(X_k,X_2)\\ \vdots\\ Cov(X_k,X_K) \end{bmatrix} \]

contiene las covarianzas entre la variable \(X_k\) y cada una de las variables originales. Teniendo en cuentqa llo anterior y utilizando la linealidad de la covarianza, la covarianza entre la variable original \(X_k\) y la componente principal \(Y_j\) viene dada por:

\[ Cov(X_k,Y_j) \;=\; Cov(X_k,\; a_j^T\, X) \;=\; \sum_{i=1}^{K}a_{ij} \, Cov(X_k,X_i) \;=\; Cov(X_k,X)^T a_j \]

Por consiguiente:

\[ Cov(X_k,Y_j) \;=\; \begin{bmatrix} Cov(X_k,X_1) & Cov(X_k,X_2) & \cdots & Cov(X_k,X_K) \end{bmatrix} \, a_j \]

Ahora, recordemos que:

\[ \Sigma\, a_j\;=\;\lambda_j \,a_j \]

Por tanto, la \(k\)-ésima entrada del vector \(\Sigma a_j\) viene dada por:

\[ \sum_{i=1}^{K}Cov(X_k,X_i)\, a_{ij} \;=\; \lambda_j \, a_{kj} \]

Luego:

\[ Cov(X_k,Y_j) \;=\; \lambda_j \, a_{kj} \]

Propiedad 3:

Sabemos que:

\[ V(AX)=A\,V(X)\,A^T \]

o equivalentemente, para vectores columna:

\[ V(a_j^T X)=a_j^T\,V(X)\,a_j \]

Por consiguiente, la varianza de la componente principal \(Y_k\) viene dada por:

\[ V(Y_j) \;=\; V(a_j^T X) \;=\; a_j^T\, V(X)\, a_j \;=\; a_j^T\, \Sigma\, a_j \;=\; a_j^T\, \lambda_j \, a_j \;=\; \lambda_j (a_j^T\, a_j) \;=\; \lambda_j \]

Por tanto, cada valor propio \(\lambda_j\) representa la varianza explicada por la correspondiente componente principal.

Propiedad 4:

Para todo \(j\neq \ell\), las componentes principales \(Y_j\) y \(Y_\ell\) son incorreladas. Es decir:

\[ Cov(Y_j,Y_\ell)=0 \]

Esta propiedad garantiza que cada componente principal aporta información nueva no contenida en las demás componentes principales.

Propiedad 5:

Los vectores propios asociados a valores propios distintos son ortogonales entre sí. Es decir, para todo \(j\neq s\):

\[ a_j^T\, a_s=0 \]

Sabemos que:

\[ Y_j\; =\; a_j^T\, X \quad\mbox{y}\quad Y_s\; =\;a_s^T\, X \]

Teniendo en cuenta que \[ Cov(AU,BW) \, =\; A\,Cov(U,W)\,B^T \]

donde:

• \(U\) y \(W\) son vectores aleatorios,

• \(A\) y \(B\) son matrices de constantes,

entonces:

\[ Cov(Y_j,Y_s) \;=\; Cov(a_j^T\, X, \; a_s^T\, X) \;=\; a_j^T\, Cov(X,X) \, a_s \;=\; a_j^T\, \Sigma \, a_s \;=\; a_j^T\,\lambda_\ell a_s \;=\; \lambda_s a_j^Ta_s \;=\; 0 \]

debido a la ortogonalidad entre los vectores propios.

Propiedad 6:

Todas las componentes principales pueden expresarse matricialmente como:

\[ Y\;=\;XA \]

donde:

\[ Y\;=\; \begin{bmatrix} y_{11} & y_{12} & \cdots & y_{1K}\\ y_{21} & y_{22} & \cdots & y_{2K}\\ \vdots & \vdots & \ddots & \vdots\\ y_{n1} & y_{n2} & \cdots & y_{nK} \end{bmatrix} \]

es la matriz de datos proyectados,

\[ X\;=\; \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K}\\ x_{21} & x_{22} & \cdots & x_{2K}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n1} & x_{n2} & \cdots & x_{nK} \end{bmatrix} \]

es la matriz de datos originales, y

\[ A\;=\; \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1K}\\ a_{21} & a_{22} & \cdots & a_{2K}\\ \vdots & \vdots & \ddots & \vdots\\ a_{K1} & a_{K2} & \cdots & a_{KK} \end{bmatrix} \;=\; \begin{bmatrix} a_1 & a_2 & \cdots & a_K \end{bmatrix} \]

es la matriz cuyos vectores columna corresponden a los vectores propios asociados a las componentes principales.

Propiedad 7:

La matriz de covarianzas de las componentes principales viene dada por:

\[ \Lambda \;=\; V(Y) \;=\; V(XA) \;=\; A^T\, V(X)\, A \;=\; A^T\, \Sigma \, A \]

donde:

\[ \Lambda\;=\; \begin{bmatrix} \lambda_1 & 0 & \cdots & 0\\ 0 & \lambda_2 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots\\ 0 & 0 & \cdots & \lambda_K \end{bmatrix} \]

es una matriz diagonal cuyos elementos diagonales corresponden a los valores propios de \(\Sigma\).

La diagonalidad de \(\Lambda\) refleja que las componentes principales son incorreladas entre sí.

Interpretación geométrica profunda

Antes de aplicar PCA, la matriz de covarianzas:

\[ \Sigma= \begin{bmatrix} \sigma_1^2 & cov_{12}\\ cov_{21} & \sigma_2^2 \end{bmatrix} \]

presenta elementos fuera de la diagonal distintos de cero. Esto indica que las variables originales están correlacionadas entre sí.

Geométricamente:

• las variables contienen información redundante,

• la nube de datos aparece inclinada respecto a los ejes originales,

• y existe dependencia lineal entre las variables.

Después de aplicar PCA, la matriz de covarianzas de las componentes principales toma la forma:

\[ \Lambda= \begin{bmatrix} \lambda_1 & 0\\ 0 & \lambda_2 \end{bmatrix} \]

Ahora:

• las covarianzas fuera de la diagonal desaparecen,

• las componentes principales son incorreladas entre sí,

• la nube de datos queda alineada con los nuevos ejes principales,

• y la variabilidad de los datos queda desacoplada en direcciones ortogonales.

En consecuencia, PCA transforma un sistema de variables correlacionadas en un nuevo sistema de variables incorreladas, facilitando la interpretación y reducción de dimensionalidad.

Propiedad 8:

La matriz \(A\) es ortogonal porque sus columnas forman un conjunto ortonormal de vectores propios. Es decir:

\[ a_i^Ta_j= \begin{cases} 1, & i=j\\ 0, & i\neq j \end{cases} \]

Esto significa que cada vector propio tiene norma igual a 1 y que vectores propios distintos son ortogonales entre sí.

Por tanto:

\[ A^TA=AA^T=I_K \]

donde:

\[ I_K= \begin{bmatrix} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots\\ 0 & 0 & \cdots & 1 \end{bmatrix} \]

corresponde a la matriz identidad de dimensión \(K\times K\).

Propiedad 9:

Teniendo en cuenta las propiedades anteriores, la matriz de covarianzas puede descomponerse como:

\[ \Sigma\; =\; A\, \Lambda \, A^T \]

Esta descomposición espectral expresa la matriz de covarianzas original en función de:

• sus vectores propios (contenidos en la matriz \(A\)),

• y sus valores propios (contenidos en la matriz diagonal \(\Lambda\)).

Geométricamente, esta descomposición representa una rotación del sistema de coordenadas original hacia un nuevo sistema definido por las componentes principales.

En este nuevo sistema:

• las componentes principales quedan incorreladas entre sí,

• la matriz de covarianzas se vuelve diagonal,

• y la variabilidad de los datos queda distribuida a lo largo de direcciones ortogonales.

Además, los valores propios de \(\Lambda\) indican la cantidad de varianza explicada por cada componente principal.

4.0.2 Porcentajes de variabilidad

Propiedad 10:

La varianza total de las componentes principales corresponde a la suma de todos los valores propios, es decir, a la traza de la matriz diagonal \(\Lambda\):

\[ \mbox{Varianza total} \; =\; \sum_{j=1}^{K}V(Y_j) \; =\; \sum_{j=1}^{K}\lambda_j \; =\; \mbox{traza}(\Lambda) \]

Propiedad 11:

Teniendo en cuenta las propiedades anteriores:

\[ \Lambda\; =\;A^T\, \Sigma \, A \]

y

\[ A\, A^T\; =\;I_K \]

además de las propiedades del operador traza, se tiene que:

\[ \mbox{traza}(\Lambda) \; =\; \mbox{traza}(A^T\Sigma A) \; =\; \mbox{traza}(\Sigma A A^T) \; =\; \mbox{traza}(\Sigma) \]

Por tanto, la varianza total de las componentes principales coincide con la varianza total de las variables originales.

Propiedad 12:

La suma de las varianzas de las variables originales es igual a la suma de las varianzas de las componentes principales:

\[ \mbox{Varianza total} \; =\; \mbox{traza}(\Lambda) \; =\; \mbox{traza}(\Sigma) \; =\; \sum_{k=1}^{K}Var(X_k) \]

Propiedad 13:

La proporción de varianza total explicada por la componente principal \(Y_j\) viene dada por:

\[ \mbox{Prop.}\;V(Y_j) \; =\; \frac{\lambda_j}{\mbox{Varianza total}} \]

Si se multiplica por 100, se obtiene el porcentaje de variabilidad explicado por dicha componente principal.

Propiedad 14:

La proporción acumulada de varianza explicada por las primeras \(J\) componentes principales viene dada por:

\[ \mbox{Prop.}\;V(Y_{1\to J}) \; =\; \frac{\sum\limits_{j=1}^{J}\lambda_j} {\mbox{Varianza total}} \]

donde:

\[ J<K \]

Si se multiplica por 100, se obtiene el porcentaje acumulado de variabilidad explicado por las primeras \(J\) componentes principales.

En aplicaciones prácticas, cuando inicialmente se dispone de \(K\) variables, generalmente se selecciona un número considerablemente menor de componentes principales que logren explicar una gran proporción de la variabilidad total de los datos.

En muchos casos, se procura seleccionar pocas componentes principales para facilitar tanto la interpretación como la representación gráfica de los datos.

5 Propiedades según la matriz de correlaciones

Normalmente, los componentes principales se calculan utilizando variables estandarizadas, es decir, variables con media igual a 0 y varianza igual a 1.

En este caso, los componentes principales no se obtienen a partir de la matriz de covarianzas \(\Sigma\), sino de la matriz de correlaciones \(R\).

• La matriz de covarianzas de las variables estandarizadas coincide con la matriz de correlaciones de las variables originales.

• Por tanto, las componentes principales corresponden a los vectores propios de la matriz de correlaciones.

• Este enfoque evita que variables con escalas grandes dominen el análisis únicamente debido a sus unidades de medida.

En la matriz de correlaciones:

• todos los elementos diagonales son iguales a 1,

• y los elementos fuera de la diagonal corresponden a coeficientes de correlación.

El procedimiento matemático es análogo al realizado con la matriz de covarianzas, sustituyendo \(\Sigma\) por \(R\).

Sin embargo, existen algunas diferencias importantes en la interpretación, las cuales se describen en las propiedades siguientes.

Propiedad 15:

Si las variables originales han sido tipificadas, entonces:

\[ Var(X_k)\; =\;1, \quad k=1,2,\ldots,K \]

Por tanto, la varianza total coincide con el número total de variables:

\[ \mbox{Varianza total} \; =\; \sum_{k=1}^{K}Var(X_k) \; =\; \sum_{k=1}^{K}1 \; =\; K \]

Propiedad 16:

La suma de todos los valores propios es igual a \(K\):

\[ \sum_{j=1}^{K}\lambda_j \; =\; K \]

Propiedad 17:

La proporción de varianza explicada por la componente principal \(Y_j\) viene dada por:

\[ \mbox{Prop.}\;V(Y_j) \; =\; \frac{\lambda_j}{\mbox{Varianza total}} \; =\; \frac{\lambda_j}{K} \]

Propiedad 18:

La proporción acumulada de varianza explicada por las primeras \(J\) componentes principales viene dada por:

\[ \mbox{Prop.}\;V(Y_{1\to J}) \; =\; \frac{\sum\limits_{j=1}^{J}\lambda_j} {\mbox{Varianza total}} \; =\; \frac{\sum\limits_{j=1}^{J}\lambda_j}{K} \]

Propiedad 19:

La correlación entre la variable original \(X_k\) y la componente principal \(Y_j\) viene dada por:

\[ Corr(X_k,Y_j) \; =\; \frac{Cov(X_k,Y_j)} {\sqrt{Var(X_k)}\ \sqrt{Var(Y_j)}} \; =\; \frac{a_{kj}\, \lambda_j} {\sqrt{\sigma^2 _{k}} \; \sqrt{\lambda_j}} \;=\; \frac{a_{kj}\, \sqrt{\lambda_j}} {\sigma_{k}} \]

donde:

• \(a_{kj}\) corresponde al coeficiente de la variable \(X_k\) en la componente principal \(Y_j\),

• \(\lambda_j\) es el valor propio asociado a la componente principal \(Y_j\),

• y \(\sigma^2_{k}\) corresponde a la varianza de la variable original \(X_k\).

Propiedad 20:

En el caso de variables estandarizadas:

\[ \sigma_{k}\; =\;1 \]

y por tanto:

\[ Corr(X_k,Y_j) \; =\; a_{kj} \, \sqrt{\lambda_j} \]

Esta correlación indica el grado de asociación entre la variable original y la correspondiente componente principal.

Propiedad 21:

Frecuentemente, los coeficientes de los vectores propios se ajustan teniendo en cuenta la variabilidad explicada por cada componente principal. Para ello, se multiplican por la raíz cuadrada del valor propio correspondiente:

\[ a_{kj}^* = a_{kj}\sqrt{\lambda_j} \]

Estas cantidades reciben el nombre de cargas (loadings) y permiten medir el grado de asociación entre la variable original \(X_k\) y la componente principal \(Y_j\).

En consecuencia:

• componentes principales con mayor varianza explicada producen cargas más grandes,

• mientras que componentes con baja variabilidad reducen la magnitud de las cargas.

Por esta razón, las cargas permiten interpretar simultáneamente:

• la dirección del componente principal,

• y su importancia en términos de variabilidad explicada.

Ejemplo sencillo

Supongamos que para la componente principal \(Y_1\) se obtiene:

\[ a_{1}\; =\; \begin{bmatrix} a_{11}\\ a_{21} \end{bmatrix} \;=\; \begin{bmatrix} 0.8\\ 0.6 \end{bmatrix} \]

y que el valor propio asociado es:

\[ \lambda_1=9 \]

Entonces:

\[ \sqrt{\lambda_1}=\sqrt{9}=3 \]

Las cargas (loadings) se calculan como:

\[ a_{k1}^* = a_{k1}\sqrt{\lambda_1} \]

Por tanto:

\[ a_{11}^* = 0.8(3) = 2.4 \]

y

\[ a_{21}^* = 0.6(3) = 1.8 \]

En consecuencia, las cargas asociadas a la primera componente principal son:

\[ a_{1}^*\; =\; \begin{bmatrix} a_{11}^*\\ a_{21}^* \end{bmatrix} \;=\; \begin{bmatrix} 2.4\\ 1.8 \end{bmatrix} \]

Interpretación:

• la variable \(X_1\) tiene una asociación más fuerte con la componente principal \(Y_1\),

• mientras que \(X_2\) también contribuye, aunque en menor magnitud.

Además, el valor propio grande (\(\lambda_1=9\)) indica que esta componente principal explica una gran cantidad de variabilidad en los datos.

6 Selección del número de componentes principales

La elección del número de componentes principales se basa en criterios empíricos que consideran la proporción de variabilidad que se desea conservar. No existe una regla única y universalmente aceptada para decidir cuántas componentes principales son suficientes. Por esta razón, suelen utilizarse varios criterios complementarios.

6.0.1 Primera forma: Porcentaje de varianza explicada

Se selecciona un número \(J<K\) de componentes principales cuando las primeras \(J\) componentes explican una proporción suficientemente alta de la variabilidad total:

\[ \mbox{Prop.}\;V(Y_{1\to J}) = \frac{\sum_{j=1}^{J}\lambda_j} {\sum_{j=1}^{K}\lambda_j} \]

En este caso:

• La idea es elegir el menor número de componentes principales que permita conservar una proporción alta de la información original, por ejemplo, 70%, 80%, 90% o 95%, según el contexto del análisis.

De esta manera, las variables originales \(X_1,X_2,\ldots,X_K\) pueden resumirse mediante un número menor de componentes principales \(Y_1,Y_2,\ldots,Y_J\), conservando la mayor parte de la variabilidad total de los datos.

6.0.2 Segunda forma: Valores propios

Cuando se utiliza la matriz de correlaciones, los valores propios también pueden emplearse para decidir cuántas componentes principales conservar.

• Un criterio frecuente es el criterio de Kaiser, según el cual se retienen las componentes principales con valores propios mayores que 1:

\[ \lambda_j>1 \]

La razón es que, en datos estandarizados, cada variable original tiene varianza igual a 1. Por tanto, una componente con \(\lambda_j>1\) explica más variabilidad que una variable original individual.

Este criterio debe usarse principalmente cuando el PCA se realiza sobre la matriz de correlaciones o sobre datos estandarizados.

6.0.3 Tercera forma: Métodos gráficos

Un método gráfico común consiste en analizar el Scree Plot. Este gráfico presenta las componentes principales en el eje horizontal y sus valores propios, o la proporción de varianza explicada, en el eje vertical.

• El criterio consiste en identificar el punto de inflexión o “codo” de la curva. A partir de ese punto, los incrementos en varianza explicada suelen ser pequeños, por lo que añadir más componentes aporta poca información adicional.

En la figura 6.1, se observa que la proporción de varianza explicada acumulada aumenta rápidamente con las primeras componentes y luego tiende a estabilizarse. En este caso, una elección razonable podría ser conservar las primeras tres componentes principales, ya que explican aproximadamente el 95% de la variabilidad acumulada.

Figure 6.1: Scree Plot: varianza explicada acumulada

7 Interpretación de las componentes principales

Primera interpretación.

• Cuando las variables originales presentan fuertes correlaciones positivas entre sí, la primera componente principal suele presentar coeficientes del mismo signo en su vector propio asociado.

• En este caso, la primera componente principal puede interpretarse como una combinación ponderada de todas las variables originales.

• Geométricamente, esta componente representa la dirección de máxima variabilidad común compartida por las variables. Por esta razón, frecuentemente se interpreta como un factor global de tamaño, intensidad o magnitud general.

Segunda interpretación.

Las componentes principales restantes suelen presentar coeficientes positivos y negativos en sus vectores propios asociados.

• La presencia de signos opuestos indica que estas componentes principales establecen contrastes entre grupos de variables.

Por ejemplo, una componente principal de la forma:

\[ Y_j=0.8X_1+0.7X_2-0.6X_3 \]

indica que las variables \(X_1\) y \(X_2\) contribuyen en una dirección, mientras que \(X_3\) contribuye en dirección opuesta.

En consecuencia:

• variables con coeficientes del mismo signo tienden a variar conjuntamente,

• mientras que variables con signos opuestos representan comportamientos contrastantes.

Por esta razón:

• Estas componentes principales suelen interpretarse como factores de contraste o de forma, ya que describen diferencias relativas entre variables más que una magnitud global común.

• Estas componentes permiten identificar patrones estructurales, relaciones de oposición o diferencias relativas entre subconjuntos de variables originales.

Tercera interpretación.

En general, la interpretación de una componente principal se realiza analizando:

• la magnitud de los coeficientes (o cargas),

• los signos de dichos coeficientes,

• y la proporción de varianza explicada por la componente principal.

Variables con cargas grandes en magnitud son las que más contribuyen a la definición e interpretación de la componente principal correspondiente.

Además:

• coeficientes con el mismo signo indican asociaciones en una misma dirección,

• mientras que coeficientes con signos opuestos reflejan relaciones de contraste entre variables.

8 Ejemplo 1: PCA aplicado a una distribución normal tridimensional

En este ejemplo consideramos una distribución normal tridimensional con vector de medias:

\[ \mu= \begin{bmatrix} 0\\ 5\\ 2 \end{bmatrix} \]

y matriz de covarianzas:

\[ \Sigma= \begin{bmatrix} 25 & -1 & 7\\ -1 & 4 & -4\\ 7 & -4 & 10 \end{bmatrix} \]

La matriz de covarianzas indica que:

• las variables presentan diferentes niveles de variabilidad,

• y además existe correlación entre algunas de ellas.

Geométricamente, esto implica que la nube de datos no será esférica, sino alargada en ciertas direcciones preferenciales.

Bajo estas condiciones, el diagrama de dispersión tridimensional se muestra en la figura 8.1.

Figure 8.1: Distribución normal tridimensional

Obsérvese que:

• la nube de datos presenta una dirección dominante de dispersión,

• lo cual sugiere la existencia de correlaciones entre variables,

• y motiva la aplicación de PCA para identificar las direcciones principales de variabilidad.

Después de aplicar PCA, los datos son proyectados sobre los nuevos ejes ortogonales definidos por las componentes principales.

En la figura 8.2, se muestran las proyecciones correspondientes sobre los distintos pares de componentes principales.

Figure 8.2: Proyecciones de una distribución normal tridimensional

Obsérvese que:

1. En las proyecciones que involucran la primera componente principal \(Y_1\), la nube de datos presenta la mayor dispersión. Esto indica que \(Y_1\) concentra la mayor parte de la variabilidad total de los datos.

2. Las proyecciones asociadas a la segunda componente principal \(Y_2\) muestran una dispersión menor que las correspondientes a \(Y_1\). Esto refleja que \(Y_2\) recoge la mayor parte de la variabilidad restante no explicada por \(Y_1\).

3. Las proyecciones que involucran la tercera componente principal \(Y_3\) presentan una menor elongación y dispersión, indicando que esta componente explica una proporción menor de variabilidad.

4. Las componentes principales resultantes son incorreladas entre sí, razón por la cual las nubes de puntos aparecen alineadas con los nuevos ejes coordenados.

5. PCA rota el sistema de coordenadas original hacia nuevas direcciones ortogonales que describen más eficientemente la estructura de variabilidad de los datos.

6. La elongación observada en cada proyección refleja directamente la cantidad de varianza explicada por las componentes principales involucradas.

9 Ejemplo 2: Datos survey

9.0.1 Enunciado

Los datos se recogieron aplicando una encuesta a una muestra de estudiantes universitarios. Es un data frame con 800 observaciones y 66 variables. Con estos datos llevaremos a cabo un PCA.

library(lsm)
datosCompleto <- lsm::survey

names(datosCompleto)

##  [1] "Observation"  "ID"           "Gender"       "Like"         "Age"         
##  [6] "Smoke"        "Height"       "Weight"       "BMI"          "School"      
## [11] "SES"          "Enrollment"   "Score"        "MotherHeight" "MotherAge"   
## [16] "MotherCHD"    "FatherHeight" "FatherAge"    "FatherCHD"    "Status"      
## [21] "SemAcum"      "Exam1"        "Exam2"        "Exam3"        "Exam4"       
## [26] "ExamAcum"     "Definitive"   "Expense"      "Income"       "Gas"         
## [31] "Course"       "Law"          "Economic"     "Race"         "Region"      
## [36] "EMO1"         "EMO2"         "EMO3"         "EMO4"         "EMO5"        
## [41] "GOAL1"        "GOAL2"        "GOAL3"        "Pre_STAT1"    "Pre_STAT2"   
## [46] "Pre_STAT3"    "Pre_STAT4"    "Post_STAT1"   "Post_STAT2"   "Post_STAT3"  
## [51] "Post_STAT4"   "Pre_IDARE1"   "Pre_IDARE2"   "Pre_IDARE3"   "Pre_IDARE4"  
## [56] "Pre_IDARE5"   "Post_IDARE1"  "Post_IDARE2"  "Post_IDARE3"  "Post_IDARE4" 
## [61] "Post_IDARE5"  "PSICO1"       "PSICO2"       "PSICO3"       "PSICO4"      
## [66] "PSICO5"

Se resalta que sólo algunos de estos individuos y variables se utilizarán para realizar el análisis de componentes principales.

dat <- datosCompleto[1:23, 21:30]
attach(dat)
head(dat,4) 

SemAcum	Exam1	Exam2	Exam3	Exam4	ExamAcum	Definitive	Expense	Income	Gas
4.25	1.5	5.0	5.0	4.5	16.0	4.000	48.9	1.61	27.45
2.80	2.3	4.9	3.7	3.3	14.2	3.550	72.1	2.07	24.17
4.15	3.4	3.6	2.0	1.9	10.9	2.725	85.2	2.84	22.27
3.20	2.5	4.2	5.0	2.5	14.2	3.550	56.6	1.55	23.08

9.0.2 Solución.

La solución se puede revisar haciendo click aquí.

10 Tópicos sumplementarios

No hacer click aquí: Pendiente

11 Ejercicios

Pendiente

Bibliografía

Consultar el documento RPubs :: Análisis multivariado (bibliografía).

 

 

If you found any ERRORS or have SUGGESTIONS, please report them to my email. Thanks.