• Distancia euclídeana

La distancia euclidiana entre dos puntos p y q se define como la longitud del segmento que une ambos puntos. En coordenadas cartesianas, la distancia euclidiana se calcula empleando el teorema de Pitágoras. Por ejemplo, en un espacio de dos dimensiones en el que cada punto está definido por las coordenadas (x,y), la distancia euclidiana entre p y q viene dada por la ecuación:

\[ d_{ec}(p,q)=\sqrt{\displaystyle\sum_{i=1}^n (p_{i}-q_{i})^2} \]

Una forma de dar mayor peso a aquellas observaciones que está más alejadas es emplear la distancia e euclidiana al cuadrado. En el caso del clustering, donde se busca agrupar observaciones que minimicen la distancia, esto se traduce en una mayor influencia de aquellas observaciones que están más distantes.

Distancia euclideana.

La imagen muestra el perfil de dos observaciones definidas por 10 variables (espacio con 10 dimensiones). La distancia euclídeana entre las dos observaciones equivale a la raíz cuadrada de la suma de las longitudes de los segmentos rojos que unen cada par de puntos. Tiene en cuenta por lo tanto el desplazamiento individual de cada una de las variables. (Amat 2017)

• Distancia de Manhattan

La distancia de Manhattan, define la distancia entre dos puntos p y q como el sumatorio de las diferencias absolutas entre cada dimensión. Esta medida se ve menos afectada por outliers (es más robusta) que la distancia euclídea debido a que no eleva al cuadrado las diferencias.

Comparacion entre la distancia euclideana y la distancia de manhattan.

La imagen muestra una comparación entre la distancia euclídeana (segmento azul) y la distancia de manhattan (segmento rojo y verde) en un espacio bidimensional. Existen múltiples caminos para unir dos puntos con el mismo valor de distancia de manhattan, ya que su valor es igual al desplazamiento total en cada una de las dimensiones. (Amat 2017)

Calculo de la matriz de distancia en R

Sintaxis:

dist.eucl <- dist (df.scaled, method = "euclidean" )

En donde dist.eucl, es el nombre del objeto en el cual se almacenará la matriz de distancia.

Función dist: Es una función de R que nos sirve para calcular y visualizar matrices de distancia.

Argumentos:

Los argumentos que necesita la función dist, es el nombre de la data estandarizada, y el método que se usará para medir la distancia, tenga en cuenta que los valores permitidos para el método de opción incluyen: “euclidean,” “maximum,” “manhattan,” “canberra,” “binary,” “minkowski” (Kassambara 2017).

Ejemplo de una matriz de distancia.

En la matriz de distancia, cada valor representa la distancia entre objetos. Los valores en la diagonal de la matriz representan la distancia entre los objetos y ellos mismos (que son cero).

Se observa en la matriz de distancias cuales son los objetos más similares, en este ejemplo son el A y B que tienen la distancia menor (1). (Granada 2015)

Distancias basadas en correlación:

La correlación es una medida de distancia muy útil cuando la definición de similitud se hace en términos de patrón o forma y no de desplazamiento o magnitud. Si se emplea como medida de similitud 1 menos el valor de la correlación, ambas observaciones se consideran idénticas (su distancia es 0).

\[ d_{cor}(p,q)=1−correlacion(p,q) \]

Donde la correlación puede ser de distintos tipos (Pearson, Spearman, Kendall, eisen.)

Comparación entre entre 3 observaciones.

En la imagen se muestra el perfil de 3 observaciones. Acorde a la distancia euclídeana, las observaciones b y c son las más similares, mientras que acorde a la correlación de Pearson, las observaciones más similares son a y b. (Amat 2017)

•El análisis de correlación de Pearson es el método más utilizado. También se conoce como correlación paramétrica que depende de la distribución de los datos. La correlación de Pearson es bastante sensible a los valores atípicos.

•Las correlaciones de Kendall y Spearman no son paramétricas y se utilizan para realizar análisis de correlación basados en rangos.

La elección de las medidas de distancia es muy importante, ya que tiene una fuerte influencia en los resultados de agrupamiento. Para el software de agrupamiento más común, la medida de distancia predeterminada es la distancia euclidiana.

Dependiendo del tipo de datos y las preguntas del investigador, otras diferencias Se pueden preferir medidas, por ejemplo, la distancia basada en correlación se usa a menudo en análisis de datos de expresión génica (Kassambara 2017).

library("factoextra")
dist.cor <- get_dist(df.scaled, method = "pearson")

Calcular distancias para datos mixtos

La función daisy() [paquete de clúster] proporciona una solución (métrica de Gower) para calcular la matriz de distancia, en la situación en la que los datos no contienen columnas numéricas.

library(cluster)
dd <- daisy(df)

Argumentos:

En donde dd, es el nombre del objeto en el cual se almacenará la matriz de distancia.

De forma simplificada el único argumento que utiliza la función Daisy, es el nombre de la data, la cual no contienen columnas numéricas.

De igual forma al ejecutar dicho codigo se obtiene una matriz semejante a la del ejemplo anterior, la cual se interpreta de la misma forma (Kassambara 2017).

Visualización de matrices de distancia

Una solución simple para visualizar las matrices de distancia es usar la función fviz_dist ()[paquete factoextra]

library(factoextra) 
fviz_dist (dist.eucl)

En donde dist.eucl, es el nombre del objeto en el cual se almacenó anteriormente la matriz de distancia (Kassambara 2017).

Uso de fviz_dist, con todos sus argumentos

fviz_dist(
dist.obj,
order = TRUE,
show_labels = TRUE,
lab_size = NULL,
gradient = list(low = "red", mid = "white", high = "blue")
)

Argumentos:

•dist.obj: un objeto de clase “dist” generado por la función dist () o get_dist ().

•Order: valor lógico. Si es VERDADERO, se muestra la imagen de disimilitud ordenada (ODI).

•show_labels: valor lógico. Si es VERDADERO, se muestran las etiquetas.

•lab_size: el tamaño de las etiquetas.

•gradient: una lista que contiene tres elementos que especifican los colores para los valores bajo, medio y alto en la imagen de disimilitud ordenada. (RDocumentation, n.d.a)

Visualización gráfica de una matriz de distancia

La visualización grafica de una matriz de distancia nos permite oberservar con ligereza y a grandes rasgos, entre que objetos hay menor o mayor distancia, en este ejemplo podemos observar que las distancias mas bajas entre los objetos , estan coloreadas con tono azul y las mas altas, con un tono rojo.

Técnicas no jerárquicas:

La agrupación de clústeres basada en particiones son métodos de agrupación que se utilizan para clasificar observaciones, dentro de un conjunto de datos, en varios grupos en función de su similitud. Los algoritmos requieren analista para especificar el número de conglomerados que se generarán. Este apartado describe la agrupación en clústeres de particiones de uso común (Kassambara 2017).

K-medias

Es el método no supervisado más utilizado algoritmo de aprendizaje automático para particionar un conjunto de datos dado en un conjunto de k grupos, donde k representa el número de grupos predefinidos por el analista antes de ejecutar del algoritmo. K-medias, encuentra los K mejores clusters, entendiendo como mejor clúster aquel cuya varianza interna, (sea lo más pequeña posible). Se trata por lo tanto de un problema de optimización, en el que se reparten las observaciones en K clusters de forma que la suma de las varianzas internas de todos ellos sea lo menor posible (Kassambara 2017).

El algoritmo de k medias es el siguiente:

1. Especificar el número K de clusters que se quieren crear.
2. Seleccionar de forma aleatoria k observaciones del set de datos como centroides iniciales.
3. Asignar cada una de las observaciones al centroide más cercano.
4. Para cada uno de los K clusters recalcular su centroide.
5. Repetir los pasos 3 y 4 hasta que las asignaciones no cambien o se alcance el número máximo de iteraciones establecido.

Este algoritmo garantiza que, en cada paso, se reduzca la intra-varianza total de los clusters hasta alcanzar un óptimo local.

Resutado de la aplicación del algoritmo de k medias

Paquetes y funciones de R requeridos, para k medias.

La función R estándar para la agrupación en clústeres de k-medias es kmeans () [paquete stats], su sintaxis es:

kmeans(x, centers, iter.max = 10, nstart = 1)

•x: matriz numérica, marco de datos numéricos o un vector numérico.

•Centers: los valores posibles son el número de grupos (k) o un conjunto de grupos iniciales (distintos) centros de clúster. Si es un número, un conjunto aleatorio de filas (distintas) en x se elige como los centros iniciales.

•iter.max: el número máximo de iteraciones permitidas. El valor predeterminado es 10.

•nstart: el número de particiones iniciales aleatorias cuando los centros son un número. A menudo se recomienda probar nstart> 1 (Kassambara 2017).

La función kmeans () devuelve una lista de componentes, que incluyen:

cluster: un vector de números enteros (de 1: k) que indica el clúster al que cada se asigna el punto

centers: una matriz de centros de conglomerados (medias de conglomerados)

totss: La suma total de cuadrados (TSS), es decir, q ( x i ≠ ¯ x ) 2 . TSS mide el total varianza en los datos.

withinss: Vector de suma de cuadrados dentro del conglomerado, un componente por conglomerado

tot.withinss: suma total de cuadrados dentro del conglomerado, es decir, suma (sin inserciones

betweenss: La suma entre-clúster de cuadrados, es decir totss ≠ tot.withinss

size: el número de observaciones en cada grupo .

Se puede acceder a cada uno de estos componentes utilizando el nombre del objeto creado con la función kmeans, seguido de un signo de dólar ($) y el nombre del componente que se desea extraer o visualizar (Kassambara 2017).

Estimación del número óptimo de clúster k-medias

La agrupación en clústeres de k-means requiere que los usuarios especifiquen el número de clústeres que se generarán, una pregunta fundamental es: cómo elegir el número correcto de clústeres.

La función R fviz_nbclust () [en el paquete factoextra ] proporciona una solución conveniente para estimar el número óptimo de clusters, determina y visualiza el número óptimo de conglomerados usando diferentes métodos: dentro de los clusters , sumas de cuadrados, silueta promedio y estadísticas de brechas (Kassambara 2017).

Uso de la función fviz_nbclust ()

fviz_nbclust(
 x,
 FUNcluster = NULL,
method = c("silhouette", "wss", "gap_stat"),
 diss = NULL,
k.max = 10,
nboot = 100,
verbose = interactive(),
barfill = "steelblue",
barcolor = "steelblue",
linecolor = "steelblue",
print.summary = TRUE
)

x: matriz numérica o marco de datos. En la función fviz_nbclust (), x puede ser el resultado de la función NbClust ().

FUNcluster: una función de partición que acepta como primer argumento una matriz (de datos) como x, segundo argumento, digamos k, k> = 2, el número de clúster deseados, y devuelve una lista con un componente llamado clúster, que contiene el agrupamiento de observaciones. Los valores permitidos incluyen: kmeans, clúster :: pam, clúster :: clara, clúster :: fanny, hcut, etc. Este argument

method: el método que se utilizará para estimar el número óptimo de conglomerados. Los valores posibles son “silueta” (para el ancho medio de la silueta), “wss” (para el total dentro de la suma del cuadrado) y “gap_stat” (para las estadísticas de espacios).o no es necesario cuando x es una salida de la función NbClust::NbClust().

diss: objeto dist producido por dist (), es decir: , diss = dist(x, method = “euclidean”)Se utiliza para calcular el ancho de silueta promedio de los conglomerados, la suma interna de los conglomerados cuadrados y jerárquicos. Si es NULL, dist (x) se calcula con el método predeterminado = “euclidiana”

k.max: el número máximo de clústeres a considerar debe ser al menos dos.

nboot: entero, número de muestras de Monte Carlo (“bootstrap”). Se utiliza solo para determinar el número de conglomerados mediante la estadística de brechas.

verbose: valor lógico. Si es TRUE, se imprime el resultado del progreso. barfill, barcolor: color de relleno y color de contorno para barras

linecolor: color para líneas

print.summary: valor lógico. Si es verdadero, el número óptimo de clústeres se imprime en fviz_nbclust (). (RDocumentation, n.d.c)

Visualización del numero óptimo de clusters

La función R fviz_nbclust, genera un gráfico en el cual la ubicación de una curva (codo) el gráfico se considera generalmente como un indicador del número apropiado de clusters (Kassambara 2017).

fviz_cluster(
object,
data = NULL,
choose.vars = NULL,
stand = TRUE,
axes = c(1, 2),
geom = c("point", "text"),
 repel = FALSE,
 show.clust.cent = TRUE,
ellipse = TRUE,
ellipse.type = "convex",
llipse.level = 0.95,
ellipse.alpha = 0.2,
shape = NULL,
pointsize = 1.5,
labelsize = 12,
main = "Cluster plot",
xlab = NULL,
ylab = NULL,
outlier.color = "black",
outlier.shape = 19
outlier.pointsize = pointsize,
outlier.labelsize = labelsize,
ggtheme = theme_grey(),
)

library(stats)
set.seed ()
km.res <- kmeans(df, 4, nstart = 25)
print(km.res)

K-Medoides

El término medoide se refiere a un objeto dentro de un grupo para el cual la diferencia o disimilitud promedio entre él y todos los demás miembros del grupo es mínima, corresponde al punto más céntrico del grupo).

K-Medoides es un método de clustering muy similar a K-medias en cuanto a que ambos agrupan las observaciones en K clusters, donde K es un valor preestablecido por el analista. La diferencia es que, en K-Medoides, cada clúster está representado por una observación presente en el clúster (medoide), mientras que en K-medias, cada clúster está representado por su centroide, que se corresponde con el promedio de todas las observaciones del clúster pero con ninguna en particular.

Una definición más exacta del término Medoides: elemento dentro de un clúster cuya distancia (diferencia) promedio entre él y todos los demás elementos del mismo clúster es lo menor posible. Se corresponde con el elemento más central del clúster y por lo tanto puede considerarse como el más representativo. El hecho de utilizar Medoides en lugar de centroides hace de K-Medoides un método más robusto que K-means, viéndose menos afectado por outliers o ruido. A modo de idea intuitiva puede considerarse como la analogía entre media y mediana. (Amat 2017)

El algoritmo más empleado para aplicar K-Medoides se conoce como PAM (Partición alrededor de Medoides) y sigue los siguientes pasos:

1. Seleccionar K observaciones aleatorias como medoides iniciales. También es posible identificarlas de forma específica.
2. Calcular la matriz de distancia entre todas las observaciones si esta no se ha calculado anteriormente.
3. Asignar cada observación a su medoide más cercano.
4. Para cada uno de los clusters creados, comprobar si seleccionando otra observación como medoide se consigue reducir la distancia promedio del clúster, si esto ocurre, seleccionar la observación que consigue una mayor reducción como nuevo medoide.
5. Si al menos un medoide ha cambiado en el paso 4, volver al paso 3, de lo contrario, se termina el proceso

A diferencia del algoritmo K-medias, en el que se minimiza la suma total de cuadrados intra-cluster (suma de las distancias al cuadrado de cada observación respecto a su centroide), el algoritmo PAM minimiza la suma de las diferencias de cada observación respecto a su medoide.

Por lo general, el método de K-medoides se utiliza cuando se conoce o se sospecha de la presencia de outliers. Si esto ocurre, es recomendable utilizar como medida de similitud la distancia de Manhattan, ya que es menos sensible a outliers que la euclídeana. (Amat 2017)

pam(x, k, metric = "euclidean", stand = FALSE)

Estimación del número óptimo de clúster PAM

Para estimar el número óptimo de clústeres, usaremos el método de silueta promedio.

La idea es calcular el algoritmo PAM utilizando diferentes valores de los clusters k. A continuación, se dibuja la silueta de los clusters promedio de acuerdo con el número de clusters. La silueta promedio mide la calidad de un agrupamiento. Un ancho de silueta medio alto indica una buena agrupación. El número óptimo de clusters k es el que maximiza la silueta promedio en un rango de valores posibles para k

La función fviz_nbclust () [paquete factoextra] proporciona una solución conveniente para estimar el número óptimo de clústeres, dicha función se ha explicado con detalle anteriormente.

library(cluster) 
library(factoextra) 
fviz_nbclust(df, pam, method = "silhouette")+ theme_classic()

Para este caso a la función fviz_nbclust, se le ha pasado como argumento, la data estandarizada, se ha especificado la técnica a utilizar la cual es “pam” y el método para calculo óptimo de clusters que en este caso es el de silueta promedio (Kassambara 2017).

pam.res <- pam (df, 2 )

CLARA

En lugar de intentar encontrar los medoides empleando todos los datos a la vez, CLARA selecciona una muestra aleatoria de un tamaño determinado y le aplica el algoritmo de PAM (K-medoides) para encontrar los clusters óptimos acorde a esa muestra. Utilizando esos medoides se agrupan las observaciones de todo el set de datos. La calidad de los medoides resultantes se cuantifica con la suma total de las distancias entre cada observación del set de datos y su correspondiente medoide (suma total de distancias intra-clusters). CLARA repite este proceso un número predeterminado de veces con el objetivo de reducir el bias de muestreo. Por último, se seleccionan como clusters finales los obtenidos con aquellos medoides que han conseguido menor suma total de distancias. A continuación, se describen los pasos del algoritmo CLARA

Una de las limitaciones del método K-medoides-clustering (PAM) es que su algoritmo requiere mucha memoria RAM, lo que impide que se pueda aplicar cuando el set de datos contiene varios miles de observaciones. CLARA (Clustering Large Applications) es un método que combina la idea de K-medoides con el resampling para que pueda aplicarse a grandes volúmenes de datos. (Amat 2017)
El algoritmo CLARA es el siguiente:

1. Se divide aleatoriamente el set de datos en n partes de igual tamaño, donde n es un valor que determina el analista.
2. Para cada una de las n partes: 2.1 Aplicar el algoritmo PAM e identificar cuáles son los k medoids. 2.2 Utilizando los medoides del paso anterior agrupar todas las observaciones del set de datos. 2.3 Calcular la suma total de las distancias entre cada observación del set de datos y su correspondiente medoide (suma total de distancias intra-clusters).
3. Seleccionar como clustering final aquel que ha conseguido menor suma total de distancias intra-clusters en el paso 2.3.

clara(x, k, metric = "euclidean", stand = FALSE, 
samples = 5, pamLike = FALSE)

Estimación del número óptimo de clusters CLARA.

Para estimar el número óptimo de clústeres, es posible utilizar el método de silueta promedio como se describe en la técnica k-medoides (PAM).

La función fviz_nbclust () [ paquete factoextra ] proporciona una solución para facilitar este paso.

library(cluster)
library(factoextra)
fviz_nbclust(df, clara, method = "silhouette")+
theme_classic()

Para este caso a la función fviz_nbclust, se le ha pasado como argumento, la data estandarizada, se ha especificado la técnica a utilizar la cual es “clara” y el método para calculo óptimo de clusters que en este caso es el de silueta promedio. (Kassambara 2017)

Calcular CLARA en R

El siguiente código R calcula el algoritmo clara con k = 2:

clara.res <- clara (df, 2, samples = 50 , pamLike = TRUE )
print (clara.res)

En donde clara.res, es el nombre del objeto donde se almacenaran los resultados, y la función clara, puede usarse de manera simplificada, indicando el nombre de la data estandarizada y el número de clusters elegidos por el analista y el número de muestras que se extraerán del conjunto de datos. (Kassambara 2017)

Algoritmo agrupación aglomerativa

La agrupación aglomerativa funciona de forma “de abajo hacia arriba.” Es decir, cada objeto se considera inicialmente como un grupo de un solo elemento (hoja). En cada paso del algoritmo, los dos grupos que son más similares se combinan en un nuevo grupo más grande (nodos). Este procedimiento se repite hasta que todos los puntos son miembros de un solo gran clúster (raíz). (Kassambara 2017)

La estructura resultante de un agrupamiento jerárquico aglomerativo se obtiene mediante un algoritmo sencillo:

1. El proceso se inicia considerando cada una de las observaciones como un cluster individual, formando así la base del dendrograma (hojas).

2. Se inicia un proceso iterativo hasta que todas las observaciones pertenecen a un único clúster:

2.1 Se calcula la distancia entre cada posible par de los n clusters. El investigador debe determinar el tipo de medida emplea para cuantificar la similitud entre observaciones o grupos (distancia y linkage).

2.2 Los dos clusters más similares se fusionan, de forma que quedan n-1 clusters.

3. Determinar dónde cortar la estructura de árbol generada (dendrograma).

Algoritmo agrupación aglomerativa

La imagen muestra cómo se van sucediendo las agrupaciones a medida que avanzan las primeras iteraciones del algoritmo. (Amat 2017)

Pasos para la agrupación jerárquica aglomerativa en R

Seguiremos los pasos a continuación para realizar agrupaciones jerárquicas aglomerativas usando R software:

1. Preparación de los datos
2. Calcular información de (des) similitud entre cada par de objetos en los datos colocar.
3. Uso de la función de vinculación para agrupar objetos en un árbol de clúster jerárquico, según la información de distancia generada en el paso 1. Objetos / grupos que están cerca proximidad se vinculan entre sí mediante la función de vinculación.
4. Determinar dónde cortar el árbol jerárquico en grupos. Esto crea una partición de los datos. (Kassambara 2017)

Estructura y preparación de datos

Los datos deben ser una matriz numérica con:

1. Filas que representan observaciones (individuos);
2. Columnas que representan variables.
3. Tenga en cuenta que, en general, se recomienda estandarizar las variables en el conjunto de datos antes realizar análisis posteriores. (Kassambara 2017)

Medidas de similitud

Para decidir qué objetos o grupos deben combinarse o dividirse, necesitamos métodos para medir la similitud entre objetos. Hay muchos métodos para calcular la información de similitud, incluidas las distancias euclidianas y de Manhattan.

En el software R, puede usar la función dist () para calcular la distancia entre cada par de objetos en un conjunto de datos. Los resultados de este cálculo se conocen como matriz de distancia o disimilitud. Por defecto, la función dist () calcula la distancia euclidiana entre objetos; sin embargo, es posible indicar otras métricas mediante el argumento “method.” (Kassambara 2017)

Función dist ()

Esta función calcula y devuelve la matriz de distancia calculada utilizando la medida de distancia especificada para calcular las distancias entre las filas de una matriz de datos.

Sintaxis:

dist(x, method = "euclidean", diag = FALSE, upper = FALSE, p = 2)

• x: una matriz numérica, marco de datos u “dist”objeto.

• method: la medida de distancia que se utilizará. Este puede ser “euclidean,” “maximum,” “manhattan,” “canberra,” “binary” or “minkowski.”

• diag: valor lógico que indica si se debe imprimir la diagonal de la matriz de distancias print.dist.

• upper: valor lógico que indica si el triángulo superior de la matriz de distancias debe imprimirse por print.dist.

• p: el poder de la distancia de Minkowski.

(https://www.rdocumentation.org/packages/stats/versions/3.6.2/topics/dist?)

Métodos de vinculación

La función de vinculación toma la información de distancia, devuelta por la función dist (), y agrupa pares de objetos en grupos según su similitud. A continuación, estos grupos recién formados se vinculan entre sí para crear grupos más grandes. Este proceso se repite hasta que todos los objetos del conjunto de datos original están vinculados en un árbol jerárquico.

Por ejemplo, dada una matriz de distancia “res.dist” generada por la función dist (), la función base de R hclust () se puede utilizar para crear el árbol jerárquico.

res.hc <- hclust ( d = res.dist, method = "ward.D2" )

En donde res.hc es el nombre del objeto donde se almaneceran los resultados

• d: una estructura de disimilitud producida por la función dist ().

• method: El método de aglomeración (vinculación) que se utilizará para calcular la distancia entre conglomerados. Los valores permitidos son: “ward.D,” “ward.D2,” “single,” “complete,” “average,” “mcquitty,” “median” o “centroid.”

Al ejecutar el comando print sobre el objeto generado con la función hclust, se muestra información básica,como lo es el tipo de metodo de vinculación que se está usando,la medida de distancia utilizada y el numero de objetos.

Sobre todo el objeto generado con la función hclust, servirá para generar un dendrograma, el cual es un diagrama de árbol que muestra los grupos que se forman al crear conglomerados de observaciones en cada paso y sus niveles de similitud. (Kassambara 2017)

Para que el proceso de agrupamiento pueda llevarse a cabo tal como indica el algoritmo anterior, es necesario definir cómo se cuantifica la similitud entre dos clusters. Es decir, se tiene que extender el concepto de distancia entre pares de observaciones para que sea aplicable a pares de grupos, cada uno formado por varias observaciones. A este proceso se le conoce como vinculación. A continuación, se describen los 5 tipos de vinculación más empleados y sus definiciones.

Vinculación máxima o completa: Se calcula la distancia entre todos los posibles pares formados por una observación del clúster A y una del clúster B. La mayor de todas ellas se selecciona como la distancia entre los dos clusters. Se trata de la medida más conservadora (maximal intercluster dissimilarity).

Vínculo mínimo o único: Se calcula la distancia entre todos los posibles pares formados por una observación del clúster A y una del clúster B. La menor de todas ellas se selecciona como la distancia entre los dos clusters. Se trata de la medida menos conservadora (minimal intercluster dissimilarity).".

Vinculación media o promedia: Se calcula la distancia entre todos los posibles pares formados por una observación del clúster A y una del clúster B. El valor promedio de todas ellas se selecciona como la distancia entre los dos clusters (mean intercluster dissimilarity).

Enlace centroide: Se calcula el centroide de cada uno de los clusters y se selecciona la distancia entre ellos como la distancia entre los dos clusters.

Método de varianza mínima de Ward: se trata de un método general. La selección del par de clusters que se combinan en cada paso del agrupamiento jerárquico aglomerativo, se basa en el valor óptimo de una función objetivo, pudiendo ser esta última cualquier función definida por el analista. El conocido método Ward es un caso particular en el que el objetivo es minimizar la suma total de varianza intra-cluster. En cada paso, se identifican aquellos dos clusters cuya fusión conlleva menor incremento de la varianza total intra-cluster. (Amat 2017)

La implementación en R de este método ha sido causa de confusiones. Si se emplea la función hclust() se tiene que especificar method = “ward.D2,” mientras que en la función agnes() es method = “ward”

Los métodos de vinculación completa, promedio y Ward suelen ser los preferidos por los analistas debido a que generan dendrogramas más compensados. Sin embargo, no se puede determinar que uno sea mejor que otro, ya que depende del caso de estudio en cuestión. (Kassambara 2017)

Algoritmo agrupación divisivo.

El algoritmo más conocido de agrupamiento jerárquico divisivo es DIANA (DIvisive ANAlysis Clustering). Este algoritmo se inicia con un único clúster que contiene todas las observaciones, a continuación, se van sucediendo divisiones hasta que cada observación forma un clúster independiente. En cada iteración, se selecciona el clúster con mayor diámetro, entendiendo por diámetro de un clúster la mayor de las diferencias entre dos de sus observaciones. Una vez seleccionado el clúster, se identifica la observación más dispar, que es aquella con mayor distancia promedio respecto al resto de observaciones que forman el clúster, esta observación inicia el nuevo clúster. Se reasignan las observaciones en función de si están más próximas al nuevo clúster o al resto de la partición, dividiendo así el clúster seleccionado en dos nuevos clusters.

1. Todas las n observaciones forman un único clúster.
2. Repetir hasta que hayan n clusters: 2.1 Calcular para cada clúster la mayor de las distancias entre pares de observaciones (diámetro del clúster). 2.2 Seleccionar el clúster con mayor diámetro. 2.3 Calcular la distancia media de cada observación respecto a las demás. 2.4 La observación más distante inicia un nuevo clúster 2.5 Se reasignan las observaciones restantes al nuevo clúster o al viejo dependiendo de cuál está más próximo.

A diferencia del clustering aglomerativo, en el que hay que elegir un tipo de distancia y un método de vinculación, en el clustering divisivo solo hay que elegir la distancia, no hay vinculación En el siguiente apartado se realizará el uso de todas las técnicas mencionadas hasta ahora, será interesante pues observar sobre todo gráficamente, la diferencia de los resultados entre cada técnica. (Amat 2017)

Interpretación de un dendrograma.

Utilice el dendrograma para ver cómo se forman los conglomerados en cada paso y para evaluar los niveles de similitud (o distancia) de los conglomerados que se forman.

Para ver los niveles de similitud (o de distancia), coloque el puntero del ratón sobre una línea horizontal del dendrograma. El patrón de cómo los valores de similitud o de distancia cambian de un paso a otro puede ayudar a elegir la agrupación final para los datos. El paso donde los valores cambian de manera abrupta podría identificar un punto adecuado para definir la agrupación final.

La decisión acerca de la agrupación final también se conoce como cortar el dendrograma. Cortar el dendrograma es similar a trazar una línea a lo largo del dendrograma para especificar la agrupación final. También se pueden comparar diferentes agrupaciones finales en los dendrogramas para determinar cuál de ellas tiene más sentido para los datos

Dendrograma vinvulación completa, distancia euclideana

En la base del dendrograma, cada observación forma una terminación individual conocida como hoja o leaf del árbol. A medida que se asciende por la estructura, pares de hojas se fusionan formando las primeras ramas. Estas uniones (nodos) se corresponden con los pares de observaciones más similares. También ocurre que ramas se fusionan con otras ramas o con hojas. Cuanto más temprana (más próxima a la base del dendrograma) ocurre una fusión, mayor es la similitud. Esto significa que, para cualquier par de observaciones, se puede identificar el punto del árbol en el que las ramas que contienen dichas observaciones se fusionan. La altura a la que esto ocurre (eje vertical) indica cómo de similares o diferentes son las dos observaciones, cuanto mayor sea la altura de la fusión, menos similares serán los objetos. Esta altura se conoce como la distancia cofenética entre los dos objetos

Se observa que el primer conglomerado (extremo izquierdo) se compone de siete observaciones (las observaciones de filas 1, 3, 6, 9, 10, 11 y 15 de la hoja de trabajo). El segundo conglomerado, inmediatamente a la derecha, se compone de 3 observaciones (las observaciones de las filas 4, 12 y 19 de la hoja de trabajo). El tercer grupo se compone de 7 observaciones (las observaciones de las filas 2, 14, 17, 20, 18, 5 y 8). El cuarto conglomerado, en el extremo derecho, se compone de 3 observaciones (las observaciones de las filas 7, 13 y 16). Si se cortara el dendrograma más arriba, entonces habría menos conglomerados finales, pero su nivel de similitud sería menor. Si se cortara el dendrograma más abajo, entonces el nivel de similitud sería mayor, pero habría más conglomerados finales.

Los dendrogramas, se deben interpretar únicamente en base al eje vertical y no por las posiciones que ocupan las observaciones en el eje horizontal, esto último es simplemente por estética. (Minitab, n.d.)

Verificar el árbol resultante.

Una vez creado el dendrograma, hay que evaluar hasta qué punto su estructura refleja las distancias originales entre observaciones.

Tenga en cuenta que las conclusiones sobre la proximidad de dos objetos solo pueden extraerse basándose en la altura donde se fusionan las ramas que contienen esos dos objetos primero. No podemos usar la proximidad de dos objetos a lo largo del eje horizontal como criterio de similitud. Para identificar subgrupos, podemos cortar el dendrograma a una cierta altura

Después de vincular los objetos de un conjunto de datos en un árbol de clúster jerárquico, es posible que desee para evaluar que las distancias (es decir, las alturas) en el árbol reflejan las distancias originales precisamente Cuanto más se acerque el valor del coeficiente de correlación a 1, con mayor precisión será el La solución de agrupamiento refleja sus datos. Se considera que los valores superiores a 0,75 son buenos. Esta medida puede emplearse como criterio de ayuda para escoger entre los distintos métodos de linkage.

La función de base R cophenetic() se puede utilizar para calcular las distancias cofenéticas para agrupación jerárquica, mediante la siguiente sintaxis:

res.coph <- cophenetic(res.hc) 

En donde res.coph es el objeto dnde se almacenaran las distancias cofenéticas entre los objetos.

La función cophenetic de manera simplificada solo requiere el objeto generado anteriormente con la función hclust.

luego de calcularl la distancia cofenética, se calcula la correlación entre la distancia cofenética y la distancia original, mediante la función cor.

cor(res.dist, res.coph)

En donde la función cor, de manera simplificada requiere la matriz generada por la función dist (distancia original) y la matriz de distancia generada por la función cophenetic, como anteriormente se mencionó es deseable una correlación con valor superior a 0.75. (Kassambara 2017)

Cortar el árbol para generar los clusters.

Además de representar en un dendrograma la similitud entre observaciones, se tiene que poder identificar el número de clusters creados y qué observaciones forman parte de cada uno. Si se realiza un corte horizontal a una determinada altura del dendrograma, el número de ramas que sobrepasan (en sentido ascendente) dicho corte se corresponde con el número de clusters.

Dendrograma vinvulación completa, distancia euclideana, K= 2 y K= 4, (data:mtcars)

La imagen muestra que si se realiza el corte a la altura de 6 se obtienen dos clusters, mientras que si se hace a la de 4.5 se obtienen 4 clusters. (Amat 2017)

La función cutree() se puede utilizar para cortar un árbol, generado por la función hclust (), en varios grupos, de la siguiente forma.

# Cortar el árbol en 4 grupos 
grp <- cutree(res.hc, k = 4)

# Número de miembros en cada cluster  
table(grp)

# Obtenga los nombres de los miembros del clúster  1
rownames(df)[grp == 1]

En donde grp es el nombre del objeto donde se almacenarán los nombres de cada elemento o individuo, junto al número de clúster perteneciente, res.hc es el árbol generado por la función hclust y K=4, es el número de grupos (clusters).

utilizando la funcion table() sobre el objeto generado con la función cutree, se muestra el numero de miembros o individuos, pertenecientes a cada clúster.

se puede mostrar los nombres de los miembros o individuos de un grupo o clusters en específico utilizando la función rownames() sobre el objeto generado con la función cutree, se muestra el numero de miembros o individuos, pertenecientes a cada clúster, dicha función requiere, el nombre de la data estandarizada, seguido y entre corchetes del nombre del objeto donde se generados por la función cutree, indicando el número de clúster del cual se desea saber los nombre de los mimbros dentro de el.

El resultado de los cortes se puede visualizar fácilmente usando la función fviz_dend() [in factoextra] de la siguiente forma:

fviz_dend(res.hc, k = 4, 
cex = 0.5,
k_colors = c("#2E9FDF", "#00AFBB", "#E7B800", "#FC4E07"),
color_labels_by_k = TRUE, 
rect = TRUE 
)

En donde de manera simplificada la función fviz_dend(), requiere como argumentos,el árbol generado por la función hclust, el tamaño de las etiquetas, los colores de las etiquetas para cada grupo y se indica que cada clúster quede encerrado por un rectángulo con el argumento rect= TRUE)

Corte de dendrograma, data:mtcars

De esta manera se puede visualizar facilmente los elementos o individuos por los que está formado cada clúster y se puede diferenciar cada clúster.

También podemos visualizar el resultado en un diagrama de dispersión. Las observaciones están representadas por puntos en la gráfica, utilizando el método de componentes principales, Usando la función fviz_cluster() [in factoextra ], de la siguiente forma:

fviz_cluster(list(data = df, cluster = grp),
 palette = c("#2E9FDF", "#00AFBB", "#E7B800", "#FC4E07"),
 ellipse.type = "convex", 
 repel = TRUE, # Avoid label overplotting (slow) 
show.clust.cent = TRUE, ggtheme = theme_minimal())

En donde la función fviz_cluster(), de manera simplificada necesita como argumento, una lista, con el nombre de la data estandarizada y el objeto generado por la función cutree, ellipse.type mediante el argumento palette, se seleccionan los colores de preferencia para cada clúster, con el agrgumento ellipse.type, se selecciona la forma geométrica con la se desea que se visualizen los clusters, con el argumento repel se evita la superposición de etiquetas de los elemntos que conforma un clúster ,se indica mediante el argumento how.clust.cent, si se desea que se muestren los centro de cada clúster o no y se es escoge el tema de preferencia. (Kassambara 2017)

Agrupación jerárquica + proyección PCA,K= 4, data:mtcars

Agrupamiento divisivo

res.diana <- diana(df, # data matrix
stand = TRUE, # standardize the data
metric = "euclidean" # metric for distance matrix
)

fviz_dend(res.agnes, cex = 0.6, k = 4)

Note que el agrupamiento divisivo requiere la misma estructura de código, con la unica diferencia que no se especifíca un metodo de vinculación. (Kassambara 2017)

Dendrograma, agrupamiento divisivo ,K= 4, data:mtcars

Comparación de dendrogramas

El paquete dendextend proporciona varias funciones para comparar dendrogramas. Aquí, nos centraremos en dos funciones:

• tanglegram(): para la comparación visual de dos dendrogramas • y cor.dendlist() para calcular una matriz de correlación entre dendrogramas.

library(dendextend)

# Calcular matriz de distancias
res.dist <- dist (df, method = "euclidean" )

# Calcular 2 agrupaciones jerárquicas
hc1 <- hclust (res.dist, method = "average" )
hc2 <- hclust (res.dist, method = "ward.D2" )

# Crea dos dendrogramas
dend1 <- as.dendrogram(hc1)
dend2 <- as.dendrogram(hc2)

# Crea una lista para contener dendrogramas
dend_list <- dendlist (dend1, dend2)

# Comparación visual de los dendrogramas
tanglegram(dend1, dend2)

Se comienza definiendo una matriz de distancia, mediante la funcion dist, la cual requiere como argumento la data estandarizada y la especificación de una medida de distancia, posteriormente mediante la función hclus se crean dos agrupaciones jerarquicas utilizando un método de vinculacón distinto en cada una, luego se transformann los resultados como dendrogramas, con la función as.dendrogram, por ultimo se crea una lista mediante la función denlist la cual contendrá, las dos agrupaciones generadas anteriormente.

Comparación visual de los dendrogramas, método promedio y ward, data:mtcars

Tenga en cuenta que los nodos “únicos,” con una combinación de elementos que no están presentes en el otro árbol, están resaltados con líneas discontinuas.

Matriz de correlación entre una lista de dendrogramas

La función cor.dendlist(), se utiliza para calcular la correlación " Baker " o " Cophenetic "matriz entre una lista de árboles, de la siguiente forma:

# Matriz de correlación cofenética
cor.dendlist(dend_list, method = "cophenetic")

#Matriz de correlación de Baker
cor.dendlist(dend_list, method = "baker")

La correlación entre dos árboles también se puede calcular de la siguiente manera:

# Matriz de correlación cofenética
cor_cophenetic(dend1, dend2)

#Matriz de correlación de Baker
cor_bakers_gamma(dend1, dend2)

la función cor.dendlist, requiere como argumento, la lista que contiene los dendrogramas y el metodo que se desea usar, “cophenetic” o “baker,” como resultado se mostrá una matriz la cual contiene en la diagonal principal la correlación entre el mismo árbol y en los demas elementos de la matriz se muestra la corrlación entre los distintos arboles.

la función cor_cophenetic y cor_bakers_gamma, calculan la correlacion cofenética y de Baker, respectivamente, unicamente requieren como argumento los dendrogramas que se desean comparar.

El valor de la correlación puede oscilar entre -1 y 1. si el valor es 0 que significa que los dos árboles no son estadísticamente similares.

También es posible comparar simultáneamente varios dendrogramas. Un operador de encadenamiento %>% se usa para ejecutar múltiples funciones al mismo tiempo, de la siguiente forma:

# Crea múltiples dendrogramas encadenando
dend1 <- df %>% dist %>% hclust("complete") %>% as.dendrogram
dend2 <- df %>% dist %>% hclust("single") %>% as.dendrogram
dend3 <- df %>% dist %>% hclust("average") %>% as.dendrogram
dend4 <- df %>% dist %>% hclust("centroid") %>% as.dendrogram

# Calcular matriz de correlación
dend_list <- dendlist("Complete" = dend1, "Single" = dend2,
"Average" = dend3, "Centroid" = dend4)
cors <- cor.dendlist(dend_list)

# Imprimir matriz de correlación
round(cors, 2)

Usando el operador pipe (%>%) se puede utilizar de forma multiple las funciones ya mencionadas anteriormente, creando diferentes dendrogrmas, con un metodo de vinculación distinto para cada uno, para realizar una comparación. Mediante la función dendlist, se crea una lista que contiene los distintos dendrogrogramas, dicha lista se utiliza como argumento en la función cor y se obtiene una matriz en donde la diagonal principal muestra la correlación entre el mismo arbol, elaborado con el mismo método de vinculación y en los demas elementos de la matriz se muestra la corrlación entre los distintos arboles, elabrados cada uno con un método de vinculación distinto. (Kassambara 2017)

Matriz de correlación , data:mtcars

Mediante la funcíon corrplot se puede visualizar la matriz de correlación de la siguiente forma:

# Visualizar la matriz de correlación
library(corrplot)
corrplot(cors, "pie", "lower")

La funcion corrplot, requiere unicamente como argmento la matriz de correlación generada con la función cor.

Gráfico de la matriz de correlación, data:mtcars

Visualización de dendrogramas

Como se describió anteriormente, un dendrograma es una representación basada en árbol de datos creados usando métodos de agrupamiento jerárquico. En este apartado, se proprociona el código R para visualizar y personalizar dendrogramas. Además, se muestra cómo guardar y hacer zoom en un dendrograma grande.

Para visualizar un dendrograma, puede usarse la función fviz_dend, la cual ya utilizamos anteriormente, para manipular dendrogramas se hace uso del paquete dendextend.

Puede usar los argumentos main, sub, xlab, ylab, de esta manera podemos añadir un titulo al dendrograma y a los ejes. (Kassambara 2017)

fviz_dend(res.hc, cex = 0.5,
main = "Dendrograma",
xlab = "Objectos", ylab = "Distancia", sub = "")

Dendrograma, data:mtcars

Se puede visuaizar un dendrograma horizontal, de la siguiente forma.

fviz_dend (hc, cex = 0.5 , horiz = TRUE )

Dendrograma horizontal, data:mtcars

Se puede colorear las ramas por grupos y agregar un rectángulo alrededor de cada grupo, de la siguiente forma:

fviz_dend(res.hc, k = 4, # Cortar en cuatro grupos
cex = 0.5, # label size # tamaño de etiqueta
k_colors = c("#2E9FDF", "#00AFBB", "#E7B800", "#FC4E07"),
color_labels_by_k = TRUE,  # etiquetas de color por grupos
rect = TRUE, # Agregar rectángulo alrededor de los grupos
rect_border = c("#2E9FDF", "#00AFBB", "#E7B800", "#FC4E07"),
rect_fill = TRUE)

Dendrograma, K= 4, data:mtcars

Para cambiar el tema del dendrograma, use el argumento ggtheme, cuyos valores permitidos incluyen [theme_gray (), theme_bw (), theme_minimal (), theme_classic (), theme_void ()] o cualquier otro tema de ggplot2 definido por el usuario.

Los valores permitidos para k_color incluyen paletas de cerveza del paquete RColorBrewer (p. Ej. “RdBu,” “Blues,” “Dark2,” “Set2,” . . ; ) y paletas de revistas científicas de ggsci R paquete (por ejemplo: “npg,” “aaas,” “lancet,” “jco,” “ucscgb,” “uchicago,” “simpsons” y “Rickandmorty”)

fviz_dend(res.hc, k = 4, # Cortar en cuatro grupos
cex = 0.5, # tamaño de etiqueta
k_colors = c("#2E9FDF", "#00AFBB", "#E7B800", "#FC4E07"),
color_labels_by_k = TRUE, # etiquetas de color por grupos
ggtheme = theme_gray() # Cambiar tema
)

Dendrograma con tema diferente, K= 4, data:mtcars

Además, puede trazar un dendrograma circular usando la opción type = “circular,” de la siguiente forma:

fviz_dend(res.hc, cex = 0.5, k = 4,
k_colors = "jco", type = "circular")

Arbol circular, K= 4, data:mtcars

Para trazar un árbol filogénico, se usa type = “phylogenic” y repel = TRUE (para evitar superposición de etiquetas). Esta funcionalidad requiere el paquete R igraph.

require("igraph")
 fviz_dend(res.hc, k = 4, k_colors = "jco", 
type = "phylogenic", repel = TRUE)

Arbol filogénico, K= 4, data:mtcars

Si se desea hacer zoom en los primeros grupos, es posible usar la opción xlim e ylim para limitar el área de trazado. Por ejemplo, se escribe el código a continuación:

fviz_dend(res.hc, xlim = c(1, 20), ylim = c(1, 8))

Zoom de un dendrograma, K= 4, data:mtcars

Para trazar un subárbol, seguiremos el siguiente procedimiento:

1. Cree el dendrograma completo usando fviz_dend () y guarde el resultado en un objeto, llamado dend_plot por ejemplo

2. Utilice la función base R cut.dendrogram () para cortar el dendrograma, en un determinado altura (h), en múltiples subárboles. Esto devuelve una lista con componentes$ upper y $lower , la primera es una versión truncada del árbol original, también de clase dendrograma, este último una lista con las ramas obtenidas al cortar el árbol, cada una de las cuales es un dendrograma.

3. Visualice subárboles usando fviz_dend ().

El código R es el siguiente. cortar el dendrograma y visualizar la versión truncada. (Kassambara 2017):

# Cree un gráfico de todo el dendrograma y extraiga los datos del dendrograma
dend_plot <- fviz_dend (res.hc, k = 4, # Cortar en cuatro grupos
cex = 0.5, # tamaño de etiqueta
k_colors = "jco"
)
dend_data <- attr (dend_plot, "dendrogram") # Extraer datos de dendrograma
# Cortar el dendrograma a la altura h = 10
dend_cuts <- cut (dend_data, h = 10)
# Visualice la versión truncada que contiene tres ramas
fviz_dend (dend_cuts$upper)

dendrograma versión truncada, K= 4, data:mtcars

se puede visuzalizar el dendrograma completo de la siguiente forma:

# Trazar el dendrograma completo
prin (dend_plot) 

Dendrograma completo, K= 4, data:mtcars

Para dibujar los subarboles, se puede hacer siguiente forma (Kassambara 2017):

# Dibujar subarbol 1
fviz_dend(dend_cuts$lower[[1]], main = "sub-árbol 1")
# Dibujar sub arbol 2
fviz_dend(dend_cuts$lower[[2]], main = "Sub-árbol 2")

Sub-arboles 1 y 2 K= 4, data:mtcars

También puede trazar árboles circulares de la siguiente manera (Kassambara 2017):

fviz_dend (dend_cuts $ lower [[ 2 ]], type = "circular" )

Dendrograma circular, data:mtcars

Si se tiene un dendrograma grande, puede guardarse en una página PDF grande, que se puede ampliar sin perder resolución, de la siguiente forma (Kassambara 2017):

pdf("dendrogram.pdf", width=30, height=15) # Abrir un PDF
p <- fviz_dend(res.hc, k = 4, cex = 1, k_colors = "jco" ) # Hacer gráfico
print(p)
dev.off() # Cerrar el PDF

Manipulación de dendrogramas usando dendextend

El paquete dendextend proporciona funciones para cambiar fácilmente la apariencia de un dendrograma y para comparar dendrogramas. En esta sección usaremos el operador de encadenamiento (%>%) para simplificar nuestro código.

El operador de encadenamiento (%>%) se usa para reescribir múltiples operaciones de modo que se puedan leer de izquierda a derecha, de arriba a abajo. Por ejemplo, los resultados de los dos códigos R siguientes son equivalentes

El código R para crear un dendrograma usando un operador de encadenamiento es:

library(dendextend)
dend <- mtcars[1:5,] %>% # data
scale %>% # estandarizar data
dist %>% # calculate a distance matrix,
hclust(method = "ward.D2") %>% # Agrupación jerárquica
as.dendrogram # Convierte el objeto en un dendrograma.
plot(dend)

Funciones para personalizar dendrogramas: la función set () [en el paquete dendextend] se puede utilizar para cambiar los parámetros de un dendrograma.El formato es:

set(object, what, value

1.object : un objeto dendrograma

2. what : un carácter que indica cuál es la propiedad del árbol que debe ser configurar o actualizar

3. value : un vector con el valor a establecer en el árbol (el tipo de valor depende sobre “what”).

Ejemplo (Kassambara 2017):

library(dendextend)
# 1. Create a customized dendrogram
mycols <- c("#2E9FDF", "#00AFBB", "#E7B800", "#FC4E07")
dend <- as.dendrogram(res.hc) %>%
set("branches_lwd", 1) %>% # Ancho de línea de ramas
set("branches_k_color", mycols, k = 4) %>% # Colorea ramas por grupos
set("labels_colors", mycols, k = 4) %>% # Etiquetas de color por grupos
set("labels_cex", 0.5) # Cambiar el tamaño de la etiqueta
# 2.Crear dendrograma
fviz_dend(dend)

Datos

library(kableExtra)
# Cargando el set de Datos
data("USArrests")
# Estandarizando los Datos
df <- scale(USArrests)
# Muestra de las primeras 3 filas de Datos"
head(df, n = 3) %>%
  kable(caption = "**Tabla 2:** Muestra de la Data.",
        align = "c",
        digits = 2) %>%
  kable_classic(html_font = "Times New Roman",
                font_size = 14) %>%
  row_spec(0, bold = T) %>%
  footnote(general_title = "**Fuente**:",
           general = "Elaboración propia con base en Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning en Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning.")

Estimacion del Número Optimo de Clústeres

library(factoextra)
fviz_nbclust(df, kmeans, method = "wss",df) +
  geom_vline(xintercept = 4, linetype = 2) 

El gráfico anterior representa la varianza dentro de los clusters. Disminuye a medida que aumenta k, pero puede verse una curva (o “codo”) en k = 4. Esta curva indica que los clusters adicionales clusters adicionales más allá del cuarto tienen poco valor.. En la siguiente sección, clasificaremos las observaciones en 4 clusters.

Computación de Clústeres de k-medias

# Calculando k-medias con k = 4
set.seed(123)
km.res <- kmeans(df, 4, nstart = 25)
# Imprimiendo los Resultados
print(km.res)

## K-means clustering with 4 clusters of sizes 8, 13, 16, 13
## 
## Cluster means:
##       Murder    Assault   UrbanPop        Rape
## 1  1.4118898  0.8743346 -0.8145211  0.01927104
## 2 -0.9615407 -1.1066010 -0.9301069 -0.96676331
## 3 -0.4894375 -0.3826001  0.5758298 -0.26165379
## 4  0.6950701  1.0394414  0.7226370  1.27693964
## 
## Clustering vector:
##        Alabama         Alaska        Arizona       Arkansas     California 
##              1              4              4              1              4 
##       Colorado    Connecticut       Delaware        Florida        Georgia 
##              4              3              3              4              1 
##         Hawaii          Idaho       Illinois        Indiana           Iowa 
##              3              2              4              3              2 
##         Kansas       Kentucky      Louisiana          Maine       Maryland 
##              3              2              1              2              4 
##  Massachusetts       Michigan      Minnesota    Mississippi       Missouri 
##              3              4              2              1              4 
##        Montana       Nebraska         Nevada  New Hampshire     New Jersey 
##              2              2              4              2              3 
##     New Mexico       New York North Carolina   North Dakota           Ohio 
##              4              4              1              2              3 
##       Oklahoma         Oregon   Pennsylvania   Rhode Island South Carolina 
##              3              3              3              3              1 
##   South Dakota      Tennessee          Texas           Utah        Vermont 
##              2              1              4              3              2 
##       Virginia     Washington  West Virginia      Wisconsin        Wyoming 
##              3              3              2              2              3 
## 
## Within cluster sum of squares by cluster:
## [1]  8.316061 11.952463 16.212213 19.922437
##  (between_SS / total_SS =  71.2 %)
## 
## Available components:
## 
## [1] "cluster"      "centers"      "totss"        "withinss"     "tot.withinss"
## [6] "betweenss"    "size"         "iter"         "ifault"

Como el resultado final del clustering de k-means es sensible a las asignaciones iniciales aleatorias aleatorio, especificamos nstart = 25. Esto significa que R probará 25 asignaciones iniciales aleatorias diferentes y luego seleccionará el mejor resultado correspondiente a la que tenga la menor variación dentro del clúster. El valor por defecto de nstart como 25 o 50, para tener un resultado más estable.

Es posible calcular la media de cada una de las variables por clusters utilizando los datos originales:

aggregate(USArrests, by = list(cluster = km.res$cluster), mean) %>% 
  kable(caption = "**Tabla 3:** Media de las  variables por clúster",
        align = "c",
        digits = 2) %>%
  kable_classic(html_font = "Times New Roman",
                font_size = 14) %>%
  row_spec(0, bold = T) %>%
  footnote(general_title = "**Fuente**:",
           general = "Elaboración propia con base en Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning en Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning.")

Para añadir las clasificaciones de puntos a los datos originales, se debe realizar lo siguiente:

dd <- cbind(USArrests, cluster = km.res$cluster)
head(dd) %>%
  kable(caption = "**Tabla 4:** Clasificación de puntos a los Datos Originales",
        align = "c",
        digits = 2) %>%
  kable_classic(html_font = "Times New Roman",
                font_size = 14) %>%
  row_spec(0, bold = T) %>%
  footnote(general_title = "**Fuente**:",
           general = "Elaboración propia con base en Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning  en Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning.")

Accediendo a los resultados de la función k-means ()

# Número de conglomerado para cada una de las observaciones
# Este vector de enteros (de 1:k) que indica el clúster al que se asigna cada punto se asigna
  head(km.res$cluster, 4) %>%
  kable(caption = "**Tabla 5:** Clúster asignado por Objeto",
        align = "c",
        digits = 2) %>%
  kable_classic(html_font = "Times New Roman",
                font_size = 14) %>%
  row_spec(0, bold = T) %>%
  footnote(general_title = "**Fuente**:",
           general = "Elaboración propia con base en Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning.")

# Número de observaciones en cada clúster 
km.res$size

## [1]  8 13 16 13

# Medias de Cluster
km.res$centers %>%
  kable(caption = "**Tabla 6:** Media de los Grupos",
        align = "c",
        digits = 2, row.names = T) %>%
  kable_classic(html_font = "Times New Roman",
                font_size = 14) %>%
  row_spec(0, bold = T) %>%
  footnote(general_title = "**Fuente**:",
           general = "Elaboración propia con base en Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning.")

Visualizing k-means clusters
Si tenemos un conjunto de datos multidimensional, una solución es realizar Análisis de Componentes Principales (ACP) y trazar los puntos de datos según las primeras coordenadas de los dos componentes principales, como se puede ver a continuación

fviz_cluster(
  km.res,
  data = df,
  palette = c("#2E9FDF", "#00AFBB", "#E7B800", "#FC4E07"),
  ellipse.type = "euclid",
  # Concentración de la Elipse
  star.plot = TRUE,
  # Agregar segmentos de centroides a los elementos
  repel = TRUE,
  # Etiqueta vacía anular en exceso (slow)
  ggtheme = theme_minimal()
)

Estimación del número optimo de Clusteres

library(cluster)
library(factoextra)
fviz_nbclust(df, pam, method = "silhouette") +
  theme_classic()

Como podemos obserbar en el gráfico, el número de conglomerados sugerido es 2. Porr lo tanto clasificaremos las observaciones en 2 clusters (grupos)

Cálculo de Clústeres PAM

pam.res <- pam(df, 2)
print(pam.res)

## Medoids:
##            ID     Murder    Assault   UrbanPop       Rape
## New Mexico 31  0.8292944  1.3708088  0.3081225  1.1603196
## Nebraska   27 -0.8008247 -0.8250772 -0.2445636 -0.5052109
## Clustering vector:
##        Alabama         Alaska        Arizona       Arkansas     California 
##              1              1              1              2              1 
##       Colorado    Connecticut       Delaware        Florida        Georgia 
##              1              2              2              1              1 
##         Hawaii          Idaho       Illinois        Indiana           Iowa 
##              2              2              1              2              2 
##         Kansas       Kentucky      Louisiana          Maine       Maryland 
##              2              2              1              2              1 
##  Massachusetts       Michigan      Minnesota    Mississippi       Missouri 
##              2              1              2              1              1 
##        Montana       Nebraska         Nevada  New Hampshire     New Jersey 
##              2              2              1              2              2 
##     New Mexico       New York North Carolina   North Dakota           Ohio 
##              1              1              1              2              2 
##       Oklahoma         Oregon   Pennsylvania   Rhode Island South Carolina 
##              2              2              2              2              1 
##   South Dakota      Tennessee          Texas           Utah        Vermont 
##              2              1              1              2              2 
##       Virginia     Washington  West Virginia      Wisconsin        Wyoming 
##              2              2              2              2              2 
## Objective function:
##    build     swap 
## 1.441358 1.368969 
## 
## Available components:
##  [1] "medoids"    "id.med"     "clustering" "objective"  "isolation" 
##  [6] "clusinfo"   "silinfo"    "diss"       "call"       "data"

“Clustering Vector” Muestra el clúster o grupo que se asignara cada uno Clúster 1 o 2.
Para incluir las clasificaciones de puntos a los datos originales, realice lo siguiente:

dd <- cbind(USArrests, cluster = pam.res$cluster)
head(dd, n = 3) %>%
  kable(caption = "**Tabla 7:**Asignación de Clúster",
        align = "c",
        digits = 2, row.names = F) %>%
  kable_classic(html_font = "Times New Roman",
                font_size = 14) %>%
  row_spec(0, bold = T) %>%
  footnote(general_title = "**Fuente**:",
           general = "Elaboración propia con base en Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning.")

Accesando a los Resultados de la función PAM

# Clúster de Medoides: Nuevo México, Nebraska
# al usar  .medoids  Objetos que representan agrupaciones
pam.res$medoids %>%
  kable(
    caption = "**Tabla 8:** Medoides Nuevo México y Nebraska",
    align = "c",
    digits = 2,
    row.names = T
  ) %>%
  kable_classic(html_font = "Times New Roman",
                font_size = 14) %>%
  row_spec(0, bold = T) %>%
  footnote(general_title = "**Fuente**:",
           general = "Elaboración propia con base en Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning.")

# Reproduce un vector con el Número de Grupos (Clúster) para cada objeto
head(pam.res$clustering)  %>%
  kable(caption = "**Tabla 9:** Número de Clúster Asignado",
        align = "c",
        digits = 2) %>%
  kable_classic(html_font = "Times New Roman",
                font_size = 14) %>%
  row_spec(0, bold = T) %>%
  footnote(general_title = "**Fuente**:",
           general = "Elaboración propia con base en Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning.")

Visualizacion de los Clústeres PAM

fviz_cluster(
  pam.res,
  # Color de las Elipses
  palette = c("#00AFBB", "#FC4E07"),
  # Concentración de la Ellipse  
  ellipse.type = "t",
  # Evitar el exceso de etiqueta (slow)
  repel = T,
  ggtheme = theme_classic()
)

## Capítulo 6: CLARA - Clustering Large Applications
### Computing CLARA in R
#### Preparación y Formato de Datos
Aquí, generaremos el uso de un conjunto de datos aleatorios. Para que el resultado sea reproducible, empezamos utilizando la función set.seed() en este caso estableceremos una semilla de 1234

set.seed(1234)
# Generando 500 objetos, divididos dentro de 2 Clústeres.
df <- rbind(cbind(rnorm(200, 0, 8), rnorm(200, 0, 8)),
            cbind(rnorm(300, 50, 8), rnorm(300, 50, 8)))
# Nombrando Filas y columnas
colnames(df) <- c("x", "y")
rownames(df) <- paste0("S", 1:nrow(df))
# Vista preliminar de los Datos
head(df, nrow = 6) %>%
  kable(caption = "**Tabla 10:** Muestra de conjunto de datos aleatorios cun una semilla de 1234",
        align = "c",
        digits = 2) %>%
  kable_classic(html_font = "Times New Roman",
                font_size = 14) %>%
  row_spec(0, bold = T) %>%
  footnote(general_title = "**Fuente**:",
           general = "Elaboración propia con base  en Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning.")

Paquetes y funciones Requeridos de R

#clara(x, k, metric = "euclidean", stand = FALSE,
#samples = 5, pamLike = FALSE)

Estimación del Número Optimo de Clústeres

library(cluster)
library(factoextra)
fviz_nbclust(df, clara, method = "silhouette") +
  theme_classic()

En el gráfico anterior podemos obsevar el número de conglomerados sugerido es 2. Por lo tanto utilizaremos un K = 2.

Calculando CLARA

Calcularemos el Algoritmo PAM con K = 2 que es el número óptimo de Clúster.

# Calculando CLARA
clara.res <- clara(df, 2, samples = 50, pamLike = TRUE)
# Imprimiendo Componentes de clara.res
print(clara.res)

## Call:     clara(x = df, k = 2, samples = 50, pamLike = TRUE) 
## Medoids:
##              x         y
## S121 -1.531137  1.145057
## S455 48.357304 50.233499
## Objective function:   9.87862
## Clustering vector:    Named int [1:500] 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 ...
##  - attr(*, "names")= chr [1:500] "S1" "S2" "S3" "S4" "S5" "S6" "S7" ...
## Cluster sizes:            200 300 
## Best sample:
##  [1] S37  S49  S54  S63  S68  S71  S76  S80  S82  S101 S103 S108 S109 S118 S121
## [16] S128 S132 S138 S144 S162 S203 S210 S216 S231 S234 S249 S260 S261 S286 S299
## [31] S304 S305 S312 S315 S322 S350 S403 S450 S454 S455 S456 S465 S488 S497
## 
## Available components:
##  [1] "sample"     "medoids"    "i.med"      "clustering" "objective" 
##  [6] "clusinfo"   "diss"       "call"       "silinfo"    "data"

Para incluir clasificaciones de puntos a los datos originales

dd <- cbind(df, cluster = clara.res$cluster)
head(dd, n = 4) %>%
  kable(caption = "**Tabla 11:** Clasificaciones de Puntos a los Datos Originales",
        align = "c",
        digits = 2) %>%
  kable_classic(html_font = "Times New Roman",
                font_size = 14) %>%
  row_spec(0, bold = T) %>%
  footnote(general_title = "**Fuente**:",
           general = "Elaboración propia con base en Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning.")

# Al emplear $medoid muestra los elementos que representa 
clara.res$medoid %>%
  kable(caption = "**Tabla 12:** Elementos Representados",
        align = "c",
        digits = 4) %>%
  kable_classic(html_font = "Times New Roman",
                font_size = 14) %>%
  row_spec(0, bold = T) %>%
  footnote(general_title = "**Fuente**:",
           general = "Elaboración propia con base en Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning.")

# Al  emplear $clustering devuelve  un vector que contiene el número de clúster de cada objeto
head(clara.res$clustering, 4) %>%
  kable(caption = "**Tabla 13:** Número de clúster por cada Objeto",
        align = "c",
        digits = 2) %>%
  kable_classic(html_font = "Times New Roman",
                font_size = 14) %>%
  row_spec(0, bold = T) %>%
  footnote(general_title = "**Fuente**:",
           general = "Elaboración propia con base en Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning.")

Visualización de Clústeres CLARA

fviz_cluster(
  clara.res,
  ## Color de las Elipses
  palette = c("#00AFBB", "#FC4E07"),
  # Concentración de la Elipse
  ellipse.type = "t",
  geom = "point",
  pointsize = 1,
  ggtheme = theme_classic()
)

En el gráfico anterior vemos los resultados de la division o separación mostrando la dispersión por clúster.

Caso de dendrograma con grandes conjuntos de datos

# Para ampliar los primeros clusters.
fviz_dend(hc, xlim = c(1, 20), ylim = c(1, 8))

Aquí puede observarse como utilizar la función de ampliar los primeros clusters, es posible utilizar la opción xlim e ylim para limitar el área del gráfico.

# Trazado de un subárbol de dendrogramas.
#Crear un gráfico de todo el dendrograma, y extraer los datos del dendrograma.
dend_plot <- fviz_dend(hc, k = 4, # Dividir en cuatro grupos
cex = 0.5, # Tamaño de la etiqueta
k_colors = "jco"
)
dend_data <- attr(dend_plot, "dendrogram") # Extraer los datos del dendrograma
# Corta el dendrograma a la altura h = 10
dend_cuts <- cut(dend_data, h = 10)
# Visualizar la versión truncada que contiene
# Dos ramas
fviz_dend(dend_cuts$upper)

Corte de dendrograma y visualizar la versión recortada.Primero se realiza una versión recortada del árbol original, también de la clase dendrograma, segundo, una lista con las ramas obtenidas al cortar el árbol, cada una de ellas es un dendrograma.

# Trazar el dendrograma completo
print(dend_plot)

# Trazar el subárbol 1
fviz_dend(dend_cuts$lower[[1]], main = "Subárbol 1")

# Trazar el subárbol 2
fviz_dend(dend_cuts$lower[[2]], main = "Subárbol 2")

# Trazando árboles circulares.
fviz_dend(dend_cuts$lower[[2]], type = "circular")

# Guardar el dendrograma en una página PDF grande
pdf("dendrogram.pdf", width=30, height=15) # Abrir un PDF
p <- fviz_dend(hc, k = 4, cex = 1, k_colors = "jco" ) # Hacer el trazado
print(p)
dev.off() # Cerrar el PDF

## png 
##   2

Manipulación de dendrogramas con dendextend

# Código R estándar para crear un dendrograma.
data <- scale(USArrests)
dist.res <- dist(data)
hc <- hclust(dist.res, method = "ward.D2")
dend <- as.dendrogram(hc)
plot(dend)

library(dendextend)
#  Código R para crear un dendrograma utilizando el operador de encadenamiento.
dend <- USArrests[1:5,] %>% # data
scale %>% # Escalar los datos
dist %>% # calcular una matriz de distancia,
hclust(method = "ward.D2") %>% # Agrupación jerárquica
as.dendrogram # Convierte el objeto en un dendrograma.
plot(dend)

En los dos gráficos anteriores se está haciendo uso del paquete dendextend que proporciona funciones para cambiar fácilmente la apariencia de un dendrograma y para comparar dendrogramas, ambos son equivalentes.

library(dendextend)
# 1. Crear un dendrograma personalizado
mycols <- c("#2E9FDF", "#00AFBB", "#E7B800", "#FC4E07")
dend <- as.dendrogram(hc) %>%
set("branches_lwd", 1) %>% # Ramas de ancho de línea
set("branches_k_color", mycols, k = 4) %>% # Colorea las ramas por grupos
set("labels_colors", mycols, k = 4) %>%  # Etiquetas de colores por grupos
set("labels_cex", 0.5) # Cambiar el tamaño de la etiqueta
# 2. Crear gráfica
fviz_dend(dend)

Haciendo uso de las funciones para personalizar los dendrogramas: La función set() puede utilizarse para cambiar los parámetros de un dendrograma.