Los metodos aglomerativos, tambien conocidos como ascendentes, comienzan el analisis con tantos grupos como individuos haya. A partir de estas unidades iniciales se van formando grupos, de forma ascendente, hasta que al final del proceso todos los casos tratados estan englobados en un mismo conglomerado.

Los métodos jerárquicos permiten construir un árbol de clasificación o dendograma.

Simple Linkage

*Complete Linkage

Promedio entre Grupos

Método del Centroide

Método de la Mediana

Método de Ward

Los metodos disociativos, tambien llamados descendentes, constituyen el proceso inverso al anterior.

Comienzan con un conglomerado que engloba a todos los casos tratados y, a partir de este grupo inicial,a traves de sucesivas divisiones, se van formando grupos cada vez mas pequeños. Al final del proceso se tienen tantas agrupaciones como casos han sido tratados.

En cuanto a la clasificación de estos métodos se puede decir que la filosofía de los métodos aglomerativos puede mantenerse para este otro tipo de procedimientos en lo que concierne a la forma de calcular la distancia entre los grupos, si bien, como es lógico, al partir de un grupo único que hay que subdividir, se seguirá la estrategia de maximizar las distancias, o minimizar las similaridades, puesto que buscamos ahora los individuos menos similares para separarlos del resto del conglomerado.

Los métodos de reasignación permiten que un individuo asignado a un grupo en un determinado paso del proceso sea reasignado a otro grupo en un paso posterior, si esto optimiza el criterio de selección. El proceso termina cuando no quedan individuos cuya reasignación permita optimizar el resultado que se ha conseguido. Algunos de los algoritmos más conocidos dentro de estos métodos son el método K-means (o K-medias) de McQueen (1967), el Quick Cluster Analysis y el método de Forgy, los cuales se suelen agrupar bajo el nombre de métodos centroides o centros de gravedad. Por otra parte, está el método de las nubes dinámicas, debido a Diday.

K-means necesita como dato de entrada el número de grupos en los que vamos a segmentar la población. A partir de este número k de clusters, el algoritmo coloca primero k puntos aleatorios (centroides). Luego asigna a cualquiera de esos puntos todas las muestras con las distancias más pequeñas. A continuación, el punto se desplaza a la media de las muestras más cercanas. Esto generará una nueva asignación de muestras, ya que algunas muestras están ahora más cerca de otro centroide. Este proceso se repite de forma iterativa y los grupos se van ajustando hasta que la asignación no cambia más moviendo los puntos. Este resultado final representa el ajuste que maximiza la distancia entre los distintos grupos y minimiza la distancia intragrupo.

El algoritmo de k-medoides es un enfoque de agrupación relacionado con la agrupación de k-medias para dividir un conjunto de datos en k grupos o agrupaciones. En la agrupación de k-medoides, cada grupo está representado por uno de los puntos de datos en el grupo. Estos puntos se denominan medoides de racimo.

El término medoide se refiere a un objeto dentro de un grupo para el cual la disimilitud promedio entre él y todos los demás miembros del grupo es mínima. Corresponde a el punto más céntrico del grupo. Estos objetos (uno por grupo) se pueden considerar como un ejemplo representativo de los miembros de ese grupo que puede ser útil en algunas situaciones. Recuerde que, en la agrupación de k-medias, el centro de un grupo dado se calcula como el valor medio de todos los puntos de datos en el grupo.

K-medoid es una alternativa sólida al agrupamiento de k-medias. Esto significa que el algoritmo es menos sensible al ruido y valores atípicos, en comparación con k-medias, porque usa medoides como centros de clúster en lugar de medias (usado en k-medias).

El algoritmo k-medoids requiere que el usuario especifique k, el número de clusters que se generarán (como en el clustering de k-means). Un enfoque útil para determinar el número óptimo de conglomerados es el método de silueta, que se describe en las siguientes secciones. El método de agrupamiento de k-medoides más común es el algoritmo PAM (Partitioning Around Medoids, Kaufman & Rousseeuw, 1990).

En comparación con otros métodos de particionamiento como pam, puede manejar conjuntos de datos mucho más grandes. Internamente, esto se logra considerando subconjuntos de datos de tamaño fijo ( sampsize) de modo que los requisitos de tiempo y almacenamiento se vuelvan lineales en n en lugar de cuadráticos.

Cada subconjunto de datos se divide en kgrupos utilizando el mismo algoritmo que en pam. Una vez kque se han seleccionado objetos representativos del subconjunto de datos, cada observación de todo el conjunto de datos se asigna al medoide más cercano.La media (equivalente a la suma) de las diferencias de las observaciones con su medoide más cercano se usa como una medida de la calidad de la agrupación. Se retiene el subconjunto de datos para el cual la media (o suma) es mínima. Un análisis adicional se lleva a cabo en la partición final.

Cada subconjunto de datos se ve obligado a contener los medoides obtenidos del mejor subconjunto de datos hasta entonces. Las observaciones dibujadas al azar se agregan a este conjunto hasta que sampsizese haya alcanzado.

Fue introducido por Diday (1972), generalizando el metodo de K-Medias de Forgy. Se basa en que cada clúster debe tener una representación llamada núcleo o centroide de clúster para, posteriormente, hacer una búsqueda iterada de centroides y de clúster, por lo que cada clase estará repsentada por un núcleo, que será un elemento representativo de todos los que intefran la misma.

Es decir, que en lugar de elegir como referencia de clase un sólo punto que constituye su centro y reasignar los puntos por proximidad a ese centro, se eligen varios puntos “h” para representar cada clase, siendo estos puntos el “núcleo” de la clase.

Los métodos de búsqueda de la densidad presentan una aproximación tipológica y una aproximación probabilística. En la primera aproximación, los grupos se forman buscando las zonas en las cuales se da una mayor concentración de individuos. Entre los algoritmos más conocidos dentro de estos métodos están el análisis modal de Wishart, el método de Taxmap de Carmichael y Sneath, y el método de Fortin. En la segunda aproximación, se parte del postulado de que las variables siguen una ley de probabilidad según la cual los parámetros varían de un grupo a otro. Se trata de encontrar los individuos que pertenecen a la misma distribución. Destaca en esta aproximación el método de las combinaciones de Wolf.

Los métodos de busqueda de densidad son los siguientes: Análisis Modal, Métodos Taxmap, Método de Fortin y Método de Wolf.

Los métodos directos permiten clasificar simultáneamente a los individuos y a las variables. Las entidades agrupadas, ya no son los individuos o las variables, sino que son las observaciones, es decir, los cruces que configuran la matriz de datos.

La agrupación simultánea es una técnica importante en el análisis de datos bidireccional.

El obejtivo de este método es encontrar sub-matrices, con filas y columnas con una alta correlación, pero uno de los problemas que plantean es que el número de clúster a calcular debe ser suministrado previamente al cálculo del algoritmo. Sin embargo, estas estrategias sólo pueden ser realizadas utilizando algoritmos de una vía y existe una falta de enroque claro para conseguir el mejor número de clústers en algoritmos de “Block-Clustering.”

Consisten en la busqueda de unos factores en el espacio de los individuos que contiene la matriz de datos, donde cada factor corresponde a un clúster y se les cononoce como “Analisis Factorial tipo Q”

El objetivo consiste en encontrar grupos de individuos con valores semejantes en las variables, con la finalidad de determinar un número reducido de clúster, de los que se espera que los individuos contenidos en cada uno de ellos tengan algún tipo de propiedad común. El método parte de la matriz de correlaciones entre individuios y somete los factores econtrados a una roación ortogonal, el problema es que los individuos pueden pertenecer a varios y, por tanto, los clústers pueden presentar solapamiento, resultando (por lo tanto) compleja interpretación.

En Rstudio se usa la función hclust.

#  hclust(d, method = "complete", members = NULL)

#  S3 method for hclust
#  plot(x, labels = NULL, hang = 0.1, check = TRUE,
#     axes = TRUE, frame.plot = FALSE, ann = TRUE,
#     main = "Cluster Dendrogram",
#    sub = NULL, xlab = NULL, ylab = "Height", …)

Argumentos de la Función

d: toma el valor de una estructura de disimilitud

method: indicamos el método de aglomeración que se utilizará. Esto debe ser (una abreviatura inequívoca de) uno de , , , , (= UPGMA), (= WPGMA), (= WPGMC) o (= UPGMC).“ward.D”“ward.D2”“single”“complete”“average”“mcquitty”“median”“centroid”

members: NULL o un vector

x: un objeto del tipo producido por .hclust

hang: la fracción de la altura de la parcela por la que las etiquetas deben colgar por debajo del resto de la parcela. Un valor negativo hará que las etiquetas cuelguen de 0.

check: lógico que indica si el objeto debe comprobarse su validez.

labels: Un vector de caracteres de etiquetas para las hojas del árbol. De forma predeterminada, se utilizan los nombres de fila o los números de fila de los datos originales. Si no se traza ninguna etiqueta.labels = FALSE

axes:, frame.plot, ann banderas lógicas como en .plot.default

main, sub, xlab, ylab: cadenas de caracteres para . y tener un valor predeterminado no NULL cuando hay un archivo .titlesubxlabtree$call

Objeto de clase hclust que describe el árbol producido por el proceso de clustering. El objeto es una lista con componentes:

•Fusionar: una matriz n−1 por 2. La fila i de describe la fusión de clústeres en el paso i de la agrupación en clústeres. Si un elemento j de la fila es negativo, la observación −j se fusionó en esta etapa. Si j es positivo, entonces la combinación fue con el clúster formado en la etapa (anterior) j del algoritmo. Por lo tanto, las entradas negativas en indican aglomeraciones de singletons, y las entradas positivas indican aglomeraciones de non-singletons.mergemerge

•Altura: un conjunto de n−1 valores reales (no decrecientes para árboles ultramétricos). La alturade agrupamiento: es decir, el valor del criterio asociado al agrupamiento para la aglomeración particular.method

•Orden: un vector que da la permutación de las observaciones originales adecuadas para el trazado, en el sentido de que un diagrama de racimo que utiliza este orden y matriz no tendrá cruces de las ramas.merge

•Etiquetas: etiquetas para cada uno de los objetos que se agrupan.

•Llamar: la llamada que produjo el resultado.

•Método: el método de clúster que se ha utilizado.

•dist.método: la distancia que se ha utilizado para crear (sólo se devuelve si el objeto de distancia tiene un atributo).d“method”

Argumentos

x: matriz numérica o marco de datos. En la función fviz_nbclust(), x pueden ser los resultados de la función NbClust().

FUNcluster: una función de partición que acepta como primer argumento una matriz (de datos) como x, segundo argumento, digamos k, k > = 2, el número de clústeres deseados, y devuelve una lista con un componente llamado clúster que contiene la agrupación de observaciones. Los valores permitidos incluyen: kmeans, cluster::p am, cluster::clara, cluster::fanny, hcut, etc. Este argumento no es necesario cuando x es una salida de la función .NbClust::NbClust()

method: el método que se utilizará para estimar el número óptimo de grupos. Los valores posibles son “silueta” (para el ancho promedio de la silueta), “wss” (para el total dentro de la suma del cuadrado) y “gap_stat” (para las estadísticas de brecha).

k.max: el número máximo de grupos a considerar, debe ser de al menos dos.

nboot: entero, número de muestras de Monte Carlo (“bootstrap”). Se utiliza únicamente para determinar el número de grupos utilizando la estadística de brechas.

Función kmeans:

Argumentos

x: matriz numérica de datos, o un objeto que se puede forzar a dicha matriz (como un vector numérico o un marco de datos con todas las columnas numéricas).

centros: ya sea el número de clústeres, digamos k, o un conjunto de centros de clúster iniciales (distintos). Si es un número, se elige un conjunto aleatorio de filas (distintas) como centros iniciales.x

iter.max: el número máximo de iteraciones permitidas.

nstart: si es un número, ¿cuántos conjuntos aleatorios se deben elegir?centers

algorithm: carácter - puede abreviarse. Tenga en cuenta que y son nombres alternativos para un algoritmo.“Lloyd”“Forgy”

object: un objeto R de clase , normalmente el resultado de .“kmeans”obob <- kmeans(..)

method: carácter - puede abreviarse. hace que devuelva centros de clúster (uno para cada punto de entrada) y hace que devuelva un vector de asignaciones de clase. “centers”fitted“classes”fitted

trace: número lógico o entero, actualmente solo utilizado en el método predeterminado (): si es positivo (o verdadero), se produce información de seguimiento sobre el progreso del algoritmo. Los valores más altos pueden producir más información de rastreo.“Hartigan-Wong”

Valor

kmeans devuelve un objeto de clase que tiene un método. Es una lista con al menos los siguientes componentes:“kmeans”printfitted

•clúster: Vector de enteros (de ) que indica el clúster al que se asigna cada punto.1:k

•centers: Una matriz de centros temáticos.

•totss: La suma total de cuadrados.

•interior: Vector de suma de cuadrados dentro del clúster, un componente por clúster.

•tot.withinss: Suma total de cuadrados dentro del clúster, es decir,sum(withinss)

•entress: La suma entre grupos de cuadrados, es decir,totss-tot.withinss

•size: El número de puntos de cada clúster.

•iter: El número de iteraciones (externas).

•integer: indicador de un posible problema de algoritmo , para expertos.

La función R fviz_nbclust () [en el paquete factoextra] proporciona una solución conveniente para estimar el número óptimo de clústeres.

### Determinamos el numero de grupos o comnglomerados (k)
library(factoextra)

fviz_nbclust(DF, kmeans, method = "wss") +
  geom_vline(xintercept = 4, linetype = 2)

El gráfico anterior representa la varianza dentro de los grupos. Disminuye a medida que k aumenta, pero se puede ver una curva en k = 4. Esta curva indica que los grupos adicionales más allá del cuarto tienen poco valor. En la siguiente sección, clasificaremos las observaciones en 4 racimos

A partir de la gráfica, el número sugerido de grupos es 2.

El algoritmo PAM se basa en la búsqueda de k objetos representativos o medoides entre las observaciones del conjunto de datos.

library(cluster)
### Ejecutamos el algoritmo PAM con k = 2
pam.res <- pam(DF, 2)
print(pam.res)

## Medoids:
##            ID     Murder    Assault   UrbanPop       Rape
## New Mexico 31  0.8292944  1.3708088  0.3081225  1.1603196
## Nebraska   27 -0.8008247 -0.8250772 -0.2445636 -0.5052109
## Clustering vector:
##        Alabama         Alaska        Arizona       Arkansas     California 
##              1              1              1              2              1 
##       Colorado    Connecticut       Delaware        Florida        Georgia 
##              1              2              2              1              1 
##         Hawaii          Idaho       Illinois        Indiana           Iowa 
##              2              2              1              2              2 
##         Kansas       Kentucky      Louisiana          Maine       Maryland 
##              2              2              1              2              1 
##  Massachusetts       Michigan      Minnesota    Mississippi       Missouri 
##              2              1              2              1              1 
##        Montana       Nebraska         Nevada  New Hampshire     New Jersey 
##              2              2              1              2              2 
##     New Mexico       New York North Carolina   North Dakota           Ohio 
##              1              1              1              2              2 
##       Oklahoma         Oregon   Pennsylvania   Rhode Island South Carolina 
##              2              2              2              2              1 
##   South Dakota      Tennessee          Texas           Utah        Vermont 
##              2              1              1              2              2 
##       Virginia     Washington  West Virginia      Wisconsin        Wyoming 
##              2              2              2              2              2 
## Objective function:
##    build     swap 
## 1.441358 1.368969 
## 
## Available components:
##  [1] "medoids"    "id.med"     "clustering" "objective"  "isolation" 
##  [6] "clusinfo"   "silinfo"    "diss"       "call"       "data"

# Agregamos las clasificaciones de puntos (puntuaciones) a los datos originales

dd <- cbind(USArrests, cluster = pam.res$cluster)
head(dd) %>%
  kable(caption = "Puntuaciones" ,
        align = "c",
        digits = 6) %>%
  kable_classic_2(html_font = "sans-serif",
                  lightable_options = c("hover", "striped")) %>%
  row_spec(0,
           bold = T,
           color = "#8B4500",
           background = "#00FF00")

# Cluster medoids: New Mexico, Nebraska
pam.res$medoids %>%
  kable(caption = "Medoides" ,
        align = "c",
        digits = 6) %>%
  kable_classic_2(html_font = "sans-serif",
                  lightable_options = c("hover", "striped")) %>%
  row_spec(0,
           bold = T,
           color = "#8B4500",
           background = "#00FF00")

# Cluster numbers:  Numero de Conglomerado
head(pam.res$clustering)

##    Alabama     Alaska    Arizona   Arkansas California   Colorado 
##          1          1          1          2          1          1

Para ello, utilizamos el metodo de la silueta promedio, que se usó en el ejemplo del algoritmo de PAM

# Metodo de la silueta Promedio
fviz_nbclust(CLARA_DF, clara, method = "silhouette") + theme_classic()

A partir de la gráfica, la cantidad sugerida de conglomerados es 2.

Para decidir qué objetos / grupos deben combinarse o dividirse, necesitamos métodos para medir la similitud entre objetos.

# Obtenemos la dissimilarity matrix (matriz de disimilitud o de distancia)

res.dist <- dist(DF, method = "euclidean")


as.matrix(res.dist)[1:8, 1:8] %>%
  kable(caption = "Matriz de Disimilitudes. Utilizando la Metrica (distancia) Euclidiana",
        align = "c",
        digits = 6) %>%
  kable_classic_2(html_font = "sans-serif",
                  lightable_options = c("hover", "striped")) %>%
  row_spec(0,
           bold = T,
           color = "#8B4500",
           background = "#00FF00")

# Funcion de Vinculacion.
# Se toma la informacion de dist()  y agrupa los objetos segun su similitud. Es un proceso iterativo hasta que todos los registros esten vinculados a un arbol jerarquico
res.hc <- hclust(d = res.dist, method = "ward.D2")

### Visualizamos el Dendograma o arbol jerarquico

fviz_dend(res.hc, cex = 0.5)

# Calculamos las Distancias Cofeneticas. cophentic distance
res.coph <- cophenetic(res.hc)

# Correlation between cophenetic distance and
# the original distance
cor(res.dist, res.coph)

## [1] 0.6975266

Volvemos a ejecutar la funcion de vinculacion, pero vamos a cambiar el metodo a “average.” Luego volvemos a calcular las distancias cofeneticas y la correlacion entre estas con las distancias orginales

# Volvemos a calcular la vinculacion, pero con el metodo de vinculacion promedio
res.hc2 <- hclust(res.dist, method = "average")
# Calculamos la correlacion
cor(res.dist, cophenetic(res.hc2))

## [1] 0.7180382

El agrupamiento aglomerativo es el tipo más común de agrupamiento jerárquico que se utiliza para agrupar objetos en grupos en función de su similitud. También se conoce como AGNES (anidamiento aglomerativo). La agrupación aglomerativa funciona de forma “de abajo hacia arriba.”

# Agglomerative Nesting (Hierarchical Clustering)
res.agnes <- agnes(
  x = USArrests,
  # data matrix
  stand = TRUE,
  # Standardize the data
  metric = "euclidean",
  # metric for distance matrix
  method = "ward" # Linkage method
)

# Visualizar la salida

fviz_dend(res.agnes, cex = 0.6, k = 4)

Lo inverso de la agrupación aglomerativa es la agrupación divisiva, que también se conoce como DIANA (Análisis de división) y funciona de manera “de arriba hacia abajo.”

# DIvisive ANAlysis Clustering
res.diana <- diana(x = USArrests, # data matrix
                   stand = TRUE, # standardize the data
                   metric = "euclidean" # metric for distance matrix
                   )
                   
### Para visualizar la salida
fviz_dend(res.diana, cex = 0.6, k = 4)

Para hacer legibles los gráficos, generados en las siguientes secciones, trabajaremos con un pequeño subconjunto aleatorio del conjunto de datos. Por lo tanto, usaremos la función sample () para seleccionar al azar 10 observaciones entre las 50 observaciones contenidas en el conjunto de datos:

set.seed(123)
ss <- sample(1:50, 10)
DF <- DF[ss, ]

comenzamos creando una lista de dos dendrogramas calculando agrupamiento jerárquico (HC) usando dos métodos de enlace diferentes (“promedio” y “ward.D2”). A continuación, transformamos los resultados como dendrogramas y creamos una lista para contener los dos dendrogramas.

library(dendextend)
# Calculamos la matriz de disimilitud o de distancia
res.dist <- dist(DF, method = "euclidean")
# Ejecuamos los agrupamientos jerarquicos
hc1 <- hclust(res.dist, method = "average")
hc2 <- hclust(res.dist, method = "ward.D2")
# Creamos los dos dendogramas
dend1 <- as.dendrogram (hc1)
dend2 <- as.dendrogram (hc2)
# Creamos una lista que contenga los dos dendogramas
dend_list <- dendlist(dend1, dend2)

# Comparando Visualmente los dos dendogramas
tanglegram(dend1, dend2)

# Perzonalizado se veria asi:
tanglegram(
  dend1,
  dend2,
  highlight_distinct_edges = FALSE,
  # Turn-off dashed lines
  common_subtrees_color_lines = FALSE,
  # Turn-off line colors
  common_subtrees_color_branches = TRUE,
  # Color common branches
  main = paste("entanglement =", round(entanglement(dend_list), 2))
)