11/18/2020
Uno de los objetivos de DS es encontrar cierta heterogeneidad en los datos.
¿Cómo podemos dividir nuestros datos en subgrupos cuando no existe una variable para clasificarlos?
Por un momento imagine que trabaja para el departamento de marketing de un empresa…
Existen varias técnicas, las dos más utilizadas en la práctica son análisis de componentes principales (PCA) y análisis de cluster.
Ambos son dos métodos estadísticos data-driven (dejamos a los datos hablar).
Apuntan a distintos fines:
Los métodos de clusterización tienen como finalidad encontrar cierta heterogeneidad en los datos que nos permitan separar en subgrupos nuestra muestra.
Existen diferentes tipos (ejemplos):
La idea detrás de este método es que, después de elegir la cantidad de cluster, la asignación a cada cluster de las observaciones sea al que este más cercano de la media.
En términos un poco más estricto el algoritmo iterará hasta que se minimice la distancia de cada observación a cada centroide de cada cluster.
Supongamos que deseamos “K” grupos para separar a nuestros datos:
Paso 1: Se eligen “K” centroides ubicados de forma aleatoria.
Paso 2: A cada observación se le asigna uno de los “K” grupos en función del centroide más cercano.
Paso 3: Una vez asignados los grupos a todas las observaciones, se calculan los “K” nuevos centroides.
Paso 4: Repetir (2) y (3) hasta que no haya cambios en cada cluster
El método de K-means es sensible a la magnitud de las variables que utilizamos
Los datos atípicos suelen tener mucho peso en la elección de la posición de los centroides.
Algoritmo no garantiza necesariamente la convergencia
Cuando los cluster están bien separados, es normal encontrar cluster que gráficamente se ven esféricos o convexos. Pero ¿Cuándo esto no ocurre?
Este método de clusterización nos permite encontrar cluster no convexos.
Es un método basado en densidad, ya que resalta la idea de las vecindades más pobladas.
En términos simples, el algoritmo crea vecindades dada un radio épsilon (eps) y un mínimo de observaciones que deben pertenecer a la vecindad. El cluster se formará por todas las vecindades que estén conectadas.
El método DBSCAN sigue la siguiente lógica:
Paso 1: Elegir un mínimo de puntos M y un radio épsilon R
Paso 2: Etiquete todas las observaciones según el tipo de punto que son (core point, border point o bien outlier point)
Paso 3: Eliminar los noise point
Paso 4: Para todos los puntos “p” no eliminados se les creará un nuevo cluster con todos los puntos que están density-connected con “p”.
Comenzaremos con una observación de forma aleatoria y veremos qué tipo de observación es.
En este caso específico (punto rojo), tenemos que la observación es un core point, puesto que cumple el mínimo de 6 puntos en el radio.
Seguiremos realizando el procedimiento para el resto de las observaciones.
En este caso específico (punto amarillo), tenemos que la observación es un border point, puesto que no cumple el mínimo de 6 puntos en el radio.
Una vez seleccionamos todos los puntos según si son core points (pintados rojos), border points (pintados con amarillo) y outilers (pintados grises) construiremos nuestros clusters.
Los clusters se formarán entre la unión de core points que tienen una distancia menor al radio R
Es robusto a outliers (no todas las observaciones necesariamente tienen cluster)
No requiere un número específico de observaciones por cluster
Problema: Es arbitrario el radio épsilon y el mínimo de puntos que se elige.
Utilizaremos los paquetes “factoextra” y “dbscan” para realizar análisis de cluster. Las funciones a utilizar son las siguientes:
kmeans: permite clusterizar una base de datos mediante el método kmeans. Argumentos:
dbscan: permite clusterizar una base de datos mediante el método dbscan. Argumentos:
kNNdistplot: permite visualizar la distancia promedio a los k vecinos más cercano de cada observación de la base de datos.
fviz_cluster: permite visualizar gráficamente los cluster.