Aprendizaje No Supervisado
Juan David Arango, Pablo Ortega, Alvaro Ramirez, Laura Nuñez
2024-05-22
Introducción
Este trabajo se enfoca en la construcción y análisis de una base de datos obtenida del portal SER Pacífico, con el objetivo de analizar las variables elegidas y agrupar los datos de manera que se pueda apreciar claramente su jerarquía, lo que facilita su comprensión, es decir, por medio de un análisis multivariado se investiga la estructura compleja de los datos y se descubre relaciones que no son evidentes a simple vista.
Se armó una base de datos seleccionando variables relevantes y realizando un Análisis de Componentes Principales (ACP) seguido de técnicas de clusterización (método de Ward) para interpretar patrones y segmentaciones dentro de los datos.
1. Metodología
Para iniciar se elige las variables de la base de datos SERpacifico, estas variables se filtran al modelo que se va desarrollar en este caso, únicamente los municipios del valle del cauca en el año que se tomó en cuenta 2018 y con esta información recopilada se empieza a generar las aplicaciones principales.
Técnica ACP
Utilizada para reducir la dimensionalidad de los datos cuantitativos. Crea nuevas variables llamadas componentes principales que explican la mayor parte de la variación en los datos. Este método ayuda a eliminar información redundante, reducir el ruido y simplificar la estructura de los datos. Las variables deben ser estandarizadas para que tengan una desviación estándar de 1 antes de aplicar ACP, utilizando la función prcomp() con el argumento scale = TRUE.
Clusterización
Para clasificar los datos en el modelo se utiliza el método de Ward, una técnica de Análisis de Clúster Jerárquico que minimiza la suma de las distancias al cuadrado dentro de cada clúster. Las distancias iniciales entre los clústeres se determinan usando el cuadrado de la distancia euclidiana entre los puntos.
2. Descripción de las variables
-Índice Municipal de riesgo de desastres (Ind.riesgo): Es una herramienta utilizada medir los riesgos a los que está expuesta a nivel municipal ante desastres naturales, como terremotos, inundaciones, huracanes, entre otros
-Valor Total Ingresos Totales (valor.Ingresos): Los ingresos totales son los ingresos totales que generan todos los municipios del valle a partir de todas sus fuentes de ingresos
Se observa que Cali tiene mayor nivel de ingresos respecto a los demas municipios del Valle.
-Generación de recursos propios (Gen.recursos): Son los aportados por los propietarios o accionistas, los generados por la actividad de los municipios propios que no han sido repartidos y los aportados por terceros sin exigencia de devolución.
-Actividades Primarias (Acti.Primarias): Las actividades económicas primarias son las que aprovechan los recursos naturales para obtener materias primas. Incluyen la agricultura, la ganadería, la explotación forestal, la minería y la pesca
-Indicador de Desempeño Integral (Ind.desem): Busca evaluar la gestión pública (en sus etapas de programación, ejecución y seguimiento) y la toma de decisiones en el uso de los recursos de los municipios
-Valor agregado per cápita( Valor.perCap): Relación entre el valor total de todos los bienes y servicios finales generados durante un año por la economía de una nación o estado y el número de sus habitantes en ese año
Se evidencia como el valor per capita de los habitantes de Yumbo sobresale por encima de los demas municipios del Valle del Cauca; esto se debe seguramente a dos factores importantes; Su actividad industrial, y su pequeña poblacion en comparacion a ciudades con mayor densidad poblacional.
-cobertura bruta en educación secundaria (Cober.BrutaeduSec): Cantidad o porcentaje de la totalidad de estudiantes matriculados en el sistema educativo
-Valor agregado municipal (Valor.muni): Refleja la participación y el excedente económico de producción que aporta cada municipio al departamento, pero no refleja el Producto Interno Bruto municipal
-matrícula educación superior (matri.eduSup): proporcionar información personal, académica y administrativa, cumpliendo con los requisitos establecidos por cada institución educativa. En la mayoría de los casos, una matrícula implica completar formularios de solicitud, presentar documentos, pagar tarifas y cumplir con los plazos establecidos
Cali por su cobertura universitaria resalta respecto a los demas municipios que no tienen en su mayoria instituciones de educación superior
-Magnitud de la inversión (Mag.inversión): La inversión es el acto de asignar recursos para la compra o creación de activos o de capital, es decir el acto de no consumir esos recursos ahora para satisfacer necesidades en el presente, sino de destinarlos a satisfacer necesidades en el futuro, la magnitud de inversión es la cantidad de recursos que se destinarán.
-nacimientos residencia ( nac.Residencia): Lugar en que ha nacido una persona, es decir, el lugar de residencia habitual de la madre en el momento del nacimiento, determinado en la fecha de la recogida de datos
-Toneladas producidas de caña de azúcar (Ton.prudCañaAz): Se refieren a la cantidad total de caña de azúcar cosechada y procesada en un área específica, como una plantación, una región o un país.
Palmira, Candelaria y El Cerrito son los municipios con mayor toneladas producidas de caña de azucar.
-Nacimientos ocurrencia (Nac.Ocu): Se denomina a la proporción o porcentaje de inscripción de los hechos vitales que ocurren dentro de un ámbito geográfico, las evaluaciones de las estadísticas de nacimiento
-Valor total gastos (Valor.gastos): El porcentaje de gastos generales es el porcentaje de recargo aplicable sobre los gastos directos que nos permiten asignar los gastos generales al coste de cada objeto concreto. Esta asignación se lleva a cabo en base a un principio de causalidad
-Valor total ingresos corrientes no tributarios ( valor.ingCor): los ingresos no tributarios provienen de ventas de bienes, prestación de servicios, multas, entre otros
3. Resultados
3.1 Matriz de correlación
Para entender la correlación entre las variables escogidas durante el estudio es necesario conocer algunos conceptos del gráfico anterior. - El color azul representa una relación directamente proporcional entre las variables, es decir, a medida que una variable aumenta, la otra también lo hará. - El color rojo representa una relación inversamente proporcional entre las variables, es decir, a medida que una variable aumenta o disminuye, la otra tendrá el efecto contrario. - Las casillas en blanco significan que no existe correlación entre las variables. - La gráfica muestra que tipo de relación existe entre las variables ( si es directamente proporcional o inversamente proporcional) pero no indica que variable aumenta o disminuye.
Por ejemplo, la variable “Acti.Primarias” sostiene una fuerte correlación directamente proporcional con la variable “Ton.prudCañaAZ” lo que quiere decir que entre más aumenta las actividades primarias en un municipio, mayor será las toneladas totales producidas; este análisis resulta muy congruente, pues la producción de caña de azúcar es considerada una actividad primaria. Por otro lado, la variable “Ind.riesgo” asegura una fuerte correlación inversamente proporcional con la variable “Gen.recpropios”, esto podría deberse a que a mayor riesgo es más difícil sostener e incrementar los recursos propios, por tanto, dichos recursos tienden a decaer.3.2 Gráfico de la regla del codo
A continuación se muestra un gráfico de barras el cual indica el porcentaje de explicación de cada una de las dimensiones.
Como se puede observar, las dimensiones más representativas son la número 1 y la número 2 las cuales explican un 71.4% . En vista que con solo 2 dimensiones se explica un buen porcentaje del modelo, se toma la decisión de obviar una tercera dimensión, pues esta solo aportará un 8.9% de explicación del modelo, es decir, una tercera dimensión implica un mayor esfuerzo de interpretación por un porcentaje de explicación bajo en comparación a la dimensión 1 y 2.
4. Análisis Multivariado
En el grafico anterior se puede observar que tan representadas están las variables con respecto a la dimensión 1 y 2. Los individuos de color rojo y más lejanos a los ejes presentan mayor explicación que los demás individuos con tonos más fríos y con tendencia al centro. Se puede observar municipios como, por ejemplo: Candelaria, Bugalagrande, y El Cerrito que están siendo muy bien representados por la dimensión 2, al igual que El Águila, El Cairo y Argelia; pero con las características opuestas a los municipios mencionados primeramente. Asimismo, Cali está siendo bien representado por la dimensión 1
El grafico anterior exhibe la contribución de las variables a las dimensiones creadas, se observa por ejemplo que las variables Matricula de educación superior, Ingresos, Gastos, nacimientos por residencia y ocurrencia, entre otras tienen gran contribución a la creación de la dimensión 1, mientras que la generación de recursos propios, el indicador de desempeño y la generación de recursos contribuyen de manera significativa respecto a otras variables a la creación de la dimensión 2.
Sin embargo, para fines prácticos más adelante se muestra de manera detallada y precisa la contribución de cada variable a la creación de las dimensiones.
El Biplot proporciona información valiosa para obtener un panorama más amplio en cuanto a la relación de variables e individuos, por ejemplo se puede observar que variables como Ingresos, Gastos, Nacimientos, y matricula de educación superior explican mejor a Cali, por otro lado el indicador de riesgo tiene gran relación con municipios como El Cairo, Argelia y El Dovio, y por ultimo las variables de Generación de recursos propios, Indicador de desempeño y las actividades primarias representan a Jamundí, Candelaria, Palmira, entre otros.
Al observar la base de datos se comprueba efectivamente que en este caso Cali tiene altos índices de ingresos, matrícula de educación superior y gastos respecto a todos los demás municipios, mientras que por ejemplo con la variable de generación de recursos propios se tiene índices altos entre 86% y 89% para Palmira, Candelaria y El Cerrito, y además se tiene que, para municipios como El Cairo, El Dovio y Argelia no alcanza ni siquiera índices del 50%.
4.1 Contribución de las variables a la creación de cada factor
A continuación se muestra cada una de las dimensiones con el porcentaje de contribución de cada una de las variables.
## Dim.1 Dim.2
## Ind.riesgo 1.0818135 14.8925823
## valor.Ingresos 13.3677891 0.6449230
## Acti.Primarias 0.2405513 11.6146646
## Ind.desem 3.3624980 15.2701806
## Valor.perCap 0.1588853 5.3153659
## Cober.BrutaeduSec 0.2285747 6.5149148
## Valor.muni 13.3691793 0.2582424
## matri.eduSup 13.0151435 1.1130034
## Mag.inversión 0.1775508 10.9992178
## Gen.recpropios 1.5246016 17.0054726
## nac.Residencia 13.2895868 0.7135484
## Ton.prudCañaAz 0.5939412 13.0338977
## Nac.Ocu 13.0972915 1.0792172
## Valor.gastos 13.3620772 0.6723758
## valor.ingCor 13.1305161 0.8723934Teniendo en cuenta la tabla anterior asignamos un nombre a cada una de las dimensiones de acuerdo a las variables más contribuyentes.
4.2 Interpretación de los factores
Dimensión 1
- Una vez las variables de la dimensión 1 han sido agrupadas se procede a analizar cuáles de estas contribuyen en mayor porcentaje de explicación. En este caso, el diagrama indica que las variables más contribuyentes son: Valor. Ingresos, Valor. muni, matri.eduSup, nac. Residencia, Nac. Ocu, valor.gastos, valor.IngCor. Por lo anterior, se puede interpretar que la Dimensión 1 hace referencia a Aspectos Económicos y Financieros.
Dimensión 2
- Análisis diagrama ( dimensión 2 ) El gráfico indica las variables pertenecientes a la Dimensión 2 que tienen mayor porcentaje de contribución. De ser así, las variables más contribuyentes son: Ind. riesgo, Gen. recursos, Acti. Primarias, Ind. desem, Cober.BrutaeduSe, Mag. inversión, Gen. recpropios, Ton. prudCañaAZ. En consecuencia, se puede interpretar que la Dimensión 2 hace referencia a Productividad y Recursos.
4.3 Descripción de los cluster
4.3.1Dendograma
En el gráfico se puede apreciar la clasificación de los distintos municipios dentro del departamento valle del cauca, se organizó en tres grupos esto con el fin de que haya una mayor homogeneidad y de igual forma visualizar los municipios que se encuentran dentro de cada factor para que los individuos sean más claros de identificar, algo que sobresale de este, fue el municipio de cali ya que se cataloga en un solo grupo a diferencia de los demás esto sencillamente por que el modelo lo clasificó como una ciudad atípica a las otras; esta distinción resalta la importancia de Cali como un caso excepcional dentro del análisis.
Por otra parte se puede visualizar la siguiente figura donde se aprecian como los individuos se agrupan en cada factor y esto correlacionado con las dos dimensiones tomadas para el modelo; el factor 3 es aquel que consta con un solo individuo asociado a comparación del 2 que es aquel factor con mayor individuo relacionados. faltaria explicar los 3 factores con que dimensiones están más relacionadas, por ejemplo el factor 3 es atípico ya que se encuentra lejano de ambas dimensiones lo cual lo hace diferente a los demás.
Por otra parte se puede visualizar la siguiente figura donde se aprecian como los individuos se agrupan en cada factor y esto correlacionado con las dos dimensiones tomadas para el modelo; el factor 3 es aquel que consta con un solo individuo asociado a comparación del 2 que es aquel factor con mayor individuo relacionados. faltaria explicar los 3 factores con que dimensiones están más relacionadas, por ejemplo el factor 3 es atípico ya que se encuentra lejano de ambas dimensiones lo cual lo hace diferente a los demás. Se evidencia que el factor 2 tiene individuos más alejados al centroide, por lo cual tiene datos dispersos y se diferencian unos a otros. Además en el factor 1 se observa mayor correlación entre los individuos y se observa un dato atípico que pertenece a dicho factor pero igualmente está alejado a los centroides.
4.4 Caracterización
Los municipios que pertenecen a la primera clase o (al primer factor); tienen un índice de riesgo promedio alto, la magnitud de inversión también, a comparación de la media global, sin embargo el resto de los 14 municipios poseen un promedio bajo de actividad primaria, y en producción de caña; por lo tanto tienen una productividad y recurso medio, debido a esto se definió a este grupo como Ciudades con potencial de desarrollo.
En la segunda clase o (segundo factor), para los 24 municipios que la conforman tienen un alto promedio en cuanto a nivel de generación de recursos se refiere, por otra parte se puede ver que la actividad económica que más destaca en estos municipios es la producción de caña de azúcar esto porque es la primera actividad que hay dentro de estas ciudades, donde poseen una proactividad y recursos alta y poseen un aspecto económicos y financiero medio. por esto se catalogaron como ciudades de crecimiento sólido.
5. Conclusiones
*A partir del gráfico de codo, se establece 2 dimensiones que explica el 71.4% del conjunto de datos, por otro lado en cuanto a las dimensiones, específicamente la 1 corresponde a actividades económicas y financieras, es decir, que casi el 50% de las variables tienen relación a dichas actividades, el 22,8% corresponde al conjunto de variables relacionadas a la productividad, a partir de estas 2 dimensiones se clasificaron los individuos.
*En la gráfica de dimensiones se evidenció algunos datos alejados a los centroides de su cluster perteneciente, lo que podría sugerir la creación de un nuevo cluster con el propósito de abarcar los individuos con características similares y de esta manera tengan mayor correlación con el factor al que pertenecen.
*A partir del análisis multivariado se observa municipios que están altamente relacionadas a una dimensión, sin embargo los individuos suelen tener características opuestas entre ellos y por ende se llega a la conclusión que se hace necesario la implementación de la clusterización.
*Teniendo en cuenta el contexto socioeconomico de varios municipios se intuye que la segmentacion de los cluster fue acertada, principalmente a que en esencia Cali se puede llegar a considerar como una metropolis a diferencia de los demas municipios del Valle, por ende se clasifica en un solo cluster.
*El modelo de ACP y la clusterización resultan efectivos para realizar segmentaciones, en este caso, la segmentación presentada durante el estudio sirve para aplicar políticas gubernamentales con el objetivo de optimizar los recursos de los municipios del Valle del Cauca.6.Referencias
RPubs - Análisis no supervisado. (s. f.). https://rpubs.com/nataramirezso/1052416
RPubs - Aprendizaje no supervisado: clasificación de países. (s. f.). https://rpubs.com/lau_gomez/1052098
SER pacífico. (s. f.). https://serpacifico.uao.edu.co/ser/inicio
Autor: Mg. Daniel Paredes Inilupu. (2020, 26 junio). Capítulo 11 Aprendizaje No supervisado | Data Science con R. https://bookdown.org/dparedesi/data-science-con-r/aprendizaje-no-supervisado.html