Talle N° 3: Análisis de Componentes Principales + Cluster

El Producto Interno Bruto (PIB) es una magnitud macroeconómica que expresa el valor monetario del acumulado de producción de bienes y servicios de demanda final en una población durante un período determinado de tiempo, regularmente un año o periodo fiscal. En Colombia, la medición del PIB es realizada por el Departamento Administrativo Nacional de Estadística (DANE), quien considera 12 grandes agrupaciones para las ramas de la actividad económica en el país + el rubro de generación de impuestos (13 agrupaciones en total).

La hoja de datos PIBpc.xlsx contiene, para el año 2018, la medición del PIB percapita (Cociente entre el PIB y el número de habitantes), medido en miles de millones de pesos, para las 33 unidades administrativas en que se divide Colombia el año 2018: 32 departamentos y el distrito capital, Bogotá. Las diferencias en la ubicación geográfica, la variedad de los recursos naturales, aspectos culturales y de tamaño de población, pueden generar heterogeneidad en las fortalezas productivas de los departamentos. A través del Análisis de Componentes Principales, y siguiendo la metodología estudiada en clase, se espera que usted:

Análisis Exploratorio de Datos.

  1. Realice un análisis exploratorio previo de los datos disponible, haciendo énfasis en la estructura de correlación entre las variables de productividad económica.
  • Primero se carga la hoja de datos y se revisa los tipos de datos de cada columna.
Columna Tipo de Dato
Departamento character
Abreviatura character
Agricultura, ganadería, caza, silvicultura y pesca numeric
Explotación de minas y canteras numeric
Industrias manufactureras numeric
Suministro de electricidad, gas, vapor y aire acondicionado; distribución de agua; evacuación y tratamiento de aguas residuales, gestión de desechos y actividades de saneamiento ambiental numeric
Construcción numeric
Comercio al por mayor y al por menor; reparación de vehículos automotores y motocicletas; transporte y almacenamiento; alojamiento y servicios de comida numeric
Información y comunicaciones numeric
Actividades financieras y de seguros numeric
Actividades inmobiliarias numeric
Actividades profesionales, científicas y técnicas; actividades de servicios administrativos y de apoyo numeric
Administración pública y defensa; planes de seguridad social de afiliación obligatoria; educación; actividades de atención de la salud humana y de servicios sociales numeric
Actividades artísticas, de entretenimiento y recreación y otras actividades de servicios; actividades de los hogares individuales en calidad de empleadores; actividades no diferenciadas de los hogares individuales como productores de bienes y servicios para uso propio numeric
Impuestos numeric
  • Se modifican los nombres de columna, para que sean más cortos y por tanto más legibles, se nombran las filas para facilitar las visualizaciones, y se transforman los datos tipo caracter en factores. La tabla de datos luce así:
Columna Tipo de Dato
agricultura numeric
minas numeric
manofactura numeric
recursos primarios numeric
construccion numeric
comercio numeric
informacion y comunicacion numeric
financiera numeric
inmobiliarias numeric
profesionales numeric
salud publica y servicios sociales numeric
arte numeric
impuestos numeric
  • Se verifica que no haya valores faltantes:

  • A continuación un resumen de los datos de los indicadores de PIBpc:
Promedio Desviación Minimo Mediana Maximo
agricultura 0.0013469 0.0008834 0.0000018 0.0012259 0.0036660
minas 0.0015945 0.0035367 0.0000147 0.0001454 0.0146897
manofactura 0.0011713 0.0012374 0.0000098 0.0006365 0.0045158
recursos primarios 0.0003580 0.0002938 0.0000143 0.0002926 0.0010801
construccion 0.0009957 0.0004403 0.0003409 0.0009486 0.0022547
comercio 0.0025949 0.0022128 0.0005394 0.0021030 0.0130943
informacion y comunicacion 0.0002703 0.0002503 0.0000054 0.0002068 0.0013214
financiera 0.0003996 0.0004475 0.0000648 0.0002381 0.0026160
inmobiliarias 0.0008818 0.0007583 0.0001378 0.0007258 0.0040235
profesionales 0.0006272 0.0006044 0.0000066 0.0005452 0.0026417
salud publica y servicios sociales 0.0024325 0.0004701 0.0017926 0.0023315 0.0044817
arte 0.0002373 0.0002120 0.0000428 0.0001881 0.0012189
impuestos 0.0009852 0.0009070 0.0001378 0.0006899 0.0044431

  • Debido a que los datos son muy pequeños al estar en miles de millones de pesos, prefieron transformarlos a unidades de millones de pesos colombianoes y tener tipos de valores mas manejables.

  • En la siguiente tabla se puede observar que el valor minimo es de 0.0054 millones de pesos, mientras que el valor máximo es de 13.433 millones de pesos colombianos.

Promedio Desviación Minimo Mediana Maximo
agricultura 1.3469 0.8834 0.0018 1.2259 3.6660
minas 1.5945 3.5367 0.0147 0.1454 14.6897
manofactura 1.1713 1.2374 0.0098 0.6365 4.5158
recursos primarios 0.3580 0.2938 0.0143 0.2926 1.0801
construccion 0.9957 0.4403 0.3409 0.9486 2.2547
comercio 2.5949 2.2128 0.5394 2.1030 13.0943
informacion y comunicacion 0.2703 0.2503 0.0054 0.2068 1.3214
financiera 0.3996 0.4475 0.0648 0.2381 2.6160
inmobiliarias 0.8818 0.7583 0.1378 0.7258 4.0235
profesionales 0.6272 0.6044 0.0066 0.5452 2.6417
salud publica y servicios sociales 2.4325 0.4701 1.7926 2.3315 4.4817
arte 0.2373 0.2120 0.0428 0.1881 1.2189
impuestos 0.9852 0.9070 0.1378 0.6899 4.4431
  • El siguiente gráfico es un headmap. De aqui puedo intuir, que Bogotá es posiblemente outlier de muy alto rendimiento en varios de los indicadores del PIBpc y que tal vez haya que eliminarla del conjunto de datos para el PCA. Es posible que San Andres también esté afectando las correlaciones. Se esperaría que siguiendo la metodología estos 2 departamentos especiales no estuvieran en el calculo del modelo de componentes principales.

  • Los siguientes gráficos boxplot, muestran de manera general la distribución de los datos para cada indicador de PIBpc, así como los outliers.

  • Reviso también los gráficos de distribución de puntos para definir cuales outliers podrian afectar de manera negativa las correlaciones de los datos.

´

  • Se eliminó los outliers del indicador de comercio, porque de acuerdo a los diagramas de dispersión, estos outliers estan por fuera de la tendencia de la nube que forman los otros puntos. Los departamentos elimnados bajo este filtro fueron Bogota D.C., Casanare, San Andrés, Providencia y Santa Catalina (Archipiélago), quedando eliminados los 2 departmentos esperados.

  • Se revisa los diagramas de dispersión del indicador impuestos y se identifica que el outlier efectivamente afecta la correlación con las otras variables: El outlier se aleja en todos los casos de la tendencia maracada por las nubes formadas por los otros puntos. En este caso se eliminó el departamento Santander.

  • En el caso del indicador de minas, aunque se elimine los outliers (del heatmap intuyo que es Santander), la nube de puntos que se forman con el resto de indicadores no muestra ninguna tendencia y tampoco mejora los valores de correlación, por ende no se elimina Santander del conjunto de datos, puesto que los otros indicadores PIBpc podrian aportar información valiosa al modelo.

  • Asi quedan los diagramas de dispersión, despues del proceso de eliminación de outliers:

  • El siguiente diagrama muestra los pares de correlaciones ordenados de mayor a menor, de arriba hacia abajo, y de izquierda hacia derecha:

  • Queda demostrado entonces que el conjunto de datos tiene variables lo suficientemente correlacionadas como para lograr descomponer los datos en componentes principales. Se puede ver tambien que indicadores tales como agricultura y minas (sector primario) y salud pública y servicios sociales (sector quinario) muestran independencia del resto de indicadores.

Análisis de Componentes Principales

  1. Identifique, seleccione e interprete las estructuras latentes (Componentes Prinicipales) que caracterizan las capacidades de generación de riqueza de los departamentos en Colombia. (Recuerde manejar adecuadamente los puntos influyentes)
  • Con los datos preparados, se realiza un analisis de componentes principales, las cuales explican comulativamente la variabilidad de los datos de acuerdo a los siguientes gráficos de valor propio de explicabilidad y valor acumulado.

  • De aquí podemos verificar que las 3 primeras componentes principales recogen el 81.75% de la explicación de la variabilidad. El resto de componentes no añaden mayor valor, comparado con la complejidad que añade si se añaden al modelo.

  • En los siguiente gráficos, se muestra cómo aporta cada indicador al valor de cada una de las 3 primeras componentes.

  • De estas gráficas se puede observar:
    • PCA1 es un indicador de todas las actividades que no se relacionan ni con el sector primario ni con el sector quinario. El PCA1 podría ser interpretado como el desarrollo urbano, ya que incluye actividades que suelen concentrarse en áreas urbanas, tales como servicios financieros, inmobiliarios, y de entretenimiento.
    • PCA2 es un componente más relacionado con el sector primario (explotación de recursos naturales), el sector secundario (actividades industriales de transformación de materias primas), y el sector quinario (servicios públicos y actividades no lucrativas, por lo general a cargo del estado). Todos estos sectores son importantes para el desarrollo de las zonas rurales. PCA2 podría ser el indicador de desarrollo rural. Los aportes negativos de los otros indicadores a esta componente pueden corresponder a que, en la medida que una zona se urbaniza, pierde capacidad de desarrollo rural, lo cual tiene sentido. En este caso, cuanto más negativo es PCA2, más indice de desarrollo rural.
    • PCA3 está principalmente influenciado por las actividades del sector quinario, es decir, actividades no lucrativas importantes para el desarrollo de la economía, tales como seguridad social, educación pública y servicios sociales. PCA3 podría ser interpretado como el nivel de desarrollo de servicios públicos y sociales esenciales para el bienestar social y la calidad de vida. Para PCA3, también, valores más negativos indican mayor calidad de vida.
  1. Proyecte la productividad de los departamentos en el espacio de las componentes principales y genere un ranking de los departamentos en función de su capacidad productiva en cada una de las componentes.
  • Los siguiente gráficos proyectan cada unos de los departamentos en el espacio de cada una de las componentes para verificar cual sería su ranking de capacidad productiva de acuedo a esa componente.

  • Del gráfico para PC1, podemos ver que los departamentos con mayor desarrollo urbano son el Valle, Antioquia y Atlantico. Mientras que los departamentos con menos desarrollo urbano son Vichada, Vaupés, Choco, Guainia, Putumayo y Amazonas, lo cual tiene sentido por sus condiciones geograficas.
  • Del gráfico para PC2, podemos ver que departamentos como Meta, Arauca y Boyaca, son los departamentos con más alto nivel de desarrollo rural. Mientras que departamentos como atlantico y cordoba se encuentran entre los que tienen menos desarrollo rural. Entre los departamentos con bajo desarrollo rural también está el Valle y Antioquia, como era de esperarse, dado el ranking del PCA1.
  • Del gráfico para el PCA3, podría decir que los departamentos que tienen más actividades para del sector quinario son Guviare y Vaupés, lo cual tienes sentido por el contexto historico de conflicto armado, su zona geográfica (principalmente la amazonía) y de aislamiento, alta proporción de población indigena, y los esfuerzos por parte del estado para proporcionar servicios esenciales y promover el desarollo sostenible en contextos de alta vulnerabilidad y necesidades especificas. Por otro lado podemos ver el bajo indice de actividades para el bienestar social en Vichada, lo cual puede ser producto del aislamiento geográfico y la falta de infraestructura (lo que implica dificultad de acceso a la zona), la baja densidad social, la falta de recursos.
  1. Utilizando los resultados de la proyección de departamentos y variables en el espacio de las componentes (biplot), genere una caracterización de la estrutura del PIB de los siguientes departamentos: Casanare, Arauca, Bogota, San Andrés, Valle del Cauca, Antioquia,Choco, Vaupes.

  • De la comparación de desarrollo urbano vs desarrollo rural podemos ver 4 cuadrantes para constrastar.
    • El cuadrante arriba - izquierda, sería el cuadrante de los departamentos con bajo desarrollo tanto urbano como rural.
    • El cuadrante arriba - derecha, seria el cuadrante de los departamentos con buen desarrollo urbano pero con bajas actividades relacionadas con el sector primario.
    • El cuadrante abajo - izquierda, seria el cuadrante de los departamentos con buen desarrollo rural pero no tan urbanizado.
    • El cuadrante abajo - derecha, serian los departamentos tanto con alto nivel de urbanización como de de desarrollo de actividades rurales, del sector primario.
  • De los vectores que componen las componentes principales, puedo observar que:
    • el aumento en las actividades del sector quinario implica una zona que ha aumentado en el desarrollo de actividades primarias pero no tanto en el desarrollo urbano.
    • el aumento de las actividades del sector primario (agricultura y mineria) tienden a influir hacia el desarrollo rural, pero no implica un aumento en el desarrollo urbano, lo cual tiene sentido.
    • el aumento de las actividades del otros sectores como la construcción y el comerción ayudan tanto a mejorar el desarrollo de actividades del sector primario como el desarrollo urbano.
    • varias de las actividades del sector terciario y quaternario afectan positiviamente al desarrollo urbano de las cidades, pero tambien implica una baja en las actividades del sector primario.
  • De los departamentos consultados, que están pintados de rojo, puedo observar que:
    • Vichada y Choco estan entre los departamentos con muy bajo desarrollo tanto rural como urbano.
    • El valle del Cauca, Antiquia y Bogotá son departamentos con alto nivel de urbanización pero con bajas actividades en el sector primario. Teniendo a Bogotá como un notable ejemplo que parece moverse en la dirección del vector de las actividades del sector quaternario, que inlcluye servicios relacionados con el conocimiento y la tecnología, como investigación y desarrollo, consultoría, y tecnologías de la información.
    • Casanare y San Andres son ejemplos de departamentos tanto con alto nivel de urbanidad como con alto nivel de ruralidad. San Andres parece moverse en la dirección de los vectores de los sectores secundarios y terciarios, en particular actividades de la construcción y de servicios de comercio al por mayor y por menor, reparacion de vehiculos, transporte, alojamiento y servicios de comida. Mientras que Casanare parece moverse más la dirección del vector de agricultura.

  • De la comparación de desarrollo urbano vs desarrollo rural podemos ver 4 cuadrantes para constrastar.
    • El cuadrante arriba - izquierda, sería el cuadrante de los departamentos con bajo desarrollo tanto urbano como con bajo nivel de actividades para el bienestar social.
    • El cuadrante arriba - derecha, seria el cuadrante de los departamentos con buen desarrollo urbano pero con bajas actividades relacionadas con el bienestar social.
    • El cuadrante abajo - izquierda, seria el cuadrante de los departamentos con alto nivel de actividades para el bienestar social pero no tan urbanizados.
    • El cuadrante abajo - derecha, serian los departamentos tanto con alto nivel de urbanización como alto nivel en las actividades de bienestar social.
  • De los vectores que componen las componentes principales, puedo observar que:
    • el aumento en las actividades del sector quinario implica una zona que ha aumentado las actividades de bienestar social pero tambien implica departamentos con bajo nivel de urbanización.
    • el aumento de las actividades del sector primario (agricultura y mineria) tienden a indicar un bajo desarrollo en actividades del sector quinario, pero no implica un aumento en el desarrollo urbano, lo cual tiene sentido. Esto muestra un bajo interes del estado por desarrollo de actividades para el bienestar social de los departamentos que aumentan el desarrollo de actividades del sector primario.
    • el aumento de las actividades de otros sectores como la construcción y el comercio, ayudan tanto a mejorar el desarrollo de actividades del sector quinario como el desarrollo urbano.
    • varias de las actividades del sector terciario y quaternario afectan positiviamente al desarrollo urbano de los departamentos, pero tambien implica una baja en las actividades para el bienestar social.
  • De los departamentos consultados, que están pintados de rojo, puedo observar que:
    • Choco esta entre los departamentos con muy bajo desarrollo urbano como bajo en actividades para el bienestar social.
    • Arauca tiene un bajo desarrollo urbano, pero permanece en el promedio respecto desarrollo de actividades para el bienestar social.
    • Casanare es un ejemplo de departamentos con bajo desarrollo de actividades para le bienestar social, pero con buen nivel de desarrollo urbano.
    • Antiquia, Valle, Santander y Bogotá están en el cuadrante de departamentos con alta desarrollo de actividades del sector quinario, pero tambien con alto nivel de desarrollo urbano.
    • Finalmente Vapues está en el cuadrante de los departamentos con bajo nivel de urbanización pero con alta actividad de servicios del sector quinario.

  • De la comparación de desarrollo urbano vs desarrollo rural podemos ver 4 cuadrantes para constrastar.
    • El cuadrante arriba - izquierda, sería el cuadrante de los departamentos con alto desarrollo rural asi como de actividades del sector quinario.
    • El cuadrante arriba - derecha, seria el cuadrante de los departamentos con alto desarroolo de actividades para el bienestar social pero con bajo nivel de desarrollo rural.
    • El cuadrante abajo - izquierda, seria el cuadrante de los departamentos con alto nivel de actividades para el bienestar, asi como con alto nivel del desarrollo rural.
    • El cuadrante abajo - derecha, serian los departamentos tanto con bajo nivel de desarrollo rural, pero con alto nivel en las actividades de bienestar social.
  • De los vectores que componen las componentes principales, puedo observar que:
    • el aumento en las actividades del sector quinario implica una zona que ha aumentado las actividades de bienestar social pero tambien implica departamentos con bajo nivel de desarrollo en zonas rurales.
    • el aumento de las actividades del sector primario (agricultura y mineria) tienden a indicar un bajo desarrollo en actividades del sector quinario, pero implica un aumento en el desarrollo rural, lo cual tiene sentido. Esto muestra un bajo interes del estado por el desarrollo de actividades para el bienestar social en los departamentos que aumentan el desarrollo rural.
    • el aumento de las actividades de otros sectores como la construcción y el comercio, ayudan tanto a mejorar el desarrollo de actividades del sector quinario como el desarrollo rural.
    • Tener alto varias de las actividades del sector terciario y quaternario implican un bajo desarrollo rural de los departamentos, pero tambien implica un nivel alto en las actividades para el bienestar social.
  • De los departamentos consultados, que están pintados de rojo, puedo observar que:
    • Casanare esta en el cuadrante de los departamentos con bajo desarrollo de actividades quinarias pero con alto desarrollo rural.
    • Arauca permance en el promedio, en las actividades de desarrollo del bienestar social, pero se encuentra bien desarrollado a nivel rural.
    • Choco está en el cuadrante de los departamentos tanto con bajo nivel de desarrollo rural como bajo desarrollo de actividades quinarias.
    • Antiquia, Valle, Vapues y Bogotá, estan en el cuadrante de los departamentos con bajo desarrollo rural, pero con alto nivel de actividades para el bienestar social.
    • Finalmente San Andres está en el cuadrante de los departamentos con buen nivel de desarrollo rural, pero en los que no se desarrollan muchas actividades del sector quinario.
  1. Utilice las puntuaciones de las componentes prinicipales para sugerir al gobierno nacional una agrupación de departamentos con similaridad en su estructura de generación en valor agregado.
  • Se prueba primero con 3 grupos:

  • La anterior grafica muestra un bajo nivel de siloeta para creacion de 3 grupos. Se busca el optimo

  • Se encuentra que el optimo son 5 grupos. Se comparan las siloetas

  • Hacerlo con 5 grupos mejora el nivel de los resultados de la prueba de silueta.

  • Los grupos sugeridos son:

    • Grupo 1: Atlantico, Bolivar, Boyaca, Caldas, Cundinamarca, Huila, Quindio, Risaralda, Tolima
    • Grupo 2: Bogota D.C.
    • Grupo 3: Caqueta, Cauca, Cesar, Cordoba, Choco, La Guajira, Magdalena, Nariño, Norte de Santander, Sucre, Arauca, Putumayo, Amazonas, Guainía, Guaviare, Vaupés, Vichada
    • Grupo 4: Antioquia, Valle del Cauca, San Andrés, Providencia y Santa Catalina (Archipiélago), Santander
    • Grupo 5: Meta, Casanare
  1. Utilice herramientas de visualización para describir de forma sintetica las caracteristicas globales de los grupos de departamentos sugeridos.

  • Grupo 1: Atlantico, Bolivar, Boyaca, Caldas, Cundinamarca, Huila, Quindio, Risaralda, Tolima. Este grupo tiende a tener bajo desarollo rural, pero tiende a tener alto desarrollo urbano. El nivel de servicios del sector quinarios tienen a ser promedio.

  • Grupo 2: Bogota D.C.. Este depatamente especial quedó solo. Muesta un buen desempeño a nivel urbano y de actividades de bienestar social, pero un bajo desempeño en actividades rurales.

  • Grupo 3: Caqueta, Cauca, Cesar, Cordoba, Choco, La Guajira, Magdalena, Nariño, Norte de Santander, Sucre, Arauca, Putumayo, Amazonas, Guainía, Guaviare, Vaupés, Vichada, Este grupo esta distribuido principalmente entre los departamentos que tienden a tener un bajo desarrollo de activadades de bienestar social, un nivel promedio de desarollo urbano, y un nivel de desarrollo rural que tiende a ser bueno.

  • Grupo 4: Antioquia, Valle del Cauca, San Andrés, Providencia y Santa Catalina (Archipiélago), Santander. Este grupo tiende a tener un desarrollo rural promedio, tiende a tener un buen desarrollo urbano, y tiende a tener un desarrollor de actividades de promedio a bueno.

  • Grupo 5: Meta, Casanare, el grupo de los departamentos con desarrollo rural, pero desarrollo urbano y desarrollo de actividades de bienestar social de nivel promedio.