Talle N° 3: Análisis de Componentes Principales + Cluster

El Producto Interno Bruto (PIB) es una magnitud macroeconómica que expresa el valor monetario del acumulado de producción de bienes y servicios de demanda final en una población durante un período determinado de tiempo, regularmente un año o periodo fiscal. En Colombia, la medición del PIB es realizada por el Departamento Administrativo Nacional de Estadística (DANE), quien considera 12 grandes agrupaciones para las ramas de la actividad económica en el país + el rubro de generación de impuestos (13 agrupaciones en total).

La hoja de datos PIBpc.xlsx contiene, para el año 2018, la medición del PIB percapita (Cociente entre el PIB y el número de habitantes), medido en miles de millones de pesos, para las 33 unidades administrativas en que se divide Colombia el año 2018: 32 departamentos y el distrito capital, Bogotá. Las diferencias en la ubicación geográfica, la variedad de los recursos naturales, aspectos culturales y de tamaño de población, pueden generar heterogeneidad en las fortalezas productivas de los departamentos. A través del Análisis de Componentes Principales, y siguiendo la metodología estudiada en clase, se espera que usted:

Análisis Exploratorio de Datos.

  1. Realice un análisis exploratorio previo de los datos disponible, haciendo énfasis en la estructura de correlación entre las variables de productividad económica.
  • Primero se carga la hoja de datos y se revisa los tipos de datos de cada columna.
## Warning: package 'readxl' was built under R version 4.2.3
## Warning: package 'knitr' was built under R version 4.2.3
## Warning: package 'pheatmap' was built under R version 4.2.3
Columna Tipo de Dato
Departamento character
Abreviatura character
Agricultura, ganadería, caza, silvicultura y pesca numeric
Explotación de minas y canteras numeric
Industrias manufactureras numeric
Suministro de electricidad, gas, vapor y aire acondicionado; distribución de agua; evacuación y tratamiento de aguas residuales, gestión de desechos y actividades de saneamiento ambiental numeric
Construcción numeric
Comercio al por mayor y al por menor; reparación de vehículos automotores y motocicletas; transporte y almacenamiento; alojamiento y servicios de comida numeric
Información y comunicaciones numeric
Actividades financieras y de seguros numeric
Actividades inmobiliarias numeric
Actividades profesionales, científicas y técnicas; actividades de servicios administrativos y de apoyo numeric
Administración pública y defensa; planes de seguridad social de afiliación obligatoria; educación; actividades de atención de la salud humana y de servicios sociales numeric
Actividades artísticas, de entretenimiento y recreación y otras actividades de servicios; actividades de los hogares individuales en calidad de empleadores; actividades no diferenciadas de los hogares individuales como productores de bienes y servicios para uso propio numeric
Impuestos numeric
  • Se modifican los nombres de columna, para que sean más cortos y por tanto más legibles, se nombran las filas para facilitar las visualizaciones, y se transforman los datos tipo caracter en factores. La tabla de datos luce así:
Columna Tipo de Dato
agricultura numeric
minas numeric
manofactura numeric
servicios publicos numeric
construccion numeric
comercio numeric
informacion y comunicacion numeric
financiera numeric
inmobiliarias numeric
profesionales numeric
salud publica y servicios sociales numeric
arte numeric
impuestos numeric
  • Se verifica que no haya valores faltantes:

  • A continuación un resumen de los datos de los indicadores de PIBpc:
Promedio Desviación Minimo Mediana Maximo
agricultura 0.0013469 0.0008834 0.0000018 0.0012259 0.0036660
minas 0.0015945 0.0035367 0.0000147 0.0001454 0.0146897
manofactura 0.0011713 0.0012374 0.0000098 0.0006365 0.0045158
servicios publicos 0.0003580 0.0002938 0.0000143 0.0002926 0.0010801
construccion 0.0009957 0.0004403 0.0003409 0.0009486 0.0022547
comercio 0.0025949 0.0022128 0.0005394 0.0021030 0.0130943
informacion y comunicacion 0.0002703 0.0002503 0.0000054 0.0002068 0.0013214
financiera 0.0003996 0.0004475 0.0000648 0.0002381 0.0026160
inmobiliarias 0.0008818 0.0007583 0.0001378 0.0007258 0.0040235
profesionales 0.0006272 0.0006044 0.0000066 0.0005452 0.0026417
salud publica y servicios sociales 0.0024325 0.0004701 0.0017926 0.0023315 0.0044817
arte 0.0002373 0.0002120 0.0000428 0.0001881 0.0012189
impuestos 0.0009852 0.0009070 0.0001378 0.0006899 0.0044431
  • El siguiente gráfico es un headmap. De aqui puedo intuir, que Bogotá es posiblemente outlier de muy alto rendimiento en varios de los indicadores del PIBpc y que tal vez haya que eliminarla del conjunto de datos para el PCA.

  • Los siguientes gráficos boxplot, muestran de manera general la distribución de los datos para cada indicador de PIBpc, y además los indicadores que cuentan con outliers.

  • Reviso también los gráficos de distribución de puntos para definir cuales outliers podrian afectar de manera negativa las correlaciones de los datos.

´

  • Se eliminó los outliers del indicador de comercio, porque de acuerdo a los diagramas de dispersión, estos outliers estan por fuera de la tendencia de la nube que forman los otros puntos. Los departamentos elimnados bajo este filtro fueron Bogota D.C., Casanare, San Andrés, Providencia y Santa Catalina (Archipiélago), quedando eliminados los 2 departmentos esperados.

  • Se revisa los diagramas de dispersión del indicador impuestos y se identifica que el outlier efectivamente afecta la correlación de este indicado con las otras variables, puesto que se aleja en todos los casos de la tendencia maracada por las nubes de puntos. En este caso se eliminó el departamento Santander

  • En el caso del indicador de minas, aunque se elimine los outliers (del heatmap intuyo que es Santander), la nube de puntos que se forman con el resto de indicadores no muestra ninguna tendencia y tampoco mejora los valores de correlación, por ende no se elimina Santander del conjunto de datos, puesto que las otros indicadores PIBpc podrian aportar información valiosa al modelo.

  • Asi quedan los diagramas de dispersión, despues del proceso de eliminación de outliers:

  • El siguiente diagrama muestra los pares de correlaciíon ordenados de mayor a menor, de arriba hacia abajo, y de izquierda hacia derecha:

  • Queda demostrado entonces que el conjunto de datos tiene variables lo suficientemente correlacionadas como para lograr descomponer los datos en componentes principales.

Análisis de Componentes Principales

  1. Identifique, seleccione e interprete las estructuras latentes (Componentes Prinicipales) que caracterizan las capacidades de generación de riqueza de los departamentos en Colombia. (Recuerde manejar adecuadamente los puntos influyentes)
## Standard deviations (1, .., p=13):
##  [1] 2.8009377 1.3030433 1.0412830 0.9074858 0.7347013 0.5752736 0.5002820
##  [8] 0.4029432 0.3355494 0.2681241 0.2137196 0.1544413 0.1078987
## 
## Rotation (n x k) = (13 x 13):
##                                            PC1          PC2          PC3
## agricultura                         0.03654512 -0.624331798  0.198842208
## minas                              -0.00894019 -0.618335164  0.217190853
## manofactura                         0.32047550  0.075036534  0.036847542
## servicios publicos                  0.29610696 -0.012929606  0.122863223
## construccion                        0.25423380 -0.266761645 -0.173802709
## comercio                            0.31131572 -0.232875670 -0.209174989
## informacion y comunicacion          0.33999979  0.008572286  0.099013485
## financiera                          0.32133666  0.047284950 -0.081908943
## inmobiliarias                       0.31337093  0.028612315 -0.091536317
## profesionales                       0.34090319  0.110169914  0.032290292
## salud publica y servicios sociales -0.07837945 -0.182578629 -0.892574403
## arte                                0.30249492  0.218148332  0.004452706
## impuestos                           0.34018878 -0.022177613 -0.015232900
##                                            PC4         PC5         PC6
## agricultura                         0.09973407 -0.70510480  0.13488852
## minas                              -0.38986100  0.51112206 -0.28686153
## manofactura                         0.34514117 -0.08630010 -0.43753723
## servicios publicos                  0.42039437  0.21005437  0.08973649
## construccion                        0.37291922  0.33741976  0.53969227
## comercio                           -0.05752184  0.07691577  0.07398769
## informacion y comunicacion         -0.09371048 -0.15570462 -0.01593741
## financiera                         -0.35968151  0.03313874  0.08699546
## inmobiliarias                      -0.32215274 -0.16890945  0.00534911
## profesionales                      -0.07957705 -0.04259172 -0.27844105
## salud publica y servicios sociales -0.01164822 -0.09639390 -0.18026614
## arte                               -0.34644527 -0.06782217  0.40284786
## impuestos                           0.17720838  0.02577965 -0.35088407
##                                            PC7         PC8         PC9
## agricultura                        -0.01692891  0.03386936 -0.09351987
## minas                              -0.01271779  0.08334885 -0.03317781
## manofactura                         0.14854346  0.07447728 -0.03389675
## servicios publicos                 -0.61041083 -0.28749188 -0.30733836
## construccion                        0.49758231  0.15483588 -0.07328430
## comercio                           -0.30513775 -0.26531873  0.60579637
## informacion y comunicacion         -0.20870150  0.41763432  0.04377608
## financiera                         -0.09388531  0.08156610 -0.61726387
## inmobiliarias                       0.33949737 -0.70021410 -0.09570448
## profesionales                       0.18014608  0.19367336 -0.03407962
## salud publica y servicios sociales -0.15635472  0.14162423 -0.13247677
## arte                               -0.10998051  0.27978737  0.26094649
## impuestos                           0.16602280  0.04604581  0.20806877
##                                            PC10         PC11        PC12
## agricultura                         0.012462197  0.111865212  0.11699130
## minas                              -0.236954155  0.068470759  0.03499423
## manofactura                        -0.083566923  0.360887183  0.03516395
## servicios publicos                 -0.272648207 -0.040781261  0.13790739
## construccion                        0.009014655 -0.100983513 -0.01365555
## comercio                            0.468594704 -0.029765882  0.07443815
## informacion y comunicacion         -0.142669899 -0.569154064 -0.49663252
## financiera                          0.524728208  0.250880802 -0.12208838
## inmobiliarias                      -0.312794905 -0.168300243 -0.12628682
## profesionales                       0.099735938 -0.392824125  0.71079776
## salud publica y servicios sociales -0.238393373 -0.008071542  0.04228696
## arte                               -0.425896579  0.441935267  0.19421233
## impuestos                           0.031829029  0.273726801 -0.36995692
##                                            PC13
## agricultura                        -0.086519843
## minas                               0.067921142
## manofactura                         0.636457200
## servicios publicos                 -0.153045014
## construccion                        0.049082844
## comercio                            0.184113933
## informacion y comunicacion          0.174405906
## financiera                          0.009592786
## inmobiliarias                       0.058550067
## profesionales                      -0.210509050
## salud publica y servicios sociales -0.034208813
## arte                               -0.033088735
## impuestos                          -0.665264388
## 
## Rotated variables:
##             PC1          PC2          PC3         PC4         PC5         PC6
## Anti  6.4685924  0.737657149 -0.232238669 -0.62630244  0.23887684  0.30851995
## Atla  3.7749039  1.448609798 -0.204690593  0.14913618  1.12160936 -0.13640973
## Boli  2.2030133  0.234161441 -1.302187004  0.99003848  0.76492249 -0.59865371
## Boya  3.4564330 -1.828409790 -0.840133437  2.27869280  0.69331664  0.98752666
## Cald  2.2519162  0.761505678  0.691505758  0.03087972 -0.19145973  0.15647770
## Caqu -1.5177000  0.003799932 -1.167616664 -0.12167519 -0.30468338  0.34714197
## Cauc -0.5247359  0.678429334  1.047014513  0.96079461 -0.05292082 -0.60703349
## Cesa -1.2354862 -0.332839344  1.132548667 -0.79808985  0.75865928 -0.69140773
## Cord -1.3582735  1.139396427  0.928621808  0.21838759 -0.01752324 -0.51259338
## Cund  3.2455996 -0.757481241  1.495907928  2.63338194 -0.82621379 -0.79948838
## Choc -3.4504881  0.525018610  0.664505908 -0.01180147 -0.31637606 -0.40700091
## Huil  0.6327543 -0.461831376  0.333349611 -0.07945993 -0.63355365  1.04656991
## La G -1.8896779  0.346170223  1.117101127 -0.08902700  1.60479384  0.26454185
## Magd -1.4101657  0.474934708  0.175475268 -0.34218947 -0.46859097  0.12920848
## Meta  1.5352693 -4.787567400  0.757452546 -1.52254666  1.13478129 -0.28020970
## Nari -1.5759339  0.735881118  0.648486823 -0.45661265 -0.23012426  0.44234213
## Nort -0.5790872  1.018498835  0.571214233 -0.54769379  0.22245859  0.92858167
## Quin  1.2310764 -0.232898620  0.004383446 -0.71147937 -0.83567928  1.15328928
## Risa  2.9824079  1.079880398 -0.381004893 -1.01524139 -0.25198143 -0.05038268
## Sucr -1.5813413  0.856074230 -0.345330694 -0.09961918  0.07131071  0.18595660
## Toli  1.2703619 -0.496198726  0.039824023  0.06380353 -0.86462700  0.41487823
## Vall  5.5725907  1.148386468 -0.645000188 -1.50537323 -0.83966388 -1.15718826
## Arau -1.9175086 -2.894399760  0.058008265 -0.43937101 -1.22247984 -0.49648175
## Putu -2.4833537  0.179727554 -0.311702155 -0.55323218  1.02181677 -0.15549646
## Amaz -2.2091490 -0.177442938 -1.039537055  0.13315910 -0.29468441 -0.23188646
## Guai -3.1719693  0.287593939 -1.205637954  0.58657609  0.70235621  0.11988530
## Guav -2.7803582 -0.738767472 -2.460205083  0.20018659 -0.91922070 -0.21246279
## Vaup -3.4292344  0.488689046 -1.753775422  0.26739891  0.45241630 -0.36397086
## Vich -3.5104556  0.563421784  2.223659888  0.40727926 -0.51753587  0.21574654
##              PC7         PC8         PC9        PC10        PC11         PC12
## Anti  0.21054127  0.37754955 -0.93746160  0.48903559  0.09793800 -0.041731792
## Atla -1.03994323 -0.10300821 -0.26722343  0.15643117  0.24621674 -0.135865533
## Boli  0.97731894  0.23366640  0.39038652  0.10161478 -0.02650648 -0.222098541
## Boya -0.06706550 -0.59440648 -0.08275358 -0.03782884 -0.18174195  0.235522131
## Cald -0.65956273  0.32006912 -0.04798845 -0.28250757 -0.10789104  0.202240471
## Caqu  0.37435423  0.15782486 -0.11089102 -0.08769555 -0.25847381 -0.135528237
## Cauc  0.82129618  0.11976550 -0.05463987  0.08957087  0.22076886  0.427079311
## Cesa -0.17495089 -0.22074621 -0.13141602 -0.09690325 -0.42274178  0.089493424
## Cord -0.37579287  0.49566664 -0.08427661 -0.06468735 -0.49029228  0.071496222
## Cund -0.14197936  0.04297746  0.33626589 -0.22622880  0.11247172 -0.211129356
## Choc -0.26335224  0.02698157 -0.21540874  0.20044019  0.01584797 -0.116133198
## Huil -0.58496438  0.26709329 -0.13883918 -0.22578518 -0.12439510  0.046590377
## La G -0.44498253 -0.44122559 -0.04826516 -0.40701398  0.10114932 -0.134503637
## Magd -0.27999003  0.07687715  0.29250929  0.18752174 -0.16220175 -0.139701005
## Meta  0.17587360  0.35128696  0.25246396  0.17632549 -0.05296122 -0.044763323
## Nari  0.26121093 -0.20439960  0.13399711  0.15123331  0.07096421 -0.033804370
## Nort  0.46109823 -0.17350553  0.23596434 -0.30051325  0.41403488 -0.003087447
## Quin  0.44966938 -0.63119711  0.31981340  0.02891808 -0.21453418 -0.003008594
## Risa -0.10112146  0.80549185  0.68512290  0.03582924  0.14886405  0.285109467
## Sucr -0.06354720  0.40465216  0.09921329 -0.37647391  0.13962910 -0.208571860
## Toli  0.09897052  0.47327033  0.23973306  0.15383668 -0.05086916 -0.183953563
## Vall  0.40377704 -1.04303983 -0.06066992 -0.29633954 -0.12222753 -0.029329255
## Arau -0.15653342 -0.10397881 -0.49172136 -0.21197993  0.39477795  0.044172534
## Putu  0.26379037 -0.06975994  0.14468873 -0.16605451  0.23676148  0.093004037
## Amaz -1.07215917 -0.60488731  0.49453833  0.73951378  0.17972458  0.056622443
## Guai  0.62510714  0.22385903 -0.38406346  0.08777781 -0.05365394 -0.021559877
## Guav -0.26882984  0.20187932 -0.40981434 -0.27213073  0.06720363  0.039839011
## Vaup -0.04701825 -0.12992994  0.16434759  0.02525833 -0.16602904  0.103923633
## Vich  0.61878526 -0.25882666 -0.32361169  0.42883531 -0.01183322 -0.030323474
##              PC13
## Anti  0.120887789
## Atla -0.089518894
## Boli -0.259820480
## Boya  0.104185421
## Cald -0.010834420
## Caqu -0.007057806
## Cauc -0.086879054
## Cesa  0.113471866
## Cord -0.006073189
## Cund  0.102704069
## Choc -0.017875919
## Huil -0.322975342
## La G -0.058761553
## Magd  0.063665885
## Meta -0.037421863
## Nari -0.034112161
## Nort  0.067859167
## Quin  0.017399595
## Risa  0.055488390
## Sucr  0.174855268
## Toli  0.083397684
## Vall -0.028324490
## Arau  0.043203782
## Putu  0.005601526
## Amaz -0.004750821
## Guai  0.093676088
## Guav -0.096755175
## Vaup  0.086840166
## Vich -0.072075529
## Importance of components:
##                           PC1    PC2     PC3     PC4     PC5     PC6     PC7
## Standard deviation     2.8009 1.3030 1.04128 0.90749 0.73470 0.57527 0.50028
## Proportion of Variance 0.6035 0.1306 0.08341 0.06335 0.04152 0.02546 0.01925
## Cumulative Proportion  0.6035 0.7341 0.81750 0.88084 0.92237 0.94782 0.96708
##                            PC8     PC9    PC10    PC11    PC12   PC13
## Standard deviation     0.40294 0.33555 0.26812 0.21372 0.15444 0.1079
## Proportion of Variance 0.01249 0.00866 0.00553 0.00351 0.00183 0.0009
## Cumulative Proportion  0.97957 0.98823 0.99376 0.99727 0.99910 1.0000
##  [1] 2.80 1.30 1.04 0.91 0.73 0.58 0.50 0.40 0.34 0.27 0.21 0.15 0.11
##  [1]  60  73  82  88  92  95  97  98  99  99 100 100 100