Principal Component Analysis (PCA) dengan R

Principal Component Analysis (PCA) atau Analisis Komponen Utama merupakan metode dalam bidang analisis data dan pembelajaran mesin. PCA berperan penting dalam mengurangi dimensi dataset yang kompleks, menyederhanakan interpretasinya, dan meningkatkan efisiensi komputasi. Pada tutorial ini, kita akan membahas konsep PCA secara lengkap mulai dari prinsip-prinsip dasar sampai implementasinya dengan bahasa R.

Tulisan ini diambil dari Principal Component Analysis (PCA) dengan R

Pengenalan PCA

PCA adalah metode statistik yang bertujuan mengubah data berdimensi tinggi menjadi bentuk berdimensi lebih rendah sambil mempertahankan informasi terpenting. Pengurangan dimensi dalam konteks PCA bukan berarti memangkas jumlah fitur atau peubah. Hal ini dicapai dengan mengidentifikasi pola melalui kombinasi linear baru dari peubah asli dengan mereduksi dimensinya menjadi beberapa komponen yang paling berpengaruh yang disebut komponen utama (principal components). Komponen utama ini bersifat ortogonal, artinya antar komponen utama tidak saling berkorelasi. Hasil komponen utama tersebut digunakan untuk memproyeksikan data asli menjadi dataset yang berdimensi lebih rendah.

PCA umumnya bermanfaat ketika kita memiliki dataset dengan banyak fitur atau variabel. Setiap fitur akan meningkatkan kompleksitas data, membuat analisis, menyajikan hubungan anta peubah secara visual, atau pembangunan model menjadi menantang. Dimensi yang tinggi dataset dapat menyebabkan berbagai masalah.

Berikut beberapa hal yang terjadi ketika kita bekerja dengan data berdimensi tinggi:

Tantangan visualisasi: Memvisualisasikan dan memahami data dalam lebih dari tiga dimensi menjadi sulit.
Redundansi: Beberapa fitur mungkin sangat berkorelasi, sehingga mereka menyampaikan informasi yang serupa. Redundansi ini juga dapat mengganggu hasil analisis terutama pada model-model yang terpengaruh dengan masalah multikolinieritas dan tidak jarang membuat hasil menjadi tidak valid
Overfitting: Model dapat menjadi terlalu kompleks dan terlalu mengikuti pola dalam data, mengakibatkan generalisasi yang buruk terhadap data baru dan yang belum terlihat.
Kompleksitas komputasi: Dengan bertambahnya jumlah fitur, sumber daya komputasi dan waktu yang dibutuhkan untuk analisis dan pemodelan meningkat secara eksponensial.

Di sinilah PCA berperan untuk mengatasi tantangan tersebut dengan mengurangi dimensi data namun tetap mempertahankan fitur-fitur esensialnya.

Tahapan PCA

PCA diperoleh melalui 5 tahapan berikut ini:

Standarisasi Data: Standardisasi yaitu transformasi data sehingga semua variabel memiliki nilai rata-rata=0 dan simpangan baku= 1. Tujuan standardisasi untuk memastikan semua fitur memiliki kepentingan yang sama dalam analisis tanpa terpengaruh oleh skala data.

Membuat Matriks Kovarian: Matriks kovarian adalah sebuah matriks persegi yang elemen-elemennya menggambarkan kovarian antara setiap pasangan peubah dalam dataset. Jadi, jika kita memiliki dataset dengan $k$ variabel, maka matriks kovarian akan berukuran $k \times k$.

Menghitung Nilai Eigen dan Vektor Eigen: Nilai eigen dan vektor eigen adalah konsep matematika yang terkait dengan transformasi linier dan matriks. Dalam konteks PCA, keduanya merupakan kunci dalam mengidentifikasi komponen utama.

Nilai eigen (λ) adalah nilai skalar non-negatif yang menunjukkan banyaknya varians yang dijelaskan oleh vektor eigen yang sesuai. Dalam PCA, nilai eigen mengkuantifikasi kepentingan setiap komponen utama.
Vektor eigen (v) adalah vektor yang terkait dengan nilai eigen. Dalam PCA, vektor eigen mewakili arah di mana data bervariasi paling banyak. Setiap vektor eigen menunjuk ke arah tertentu dalam ruang variabel dan sesuai dengan komponen utama. Vektor eigen biasanya disajikan ternormalisasi, sehingga panjangnya adalah 1.

Mengurutkan Nilai Eigen dan Vektor Eigen: Untuk mengidentifikasi komponen utama yang paling signifikan, nilai eigen diurutkan dari nilai terbesar hingga terkecil. Hasilnya, komponen utama pertama adalah vektor eigen dengan nilai eigen terbesar dan merupakan komponen yang menjelaskan varians terbanyak. Komponen berikutnya, yaitu komponen kedua yang menjelaskan varians terbanyak kedua, dan seterusnya.

Memilih Komponen Utama: Pilih subset dari vektor eigen teratas untuk membentuk matriks transformasi. Matriks ini digunakan untuk memproyeksikan data asli ke dalam ruang berdimensi lebih rendah, menghasilkan dataset yang telah direduksi.

Transformasi Data asli: Lakukan perkalian matriks antara data asli dengan matriks komponen utama yang diperoleh sebelumnya. Hasil perkalian tersebut adalah data baru berdasarkan hasil PCA, dengan jumlah dimensi baru sebanyak komponen utama yang dipilih.

Penerapan PCA dengan R (Manual)

Pada bagian ini, kita akan menerapkan PCA menggunakan R. Meskipun tersedia paket-paket di R, seperti FactoMineR yang menyediakan fungsi untuk melakukan PCA dengan mudah, namun memahami langkah-langkah dari PCA sangat penting. Melakukan PCA secara manual membantu kita lebih memahami konsep dan matematika di balik teknik ini, serta memberikan wawasan yang lebih dalam tentang bagaimana PCA bekerja dan bagaimana menginterpretasi hasilnya.

1. Penyiapan Data

Data yang akan digunakan diambil dari dataset UCI-ML Repo yaitu data Nilai IPM Kab/Kota di Pulau Jawa 2018. Secara ringkas, dataset berisi informasi tentang nilai IPM dengan beberapa indikator pendidikan dan kesehatan dari 119 Kabupaten/Kota di Pulau Jawa Tahun 2018. Data terdiri dari 17 kolom, termasuk indentitas Kabupaten/Kota dan nilai IPM. Sehingga terdapat 15 variabel penjelas pada data ini yang akan kita gunakan untuk melakukan PCA.

# membaca data
data <- read.csv(
        "https://raw.githubusercontent.com/sainsdataid/dataset/main/data_ipm_jawa_2018.csv"
    )

# menampilkan struktur data
str(data)

## 'data.frame':    119 obs. of  17 variables:
##  $ id                : int  3101 3171 3172 3173 3174 3175 3201 3202 3203 3204 ...
##  $ ipm_2018          : num  70.9 84.4 82.1 81 80.9 ...
##  $ PR_NO_LIS         : num  0 0 0 0 0 ...
##  $ PR_SAMPAH         : num  0 0 0 0 0 ...
##  $ PR_TINJA          : num  0 0.0154 0.0308 0 0 ...
##  $ PR_MKM_SUNGAI     : num  0 0.615 0.446 0.25 0.304 ...
##  $ PR_SUNGAI_LMBH    : num  0 0.169 0.369 0.432 0.679 ...
##  $ PR_KUMUH          : num  0.167 0.369 0.554 0.841 0.679 ...
##  $ PRA_1000          : num  0.787 0.199 0.228 0.255 0.134 ...
##  $ SD_1000           : num  0.829 0.311 0.279 0.398 0.234 ...
##  $ SM_1000           : num  0.622 0.219 0.233 0.287 0.172 ...
##  $ RS_PKS_PDK_1000   : num  0.331 0.337 0.298 0.393 0.269 ...
##  $ LIN_BID_POS_P_1000: num  0.29 0.1046 0.1626 0.0552 0.1242 ...
##  $ APT_OBT_1000      : num  0.0414 0.1349 0.1488 0.2293 0.2583 ...
##  $ DOK_DRG_1000      : num  0.373 0.212 0.448 0.313 0.262 ...
##  $ BID_1000          : num  1.906 0.0868 0.2123 0.04 0.1309 ...
##  $ GZ_BURUK_1000     : num  0.16574 0.00757 0.00343 0.01622 0 ...

# menjadikan kolom id sebagai identitas baris
row.names(data) <- data$id
data$id <- NULL

# slicing variabel prediktor
X <- subset(data, select=-ipm_2018)

cat("Variabel Penjelas:")

## Variabel Penjelas:

str(X)

## 'data.frame':    119 obs. of  15 variables:
##  $ PR_NO_LIS         : num  0 0 0 0 0 ...
##  $ PR_SAMPAH         : num  0 0 0 0 0 ...
##  $ PR_TINJA          : num  0 0.0154 0.0308 0 0 ...
##  $ PR_MKM_SUNGAI     : num  0 0.615 0.446 0.25 0.304 ...
##  $ PR_SUNGAI_LMBH    : num  0 0.169 0.369 0.432 0.679 ...
##  $ PR_KUMUH          : num  0.167 0.369 0.554 0.841 0.679 ...
##  $ PRA_1000          : num  0.787 0.199 0.228 0.255 0.134 ...
##  $ SD_1000           : num  0.829 0.311 0.279 0.398 0.234 ...
##  $ SM_1000           : num  0.622 0.219 0.233 0.287 0.172 ...
##  $ RS_PKS_PDK_1000   : num  0.331 0.337 0.298 0.393 0.269 ...
##  $ LIN_BID_POS_P_1000: num  0.29 0.1046 0.1626 0.0552 0.1242 ...
##  $ APT_OBT_1000      : num  0.0414 0.1349 0.1488 0.2293 0.2583 ...
##  $ DOK_DRG_1000      : num  0.373 0.212 0.448 0.313 0.262 ...
##  $ BID_1000          : num  1.906 0.0868 0.2123 0.04 0.1309 ...
##  $ GZ_BURUK_1000     : num  0.16574 0.00757 0.00343 0.01622 0 ...

2. Standardisasi Data

Proses standardisasi di R dapat dilakukan menggunakan fungsi scale. Secara default, fungsi scale akan mentransformasi data sehingga memiliki nilai rata-rata 0 dan simpangan baku 1.

# standardisasi data
scaled.X <- scale(X)

# hanya untuk pengecekan saja
scaled.mean <- apply(scaled.X, 2, mean)   # mengecek nilai rata-rata setelah standardisasi
scaled.sd <- apply(scaled.X, 2, sd)       # mengecek nilai simpangan baku setelah standardisasi

check <- data.frame(
  Rataan = round(scaled.mean, 4),
  SimpanganBaku = round(scaled.sd, 4)
)

check

##                    Rataan SimpanganBaku
## PR_NO_LIS               0             1
## PR_SAMPAH               0             1
## PR_TINJA                0             1
## PR_MKM_SUNGAI           0             1
## PR_SUNGAI_LMBH          0             1
## PR_KUMUH                0             1
## PRA_1000                0             1
## SD_1000                 0             1
## SM_1000                 0             1
## RS_PKS_PDK_1000         0             1
## LIN_BID_POS_P_1000      0             1
## APT_OBT_1000            0             1
## DOK_DRG_1000            0             1
## BID_1000                0             1
## GZ_BURUK_1000           0             1

3. Membuat Matriks Kovarian

Matriks kovarian dapat dihitung menggunakan fungsi cov. Output dari fungsi cov adalah matriks persegi berukuran $k \times k$ dengan k adalah banyaknya variabel.

Jika ingin divisualisasikan, kita dapat menggunakan fungsi corrplot dari paket corrplot untuk menampilkan matriks kovarian tersebut.

cov.matrix <- cov(scaled.X)

# menampilkan hasil matriks kovarian
# cov.matrix

corrplot::corrplot(cov.matrix, order = "hclust", 
                   tl.col = "black", tl.srt = 45, tl.cex = 0.5)

4. Menghitung Nilai Eigen dan Vektor Eigen

Nilai eigen dan vektor eigen diperoleh dari dekomposisi matriks kovarian. Dekomposisi matriks pada bahasa R dilakukan dengan fungsi eigen. Fungsi eigen menghasilkan 2 output yaitu values yang berisi nilai eigen dan vectors berisi vektor eigen. Selanjutnya, nilai eigen dan vektor eigen diurutkan dari nilai terbesar berdasarkan nilai eigen.

# Hitung nilai eigen dan vektor eigen
eigen.decomp <- eigen(cov.matrix)

# Lihat hasil
eigen.vals <- eigen.decomp$values
eigen.vecs <- eigen.decomp$vectors

# Urutkan nilai eigen dan vektor eigen
sorted.idx <- order(eigen.vals, decreasing = TRUE)
sorted.eigen.vals <- eigen.vals[sorted.idx]
sorted.eigen.vecs <- eigen.vecs[, sorted.idx]

cat("NILAI EIGEN (terurut):\n\n")

## NILAI EIGEN (terurut):

print(sorted.eigen.vals[1:5])          # contoh untuk kolom 1-5

## [1] 5.7567470 2.4031030 1.6861602 0.9886509 0.7064174

cat("\nVEKTOR EIGEN:\n\n")

## 
## VEKTOR EIGEN:

print(sorted.eigen.vecs[,1:5])         # contoh untuk kolom 1-5

##             [,1]          [,2]        [,3]        [,4]         [,5]
##  [1,] -0.1693726  0.1532289732 -0.50199776  0.00798459 -0.283082592
##  [2,] -0.2289500  0.2688610201 -0.07129785  0.28636195 -0.280031863
##  [3,] -0.3245577  0.1973194822 -0.19812848 -0.08555613 -0.222649320
##  [4,]  0.2214572  0.3138626526 -0.38466032  0.14139557 -0.002250785
##  [5,]  0.2908195  0.2321538395 -0.07054322  0.14297898 -0.092851020
##  [6,]  0.2960335  0.2584457253 -0.19343846  0.06219603  0.286889291
##  [7,] -0.1761348 -0.2784519203 -0.32931047  0.19762332  0.402061467
##  [8,] -0.3506542 -0.1889437040 -0.09631807 -0.10239325 -0.039557461
##  [9,] -0.1661528 -0.1347012027 -0.54299306 -0.28154837  0.116270290
## [10,]  0.2571047 -0.4157636926 -0.20504166  0.14931192 -0.041953666
## [11,] -0.3391264 -0.1207071121  0.14563915  0.03707503 -0.235159254
## [12,]  0.2144732 -0.3986389147 -0.05302622  0.05709711 -0.593991677
## [13,]  0.2858118 -0.3577473382 -0.17343194  0.12401805 -0.043050262
## [14,] -0.2696940 -0.2009826434  0.05790328  0.12093954  0.334278148
## [15,] -0.1708271  0.0009291032  0.03523564  0.82496352  0.026898689

5. Memilih Komponen Utama

Nilai eigen menunjukkan banyaknya keragaman data yang bisa dijelaskan oleh setiap komponen utama. Nilai ini biasa disajikan dalam bentuk persentase, sehingga lebih mudah diinterpretasikan. Selanjutnya berdasarkan kumulatif persentase varians tersebut, kita dapat memutuskan berapa banyak komponen utama yang akan digunakan untuk transformasi data asli. Hasil di bawah ini menunjukkan bahwa komponen utama pertama dapat menjelaskan sekitar 38,378 persen keragaman data. Sementara itu, akumulasi keragaman yang dapat dijelaskan oleh 5 komponen utama adalah sebesar 76,941.

# Hitung total nilai eigen
tot.eigen <- sum(eigen.vals)

var.pc <- sapply(sorted.eigen.vals, function(x) x/tot.eigen)*100

print(var.pc)

##  [1] 38.3783132 16.0206869 11.2410683  6.5910057  4.7094491  4.3172108
##  [7]  4.1920497  3.2219819  2.9382214  2.2614188  1.7489204  1.5285950
## [13]  1.2267825  0.8846046  0.7396917

cat("\nTotal keragaman (5 PC):", sum(var.pc[1:5]))

## 
## Total keragaman (5 PC): 76.94052

6. Transformasi Data Asli

Data hasil PCA diperoleh dengan melakukan perkalian antara matriks data asli dengan vektor eigen dari komponen utama yang dipilih (misal 5). Perkalian ini menghasilkan data baru dengan jumlah dimensi sebanyak 5 kolom. Jika berbicara tentang pemodelan dengan memanfaatkan PCA, maka, hasil transformasi ini selanjutnya akan menjadi dataset untuk pemodelan.

# memilih 5 komponen utama
selected.eigen.vecs <- sorted.eigen.vecs[, 1:5]

# Proyeksikan data asli ke ruang berdimensi lebih rendah
pca.result <- scaled.X %*% selected.eigen.vecs

# Ubah menjadi data frame (jika diperlukan)
pca.X <- as.data.frame(pca.result)
colnames(pca.X) <- paste("PC", 1:5, sep = "")
# pca.X$Status <- status.ipm

head(pca.X)

##            PC1       PC2         PC3         PC4       PC5
## 3101 -2.742973 -3.346224 -0.77193581 -0.08821392 4.9052523
## 3171  3.438880  2.035639 -0.08259512 -0.59000520 0.5702004
## 3172  3.845621  1.625301 -0.11576708 -0.34937886 0.8324030
## 3173  4.315237  1.386048 -0.42851427 -0.55154635 0.8232418
## 3174  4.607116  2.310951  0.62237166 -0.28955348 0.1125376
## 3175  4.851709  2.894147  0.08092829 -0.22875042 0.8134070

Penerapan PCA dengan `FactoMineR`

Paket FactoMineR menyediakan fungsi untukPCA untuk melakukan PCA. Ringkasan output dari fungsi ini selanjutnya dapat dilihat menggunakan fungsi summary.PCA. Informasi yang disajikan dari ringkasan tersebut mencakup nilai eigen beserta kumulatifnya, termasuk kontribusi menurut individu dan variabel.

# Instal dan muat paket FactoMineR jika belum ada
library(FactoMineR)   # paket utama PCA

# Lakukan PCA dengan fungsi PCA dari FactoMineR
pca_result <- PCA(X, 
                  scale.unit = T, 
                  graph = F, 
                  ncp=15)     # ncp kita set agar menghasilkan output semua dimensi (default 5)

# menampilkan ringkasan hasil pca
summary.PCA(pca_result)

## 
## Call:
## PCA(X = X, scale.unit = T, ncp = 15, graph = F) 
## 
## 
## Eigenvalues
##                        Dim.1   Dim.2   Dim.3   Dim.4   Dim.5   Dim.6   Dim.7
## Variance               5.757   2.403   1.686   0.989   0.706   0.648   0.629
## % of var.             38.378  16.021  11.241   6.591   4.709   4.317   4.192
## Cumulative % of var.  38.378  54.399  65.640  72.231  76.941  81.258  85.450
##                        Dim.8   Dim.9  Dim.10  Dim.11  Dim.12  Dim.13  Dim.14
## Variance               0.483   0.441   0.339   0.262   0.229   0.184   0.133
## % of var.              3.222   2.938   2.261   1.749   1.529   1.227   0.885
## Cumulative % of var.  88.672  91.610  93.871  95.620  97.149  98.376  99.260
##                       Dim.15
## Variance               0.111
## % of var.              0.740
## Cumulative % of var. 100.000
## 
## Individuals (the 10 first)
##                        Dist    Dim.1    ctr   cos2    Dim.2    ctr   cos2  
## 3101               |  8.340 |  2.755  1.108  0.109 |  3.360  3.949  0.162 |
## 3171               |  4.932 | -3.453  1.741  0.490 | -2.044  1.461  0.172 |
## 3172               |  4.532 | -3.862  2.177  0.726 | -1.632  0.932  0.130 |
## 3173               |  5.231 | -4.333  2.741  0.686 | -1.392  0.677  0.071 |
## 3174               |  5.429 | -4.627  3.125  0.726 | -2.321  1.883  0.183 |
## 3175               |  6.098 | -4.872  3.465  0.638 | -2.906  2.954  0.227 |
## 3201               |  2.818 | -0.840  0.103  0.089 | -2.373  1.968  0.709 |
## 3202               |  4.267 |  2.243  0.734  0.276 | -1.523  0.811  0.127 |
## 3203               |  4.468 |  2.524  0.930  0.319 | -1.893  1.254  0.180 |
## 3204               |  3.829 | -1.984  0.575  0.269 | -2.947  3.037  0.592 |
##                     Dim.3    ctr   cos2  
## 3101                0.775  0.299  0.009 |
## 3171                0.083  0.003  0.000 |
## 3172                0.116  0.007  0.001 |
## 3173                0.430  0.092  0.007 |
## 3174               -0.625  0.195  0.013 |
## 3175               -0.081  0.003  0.000 |
## 3201               -0.145  0.010  0.003 |
## 3202                2.310  2.660  0.293 |
## 3203                2.334  2.715  0.273 |
## 3204                0.266  0.035  0.005 |
## 
## Variables (the 10 first)
##                       Dim.1    ctr   cos2    Dim.2    ctr   cos2    Dim.3
## PR_NO_LIS          |  0.406  2.869  0.165 | -0.238  2.348  0.056 |  0.652
## PR_SAMPAH          |  0.549  5.242  0.302 | -0.417  7.229  0.174 |  0.093
## PR_TINJA           |  0.779 10.534  0.606 | -0.306  3.893  0.094 |  0.257
## PR_MKM_SUNGAI      | -0.531  4.904  0.282 | -0.487  9.851  0.237 |  0.499
## PR_SUNGAI_LMBH     | -0.698  8.458  0.487 | -0.360  5.390  0.130 |  0.092
## PR_KUMUH           | -0.710  8.764  0.504 | -0.401  6.679  0.161 |  0.251
## PRA_1000           |  0.423  3.102  0.179 |  0.432  7.754  0.186 |  0.428
## SD_1000            |  0.841 12.296  0.708 |  0.293  3.570  0.086 |  0.125
## SM_1000            |  0.399  2.761  0.159 |  0.209  1.814  0.044 |  0.705
## RS_PKS_PDK_1000    | -0.617  6.610  0.381 |  0.645 17.286  0.415 |  0.266
##                       ctr   cos2  
## PR_NO_LIS          25.200  0.425 |
## PR_SAMPAH           0.508  0.009 |
## PR_TINJA            3.925  0.066 |
## PR_MKM_SUNGAI      14.796  0.249 |
## PR_SUNGAI_LMBH      0.498  0.008 |
## PR_KUMUH            3.742  0.063 |
## PRA_1000           10.845  0.183 |
## SD_1000             0.928  0.016 |
## SM_1000            29.484  0.497 |
## RS_PKS_PDK_1000     4.204  0.071 |

# menyajikan properti-properti yang dapat diakses
print(pca_result)

## **Results for the Principal Component Analysis (PCA)**
## The analysis was performed on 119 individuals, described by 15 variables
## *The results are available in the following objects:
## 
##    name               description                          
## 1  "$eig"             "eigenvalues"                        
## 2  "$var"             "results for the variables"          
## 3  "$var$coord"       "coord. for the variables"           
## 4  "$var$cor"         "correlations variables - dimensions"
## 5  "$var$cos2"        "cos2 for the variables"             
## 6  "$var$contrib"     "contributions of the variables"     
## 7  "$ind"             "results for the individuals"        
## 8  "$ind$coord"       "coord. for the individuals"         
## 9  "$ind$cos2"        "cos2 for the individuals"           
## 10 "$ind$contrib"     "contributions of the individuals"   
## 11 "$call"            "summary statistics"                 
## 12 "$call$centre"     "mean of the variables"              
## 13 "$call$ecart.type" "standard error of the variables"    
## 14 "$call$row.w"      "weights for the individuals"        
## 15 "$call$col.w"      "weights for the variables"

Output fungsi PCA terdiri dari beberapa properti penting yaitu:

eig: matriks yang berisi semua nilai eigen, persentase variansi, dan persentase kumulatif dari variansi
var: sebuah daftar matriks yang berisi semua hasil untuk variabel aktif (coord: koordinat , cor: korelasi antara variabel dan sumbu, cos2: cosinus kuadrat, contrib: kontribusi)
ind: daftar matriks yang berisi semua hasil untuk individu aktif (coord: koordinat , cor: korelasi antara variabel dan sumbu, cos2: cosinus kuadrat, contrib: kontribusi)
svd: berisi hasil dekomposisi matriks (vs, U dan V)
call: berisi informasi pengaturan nilai parameter saat pemanggilan fungsi

catatan: vektor eigen yang dihasilkan mungkin berbeda tanda antar software/paket namun hal ini tidak mempengaruhi hasil. Meskipun demikian, bisa saja terdapat perbedaan tingkat desimal hasil PCA yang disebabkan presisi nilai desimal pada output masing-masing software/paket tersebut.

# ubah ke data.frame agar lebih mudah diolah lebih lanjut

cat("\nNILAI EIGEN:\n\n")

## 
## NILAI EIGEN:

eigen.vals.df <- data.frame(pca_result$eig)
print(eigen.vals.df$eigenvalue)

##  [1] 5.7567470 2.4031030 1.6861602 0.9886509 0.7064174 0.6475816 0.6288075
##  [8] 0.4832973 0.4407332 0.3392128 0.2623381 0.2292892 0.1840174 0.1326907
## [15] 0.1109538

cat("\nVEKTOR EIGEN:\n\n")

## 
## VEKTOR EIGEN:

eigen.vecs.df <- data.frame(pca_result$svd['V'])
print(eigen.vecs.df)

##           V.1           V.2         V.3         V.4          V.5          V.6
## 1   0.1693726 -0.1532289732  0.50199776  0.00798459  0.283082592  0.209288012
## 2   0.2289500 -0.2688610201  0.07129785  0.28636195  0.280031863 -0.041450586
## 3   0.3245577 -0.1973194822  0.19812848 -0.08555613  0.222649320 -0.271520526
## 4  -0.2214572 -0.3138626526  0.38466032  0.14139557  0.002250785  0.136464570
## 5  -0.2908195 -0.2321538395  0.07054322  0.14297898  0.092851020  0.102338473
## 6  -0.2960335 -0.2584457253  0.19343846  0.06219603 -0.286889291  0.171769193
## 7   0.1761348  0.2784519203  0.32931047  0.19762332 -0.402061467 -0.538254898
## 8   0.3506542  0.1889437040  0.09631807 -0.10239325  0.039557461  0.089089359
## 9   0.1661528  0.1347012027  0.54299306 -0.28154837 -0.116270290  0.150624056
## 10 -0.2571047  0.4157636926  0.20504166  0.14931192  0.041953666 -0.048497839
## 11  0.3391264  0.1207071121 -0.14563915  0.03707503  0.235159254  0.151360115
## 12 -0.2144732  0.3986389147  0.05302622  0.05709711  0.593991677  0.069277285
## 13 -0.2858118  0.3577473382  0.17343194  0.12401805  0.043050262  0.078962186
## 14  0.2696940  0.2009826434 -0.05790328  0.12093954 -0.334278148  0.682254259
## 15  0.1708271 -0.0009291032 -0.03523564  0.82496352 -0.026898689  0.006823477
##            V.7         V.8         V.9         V.10        V.11         V.12
## 1  -0.35614307 -0.55201656 -0.03398869 -0.261750679  0.24311991 -0.085898563
## 2   0.67270351  0.05427413 -0.40302999 -0.017236240  0.25105080  0.016314393
## 3  -0.08657477  0.18027730 -0.03714486 -0.004490093 -0.27139228  0.354076883
## 4   0.03511561 -0.08677611  0.03117220  0.613541909 -0.45147080 -0.001734116
## 5   0.35894390 -0.01225346  0.61225228 -0.476294473 -0.22578235  0.046499349
## 6  -0.03726346  0.24502883  0.11641509  0.219614790  0.66039066  0.135756795
## 7   0.23412553 -0.26945083  0.18822124  0.099449812  0.05346575 -0.264577344
## 8   0.06363762  0.13305843  0.28214994  0.059097651  0.12209873  0.515536452
## 9   0.02804160  0.56582552 -0.01273107 -0.160411665 -0.08684133 -0.267658290
## 10  0.07654686 -0.09447866  0.03517599 -0.093860197  0.09595649  0.392114744
## 11  0.03562696 -0.09945188  0.44940272  0.441231217  0.11713651 -0.002762434
## 12  0.05964969  0.18816613  0.07089285  0.143283814  0.09149962 -0.395250564
## 13  0.01932296 -0.05618051 -0.33049295  0.037782382 -0.15097650  0.351892096
## 14  0.22762538 -0.15342044 -0.10827083 -0.045291406 -0.17441282 -0.061244903
## 15 -0.39893633  0.31737751  0.03581631 -0.114149391 -0.05891039 -0.037498975
##           V.13        V.14        V.15
## 1  -0.01892823 -0.03155927  0.05255605
## 2  -0.11151472 -0.10894327 -0.04764791
## 3   0.55685145  0.34999958 -0.11337546
## 4  -0.26305310  0.08095874 -0.01069225
## 5   0.12683994 -0.08313638  0.10087018
## 6   0.30591780  0.13527083  0.05322205
## 7   0.12514457  0.07380697  0.16082457
## 8  -0.43941046  0.14518005  0.46084541
## 9  -0.07091794 -0.29007982 -0.16951292
## 10 -0.18840623  0.16082511 -0.66590801
## 11  0.24625216 -0.46069842 -0.27424164
## 12  0.09961262  0.38873907  0.20306259
## 13  0.34350199 -0.46625515  0.37495180
## 14  0.23190099  0.33650114 -0.03704500
## 15 -0.08153638 -0.04845401  0.01328979

cat("\nDATA HASIL REDUKSI DIMENSI (5 PC):\n\n")

## 
## DATA HASIL REDUKSI DIMENSI (5 PC):

reduced.data.df <- pca_result$ind['coord']
print(reduced.data.df)

## $coord
##            Dim.1        Dim.2        Dim.3         Dim.4        Dim.5
## 3101  2.75457112  3.360373287  0.775199824 -0.0885869232 -4.925993432
## 3171 -3.45342050 -2.044246181  0.082944364 -0.5924999494 -0.572611410
## 3172 -3.86188139 -1.632173268  0.116256582 -0.3508561580 -0.835922657
## 3173 -4.33348320 -1.391908374  0.430326181 -0.5538784762 -0.826722729
## 3174 -4.62659644 -2.320722842 -0.625003262 -0.2907778092 -0.113013470
## 3175 -4.87222412 -2.906384194 -0.081270486 -0.2297176555 -0.816846393
## 3201 -0.83980017 -2.372542416 -0.144974970 -0.5649086321  0.153835772
## 3202  2.24269366 -1.523284954  2.310294284  1.6586004401 -0.693800820
## 3203  2.52446033 -1.893418931  2.333951315  1.3175097238  0.467667629
## 3204 -1.98407055 -2.946966892  0.265538281 -0.2403529613 -0.444861838
## 3205  1.78593396 -1.706643130  1.872991465 -0.2699240141  0.266401848
## 3206  2.40774680 -0.671538363  1.452381723 -0.4440098143 -0.318569385
## 3207  1.85044516 -0.014306654 -0.072615965 -0.4519682777 -0.315915663
## 3208  1.64640909 -0.314543551 -0.446476374  1.5031687933  0.539039909
## 3209  0.06646589 -1.289312154 -0.745253743  1.2084942864  0.276105026
## 3210  1.20397630 -0.913994140 -0.513377142  0.7146128802  0.436521504
## 3211  2.45084444  0.088570247 -0.660816189  4.5328188615 -0.529148444
## 3212  0.58215170 -0.471953732 -0.775340805 -0.5209093915  0.327948800
## 3213  0.83629394 -0.578067562 -0.052540723  0.1024046017  0.238634968
## 3214  0.70255008 -0.836058280 -0.275575255 -0.1863876480  0.019452392
## 3215 -0.09563716 -0.802032469 -0.883771201 -0.1309838207  0.040046749
## 3216 -1.63078147 -2.173922326 -0.208385752 -0.0907225747  0.233314609
## 3217  0.24280747 -0.756352239  0.269536938 -0.8450484843 -0.761276513
## 3218  0.52850836 -0.006927681 -0.168180514 -0.5844054961 -0.457131393
## 3271 -4.11900763 -2.351928845  1.436041790 -0.0656338620 -0.594856807
## 3272 -1.24748220 -0.798568097  0.890011596 -0.7942145948 -0.612083913
## 3273 -4.46064638 -1.887042424  1.124087659  0.4420447670 -0.047806807
## 3274 -4.26267660 -0.835380660  2.357855092  0.7617748037  0.193648877
## 3275 -2.46636581 -1.382194762 -1.146399259 -0.8035567711  0.322351693
## 3276 -3.10354833 -2.025967566 -1.019722469 -0.6456594755 -0.371220623
## 3277 -4.09036810 -1.799473813 -0.144675590  0.0256803786 -0.584988600
## 3278 -0.90025342 -0.806613049  0.689271978 -0.3797930594 -0.567198390
## 3279  1.09960890  0.808001427  2.916566948 -0.2587945603 -0.424919480
## 3301  1.28657645 -0.220530886 -0.967335153  0.0468721338 -0.229504689
## 3302 -0.64697228 -0.538463471 -0.906854184 -0.3879097163 -0.030872937
## 3303  1.11126431 -0.637991270 -1.093280066 -0.2581558160 -0.181713580
## 3304  3.77381276 -1.325243997 -0.371061950  2.8426867752  0.804775279
## 3305  1.20917571  0.679454004 -1.150631954 -0.8205083791 -0.596909325
## 3306  1.76410748  0.666202116 -1.143149011 -0.9345303671 -0.000426467
## 3307  2.69555589 -1.095284573 -0.582012055  0.5169347912  0.493577370
## 3308  1.54452934 -1.107569071 -1.037048087  0.0092663847  0.703274625
## 3309  1.35317118  0.383732714 -1.361496001 -0.3557275359  0.213844457
## 3310  0.16425879  1.623180908 -1.156845806 -0.3133160007  0.090511146
## 3311 -0.83227559  0.922509792 -1.176116507  0.4575720347  0.196151317
## 3312  1.33695518  1.253367358 -0.912798215 -0.9695945997 -0.375228016
## 3313  0.01280227  0.965077599 -1.506897782 -0.2914040681  0.321379214
## 3314  2.09622011  1.022785483 -0.949057827  3.6689458139  0.010718766
## 3315  1.28457412 -0.146830077 -0.949627274 -0.8775412552 -0.233905592
## 3316  1.52473514  0.268732744 -1.183997018 -0.4179986738 -0.180930585
## 3317  1.28293267  0.487902364 -0.597412226  1.5614435144 -1.072899597
## 3318  1.72493232  0.340726194 -0.850300794  1.7173531623 -0.364206749
## 3319 -0.99201460  0.404013602 -0.745176307 -0.3860039122  0.366404173
## 3320  0.69663549 -0.576347902 -0.476751099 -0.4003968062  0.445106484
## 3321  0.90679606 -0.088228069 -0.605883036 -0.1268441189 -0.404162124
## 3322  0.52894372 -0.076280579 -1.153212722 -0.4713623668  0.043501161
## 3323  2.42770733 -1.252607353 -0.988532794  1.1532875041  0.820992391
## 3324  1.44927550  0.149336158 -0.983807192  0.6294153642  0.051096708
## 3325  2.28636594 -0.093194464 -1.286989082  0.1093659723  0.129255167
## 3326  1.63287289 -0.555184840 -1.011462240  2.1780752524 -0.015987170
## 3327  0.31815292 -1.396591182 -0.724138632  0.0827682236 -0.070180711
## 3328 -0.23525842 -1.242954349 -1.009505634  0.1779752206  0.021390309
## 3329  0.77820915 -0.854838686 -1.458658674 -0.2926697916  0.072907802
## 3371 -4.14915890  4.999568533  2.411053998  0.1588628120  0.905516530
## 3372 -5.00991093  0.563495686  1.657455992  0.2175973677  0.381246184
## 3373 -2.15339306  3.098709207  0.322458022 -0.4583002920 -0.886863330
## 3374 -2.78530682  0.526529728 -0.149400801 -0.1469292909 -0.019038320
## 3375 -2.94401946 -0.035923078 -0.440410668  0.2890129197 -0.151760292
## 3376 -2.73670825  0.717725574 -0.112403922 -0.6655953222  0.513511709
## 3401  0.76842945  2.318029228  0.729070664 -0.6977995186 -1.961554729
## 3402 -1.67922401  0.424141984 -0.481403182  0.3839742577 -0.586375856
## 3403  1.09998875  1.027028275  0.104444914  0.4438259782 -1.315028805
## 3404 -2.15064056  1.458196133 -0.412968320  0.9160667283 -0.024060510
## 3471 -4.88794977  2.971129957  3.866797471  2.0781614626 -1.664681876
## 3501  2.81503555  1.316701971  0.480314713 -0.5266392877 -0.933496632
## 3502  1.94496806  0.571832100 -0.710757849 -0.8288460217  0.338190586
## 3503  1.11549792  0.266927614 -0.986389619  0.4273892838  0.405623334
## 3504  0.69129804  1.088006029 -1.479595201 -0.5755024078  0.853213424
## 3505  0.63006205  0.430990941 -1.223420162 -0.9575986886  0.450026495
## 3506  0.10274270  0.519057849 -1.556828467 -0.6502778767  1.117216094
## 3507  0.48060163 -0.326447045 -0.570253062 -0.9393921817  1.094671638
## 3508  1.35807425  0.377301630 -0.289792464 -0.2489212595  0.068318171
## 3509  0.74510082 -1.031437535  0.674379330 -1.1784392299  0.930652685
## 3510  0.31734048  0.067313393 -0.819101787 -0.8057888452  0.578370368
## 3511  3.27706732  0.317509867  2.191405180 -0.6871945656 -0.201264833
## 3512  2.20497129  0.523186747  0.606992556 -0.9074740541 -0.203511749
## 3513  2.82852454  0.019795598  1.231426865 -1.3002636343  0.342561573
## 3514  1.47384340 -0.474162147 -0.653248471  1.4667450375  0.871160418
## 3515 -2.05979871  0.618977453 -0.926221692  0.3285428522  0.989046392
## 3516  1.15403095  0.707957071 -0.963972850 -0.2765085768  0.756140667
## 3517  0.91195005  1.237287118 -0.753403515 -0.0028999364 -0.089377005
## 3518  1.62937256  1.012439158 -1.037968668  1.2152348134 -0.050115433
## 3519  1.49937842  1.083507257 -1.206586870 -0.6410959129 -0.403470234
## 3520  1.88667433  1.998140005 -1.147822281  0.4624771892 -0.459232981
## 3521  2.05775786  0.515589314 -0.865054813  0.2424231949  0.184603247
## 3522  2.08095723  0.857188329 -0.111859776  0.6176890598 -0.258781350
## 3523  1.56235558 -0.031511202 -1.044829790 -0.5559827340 -0.028922251
## 3524  2.82161003  2.849021102  0.633186908 -0.4479913145 -0.887197930
## 3525  0.17166783  1.333930617 -0.471164389 -0.3252858012  0.475744898
## 3526  3.70779729 -0.185268961  1.989891781 -1.3194040004  1.993158410
## 3527  3.53340779  0.377554335  1.070077134 -2.7750677745 -0.068033242
## 3528  3.72228992  0.382986465  1.922680391 -1.3951763267 -0.451159186
## 3529  5.31538475  0.512137278  3.804464838 -2.4594276615  0.379916686
## 3571 -2.14918863  2.463344369  0.378410177 -0.0174301261  1.143794223
## 3572 -3.00776860  3.954114410  1.564578194  0.9468422169  0.597795090
## 3573 -5.31522589 -0.623182561  1.254761319  0.4807569584  0.698642573
## 3574 -2.86452722  0.532557479  0.747303357  0.3337120362 -0.499234310
## 3575 -2.05275715  1.916350484 -0.017936909 -0.0009713773 -0.392943552
## 3576 -3.61752750  5.983913721  0.688925241  0.2690382638  3.879418660
## 3577 -3.51696042  3.081115202  1.081135651  0.0204512322  0.687110232
## 3578 -3.02715983  0.094061637 -0.695148130  0.3085331907  0.077924246
## 3579 -2.29770568 -0.314110309 -0.361659504 -0.4632722204  0.554899236
## 3601  3.71920266 -2.798528040  5.306862028  1.1256302532  1.489703420
## 3602  2.53665909 -3.011186653  4.027213058  0.5062913303  0.942561447
## 3603 -1.21876680 -1.732718509 -0.234717200  0.0003274405 -0.078683099
## 3604  1.73492758 -1.889754322  0.858047849  0.3765823941 -0.081229413
## 3671 -1.93391498 -0.645977004 -1.586405804 -1.0938548045  0.016153418
## 3672 -0.93464511 -0.283874433 -0.319995073 -0.6424769413 -0.425024293
## 3673 -1.23192084 -1.304324118  0.005725176  0.3259156109 -1.112744476
## 3674 -3.23605655 -1.188300612 -0.997178566 -0.6817937659 -0.211146202
##             Dim.6         Dim.7        Dim.8        Dim.9       Dim.10
## 3101  4.463199351  0.9610970635  0.229839533 -1.393926741 -1.010765276
## 3171 -0.011691150 -1.0767514015 -0.226989266 -0.957519383  1.646466081
## 3172  0.596169908 -0.5749527623 -0.034263591 -0.607664388  0.819132326
## 3173  0.110189697 -0.6228724541  1.037374436  0.095475248 -0.065166292
## 3174  0.619760895 -0.2221831183  0.262174389  0.684863197 -0.357420145
## 3175  0.540446336 -0.0035299912  0.482979135  1.316900586 -0.620365006
## 3201 -0.669409954  0.3041773802  0.117392083 -0.559187488 -0.292826527
## 3202 -1.320671264  0.3452033551  0.328975246 -0.091221976  0.067035923
## 3203 -0.349090323 -1.2060101163 -0.637895668 -0.404597751 -0.436826685
## 3204  0.080033382  0.5916598835  0.232787806  0.802376878  0.457304163
## 3205 -0.755347651  1.0748560417 -0.145814572 -0.349460546 -0.308531923
## 3206 -1.397120657  1.0495079564  0.077082661 -0.432777299 -0.276132038
## 3207 -0.777182142  0.6129118488  0.147589838  0.039042348 -0.098606232
## 3208  0.124769443  1.6636846069 -0.436782465 -0.318989983  0.339189324
## 3209  0.314081807  0.5163378626  0.182874397  0.006652901  0.069093087
## 3210  0.755364087  2.6738032459 -0.560024537 -0.232531489  0.751737973
## 3211 -0.732158582 -1.7647288059  1.247371326  0.392653944 -0.005969025
## 3212  0.260376182  0.0207634327 -0.057691560 -1.099238513  0.220521848
## 3213 -0.103115969  0.8179907597 -0.740422182 -0.165767754  0.088628346
## 3214 -0.553239072 -0.2076951170  0.243271046 -0.104345953 -0.828881066
## 3215 -0.401267518  0.3467027293 -0.494330225 -0.409211636  0.321319766
## 3216 -0.190681807  0.7003575869 -0.188873325 -0.623936029  0.237957538
## 3217 -0.701259342 -0.3322487651  0.111476277 -0.157606489 -0.235302408
## 3218  0.516403113  0.0644724703  0.236605192  0.878587018  0.319006544
## 3271  0.654448502 -0.1578093513  0.048415370  0.054888764  1.728607050
## 3272 -1.103668675 -0.7553189963  0.221599383 -0.730278808  0.584464110
## 3273  0.081417984 -0.1070136319  0.203265363  0.548419476  0.584744014
## 3274  0.781205886  0.2422791332  0.334759661  1.348451584  0.778298439
## 3275 -0.196120250 -0.4874099469 -0.105796730  0.050662542 -0.830366704
## 3276  0.109521007 -0.5529798096 -0.139822423 -0.157824741 -0.365270971
## 3277  0.219617790  0.0886368876 -0.293851360  0.797489315 -0.205028386
## 3278 -0.167109399 -0.0003513023  0.923858866  0.018351667  0.772336728
## 3279 -0.400605756 -1.2363922965 -2.675473519  0.113204620  0.348962043
## 3301  0.218799533 -1.8658754564 -0.311051749 -0.407898642 -0.346929035
## 3302  0.421899652  0.0867164715 -0.575150216  0.133119336  0.028427742
## 3303  0.394504298  0.2941464342 -1.124113033  0.030298341 -0.291904054
## 3304 -0.265302802  0.4386639588  0.502783347 -0.779048585 -0.648013186
## 3305  0.762826501  0.3406507482 -0.699585551  0.008547392  0.357454373
## 3306  0.430591222 -0.1178566519 -0.568738490  0.349800217  0.573807545
## 3307 -0.477544482  1.2021763847  0.583692794 -0.741281511 -0.535653706
## 3308 -0.241108099  1.2296099256  0.185293148 -0.433107916 -0.384899022
## 3309  0.519259093  0.3321600584 -0.140365164 -0.056658664 -0.151466796
## 3310  0.576774159  0.1549715334 -1.173811058  0.414051672  0.478179306
## 3311  0.882455520 -0.0109089742 -0.542509394 -0.098130188  0.075248691
## 3312 -0.666446135 -0.4041980724 -0.659133255  0.464009937  0.371635224
## 3313  0.001386075 -0.2945612744 -0.519212123 -0.022884716 -0.078371152
## 3314  0.869009950 -2.6363092140  0.694820107  0.598522295 -0.585556956
## 3315  0.186296686 -0.7630882021 -0.175810940 -0.485794271  0.354495314
## 3316  0.081484072 -0.7400524299  0.227112253  0.054605758  0.325181558
## 3317  0.017822433  0.0339125653 -0.049707604 -0.181523661 -0.272671132
## 3318  0.848922901 -0.8717674395  0.582291599  0.421200383 -0.026875926
## 3319  0.655909482  0.2368685959 -0.387031063  0.440701718  0.052483282
## 3320 -0.453570739 -0.6020688400  0.179370946 -0.292260839  0.047772511
## 3321  0.578923811  0.1079637809 -0.013775386 -0.145299127  0.121379442
## 3322 -0.122489053  0.0044770151 -0.456507557 -0.186152263 -0.066456064
## 3323 -0.125550110  1.4103286546  0.245113515 -0.653228327  0.183678111
## 3324  1.220981435  0.1203238191 -0.150093878  0.359784536 -0.076098385
## 3325  0.176176698  0.0715010964 -0.163618555  0.207624311  0.375248321
## 3326  0.162041153  0.3921412115  0.342819938 -0.281123192  0.266468998
## 3327  0.310170326 -0.4726923049 -0.454094055 -0.174083224 -0.182441792
## 3328  0.287766760  0.6565935761 -0.065407519  0.015140684 -0.142527082
## 3329  0.496953491  0.4320962156 -0.205382241 -0.181843156 -0.143473345
## 3371 -0.108668780  1.0281254274  0.436799550 -0.413100123 -1.283346326
## 3372  0.420667675 -0.2070953087  1.079915350  0.217022450  0.505542327
## 3373  0.342187238 -0.1475910210 -0.458950556 -1.867778813 -0.549142325
## 3374 -0.514533202 -0.8220800549 -0.325132697 -1.425575026 -0.037108029
## 3375 -0.521575242  0.4399363180 -0.297382173  1.529637854 -1.997009635
## 3376  0.100689916 -0.0344183397  0.138036379  0.276701857 -0.478758770
## 3401 -2.116801430  0.4521626453 -0.983684276  0.473737775 -0.350804392
## 3402 -1.260735507  0.2333128794 -0.894064251 -0.216028606 -0.964483236
## 3403 -2.470244828 -0.9657178956  0.021774702  0.143853152 -0.306589244
## 3404 -0.163606288 -0.6840577574 -0.270421355 -0.955516860 -0.301518580
## 3471 -1.920749314  0.5558985884 -0.542660262 -0.587962045  1.292150924
## 3501 -1.617183640 -0.0844550325 -0.378869889  0.911916930  0.770495915
## 3502  0.024607943  0.2832265474  0.265988537  0.379661604  0.147320312
## 3503 -0.251322527  0.4292577747  0.166435878  0.407535620 -0.311726847
## 3504 -0.041709550  0.2233020924 -0.535312400  0.517612997  0.449878682
## 3505 -0.622679057 -0.4968213703 -0.200046814  0.636758017  0.169313086
## 3506 -0.216255252 -0.2072615950 -0.239730381 -0.054703781  0.222361149
## 3507 -0.453057362  0.0782074720  0.424842658 -0.151714534  0.028201434
## 3508 -0.789351451 -0.8937706502  0.960809026  0.194364793  0.061169412
## 3509 -0.414783626 -0.6412813048  0.401392245 -0.822686956 -0.052654631
## 3510  0.113568852  0.1498026548  0.284194192 -0.407631404  0.012471278
## 3511 -1.447436488  0.1609926075 -0.265207691  0.169527572 -0.408910146
## 3512 -0.733709585  0.5856215509  0.594753758 -0.414826042 -0.170873069
## 3513 -0.337938360  0.4520031173  1.057044185  0.633123595  0.184005784
## 3514 -0.130519368  0.1485774473  1.183524160  0.457267977 -0.194273440
## 3515  0.374506117  0.6925345991 -0.792110104  0.762771674 -0.151316182
## 3516  0.136279667  0.4306747037  0.005394813  0.492314574  0.612638974
## 3517  0.488534265 -0.4573084109  0.466853069  0.711090692 -0.014549104
## 3518 -0.246804687 -0.5648202713  0.223440585 -0.011010728  0.513890309
## 3519 -0.520171889  0.5720560206 -0.999473236  0.520918758  0.535690707
## 3520  0.841912947  0.0341130592 -0.382323519  0.370185902  0.115496834
## 3521 -0.696333426 -0.7249691014  0.086086745  0.501649625  0.388963731
## 3522  0.049724891 -0.7513125310  0.037648788  1.152581510  1.441778320
## 3523 -0.375114569  0.1254305740 -0.218730254  0.069765674  0.741268124
## 3524  0.329215286  0.8632894926 -0.010207872  1.637068110  1.260377556
## 3525  0.628648414  0.0683464118  0.193870656 -0.036196835  0.678959918
## 3526  1.205881839 -2.0769460129 -1.121650542  0.414575739 -0.287510026
## 3527  0.172674400 -0.3040162899  2.900211830  0.268116993 -0.230933963
## 3528 -0.198248993  0.1206997110  2.784284919  0.026574483  0.019221195
## 3529  1.118650671 -1.2734401604  0.166710891  0.587811679 -0.946718854
## 3571  0.486808371  0.2994751628  0.044934083 -0.237616201  0.034759682
## 3572 -0.442132438  1.1971861229 -0.764833072  0.952309425 -0.343792974
## 3573  0.998916258  0.8988814252  0.406890742  1.747279482 -0.463987277
## 3574  0.510576255 -0.3502390070  0.922064242  0.490346366 -0.067247122
## 3575 -0.734730766  0.3249753580 -0.271191297  0.433241755 -1.562208431
## 3576  0.798835802 -0.1265260235  1.019313414 -1.506631131  0.740511146
## 3577 -0.026676412 -0.3476111098  0.696993853 -0.953210088  0.262200659
## 3578 -0.864418711 -0.9842693743 -0.084255877 -0.589464147 -0.366404062
## 3579 -0.353382482  0.6336859821 -0.245155685  1.354055351 -1.569135406
## 3601  1.795950952 -1.2041036200 -1.870772044 -0.162130448 -0.415303489
## 3602  1.070728575  0.9921475227 -0.768797825 -0.400013975 -0.026852133
## 3603  0.096281822 -0.3039992228 -0.073495837 -0.422540500 -0.325696768
## 3604 -0.099936774  2.4710924838  0.589176786 -1.311326963  0.031317286
## 3671 -0.403942834 -1.1301560895 -0.287989851 -1.527543841 -0.512344785
## 3672  0.644030480 -0.0736930445  0.269790366 -0.159787426 -0.087430978
## 3673  0.155931909  0.0984589870  0.618225590 -0.513980498  0.182265741
## 3674  0.042734603 -0.7176317037 -0.204811633 -1.021424435 -0.499089662
##            Dim.11       Dim.12       Dim.13       Dim.14       Dim.15
## 3101 -0.634005554 -0.672686765  0.496098320  0.910792501  0.089851762
## 3171 -0.520376014 -0.107303050 -1.467853915  0.085205922 -0.496925373
## 3172  0.061358850  0.206869610  0.106154689 -0.541567315  0.207017698
## 3173  1.957786700  0.339195842 -0.046044670  0.119170620  0.111192356
## 3174  0.834766043 -0.286062765  0.424157609  0.120659636  0.356488941
## 3175  1.195207616  0.146979589  0.380371453 -0.031029553  0.178233074
## 3201 -0.233375229 -0.431454517 -0.213262557  0.053455079 -0.005257870
## 3202 -0.102424125 -0.516660592  0.113591335  0.016944435 -0.100359984
## 3203  0.205471712 -0.387799014  0.055008037  0.155991768  0.214484640
## 3204 -0.172952883  0.066200763  0.387949036  0.468630465  0.210730603
## 3205 -0.244352883 -0.031658390 -0.226773550  0.152016717  0.136327797
## 3206  0.383735531 -0.157046413  0.071790577  0.074588109 -0.034054739
## 3207 -0.073003651  0.428274303  0.123654344  0.154412064 -0.070790530
## 3208  0.400840973 -0.190190617 -0.342853127 -0.413346893 -0.044097536
## 3209  0.246124218 -0.284245315 -0.173212118 -0.465330869 -0.167012143
## 3210  0.361075139 -0.263540169 -0.214531073 -0.395054072 -0.264550399
## 3211 -0.104973741 -0.806252952 -0.086107074 -0.638625108 -0.413071846
## 3212  0.280135596 -0.369356526 -0.672843165 -0.032572486 -0.184391697
## 3213  1.032271608 -0.293962514 -0.037724900 -0.153027932 -0.029374276
## 3214 -0.474378689 -0.067188866  0.472813935  0.143194770 -0.525301023
## 3215  0.301658746 -0.071473733  0.300090022  0.301839739 -0.261933838
## 3216 -0.458957042 -0.247114978  0.206841603  0.448306375 -0.394638263
## 3217 -0.037646193  0.034214018  1.061620095  0.256443428  0.132774672
## 3218 -0.013594026  0.022082060 -1.202192930 -0.125109945  0.304903614
## 3271 -1.376715427  0.171055251 -0.061529159 -0.196027585  0.151353651
## 3272 -1.198542398  0.365513394  0.091554486  0.452214242 -0.601891624
## 3273 -0.657187649  0.551804333  0.975879127  0.271954795 -0.259221373
## 3274 -0.852196227  0.299701761 -0.662351960  0.186229361  0.496251915
## 3275 -0.649298730 -0.441922059  0.126790397 -0.269505566 -0.065714775
## 3276 -0.143860013 -0.603706857  0.180256908 -0.192293621  0.238398818
## 3277  0.356449490  0.150733745  0.699054246  0.172142881 -0.197869084
## 3278  1.228129825 -0.187731230  1.059850038  0.682448935 -0.735315321
## 3279  0.370216324 -0.531262444  0.337439116 -0.014983734 -0.340695388
## 3301 -0.156049417  0.069080398 -0.482421865  0.182774292  0.361260238
## 3302 -0.818519271  0.366051401 -0.107083768 -0.081586355  0.279199336
## 3303 -0.003826206  0.222462063 -0.135959956  0.227639861  0.337711321
## 3304  0.227270595  1.151806578 -0.119439758  0.377000722  0.394643952
## 3305  0.160294980  0.243838032 -0.254959602 -0.284091147  0.021840931
## 3306  0.053364700  0.798134852  0.191883768 -0.367077587 -0.460865089
## 3307 -0.290482892  0.904959710  0.751632278  0.309846082 -0.073799585
## 3308  0.264052309  0.656723880  0.329322122 -0.237480611  0.270533916
## 3309 -0.015823406  0.590788604 -0.054901113  0.039183324  0.379153201
## 3310  0.197148069  0.140897780 -0.285838325 -0.262856416  0.112965858
## 3311  0.158790055  0.538794594  0.448899676  0.026046855  0.347346936
## 3312  0.154432544  1.151123900 -0.161649639  0.437515519 -0.549007094
## 3313  0.278123140  0.064365541 -0.191277017  0.058559035  0.035405314
## 3314 -0.394713702  0.261720029 -0.029855017  0.069449289 -0.271442190
## 3315 -0.255677185 -0.090064307 -0.314036518  0.036496503 -0.049176658
## 3316  0.058027526  0.421759080 -0.003539704  0.096441093  0.125929740
## 3317 -0.275466645 -0.429376051 -0.214941110  0.446149064  0.254415010
## 3318 -0.320270357  0.081200979  0.175710367 -0.113955084  0.031715053
## 3319 -0.497240181  0.409990961 -0.484854091 -0.003342845  0.096465070
## 3320 -0.430461703  0.330871437 -0.046462765  0.289815647 -0.091771027
## 3321 -0.415040876 -0.479000110 -0.094023491 -0.479270903 -0.540928934
## 3322 -0.323188809  0.504243380  0.016091253  0.015051131 -0.076199265
## 3323  0.156662395  0.978366256  0.274494639 -0.101721838 -0.106619690
## 3324 -0.120482258  0.323300730  0.420394513 -0.031850171 -0.309400257
## 3325 -0.252367563  0.774084093  0.729193270  0.214648794 -0.158072670
## 3326  0.409008632  0.174626009 -0.136513223  0.054168826  0.256497667
## 3327  0.637228973  0.269991486 -0.089437487  0.266024166  0.435370289
## 3328  0.104545713  0.003002914 -0.312006004  0.287511022  0.383172648
## 3329 -0.068067873  0.087432009  0.007489991 -0.051950545  0.002478292
## 3371 -0.190164440  0.941592540 -0.148731450 -0.222371912 -0.171993855
## 3372  1.083107756  0.859676099 -0.538078475  0.541238674 -0.430638664
## 3373  0.104402091  1.299002270  0.078892718 -1.073129660 -0.110628694
## 3374 -0.460186367  0.420854743  0.112859307 -0.207499984 -0.252076408
## 3375 -0.116320578 -0.085908728 -0.609370020  0.074494662 -0.185175259
## 3376  0.067217762  0.095338663 -1.238026177  0.517084540  0.016708194
## 3401  0.431693226 -0.397442916 -0.804102148  0.619932364  0.657459193
## 3402 -0.446613230 -0.557866853 -0.071396393 -0.379471681  0.438194361
## 3403  0.105037320  0.248830382 -0.574506579  0.544763040 -0.153124949
## 3404 -0.307427493  0.325680557  0.052802673 -0.670004826  0.356388697
## 3471 -0.035563288  0.541038940  0.730800965 -0.928944781  0.907381642
## 3501 -0.055246508  0.293822148  0.241600354  0.140736688  0.321747761
## 3502  0.199946869  0.161092783  0.210384232 -0.207348737 -0.078240371
## 3503  0.258910929  0.272367612 -0.539461524 -0.222957672  0.286279788
## 3504  0.344570159  0.087683364 -0.011567541  0.059051934  0.198590658
## 3505 -0.121989816  0.160201782  0.052759356  0.488774663  0.526598410
## 3506  0.067680464 -0.530712891  0.091338606  0.265970160  0.216294668
## 3507 -0.457474015 -0.289919588  0.426539360  0.275893575 -0.024092172
## 3508 -0.254807909 -0.132470017  0.264204579  0.330187979  0.276426300
## 3509 -0.565268219 -0.206589252 -0.012855382  0.421780127 -0.058683353
## 3510 -0.011412422  0.063503040 -0.299342797  0.231177898 -0.096463675
## 3511  0.211473350 -0.400879168  0.530458995 -0.093206555  0.287822625
## 3512 -0.199664388 -0.178448041  0.122754574  0.400211381 -0.063206954
## 3513  0.101459936  0.098214629 -0.143864723 -0.550988447 -0.002771635
## 3514  0.002079736 -0.372762076 -0.049953176 -0.192134377  0.140555412
## 3515 -0.393944758 -0.731326318  0.639041103 -0.274414047 -0.096694477
## 3516  0.088125645 -0.914422917  0.551910290 -0.639444576 -0.512961979
## 3517  0.044045994 -0.610730721  0.178722790 -0.488793831 -0.367919884
## 3518  0.253927505 -0.361526559 -0.360667936 -0.237136165  0.024994305
## 3519  0.528762901 -0.353167491  0.153587513 -0.117032328  0.064572522
## 3520  0.090373643  0.616892532 -0.069454659  0.517768109  0.034017423
## 3521 -0.101648413  0.410756177  0.271629455  0.219297236 -0.041907392
## 3522 -0.784115267 -0.415529611  0.132532856  0.130652132  0.274050578
## 3523  0.125196352 -0.295674890 -0.107909688 -0.311002593  0.038717760
## 3524  0.174958124 -0.662464503 -0.041736523 -0.133489596  0.043176119
## 3525 -0.016152387 -0.698363421 -0.078820431  0.071461092 -0.124096564
## 3526  0.643383196  0.137966485  0.574648331 -0.391050994 -0.209317984
## 3527 -0.211117888  0.389070525 -0.926139102 -0.808356724  0.235352551
## 3528 -0.763972436 -0.120112295  0.350104141 -0.182950774 -0.032544388
## 3529  0.468703655  0.042665856  0.321185887 -0.648260394  0.062695574
## 3571 -0.364104697  0.241270599  0.051509766  0.322781761 -0.540462303
## 3572 -0.698276066 -0.231061926 -0.167817780  0.016918903 -1.289983756
## 3573 -0.645280878  0.150643330  0.006051559 -0.059771202  0.145767197
## 3574  0.889757195  0.324211773 -0.355869780 -0.222491642 -0.052124614
## 3575  0.331177391 -0.436601479 -0.314036042  0.282988436 -0.668093373
## 3576  0.134918432 -1.433364910  0.474035293  1.036199346  1.045833479
## 3577  1.074943922  0.104824719  0.034910791  0.033376649 -0.238356026
## 3578  0.336919322 -0.434330384 -0.403433715 -0.079028304 -0.325949306
## 3579 -1.252743964 -0.450777486  0.373583633 -0.235452726  0.514386164
## 3601  0.476574287  0.066683356 -0.439764333  0.200101408  0.150196809
## 3602 -0.821635200  0.181221249 -0.633119659  0.276483904 -0.050500499
## 3603  0.375099623 -0.551881306  0.060682694  0.105745274 -0.509581078
## 3604  0.265024212 -0.758292440 -0.485085127 -0.329506276 -0.208051615
## 3671 -0.424178035 -0.643135394 -0.131504983 -0.254379749 -0.043917617
## 3672  0.214116618 -0.763896260 -0.350672433 -0.358109867 -0.060084894
## 3673  1.020143272 -0.748173060  0.127511895  0.089573967  0.117189680
## 3674 -0.303081411 -0.122454385  0.600648263 -0.873220366  0.543881094

Visualisasi PCA

Scree Plot

Scree Plot menampilkan variansi yang dijelaskan oleh setiap komponen utama dari PCA secara visual . Kita dapat dengan mudah menghasilkan scree plot menggunakan fungsi fviz_eig. Berikut contoh hasil menggunakan hasil sebelumnya:

library(factoextra)   # paket untuk visualisasi PCA

## Loading required package: ggplot2

## Welcome! Want to learn more? See two factoextra-related books at https://goo.gl/ve3WBa

# membuat scree plot
screeplot <- fviz_eig(pca_result, 
                      addlabels = TRUE, 
                      ncp = 10, 
                      barfill = "skyblue", 
                      barcolor = "darkblue", 
                      linecolor = "red")

# Tampilkan scree plot
plot(screeplot)

Correlation Circle

Correlation circle merupakan plot yang digunakan untuk memahami hubungan antara variabel asli dalam ruang komponen utama. Pada correlation circle, setiap variabel asli direpresentasikan sebagai vektor dalam ruang komponen utama, di mana panjang vektor menunjukkan kepentingan variabel dalam komponen utama tertentu, dan sudut antara vektor-vektor mencerminkan hubungan antar-variabel. Correlation circle membantu mengidentifikasi variabel mana yang paling berkontribusi terhadap struktur data dan seberapa berkorelasi mereka dalam ruang komponen utama, memfasilitasi interpretasi dan pemahaman yang lebih baik tentang struktur data yang kompleks. Correlation circle untuk variabel dapat dibuat menggunakan fungsi fviz_pca_var dan untuk individu menggunakan fungsi fviz_pca_ind.

# gunakan gridExtra untuk mengelompokkan 2 atau lebih plot
library(gridExtra)

# Buat correlation circle untuk kontribusi (contrib)
contrib_circle <- fviz_pca_var(pca_result, col.var = "contrib",
                               gradient.cols = c("#00AFBB", "#E7B800", "#FC4E07"), 
                               repel = TRUE) + 
                  ggtitle("Kontribusi Variabel")

# Buat correlation circle untuk cosinus kuadrat (cos2)
cos2_circle <- fviz_pca_var(pca_result, col.var = "cos2", 
                            gradient.cols = c("#00AFBB", "#E7B800", "#FC4E07"), 
                            repel = TRUE) + 
               ggtitle("cos2")

# Tampilkan kedua correlation circle dalam satu grid
grid.arrange(contrib_circle, cos2_circle, ncol = 2)

Plot Kontribusi

Kontribusi variabel mengukur seberapa banyak variabel atau individu berkontribusi terhadap pembentukan sumbu komponen utama tertentu. Semakin tinggi nilai kontribusi suatu variabel atau individu, semakin besar pengaruhnya terhadap pembentukan sumbu komponen utama. Kontribusi dihitung sebagai proporsi dari variasi dalam data yang dijelaskan oleh sumbu tersebut yang diberikan oleh variabel tertentu. Nilai kontribusi berkisar antara 0 hingga 100%.

Plot kontribusi dapat dibuat menggunakan fungsi fviz_contrib. Untuk menampilkan plot kontribusi variabel kita perlu mengatur parameter choice="var" dan untuk kontribusi individu choice="ind"

# Buat plot kontribusi variabel untuk PC1, PC2, dan PC3
contrib_v_PC1 <- fviz_contrib(pca_result, choice = "var", axes = 1, top = 5) + ggtitle("PC1")
contrib_v_PC2 <- fviz_contrib(pca_result, choice = "var", axes = 2, top = 5) + ggtitle("PC2")
contrib_v_PC3 <- fviz_contrib(pca_result, choice = "var", axes = 3, top = 5) + ggtitle("PC3")

# Tampilkan plot dalam bentuk grid
grid.arrange(contrib_v_PC1, contrib_v_PC2, contrib_v_PC3, ncol = 3)

# Buat plot kontribusi individu untuk PC1
contrib_i_PC1 <- fviz_contrib(pca_result, choice = "ind", axes = 1, top = 15) + ggtitle("PC1")

# Tampilkan plot
plot(contrib_i_PC1)

Plot Cosinus Kuadrat

Plot cosinus kuadrat memberikan gambaran tentang seberapa baik variabel asli direpresentasikan dalam ruang komponen utama. Nilai cosinus kuadrat menunjukkan seberapa dekat posisi variabel tersebut dengan sumbu komponen utama. Semakin tinggi nilai cosinus kuadrat, semakin baik variabel tersebut direpresentasikan dalam ruang komponen utama. Plot cosinus kuadrat memungkinkan pengamatan terhadap variabel mana yang lebih relevan dan signifikan dalam menjelaskan variasi dalam data, serta membantu dalam pemilihan variabel yang paling berkontribusi dalam menerangkan struktur data.

Plot cosinus kuadrat dibuat menggunakan fungsi fviz_cos2. Sama halnya dengan plot kontribusi, pada plot cosinus kuadrat juga dapat diatur parameter choice untuk menampilkan nilai menurut variabel atau individu.

# Buat plot cosinus kuadrat untuk seluruh variabel
cos2_v_PC1 <- fviz_cos2(pca_result, choice = "var")

plot(cos2_v_PC1)

Biplot

Biplot adalah alat visualisasi yang sering digunakan dalam analisis multivariat untuk memvisualisasikan dua jenis informasi sekaligus: (1) posisi variabel dalam ruang komponen utama (PC) dan (2) posisi individu dalam ruang komponen utama yang sama. Pada biplot, vektor-vektor variabel direpresentasikan sebagai panah dari asal koordinat ke titik di ruang PC yang mencerminkan arah dan kekuatan hubungan antara variabel tersebut. Selain itu, titik-titik yang mewakili individu juga diproyeksikan ke ruang PC, memungkinkan kita untuk melihat hubungan antara individu dan variabel dalam satu visualisasi yang kohesif.

Agar lebih informatif, pada bagian ini kita akan tambahkan peubah kategorik berdasarkan kelompok nilai IPM yaitu Rendah, Sedang, Tinggi, dan Sangat Tinggi.

# kelompokkan nilai IPM
status.ipm <- cut(data$ipm_2018,
                           breaks = c(-Inf, 60, 70, 80, Inf),
                           labels = c("Rendah", "Sedang", "Tinggi", "Sangat Tinggi"),
                           right = FALSE)

# Visualisasi Biplot
fviz_pca_biplot(pca_result, 
                geom.ind = "point", 
                col.ind = status.ipm, 
                palette = c("#FC4E07","#E7B800", "#00AFBB"), 
                addEllipses = TRUE, 
                legend.title = "Kategori")

Ringkasan

Pada tutorial ini, kita telah membahas analisis komponen utama (PCA) mulai dari teori hingga penerapannya dengan bahasa R. Implementasi dengan Bahasa R diawali dengan pembuatan secara manual untuk kita memahami langkah-langkah inti dalam PCA, termasuk standarisasi data, perhitungan matriks kovarian, perhitungan nilai eigen dan vektor eigen, serta seleksi komponen utama. Kemudian, kita memperdalam pemahaman PCA dengan menggunakan paket FactoMineR dan factoextra. Penggunaan paket ini dapat mempercepat proses analisis PCA dan menghasilkan visualisasi yang informatif, termasuk scree plot, biplot, correlation circle, dan lainnya. Dengan tutorial ini, diharapkan pemahaman menjadi semakin baik dan mampu menerapkannya untuk analisis data yang efektif.

Referensi

Ananda, R. 2022.Unsupervised Learning: Principal Component Analysis.

Kurnia, A. 2024. Teknik Pembelajaran mesin [Slide Kuliah STA1382 Teknik Pembelajaran Mesin IPB University]

Peixeiro, M. 2019. The Complete Guide to Unsupervised Learning.

Victor, A. 2023. An Intuitive Guide to Principal Component Analysis (PCA) in R: A Step-by-Step Tutorial with Beautiful Visualization Examples

Principal Component Analysis (PCA) dengan R