Notes Theme: - Kelas E: cayman
- Kelas F: tactile
- Kelas G: architect
- Kelas H: hpstr
Library:
> # install.packages("knitr")
> # install.packages("rmarkdown")
> # install.packages("prettydoc")
> # install.packages("equatiomatic")1 PENDAHULUAN
1.1 Latar Belakang
Analisis regresi merupakan analisis yang mempelajari bagaimana membangun sebuah model fungsional dari data untuk dapat menjelaskan ataupun meramalkan suatu fenomena alami atas dasar fenomena yang lain. Analisis regresi berguna untuk mengetahui pengaruh antara variabel bebas dengan variabel terikat. Variabel bebas dinamakan dengan variabel independen atau prediktor dan disimbolkan dengan . Kalau variabel terikat dinamakan variabel dependen dan disimbolkan dengan . Analisis regresi dapat digolongkan menjadi dua macam, regresi sederhana dan regresi berganda. Regresi sederhana adalah pengaruh antara satu variabel terikat dengan satu variabel bergantung (dependent variable). Dalam statistika sebuah model regresi dikatakan baik atau cocok, jika dipenuhi asumsi-asumsi ideal (klasik), yakni tidak adanya autokorelasi, heteroskedastisitas dan multikolinearitas. Sehingga proses kontrol terhadap model perlu dilakukan untuk menelaah dipenuhi tidaknya asumsi tersebut. Salah satu dari ketiga asumsi model regresi linear klasik adalah tidak terdapat multikolinearitas di antara variabel. Multikolinearitas terjadi ketika menentukan model regresi populasi ada kemungkinan bahwa dalam sampel tertentu, beberapa atau semua variabel sangat kolinear (mempunyai hubungan linear sempurna atau hampir sempurna). Ada beberapa prosedur yang dapat digunakan untuk mengatasi masalah multikolinearitas. Apabila seleksi variabel diperbolehkan dan tidak mengubah teori yang ada maka cara yang paling mudah untuk mengatasi multikolinearitas adalah dengan mengeluarkan salah satu atau beberapa variabel bebas tak penting dalam model sehingga akan diperoleh estimator dengan varian lebih kecil. Namun, tidak semua permasalahan jika terjadi multikolinearitas dapat menggunakan metode tersebut dalam mengatasinya karena dapat mempengaruhi variabel tak bebas. Oleh karena itu diperlukan metode lain yang tidak mengeluarkan variabel bebas dalam model regresi dan metode estimasi lain yang dapat menghasilkan parameter dengan variansi lebih kecil. Metode alternatif yang akan digunakan disini adalah Metode Principal Component Analysis (Komponen Utama) dan Metode Regresi Ridge. Metode Principal Component Analysis dapat menghilangkan korelasi secara bersih sehingga masalah multikolinearitas dapat benar-benar teratasi iii secara bersih. Dan Metode Regresi Ridge menghasilkan taksiran koefisien regresi dengan varian lebih kecil, namun taksiran koefisien regresinya bersifat bias.
1.2 Statistika Deskriptif
1.2.1 Regresi Komponen Utama (PCA)
Pada dasarnya analisis regresi komponen utama merupakan teknik analisis regresi yang dikombinasikan dengan teknik analisis komponen utama, di mana dalam hal ini analisis komponen utama dijadikan sebagai tahap analisis antara untuk memperoleh hasil akhir dalam analisis regresi (Gaspersz, 1995). Prinsip utama dari model regresi komponen utama ialah skor komponen utama yang diregresikan dengan peubah tak bebas atau dengan kata lain regresi komponen utama merupakan analisis regresi dari peubah tak bebas terhadap komponen-komponen utama yang tidak saling berkorelasi. Dengan demikian apabila W1, W2, …, Wm dinyatakan sebagai komponen utama yang dilibatkan dalam analisis regresi, serta Y sebagai peubah tak bebas, maka model regresi komponen utama dapat dirumuskan sebagai: \[ Y=\alpha_{0}+\alpha_{1}W_{1}+\alpha_{2}W_{2}+\dots+\epsilon \] Setiap komponen utama dalam Persamaan memiliki hubungan dengan semua peubah baku Z yang merupakan kombinasi linier dari semua peubah baku Z.
1.2.2 Regresi Gulud (Ridge)
Regresi Gulud (Ridge regression) ditujukan untuk mengatasi kondisi buruk (ill-conditioned) yang diakibatkan oleh korelasi yang tinggi antara beberapa peubah prediktor di dalam model sehingga menyebabkan matriks X’X nya hampir singular. Hal tersebut akan menghasilkan nilai dugaan parametermodel yang tidak stabil.
1.3 Data
Data yang digunakan berasal dari Media Neliti Publications
Error in dimnames(x) <- dn: length of 'dimnames' [1] not equal to array extent| 60323 | 830 | 234289 | 2356 | 1590 | 107608 |
| 61122 | 885 | 259426 | 2325 | 1456 | 108632 |
| 60171 | 882 | 258054 | 3682 | 1616 | 109773 |
| 61187 | 895 | 284599 | 3351 | 1650 | 110929 |
| 63221 | 962 | 328975 | 2099 | 3099 | 112075 |
| 63639 | 981 | 346999 | 1932 | 3594 | 113270 |
| 64989 | 990 | 465385 | 1870 | 3547 | 115094 |
| 63761 | 1000 | 363112 | 3578 | 3350 | 116219 |
| 66019 | 1012 | 397469 | 2904 | 3048 | 117388 |
| 67857 | 1046 | 419180 | 2822 | 2857 | 118734 |
| 68169 | 1084 | 442769 | 2936 | 2798 | 120445 |
| 66513 | 1108 | 444546 | 4681 | 2637 | 121950 |
| 68655 | 1126 | 482704 | 3813 | 2552 | 123366 |
| 69564 | 1142 | 502601 | 3931 | 2514 | 125368 |
| 69331 | 1157 | 518173 | 4806 | 2572 | 127852 |
| 70551 | 1169 | 554894 | 4007 | 2827 | 130081 |
X1 = deflator harga implisit PDB
X2 = PNB
X3 = Jumlah pengangguran
X4 = Jumlah orang dalam angkatan perang
X5 = populasi non istitusional di aats 14 tahun
Y = Jumlah Pekerja
2 SOURCE CODE
2.1 Library yang Dibutuhkan
# library(stats)
# library(car)
# library(factoextra)
# library(readxl)
# library(MASS)
# library(ridge)
# library(Metrics)2.2 Import Data
komstat <- read_excel("komstat.xlsx")
View(komstat)2.3 Syntax
2.3.1 Syntax PCA
> ModelRegresi <- lm(Y~X1+X2+X3+X4+X5, data=komstat)
+ ModelRegresi
+ summary(ModelRegresi)
+ vif(ModelRegresi)
+ Z1 <- scale(komstat$X1)
+ Z1
+ Z2 <- scale(komstat$X2)
+ Z2
+ Z3 <- scale(komstat$X3)
+ Z3
+ Z4 <- scale(komstat$X4)
+ Z4
+ Z5 <- scale(komstat$X5)
+ z5
+ DataStandarisasi <- cbind(Z1,Z2,Z3,Z4,Z5)
+ DataStandarisasi
+ eigen(cov(DataStandarisasi))
+ pca <-princomp(DataStandarisasi, cor= T,scores = T)
+ pca
+ summary(pca)
+ pca$loadings
+ PC1=0.521*Z1+0.520*Z2+0.366*Z3+0.230*Z4+0.521*Z5
+ PC1
+ Y = komstat$Y
+ Y
+ reg = lm(Y~PC1)
+ summary(reg)
+ fviz_pca(pca)
+ reg <- lm(Y~PC1, data=komstat)
+ summary(reg)$r.squared
+ library(Metrics)
+ mse(data$Y, predict(reg,komstat))2.3.2 Syntax Ridge
> ridge <-lm.ridge(Y~X1+X2+X3+X4+X5,data=komstat,lambda=seq(0,10),by=0.1)
+ ridge
+ plot(ridge)
+ mymod <-linearRidge(Y~X1+X2+X3+X4+X5,data=komstat, lambda=0)
+ summary(mymod)
+ reg1 <-lm(Y~X1+X2+X3+X4+X5,data=komstat)
+ summary(reg1)$r.squared
+ mse(komstat$Y, predict(reg1,komstat))3 HASIL DAN PEMBAHASAN
3.0.1 Principal Component Analysis
Call: lm(formula = Y ~ PC1)
Residuals: Min 1Q Median 3Q Max -1738.0 -840.1 220.7 607.5 1940.6
Coefficients: Estimate Std. Error t value Pr(>|t|)
(Intercept) 65317.0 281.3 232.21 < 2e-16 PC1 1757.6 152.9 11.49 1.62e-08 — Signif. codes: 0 ‘’ 0.001 ‘’ 0.01 ‘’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 1125 on 14 degrees of freedom Multiple R-squared: 0.9042, Adjusted R-squared: 0.8974 F-statistic: 132.1 on 1 and 14 DF, p-value: 1.62e-08
Bedasarkan summary diatas yang didapatkan dari aplikasi R, bahwa: \[ 𝑌 = 65317.0 + 915.71𝑍_{1} + 913.95𝑍_{2} + 643.28𝑍_{3} + 404.25𝑍_{4} + 915.71𝑍_{5} \] • Jika seluruh nilai Z1, Z2, Z3, Z4 dan Z5 adalah 0, maka nilai rata-rata dari Y adalah 65317.
• Setiap kenaikan 1 satuan Z1 akan menaikkan Y sebesar 915.71 dengan anggapan Z2, Z3, Z4 dan Z5 konstan.
• Setiap kenaikan 1 satuan Z2 akan menaikkan Y sebesar 913.95 dengan anggapan Z1, Z3, Z4 dan Z5 konstan.
• Setiap kenaikan 1 satuan Z3 akan menaikkan Y sebesar 643.28 dengan anggapan Z1, Z2, Z4 dan Z5 konstan.
• Setiap kenaikan 1 satuan Z4 akan menaikkan Y sebesar 404.25 dengan anggapan Z1, Z2, Z3 dan Z5 konstan.
• Setiap kenaikan 1 satuan Z5 akan menaikkan Y sebesar 915.71 dengan anggapan Z1, Z2, Z3 dan Z4 konstan. \[ Y=37134.02 + 5.36𝑋_{1} + 0.01𝑋_{2} + 0.69𝑋_{3} + 0.58𝑋_{4} + 0.13𝑋_{5} \] • Jika seluruh nilai X1, X2, X3, X4 dan X5 adalah 0, maka nilai rata-rata dari Y adalah 37134.02.
• Setiap kenaikan 1 satuan X1 akan menaikkan Y sebesar 5.36 dengan anggapan X2, X3, X4 dan X5 konstan.
• Setiap kenaikan 1 satuan X2 akan menaikkan Y sebesar 0.01 dengan anggapan X1, X3, X4 dan X5 konstan.
• Setiap kenaikan 1 satuan X3 akan menaikkan Y sebesar 0.69 dengan anggapan X1, X2, X4 dan X5 konstan.
• Setiap kenaikan 1 satuan X4 akan menaikkan Y sebesar 0.58 dengan anggapan X1, X2, X3 dan X5 konstan.
• Setiap kenaikan 1 satuan X5 akan menaikkan Y sebesar 0.13 dengan anggapan X1, X2, X3 dan X4 konstan.
3.0.2 Regresi Ridge
Call: linearRidge(formula = Y ~ X1 + X2 + X3 + X4 + X5, data = komstat, lambda = 0)
Coefficients: Estimate Scaled estimate Std. Error (scaled) (Intercept) 9.246e+04 NA NA X1 -4.846e+00 -2.026e+03 5.270e+03 X2 7.200e-02 2.772e+04 1.165e+04 X3 -4.039e-01 -1.462e+03 1.513e+03 X4 -5.605e-01 -1.511e+03 7.294e+02 X5 -4.035e-01 -1.087e+04 8.484e+03 t value (scaled) Pr(>|t|)
(Intercept) NA NA
X1 0.384 0.7007
X2 2.380 0.0173 X3 0.966 0.3341
X4 2.071 0.0383 X5 1.281 0.2000
— Signif. codes: 0 ‘’ 0.001 ‘’ 0.01 ‘’ 0.05 ‘.’ 0.1 ‘ ’ 1
Ridge parameter: 0
Degrees of freedom: model 5 , variance 5 , residual 5
Bedasarkan summary diatas yang didapatkan dari aplikasi R, bahwa: \[ Y = 9.246e+04 – 4.846e+00X_{1} + 7.200e-02X_{2} – 4.039e-01X_{3} – 5.605e-01X_{4} - 4.035e-01X_{5} \] • Setiap kenaikan 1 satuan X1 akan menurunkan Y sebesar 4.846e+00 dengan anggapan X2, X3, X4 dam X5 konstan.
• Setiap kenaikan 1 satuan X2 akan menaikanY sebesar 7.200e-02 dengan anggapan X1, X3, X4 dam X5 konstan.
• Setiap kenaikan 1 satuan X3 akan menurunkan Y sebesar 4.039e-01 dengan anggapan X1, X2, X4 dam X5 konstan.
• Setiap kenaikan 1 satuan X4 akan menurunkan Y sebesar 5.605e-01 dengan anggapan X1, X2, X3 dam X5 konstan.
• Setiap kenaikan 1 satuan X5 akan menurunkan Y sebesar 4.035e-01dengan anggapan X1, X2, X3 dam X4 konstan.
3.0.3 Membandingkan nilai MSE dan R-Squared
PCA MSE: 1453341; R-Squared: 0.8743116
Ridge MSE: 145952.3; R-Squared: 0.9873777
Dari tabel diatas diketahui masing-masing nilai MSE dan R-Squared, dapat disimpulkan untuk masing-masing nilai Metode Ridge mempunyai nilai yang lebi besar daripada Metode PCA sehingga model regresi terbaik adalah: \[ Y = 9.246e+04 – 4.846e+00X_{1} + 7.200e-02X_{2} – 4.039e-01X_{3} – 5.605e-01X_{4} -4.035e-01X_{5} \] Perbedaan yang signifikan dapat dilihat dari nilai intercept masing-masing model, koefisien dari variable bebas dari kedua model regresi juga berubah
4 PENUTUP
4.1 Kesimpulan
Pada dasarnya analisis komponen utama (PCA) bertujuan menerangkan struktur varians- kovarians melalui kombinasi linear dari variabel-variabel. Secara umum analisis komponen utama bertujuan untuk mereduksi data dan menginterpretasikannya. Meskipun dari dari p buah variabel asal dapat diturunkan menjadi p buah komponen utama untuk menerangkan keragaman total sistem (p buah variabel), namun seringkali keragaman total itu dapat diterangkan secara memuaskan oleh sejumlah kecil komponen utama, misal, oleh k buah komponen utama, dimana k < p (k lebih kecil dari pada p). Dalam hal ini, k buah komponen utama dapat menggantikan p buah variabel asal.
Analisis komponen utama sering kali dilakukan tidak saja merupakan akhir dari suatu pengolahan data tetapi juga merupakan tahap (langkah) antara dalam kebanyakan penelitian yang bersifat lebih besar (luas). Sebagai misal dalam analisis regresi komponen utama (principal component regression), maka analisis komponen utama akan merupakan tahap antara karena komponen utama dipergunakan sebagai input dalam membangun analisis regresi, demikian pula dalam analisis kluster, komponen utama dipergunakan sebagai input untuk melakukan pengelompokan.
Metode regresi Ridge (Ridge regression) dapat digunakan untuk mengatasi korelasi yang tinggi antara beberapa variabel bebas (Hoerl dan Kennard, 1970). Regresi Ridge merupakan metode pendugaan koefisien regresi yang diperoleh melalui penambahan konstanta bias c pada diagonal X’X . Meskipun metode ini menghasilkan penduga koefisien regresi yang berbias, penduga ini bisa mendekati nilai parameter yang sebenarnya. Hal ini dapat diketahui dari perbandingan mean square error (MSE) antara penduga Ridge dengan penduga kuadrat terkecil (least square), dimana MSE penduga Ridge lebih kecil daripada MSE penduga kuadrat terkecil. Dengan metode PCA didapatkan model regresi: \[ 𝑌 = 65317.0 + 915.71𝑍_{1} + 913.95𝑍_{2} + 643.28𝑍_{3} + 404.25𝑍_{4} + 915.71𝑍_{5} \] \[ dan \] \[ 𝑌 = 37134.02 + 5.36𝑋_{1} + 0.01𝑋_{2} + 0.69𝑋_{3} + 0.58𝑋_{4} + 0.13𝑋_{5} \] Sedangkan dengan metode Ridge model regresinya: \[ Y = 9.246e+04 – 4.846e+00X_{1} + 7.200e-02X_{2} – 4.039e-01X_{3} – 5.605e-01X_{4} -4.035e- 01X_{5} \] Untuk mencari model mana yang terbaik untuk menganalisis data maka dibandingkan nilai MSE dan R-Squarednya terlebih dahulu dan didapatkan Metod Ridge menjadi metode terbaik yang digunakan untuk menganalisa suatu data.
4.2 saran
Untuk menganalisa data, alangkah baiknya metode yang digunakan adalah metode Ridge dikarenakan tidak memakan aktu yang lama dalam pengerjaannya dan juga hasil dengan metode Ridge lebih akurat
5 DAFTAR PUSTAKA
https://media.neliti.com/media/publications/137554-ID-perbandingan-regresi-komponen-utama-deng.pdf
https://journal.unnes.ac.id/nju/index.php/JM/article/view/16384.
https://id.wikipedia.org/wiki/Analisis_komponen_utama
https://www.mobilestatistik.com/principal-component-analysis-pca/
6 Lampiran
Output PCA
# A tibble: 16 x 6
Y X1 X2 X3 X4 X5
<dbl> <dbl> <dbl> <dbl> <dbl> <dbl> 1 60323 830 234289 2356 1590 107608
2 61122 885 259426 2325 1456 108632
3 60171 882 258054 3682 1616 109773
4 61187 895 284599 3351 1650 110929
5 63221 962 328975 2099 3099 112075
6 63639 981 346999 1932 3594 113270
7 64989 990 365385 1870 3547 115094
8 63761 1000 363112 3578 3350 116219
9 66019 1012 397469 2904 3048 117388
10 67857 1046 419180 2822 2857 118734
11 68169 1084 442769 2936 2798 120445
12 66513 1108 444546 4681 2637 121950
13 68655 1126 482704 3813 2552 123366
14 69564 1142 502601 3931 2514 125368
15 69331 1157 518173 4806 2572 127852
16 70551 1169 554894 4007 2827 130081
Call:
lm(formula = Y ~ X1 + X2 + X3 + X4 + X5, data = laprak2)
Coefficients:
(Intercept) X1 X2 X3
92461.3078 -4.8463 0.0720 -0.4039
X4 X5
-0.5605 -0.4035
> summary(ModelRegresi)
Call:
lm(formula = Y ~ X1 + X2 + X3 + X4 + X5, data = laprak2)
Residuals:
Min
1Q
Median
3Q
Max
-553.24 -364.78 61.06 205.50 933.59
Coefficients:
Estimate
Std. Error
t value
Pr(>|t|)
(Intercept) 9.246e+04 3.517e+04 2.629 0.0252 *
X1 -4.846e+00 1.322e+01 -0.366 0.7217
X2 7.200e-02 3.173e-02 2.269 0.0467 *
X3 -4.039e-01 4.385e-01 -0.921 0.3788
X4 -5.605e-01 2.838e-01 -1.975 0.0765 .
X5 -4.035e-01
--- 3.303e-01 -1.222 0.2498
Signif.
0 ‘***’ codes:
0.001 ‘**’ 0.01
‘*’ 0.05 ‘.’ 0.1 ‘
’ 1
Residual standard error: 483.2 on 10 degrees of freedom Multiple R-squared: 0.9874, Adjusted R-squared: 0.9811
F-statistic: 156.4 on 5 and 10 DF, p-value: 3.699e-09 X1 X2 X3 X4 X5
130.829201 639.049777 10.786858 2.505775 339.011693
[,1]
[1,] -1.73109925
[2,] -1.22144139
[3,] -1.24924091
[4,] -1.12877633
[5,] -0.50792039
[6,] -0.33185676
[7,] -0.24845821
[8,] -0.15579314
[9,] -0.04459506
[10,] 0.27046616
[11,] 0.62259341
[12,] 0.84498956
[13,] 1.01178668
[14,] 1.16005078
[15,] 1.29904838
[16,] 1.41024646
attr(,"scaled:center") [1] 1016.812
attr(,"scaled:scale") [1] 107.9155
[,1]
[1,] -1.5434331
[2,] -1.2905329
[3,] -1.3043364
[4,] -1.0372705
[5,] -0.5908091
[6,] -0.4094719
[7,] -0.2244927
[8,] -0.2473611
[9,] 0.0983004
[10,] 0.3167321
[11,] 0.5540580
[12,] 0.5719362
[13,] 0.9558390
[14,] 1.1560203
[15,] 1.3126882
[16,] 1.6821336
attr(,"scaled:center") [1] 387698.4
attr(,"scaled:scale") [1] 99394.94
[,1]
[1,] -0.8960348
[2,] -0.9292089
[3,] 0.5229601
[4,] 0.1687464
[5,] -1.1710587
[6,] -1.3497707
[7,] -1.4161189
[8,] 0.4116664
[9,] -0.3096025
[10,] -0.3973534
[11,] -0.2753583
[12,] 1.5920219
[13,] 0.6631474
[14,] 0.7894229
[15,] 1.7257883
[16,] 0.8707530
attr(,"scaled:center") [1] 3193.312
attr(,"scaled:scale") [1] 934.4642
[,1]
[1,] -1.46092666
[2,] -1.65347763
[3,] -1.42356602
[4,] -1.37470980
[5,] 0.70742726
[6,] 1.41871632
[7,] 1.35117978
[8,] 1.06810111
[9,] 0.63414293
[10,] 0.35968594
[11,] 0.27490604
[12,] 0.04355747
[13,] -0.07858307
[14,] -0.13318708
[15,] -0.04984412
[16,] 0.31657752
attr(,"scaled:center") [1] 2606.688
attr(,"scaled:scale") [1] 695.9196
[,1]
[1,] -1.411135233
[2,] -1.263926342
[3,] -1.099897684
[4,] -0.933712647
[5,] -0.768965196
[6,] -0.597173570
[7,] -0.334957732
[8,] -0.173229213
[9,] -0.005175313
[10,] 0.188323875
[11,] 0.434294982
[12,] 0.650651800
[13,] 0.854214095
[14,] 1.142018979
[15,] 1.499115547
[16,] 1.819553652
attr(,"scaled:center") [1] 117424
attr(,"scaled:scale") [1] 6956.102
[,1] [,2] [,3] [,4]
[1,] -1.73109925 -1.5434331 -0.8960348 -1.46092666
[2,] -1.22144139 -1.2905329 -0.9292089 -1.65347763
[3,] -1.24924091 -1.3043364 0.5229601 -1.42356602
[4,] -1.12877633 -1.0372705 0.1687464 -1.37470980
[5,] -0.50792039 -0.5908091 -1.1710587 0.70742726
[6,] -0.33185676 -0.4094719 -1.3497707 1.41871632
[7,] -0.24845821 -0.2244927 -1.4161189 1.35117978
[8,] -0.15579314 -0.2473611 0.4116664 1.06810111
[9,] -0.04459506 0.0983004 -0.3096025 0.63414293
[10,] 0.27046616 0.3167321 -0.3973534 0.35968594
[11,] 0.62259341 0.5540580 -0.2753583 0.27490604
[12,] 0.84498956 0.5719362 1.5920219 0.04355747
[13,] 1.01178668 0.9558390 0.6631474 -0.07858307
[14,] 1.16005078 1.1560203 0.7894229 -0.13318708
[15,] 1.29904838 1.3126882 1.7257883 -0.04984412
[16,] 1.41024646 1.6821336 0.8707530 0.31657752
[,5]
[1,] -1.411135233
[2,] -1.263926342
[3,] -1.099897684
[4,] -0.933712647
[5,] -0.768965196
[6,] -0.597173570
[7,] -0.334957732
[8,] -0.173229213
[9,] -0.005175313
[10,] 0.188323875
[11,] 0.434294982
[12,] 0.650651800
[13,] 0.854214095
[14,] 1.142018979
[15,] 1.499115547
[16,] 1.819553652
eigen() decomposition
$values
[1] 3.6096690885 1.1753398694 0.1991553621 0.0148822458
[5] 0.0009534342
$vectors
[,1] [,2] [,3] [,4]
[1,] 0.5210129 -0.05808997 0.1889153 0.776958379
[2,] 0.5199086 -0.05345522 0.3174971 -0.135947010
[3,] 0.3658062 0.59532321 -0.7100763 0.004614581
[4,] 0.2296424 -0.79831473 -0.5511572 -0.078584283
[5,] 0.5212397 0.04529867 0.2356355 -0.609637027
[,5]
[1,] 0.292946852
[2,] -0.779455948
[3,] -0.086870665
[4,] -0.002874243
[5,] 0.546878225
Call:
princomp(x = DataStandarisasi, cor = T, scores = T)
Standard deviations:
Comp.1 Comp.2 Comp.3 Comp.4 Comp.5 1.89991292 1.08413093 0.44626826 0.12199281 0.03087773
5 variables and 16 observations.
> summary(pca) Importance of components:
Comp.1 Comp.2 Comp.3
Standard deviation 1.8999129 1.0841309 0.44626826
Proportion of Variance 0.7219338 0.2350680 0.03983107
Cumulative Proportion 0.7219338 0.9570018 0.99683286
Comp.4 Comp.5
Standard deviation 0.121992810 0.0308777297
Proportion of Variance 0.002976449 0.0001906868
Cumulative Proportion 0.999809313 1.0000000000
Loadings:
Comp.1 Comp.2 Comp.3 Comp.4 Comp.5
[1,] 0.521 0.189 0.777 0.293
[2,] 0.520 0.317 -0.136 -0.779
[3,] 0.366 -0.595 -0.710
[4,] 0.230 0.798 -0.551
[5,] 0.521 0.236 -0.610 0.547
Comp.1 Comp.2 Comp.3 Comp.4 Comp.5
SS loadings 1.0 1.0 1.0 1.0 1.0
Proportion Var 0.2 0.2 0.2 0.2 0.2
Cumulative Var 0.2 0.4 0.6 0.8 1.0
> PC1=0.521*Z1+0.520*Z2+0.366*Z3+0.230*Z4+0.521*Z5
> PC1
[,1]
[1,] -3.10365125
[2,] -2.68634401
[3,] -2.03817294
[4,] -1.86835948
[5,] -1.23837736
[6,] -0.86466155
[7,] -0.62822408
[8,] 0.09628474
[9,] 0.05772419
[10,] 0.34102671
[11,] 0.80119627
[12,] 1.66933419
[13,] 1.69386054
[14,] 2.05880465
[15,] 2.76061566
[16,] 2.94894373
attr(,"scaled:center") [1] 1016.812
attr(,"scaled:scale")
[1] 107.9155
1] 60323 61122 60171 61187 63221 63639 64989 63761
[9] 66019 67857 68169 66513 68655 69564 69331 70551
Call:
lm(formula = Y ~ PC1)
Residuals:
Min 1Q Median 3Q Max
-1738.0 -840.1 220.7 607.5 1940.6
Coefficients:
Estimate Std. Error t value Pr(>|t|) (Intercept) 65317.0 281.3 232.21 < 2e-16 ***
PC1 1757.6 152.9 11.49 1.62e-08 ***
---
Signif. codes:
0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 1125 on 14 degrees of freedom Multiple R-squared: 0.9042, Adjusted R-squared: 0.8974
F-statistic: 132.1 on 1 and 14 DF, p-value: 1.62e-08
[1] 0.8743116
[1] 1453341
Output Regresi RIDGE
Y X1 X2 X3 X4 X5
1 60323 830 234289 2356 1590 107608
2 61122 885 259426 2325 1456 108632
3 60171 882 258054 3682 1616 109773
4 61187 895 284599 3351 1650 110929
5 63221 962 328975 2099 3099 112075
6 63639 981 346999 1932 3594 113270
7 64989 990 365385 1870 3547 115094
8 63761 1000 363112 3578 3350 116219
9 66019 1012 397469 2904 3048 117388
10 67857 1046 419180 2822 2857 118734
11 68169 1084 442769 2936 2798 120445
12 66513 1108 444546 4681 2637 121950
13 68655 1126 482704 3813 2552 123366
14 69564 1142 502601 3931 2514 125368
15 69331 1157 518173 4806 2572 127852
16 70551 1169 554894 4007 2827 130081
X5 X1 X2 X3 X4
0 92461.31 -4.846283 0.072003849 -0.403871059 -0.560495582 -
0.4035087
1 31526.45 11.405339 0.014846150 -0.704551643 -0.212211694
0.1638562
2 32209.60 10.666743 0.013369543 -0.487145371 -0.007152635
0.1588451
3 33018.64 10.140082 0.012455460 -0.338917071 0.123128793
0.1526105
4 33771.36 9.730810 0.011786287 -0.232274074 0.211082626
0.1471011
5 34460.44 9.394869 0.011259113 -0.152283310 0.272830658
0.1423363
6 35095.32 9.108656 0.010824563 -0.090370089 0.317343679
0.1381709
7 35685.48 8.858202 0.010454831 -0.041278402 0.350004861
0.1344745
8 36238.43 8.634639 0.010132756 -0.001608587 0.374231319
0.1311481
9 36759.91 8.432030 0.009847064 0.030936451 0.392289512
0.1281189
10 37254.31 8.246228 0.009589995 0.057965522 0.405736768
0.1253327
Call:
linearRidge(formula = Y ~ X1 + X2 + X3 + X4 + X5, data = laprak2,
lambda = 0)
Coefficients:
Estimate Scaled estimate
(Intercept) 9.246e+04 NA X1 -4.846e+00 -2.026e+03
X2 7.200e-02 2.772e+04
X3 -4.039e-01 -1.462e+03
X4 -5.605e-01 -1.511e+03
X5 -4.035e-01 -1.087e+04
Std. Error (scaled) t value (scaled)
(Intercept) NA NA
Pr(>|t|)
Ridge parameter: 0
Degrees of freedom: model 5 , variance 5 , residual 5 [1] 0.9873777
[1] 145952.3