seminar-12. PCA
iskandar
2025-12-02
library(ggplot2)## Warning: package 'ggplot2' was built under R version 4.4.3library(psych)## Warning: package 'psych' was built under R version 4.4.3library(tidyverse)## Warning: package 'tidyverse' was built under R version 4.4.3## Warning: package 'readr' was built under R version 4.4.3## Warning: package 'dplyr' was built under R version 4.4.3data("USArrests")
dataset <- USArrests
str(dataset)## 'data.frame': 50 obs. of 4 variables:
## $ Murder : num 13.2 10 8.1 8.8 9 7.9 3.3 5.9 15.4 17.4 ...
## $ Assault : int 236 263 294 190 276 204 110 238 335 211 ...
## $ UrbanPop: int 58 48 80 50 91 78 77 72 80 60 ...
## $ Rape : num 21.2 44.5 31 19.5 40.6 38.7 11.1 15.8 31.9 25.8 ...head(dataset)## Murder Assault UrbanPop Rape
## Alabama 13.2 236 58 21.2
## Alaska 10.0 263 48 44.5
## Arizona 8.1 294 80 31.0
## Arkansas 8.8 190 50 19.5
## California 9.0 276 91 40.6
## Colorado 7.9 204 78 38.7results <- prcomp(USArrests, scale = TRUE ) #calculate principal components
results## Standard deviations (1, .., p=4):
## [1] 1.5748783 0.9948694 0.5971291 0.4164494
##
## Rotation (n x k) = (4 x 4):
## PC1 PC2 PC3 PC4
## Murder -0.5358995 -0.4181809 0.3412327 0.64922780
## Assault -0.5831836 -0.1879856 0.2681484 -0.74340748
## UrbanPop -0.2781909 0.8728062 0.3780158 0.13387773
## Rape -0.5434321 0.1673186 -0.8177779 0.08902432PCA 5ta stepda amalga oshiriladi:
Ma’lumotlarni standardlashtirish, ya’ni o’rta arifmetik qiymatdan har bir o’zgaruvchidagi datani ayirib uni standard deviation’ga bo’lish
Covariance matrix holida datani ko’rish
Eigen vectors(PC yo’nalishini chizmada vertikal yoki 90deg burchakdan ko’rsatib beradi) va Eigen values(Berilgan datasetni dispersiyasini ko’rsatib beradi)
Asosiy komponentlarni tanlash jarayoni(Euigen vector eng yuqori eigen value bn birgalikda PC1 qiymatini beradi)
Yangi o’lchamdagi ma’lumot transformatsiyasi(original datani avvalroq hisoblanga Eigen value’larga ko’paytirish orqali yangi o’lchamdagi datani hosil qiladi)
Немного теории. Часть со стандартными отклонениями (Standard deviations) соответствует стандартным отклонениям главных компонент, каждое из которых совпадает с квадратным корнем из соответствующего собственного значения ковариационной матрицы. Отдельно стандартные отклонения можно вызвать так: Также обратите внимание, что собственные векторы в R по умолчанию указывают в отрицательном направлении, поэтому мы умножим на -1, чтобы поменять знаки.
results$sdev## [1] 1.5748783 0.9948694 0.5971291 0.4164494STD for PC1=1.5748783, PC2=0.9948694, PC3=0.5971291, PC4=0.4164494
Часть с главными компонентами (Rotation) соответствует матрице поворота, которая является матрицей перехода к новой системе координат (новому базису). Эта матрица состоит из собственных векторов ковариационной матрицы для наших данных, причем длина каждого вектора равна 1. Отдельно эту матрицу можно вызвать так:
results$rotation## PC1 PC2 PC3 PC4
## Murder -0.5358995 -0.4181809 0.3412327 0.64922780
## Assault -0.5831836 -0.1879856 0.2681484 -0.74340748
## UrbanPop -0.2781909 0.8728062 0.3780158 0.13387773
## Rape -0.5434321 0.1673186 -0.8177779 0.08902432Каждой главной компоненте PC соответствует свой собственный вектор ковариационной матрицы длины 1, который задает направление новой оси - главной компоненты. Несложно заметить, что главных компонент получилось столько же, сколько исходных переменных – мы просто повернули все оси, ничего не выкидывая.
Также обратите внимание, что собственные векторы в R по умолчанию указывают в отрицательном направлении, поэтому мы умножим на -1, чтобы поменять знаки.
results$rotation <- -1*results$rotation
results$rotation ## PC1 PC2 PC3 PC4
## Murder 0.5358995 0.4181809 -0.3412327 -0.64922780
## Assault 0.5831836 0.1879856 -0.2681484 0.74340748
## UrbanPop 0.2781909 -0.8728062 -0.3780158 -0.13387773
## Rape 0.5434321 -0.1673186 0.8177779 -0.08902432Каждая главная компонента получается линейной комбинацией старых показателей, то есть представляется суммой исходных переменных, взятых с разными весами. Чем больше вес, тем большую информацию в главную компоненту вносит конкретный показатель. Запишем выражение для каждой компоненты:
Интерпретация. По весам, которые представлены в выдаче Rotation, можно попробовать определить, какой содержательный смысл есть у каждой главной компоненты. Рассмотрим первую главную компоненту PC1. На самом деле, с ней все не так очевидно, так часто бывает при работе с реальными данными, особенно когда корреляция между показателями не очень высокая.
Что можно сказать о PC1?
Что можно сказать о PC2?
Остальные главные компоненты интерпретировать можно, но не всегда нужно: чем больше мы удаляемся от первой главной компоненты, тем менее информативными эти компоненты становятся. Давайте посмотрим на информативность главных компонент.
Далее, значения Штатов в новых координатах.
results$x## PC1 PC2 PC3 PC4
## Alabama -0.97566045 -1.12200121 0.43980366 0.154696581
## Alaska -1.93053788 -1.06242692 -2.01950027 -0.434175454
## Arizona -1.74544285 0.73845954 -0.05423025 -0.826264240
## Arkansas 0.13999894 -1.10854226 -0.11342217 -0.180973554
## California -2.49861285 1.52742672 -0.59254100 -0.338559240
## Colorado -1.49934074 0.97762966 -1.08400162 0.001450164
## Connecticut 1.34499236 1.07798362 0.63679250 -0.117278736
## Delaware -0.04722981 0.32208890 0.71141032 -0.873113315
## Florida -2.98275967 -0.03883425 0.57103206 -0.095317042
## Georgia -1.62280742 -1.26608838 0.33901818 1.065974459
## Hawaii 0.90348448 1.55467609 -0.05027151 0.893733198
## Idaho 1.62331903 -0.20885253 -0.25719021 -0.494087852
## Illinois -1.36505197 0.67498834 0.67068647 -0.120794916
## Indiana 0.50038122 0.15003926 -0.22576277 0.420397595
## Iowa 2.23099579 0.10300828 -0.16291036 0.017379470
## Kansas 0.78887206 0.26744941 -0.02529648 0.204421034
## Kentucky 0.74331256 -0.94880748 0.02808429 0.663817237
## Louisiana -1.54909076 -0.86230011 0.77560598 0.450157791
## Maine 2.37274014 -0.37260865 0.06502225 -0.327138529
## Maryland -1.74564663 -0.42335704 0.15566968 -0.553450589
## Massachusetts 0.48128007 1.45967706 0.60337172 -0.177793902
## Michigan -2.08725025 0.15383500 -0.38100046 0.101343128
## Minnesota 1.67566951 0.62590670 -0.15153200 0.066640316
## Mississippi -0.98647919 -2.36973712 0.73336290 0.213342049
## Missouri -0.68978426 0.26070794 -0.37365033 0.223554811
## Montana 1.17353751 -0.53147851 -0.24440796 0.122498555
## Nebraska 1.25291625 0.19200440 -0.17380930 0.015733156
## Nevada -2.84550542 0.76780502 -1.15168793 0.311354436
## New Hampshire 2.35995585 0.01790055 -0.03648498 -0.032804291
## New Jersey -0.17974128 1.43493745 0.75677041 0.240936580
## New Mexico -1.96012351 -0.14141308 -0.18184598 -0.336121113
## New York -1.66566662 0.81491072 0.63661186 -0.013348844
## North Carolina -1.11208808 -2.20561081 0.85489245 -0.944789648
## North Dakota 2.96215223 -0.59309738 -0.29824930 -0.251434626
## Ohio 0.22369436 0.73477837 0.03082616 0.469152817
## Oklahoma 0.30864928 0.28496113 0.01515592 0.010228476
## Oregon -0.05852787 0.53596999 -0.93038718 -0.235390872
## Pennsylvania 0.87948680 0.56536050 0.39660218 0.355452378
## Rhode Island 0.85509072 1.47698328 1.35617705 -0.607402746
## South Carolina -1.30744986 -1.91397297 0.29751723 -0.130145378
## South Dakota 1.96779669 -0.81506822 -0.38538073 -0.108470512
## Tennessee -0.98969377 -0.85160534 -0.18619262 0.646302674
## Texas -1.34151838 0.40833518 0.48712332 0.636731051
## Utah 0.54503180 1.45671524 -0.29077592 -0.081486749
## Vermont 2.77325613 -1.38819435 -0.83280797 -0.143433697
## Virginia 0.09536670 -0.19772785 -0.01159482 0.209246429
## Washington 0.21472339 0.96037394 -0.61859067 -0.218628161
## West Virginia 2.08739306 -1.41052627 -0.10372163 0.130583080
## Wisconsin 2.05881199 0.60512507 0.13746933 0.182253407
## Wyoming 0.62310061 -0.31778662 0.23824049 -0.164976866Давайте посмотрим на информативность главных компонент.
summary(results)## Importance of components:
## PC1 PC2 PC3 PC4
## Standard deviation 1.5749 0.9949 0.59713 0.41645
## Proportion of Variance 0.6201 0.2474 0.08914 0.04336
## Cumulative Proportion 0.6201 0.8675 0.95664 1.00000Сводная информация по результатам МГК содержит следующее: стандартные отклонения главных компонент, доля дисперсии исходных данных, которую объясняет главная компонента, и кумулятивная доля объясненной дисперсии – дисперсия исходных данных, которая объясняется текущей и предыдущими главными компонентами.
дисперсия, объясненная каждым основным компонентом
Мы можем использовать следующий код для расчета общей дисперсии в исходном наборе данных, объясненной каждым основным компонентом:
#calculate total variance explained by each principal component
var_explained = results$sdev^2 / sum (results$sdev^2)
var_explained## [1] 0.62006039 0.24744129 0.08914080 0.04335752Обычно считается, что нужно извлекать столько главных компонент, сколько можем содержательно проинтерпретировать. Но, конечно, существуют и более формальные критерии. Так, например, по правилу Кайзера нужно извлекать столько главных компонент, сколько имеется компонент с дисперсией (собственным числом) более 1.
В нашем случае таких ГК ?.
Другое эмпирическое правило гласит, что нужно извлекать столько главных компонент, сколько смогут объяснить хотя бы 70%-80% дисперсии наших исходных данных.
В нашем случае - не менее ?
Первая главная компонента объясняют ?%.
Первые две главные компоненты объясняют ?%.
Первые три главные компоненты объясняют ?%.
Еще существует правило Кеттела, которое имеет логику, схожую с методом согнутого колена (локтя) в кластерном анализе. Нужно построить график, по горизонтальной оси которого отложены номера главных компонент, а по вертикальной – их дисперсии (собственные значения ковариационной матрицы):
plot(results, type = "l")
Kattle law shows 4 components optimal number for PC=4
#create scree plot
qplot(c(1:4), var_explained) +
geom_line() +
xlab(" Principal Component ") +
ylab(" Variance Explained ") +
ggtitle(" Scree Plot ") +
ylim(0, 1) ## Warning: `qplot()` was deprecated in ggplot2 3.4.0.
## This warning is displayed once every 8 hours.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.
biplot(results, scale = 1 )
Barcha davlarlar olinadi va qaysinisida jinoyatlarni ulushi ko’pligiga qarab ajratgan
PCA usuli dispersiya bo’yicha amal qiladi.
#display states with highest murder rates in original dataset
head(USArrests[ order (-USArrests$Murder),]) #упорядочиваем по "убийствам"## Murder Assault UrbanPop Rape
## Georgia 17.4 211 60 25.8
## Mississippi 16.1 259 44 17.1
## Florida 15.4 335 80 31.9
## Louisiana 15.4 249 66 22.2
## South Carolina 14.4 279 48 22.5
## Alabama 13.2 236 58 21.2tail(USArrests[ order (-USArrests$Murder),])## Murder Assault UrbanPop Rape
## Wisconsin 2.6 53 66 10.8
## Iowa 2.2 56 57 11.3
## Vermont 2.2 48 32 11.2
## Maine 2.1 83 51 7.8
## New Hampshire 2.1 57 56 9.5
## North Dakota 0.8 45 44 7.3head(USArrests[ order (-USArrests$Assault),]) # упорядочиваем по "грабежам"## Murder Assault UrbanPop Rape
## North Carolina 13.0 337 45 16.1
## Florida 15.4 335 80 31.9
## Maryland 11.3 300 67 27.8
## Arizona 8.1 294 80 31.0
## New Mexico 11.4 285 70 32.1
## South Carolina 14.4 279 48 22.5tail(USArrests[ order (-USArrests$Assault),])## Murder Assault UrbanPop Rape
## New Hampshire 2.1 57 56 9.5
## Iowa 2.2 56 57 11.3
## Wisconsin 2.6 53 66 10.8
## Vermont 2.2 48 32 11.2
## Hawaii 5.3 46 83 20.2
## North Dakota 0.8 45 44 7.3head(USArrests[ order (-USArrests$Rape),]) # упорядочиваем по "Rape"## Murder Assault UrbanPop Rape
## Nevada 12.2 252 81 46.0
## Alaska 10.0 263 48 44.5
## California 9.0 276 91 40.6
## Colorado 7.9 204 78 38.7
## Michigan 12.1 255 74 35.1
## New Mexico 11.4 285 70 32.1tail(USArrests[ order (-USArrests$Rape),]) ## Murder Assault UrbanPop Rape
## Wisconsin 2.6 53 66 10.8
## New Hampshire 2.1 57 56 9.5
## West Virginia 5.7 81 39 9.3
## Rhode Island 3.4 174 87 8.3
## Maine 2.1 83 51 7.8
## North Dakota 0.8 45 44 7.3head(USArrests[ order (-USArrests$UrbanPop),]) # упорядочиваем по "UrbanPop"## Murder Assault UrbanPop Rape
## California 9.0 276 91 40.6
## New Jersey 7.4 159 89 18.8
## Rhode Island 3.4 174 87 8.3
## New York 11.1 254 86 26.1
## Massachusetts 4.4 149 85 16.3
## Hawaii 5.3 46 83 20.2tail(USArrests[ order (-USArrests$UrbanPop),]) ## Murder Assault UrbanPop Rape
## North Carolina 13.0 337 45 16.1
## South Dakota 3.8 86 45 12.8
## Mississippi 16.1 259 44 17.1
## North Dakota 0.8 45 44 7.3
## West Virginia 5.7 81 39 9.3
## Vermont 2.2 48 32 11.2Второй способ
pca2 <- princomp(USArrests,cor = TRUE)
summary(pca2)## Importance of components:
## Comp.1 Comp.2 Comp.3 Comp.4
## Standard deviation 1.5748783 0.9948694 0.5971291 0.41644938
## Proportion of Variance 0.6200604 0.2474413 0.0891408 0.04335752
## Cumulative Proportion 0.6200604 0.8675017 0.9566425 1.00000000### Преобразованные переменные
pca2$scores## Comp.1 Comp.2 Comp.3 Comp.4
## Alabama 0.98556588 1.13339238 0.44426879 0.156267145
## Alaska 1.95013775 1.07321326 -2.04000333 -0.438583440
## Arizona 1.76316354 -0.74595678 -0.05478082 -0.834652924
## Arkansas -0.14142029 1.11979678 -0.11457369 -0.182810896
## California 2.52398013 -1.54293399 -0.59855680 -0.341996478
## Colorado 1.51456286 -0.98755509 -1.09500699 0.001464887
## Connecticut -1.35864746 -1.08892789 0.64325757 -0.118469414
## Delaware 0.04770931 -0.32535892 0.71863294 -0.881977637
## Florida 3.01304227 0.03922851 0.57682949 -0.096284752
## Georgia 1.63928304 1.27894240 0.34246008 1.076796812
## Hawaii -0.91265715 -1.57046001 -0.05078189 0.902806864
## Idaho -1.63979985 0.21097292 -0.25980134 -0.499104101
## Illinois 1.37891072 -0.68184119 0.67749564 -0.122021292
## Indiana -0.50546136 -0.15156254 -0.22805484 0.424665700
## Iowa -2.25364607 -0.10405407 -0.16456432 0.017555916
## Kansas -0.79688112 -0.27016470 -0.02555331 0.206496428
## Kentucky -0.75085907 0.95844029 0.02836942 0.670556671
## Louisiana 1.56481798 0.87105466 0.78348036 0.454728038
## Maine -2.39682949 0.37639158 0.06568239 -0.330459817
## Maryland 1.76336939 0.42765519 0.15725013 -0.559069521
## Massachusetts -0.48616629 -1.47449650 0.60949748 -0.179598963
## Michigan 2.10844115 -0.15539682 -0.38486858 0.102372019
## Minnesota -1.69268181 -0.63226125 -0.15307043 0.067316885
## Mississippi 0.99649446 2.39379599 0.74080840 0.215508013
## Missouri 0.69678733 -0.26335479 -0.37744383 0.225824461
## Montana -1.18545191 0.53687437 -0.24688932 0.123742227
## Nebraska -1.26563654 -0.19395373 -0.17557391 0.015892888
## Nevada 2.87439454 -0.77560020 -1.16338049 0.314515476
## New Hampshire -2.38391541 -0.01808229 -0.03685539 -0.033137338
## New Jersey 0.18156611 -1.44950571 0.76445355 0.243382700
## New Mexico 1.98002375 0.14284878 -0.18369218 -0.339533597
## New York 1.68257738 -0.82318414 0.64307509 -0.013484369
## North Carolina 1.12337861 2.22800338 0.86357179 -0.954381667
## North Dakota -2.99222562 0.59911882 -0.30127728 -0.253987327
## Ohio -0.22596542 -0.74223824 0.03113912 0.473915911
## Oklahoma -0.31178286 -0.28785421 0.01530979 0.010332321
## Oregon 0.05912208 -0.54141145 -0.93983298 -0.237780688
## Pennsylvania -0.88841582 -0.57110035 0.40062871 0.359061124
## Rhode Island -0.86377206 -1.49197842 1.36994570 -0.613569430
## South Carolina 1.32072380 1.93340466 0.30053779 -0.131466685
## South Dakota -1.98777484 0.82334324 -0.38929333 -0.109571764
## Tennessee 0.99974168 0.86025130 -0.18808295 0.652864291
## Texas 1.35513821 -0.41248082 0.49206886 0.643195491
## Utah -0.55056526 -1.47150461 -0.29372804 -0.082314047
## Vermont -2.80141174 1.40228806 -0.84126309 -0.144889914
## Virginia -0.09633491 0.19973529 -0.01171254 0.211370813
## Washington -0.21690338 -0.97012418 -0.62487094 -0.220847793
## West Virginia -2.10858541 1.42484670 -0.10477467 0.131908831
## Wisconsin -2.07971417 -0.61126862 0.13886500 0.184103743
## Wyoming -0.62942666 0.32101297 0.24065923 -0.166651801Детали:
pca2$sdev## Comp.1 Comp.2 Comp.3 Comp.4
## 1.5748783 0.9948694 0.5971291 0.4164494pca2$loadings##
## Loadings:
## Comp.1 Comp.2 Comp.3 Comp.4
## Murder 0.536 0.418 0.341 0.649
## Assault 0.583 0.188 0.268 -0.743
## UrbanPop 0.278 -0.873 0.378 0.134
## Rape 0.543 -0.167 -0.818
##
## Comp.1 Comp.2 Comp.3 Comp.4
## SS loadings 1.00 1.00 1.00 1.00
## Proportion Var 0.25 0.25 0.25 0.25
## Cumulative Var 0.25 0.50 0.75 1.00pca2$center## Murder Assault UrbanPop Rape
## 7.788 170.760 65.540 21.232pca2$scale## Murder Assault UrbanPop Rape
## 4.311735 82.500075 14.329285 9.272248pca2$n.obs## [1] 50pca2$scores## Comp.1 Comp.2 Comp.3 Comp.4
## Alabama 0.98556588 1.13339238 0.44426879 0.156267145
## Alaska 1.95013775 1.07321326 -2.04000333 -0.438583440
## Arizona 1.76316354 -0.74595678 -0.05478082 -0.834652924
## Arkansas -0.14142029 1.11979678 -0.11457369 -0.182810896
## California 2.52398013 -1.54293399 -0.59855680 -0.341996478
## Colorado 1.51456286 -0.98755509 -1.09500699 0.001464887
## Connecticut -1.35864746 -1.08892789 0.64325757 -0.118469414
## Delaware 0.04770931 -0.32535892 0.71863294 -0.881977637
## Florida 3.01304227 0.03922851 0.57682949 -0.096284752
## Georgia 1.63928304 1.27894240 0.34246008 1.076796812
## Hawaii -0.91265715 -1.57046001 -0.05078189 0.902806864
## Idaho -1.63979985 0.21097292 -0.25980134 -0.499104101
## Illinois 1.37891072 -0.68184119 0.67749564 -0.122021292
## Indiana -0.50546136 -0.15156254 -0.22805484 0.424665700
## Iowa -2.25364607 -0.10405407 -0.16456432 0.017555916
## Kansas -0.79688112 -0.27016470 -0.02555331 0.206496428
## Kentucky -0.75085907 0.95844029 0.02836942 0.670556671
## Louisiana 1.56481798 0.87105466 0.78348036 0.454728038
## Maine -2.39682949 0.37639158 0.06568239 -0.330459817
## Maryland 1.76336939 0.42765519 0.15725013 -0.559069521
## Massachusetts -0.48616629 -1.47449650 0.60949748 -0.179598963
## Michigan 2.10844115 -0.15539682 -0.38486858 0.102372019
## Minnesota -1.69268181 -0.63226125 -0.15307043 0.067316885
## Mississippi 0.99649446 2.39379599 0.74080840 0.215508013
## Missouri 0.69678733 -0.26335479 -0.37744383 0.225824461
## Montana -1.18545191 0.53687437 -0.24688932 0.123742227
## Nebraska -1.26563654 -0.19395373 -0.17557391 0.015892888
## Nevada 2.87439454 -0.77560020 -1.16338049 0.314515476
## New Hampshire -2.38391541 -0.01808229 -0.03685539 -0.033137338
## New Jersey 0.18156611 -1.44950571 0.76445355 0.243382700
## New Mexico 1.98002375 0.14284878 -0.18369218 -0.339533597
## New York 1.68257738 -0.82318414 0.64307509 -0.013484369
## North Carolina 1.12337861 2.22800338 0.86357179 -0.954381667
## North Dakota -2.99222562 0.59911882 -0.30127728 -0.253987327
## Ohio -0.22596542 -0.74223824 0.03113912 0.473915911
## Oklahoma -0.31178286 -0.28785421 0.01530979 0.010332321
## Oregon 0.05912208 -0.54141145 -0.93983298 -0.237780688
## Pennsylvania -0.88841582 -0.57110035 0.40062871 0.359061124
## Rhode Island -0.86377206 -1.49197842 1.36994570 -0.613569430
## South Carolina 1.32072380 1.93340466 0.30053779 -0.131466685
## South Dakota -1.98777484 0.82334324 -0.38929333 -0.109571764
## Tennessee 0.99974168 0.86025130 -0.18808295 0.652864291
## Texas 1.35513821 -0.41248082 0.49206886 0.643195491
## Utah -0.55056526 -1.47150461 -0.29372804 -0.082314047
## Vermont -2.80141174 1.40228806 -0.84126309 -0.144889914
## Virginia -0.09633491 0.19973529 -0.01171254 0.211370813
## Washington -0.21690338 -0.97012418 -0.62487094 -0.220847793
## West Virginia -2.10858541 1.42484670 -0.10477467 0.131908831
## Wisconsin -2.07971417 -0.61126862 0.13886500 0.184103743
## Wyoming -0.62942666 0.32101297 0.24065923 -0.166651801describe(dataset)## vars n mean sd median trimmed mad min max range skew
## Murder 1 50 7.79 4.36 7.25 7.53 5.41 0.8 17.4 16.6 0.37
## Assault 2 50 170.76 83.34 159.00 168.48 110.45 45.0 337.0 292.0 0.22
## UrbanPop 3 50 65.54 14.47 66.00 65.88 17.79 32.0 91.0 59.0 -0.21
## Rape 4 50 21.23 9.37 20.10 20.36 8.60 7.3 46.0 38.7 0.75
## kurtosis se
## Murder -0.95 0.62
## Assault -1.15 11.79
## UrbanPop -0.87 2.05
## Rape 0.08 1.32Модель на основе ковариционной матрицы
pca3 <- princomp(USArrests)
summary(pca3)## Importance of components:
## Comp.1 Comp.2 Comp.3 Comp.4
## Standard deviation 82.8908472 14.06956001 6.424204055 2.4578367034
## Proportion of Variance 0.9655342 0.02781734 0.005799535 0.0008489079
## Cumulative Proportion 0.9655342 0.99335156 0.999151092 1.0000000000### Преобразованные переменные
pca3$scores## Comp.1 Comp.2 Comp.3 Comp.4
## Alabama 64.802164 11.4480074 -2.49493284 2.4079009
## Alaska 92.827450 17.9829427 20.12657487 -4.0940470
## Arizona 124.068216 -8.8304030 -1.68744836 -4.3536852
## Arkansas 18.340035 16.7039114 0.21018936 -0.5209936
## California 107.422953 -22.5200698 6.74587299 -2.8118259
## Colorado 34.975986 -13.7195840 12.27936280 -1.7214637
## Connecticut -60.887282 -12.9325302 -8.42065719 -0.6999023
## Delaware 66.731025 -1.3537978 -11.28095735 -3.7279812
## Florida 165.244370 -6.2746901 -2.99793315 1.2476807
## Georgia 40.535177 7.2902396 3.60952946 7.3436728
## Hawaii -123.536106 -24.2912079 3.72444284 3.4728494
## Idaho -51.797002 9.4691910 -1.52006356 -3.3478283
## Illinois 78.992097 -12.8970605 -5.88326477 0.3676407
## Indiana -57.550961 -2.8462647 3.73816049 1.6494302
## Iowa -115.586790 3.3421305 -0.65402935 -0.8694960
## Kansas -55.789694 -3.1572339 0.38436416 0.6527917
## Kentucky -62.383181 10.6732715 2.23708903 3.8762164
## Louisiana 78.277631 4.2949175 -3.82786965 4.4835590
## Maine -89.261044 11.4878272 -4.69240562 -2.1161995
## Maryland 129.330136 5.0070315 -2.34717282 -1.9283242
## Massachusetts -21.266283 -19.4501790 -7.50714835 -1.0348189
## Michigan 85.451527 -5.9045567 6.46434210 0.4990479
## Minnesota -98.954816 -5.2096006 0.00657376 -0.7318957
## Mississippi 86.856358 27.4284196 -5.00343624 3.8797577
## Missouri 7.986289 -5.2756414 5.50057972 0.6794055
## Montana -62.483635 9.5105021 1.83835536 0.2459426
## Nebraska -69.096544 0.2111959 0.46802086 -0.6565664
## Nevada 83.613578 -15.1021839 15.88869482 0.3341962
## New Hampshire -114.777355 4.7345584 -2.28238693 -0.9359106
## New Jersey -10.815725 -23.1373389 -6.31015739 1.6124273
## New Mexico 114.868163 0.3364531 2.26126996 -1.3812478
## New York 84.294231 -15.9239655 -4.72125960 0.8920194
## North Carolina 164.325514 31.0966153 -11.69616350 -2.1111927
## North Dakota -127.495597 16.1350394 -1.31182982 -2.3009639
## Ohio -50.086822 -12.2793244 1.65733077 2.0291157
## Oklahoma -19.693723 -3.3701310 -0.45314329 -0.1803457
## Oregon -11.150240 -3.8660682 8.12998050 -2.9140109
## Pennsylvania -64.689142 -8.9115466 -3.20646858 1.8749353
## Rhode Island 3.063973 -18.3739704 -17.47001970 -2.3082597
## South Carolina 107.281069 23.5361159 -2.03279501 1.2517463
## South Dakota -86.106720 16.5978586 1.31437998 -1.2522874
## Tennessee 17.506264 6.5065756 6.10012753 3.9228558
## Texas 31.291122 -12.9849566 -0.39340922 4.2420040
## Utah -49.913397 -17.6484577 1.78816852 -1.8677052
## Vermont -124.714469 27.3135591 4.80277765 -2.0049857
## Virginia -14.817448 1.7526150 1.04538813 1.1738408
## Washington -25.075839 -9.9679669 4.78112764 -2.6910819
## West Virginia -91.544647 22.9528778 -0.40198344 0.7368781
## Wisconsin -118.176328 -5.5075792 -2.71132077 0.2049724
## Wyoming -10.434539 5.9244529 -3.79444682 -0.5178674biplot(results, scale = 1 )