Iz podatkov o strankah ponudnika telekomunikacijskih storitev nas zanima, ali je možno s pomočjo razvrstitvenih spremenljivk oblikovati skupine, s pomočjo katerih lažje določimo stranke, ki imajo večjo verjetnost, da bodo prekinile naročnino (angl. churn).
Podatki so pridobljeni iz spletne strani Kaggle na naslovu: https://www.kaggle.com/datasets/barun2104/telecom-churn.
# Podatke preberemo
users_raw <- read.csv2("./telecom_churn.csv",
header = TRUE,
sep = ",",
dec = ".")
# Izpišemo prvi dve vrstici podatkov, da vidimo spremenljivke, ki jih vsebuje in ali so se podatki pravilno prebrali
head(users_raw, 2)
## Churn AccountWeeks ContractRenewal DataPlan DataUsage CustServCalls DayMins
## 1 0 128 1 1 2.7 1 265.1
## 2 0 107 1 1 3.7 1 161.6
## DayCalls MonthlyCharge OverageFee RoamMins
## 1 110 89 9.87 10.0
## 2 123 82 9.78 13.7
nrow(users_raw) # št vrstic
## [1] 3333
ncol(users_raw) # št stolpcev
## [1] 11
# Naredimo podvzorec
set.seed(48)
users <- users_raw[sample(nrow(users_raw), size = 1000),]
# Odstranimo spremenljivke, ki v analizi niso uporabljene
users <- users[,c(1, 2, 3, 6, 8, 9, 10)]
summary(users)
## Churn AccountWeeks ContractRenewal CustServCalls DayCalls
## Min. :0.000 Min. : 1 Min. :0.000 Min. :0.000 Min. : 0.0
## 1st Qu.:0.000 1st Qu.: 75 1st Qu.:1.000 1st Qu.:1.000 1st Qu.: 86.0
## Median :0.000 Median :101 Median :1.000 Median :1.000 Median :101.0
## Mean :0.133 Mean :102 Mean :0.909 Mean :1.575 Mean :100.1
## 3rd Qu.:0.000 3rd Qu.:128 3rd Qu.:1.000 3rd Qu.:2.000 3rd Qu.:114.0
## Max. :1.000 Max. :232 Max. :1.000 Max. :7.000 Max. :160.0
## MonthlyCharge OverageFee
## Min. : 14.00 Min. : 2.65
## 1st Qu.: 46.00 1st Qu.: 8.29
## Median : 54.00 Median :10.08
## Mean : 57.33 Mean :10.04
## 3rd Qu.: 67.38 3rd Qu.:11.85
## Max. :108.70 Max. :17.71
users$Churn <- factor(users$Churn,
levels = c(0, 1),
labels = c("N", "Y"))
users$ContractRenewal <- factor(users$ContractRenewal,
levels = c(1, 0),
labels = c("Y", "N"))
summary(users)
## Churn AccountWeeks ContractRenewal CustServCalls DayCalls
## N:867 Min. : 1 Y:909 Min. :0.000 Min. : 0.0
## Y:133 1st Qu.: 75 N: 91 1st Qu.:1.000 1st Qu.: 86.0
## Median :101 Median :1.000 Median :101.0
## Mean :102 Mean :1.575 Mean :100.1
## 3rd Qu.:128 3rd Qu.:2.000 3rd Qu.:114.0
## Max. :232 Max. :7.000 Max. :160.0
## MonthlyCharge OverageFee
## Min. : 14.00 Min. : 2.65
## 1st Qu.: 46.00 1st Qu.: 8.29
## Median : 54.00 Median :10.08
## Mean : 57.33 Mean :10.04
## 3rd Qu.: 67.38 3rd Qu.:11.85
## Max. :108.70 Max. :17.71
Podatki vsebujejo informacije o strankah telekomunikacijskega podjetja. Vseh podatkov je na začetku 3333, kar pa je bilo zmanjšano na 1000 enot zaradi lažjega in hitrejšega obdelovanja podatkov. Podatki niso vsebovali manjkajočih vrednosti. V analizi smo uprabili sledeče spremenljivke:
V analizi imamo 867 naročnikov in 133 predhodnih naročnikov. 909 ljudi je naročnino pred kratkim podaljšalo, 91 pa se za to ni odločilo. Naročniki imajo v povprečju naročnine 102 tedna. Najdaljša naročnina je 232 tedna. 25% strank je klicalo za pomoč uporabnikom vsaj 2 krat. Povrečen naročnik mesečno plačuje 57,33 enot za telekomunikacijske storitve.
# Standardizacija razvrstilnih spremenljivk
users$AccountWeeks_z <- scale(users$AccountWeeks)
users$CustServCalls_z <- scale(users$CustServCalls)
users$DayCalls_z <- scale(users$DayCalls)
users$MonthlyCharge_z <- scale(users$MonthlyCharge)
#users$DataUsage_z <- scale(users$DataUsage)
#users$DayMins_z <- scale(users$DayMins)
#users$OverageFee_z <- scale(users$OverageFee)
#users$RoamMins_z <- scale(users$RoamMins)
raz_sprem <- c("AccountWeeks_z", "CustServCalls_z", "DayCalls_z", "MonthlyCharge_z") # razvrstitvene spremenljivke
library(Hmisc)
##
## Attaching package: 'Hmisc'
## The following objects are masked from 'package:base':
##
## format.pval, units
rcorr(as.matrix(users[,raz_sprem]),
type = "pearson")
## AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## AccountWeeks_z 1.00 -0.03 0.05 0.01
## CustServCalls_z -0.03 1.00 -0.02 -0.04
## DayCalls_z 0.05 -0.02 1.00 -0.06
## MonthlyCharge_z 0.01 -0.04 -0.06 1.00
##
## n= 1000
##
##
## P
## AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## AccountWeeks_z 0.4142 0.1154 0.8161
## CustServCalls_z 0.4142 0.5712 0.2022
## DayCalls_z 0.1154 0.5712 0.0705
## MonthlyCharge_z 0.8161 0.2022 0.0705
Glede na Pearsonov korelacijski koeficient ni zaslediti visoke korelacije.
users$Razlicnost_z <- sqrt(users$AccountWeeks_z^2 + users$CustServCalls_z^2 + users$DayCalls_z^2 + users$MonthlyCharge_z^2)
#users$Razlicnost_z <- sqrt(users$AccountWeeks_z^2 + users$CustServCalls_z^2 + users$RoamMins_z^2 + users$MonthlyCharge_z^2)
#users$Razlicnost_z <- sqrt(users$AccountWeeks_z^2 + users$CustServCalls_z^2 + users$DayMins_z^2 + users$RoamMins_z^2)
head(users[order(-users$Razlicnost_z),])
## Churn AccountWeeks ContractRenewal CustServCalls DayCalls MonthlyCharge
## 1346 Y 98 Y 4 0 14.0
## 1274 Y 28 Y 6 48 32.0
## 903 N 149 Y 7 61 47.0
## 333 Y 86 Y 7 121 42.0
## 1832 N 93 Y 7 90 79.5
## 3113 Y 115 Y 7 89 41.0
## OverageFee AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## 1346 7.98 -0.09890799 1.859849 -4.8784545 -2.5490268
## 1274 6.29 -1.83805873 3.393745 -2.5393693 -1.4902092
## 903 10.94 1.16818755 4.160693 -1.9058671 -0.6078613
## 333 9.86 -0.39704811 4.160693 1.0179894 -0.9019773
## 1832 13.38 -0.22313304 4.160693 -0.4926698 1.3038927
## 3113 9.62 0.32345719 4.160693 -0.5414008 -0.9608005
## Razlicnost_z
## 1346 5.810824
## 1274 4.854388
## 903 4.762127
## 333 4.395325
## 1832 4.393634
## 3113 4.316508
users <- subset(users, Razlicnost_z < 5) # Ohranimo samo tiste, ki ustrezajo pogoju
head(users[order(-users$Razlicnost_z),])
## Churn AccountWeeks ContractRenewal CustServCalls DayCalls MonthlyCharge
## 1274 Y 28 Y 6 48 32.0
## 903 N 149 Y 7 61 47.0
## 333 Y 86 Y 7 121 42.0
## 1832 N 93 Y 7 90 79.5
## 3113 Y 115 Y 7 89 41.0
## 1326 Y 17 Y 6 115 69.0
## OverageFee AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## 1274 6.29 -1.8380587 3.393745 -2.5393693 -1.4902092
## 903 10.94 1.1681876 4.160693 -1.9058671 -0.6078613
## 333 9.86 -0.3970481 4.160693 1.0179894 -0.9019773
## 1832 13.38 -0.2231330 4.160693 -0.4926698 1.3038927
## 3113 9.62 0.3234572 4.160693 -0.5414008 -0.9608005
## 1326 9.30 -2.1113538 3.393745 0.7256037 0.6862491
## Razlicnost_z
## 1274 4.854388
## 903 4.762127
## 333 4.395325
## 1832 4.393634
## 3113 4.316508
## 1326 4.119801
V tem primeru je bil odstranjen osamelec, ki je imel različnost (kvadratno evklidsko razdaljo) 5,81, kar se je pokazalo tudi pozitivno kasneje v vrednosti BetweenSS/totalSS, kar nam predstavlja kolikšen delež celotne variabilnosti predstavlja variabilnost med skupinami in se je ob odstranitvi osamelca povečala. Nato nam je med podatki ostalo le še 999 enot.
nrow(users)
## [1] 999
library(factoextra)
## Loading required package: ggplot2
## Welcome! Want to learn more? See two factoextra-related books at https://goo.gl/ve3WBa
#razdalje <- get_dist(users[c("AccountWeeks_z", "CustServCalls_z", "DayCalls_z", "MonthlyCharge_z")],
razdalje <- get_dist(users[raz_sprem],
method = "euclidean")
razdalje2 <- razdalje^2
fviz_dist(razdalje2)
Iz grafa je mogoče razbrati nekaj nastajajočih skupin, vendar bo za dokončno določitev še potrebna nadaljna uporaba hierarhičnega razvrščanja.
# Racunanje Hopkinsove statistike
get_clust_tendency(users[raz_sprem],
n = nrow(users) - 1,
graph = FALSE)
## $hopkins_stat
## [1] 0.7351526
##
## $plot
## NULL
Hopkinsova statistika je večja od 0.5, kar pomeni, da imamo v podatkih naravne skupine.
library(dplyr)
##
## Attaching package: 'dplyr'
## The following objects are masked from 'package:Hmisc':
##
## src, summarize
## The following objects are masked from 'package:stats':
##
## filter, lag
## The following objects are masked from 'package:base':
##
## intersect, setdiff, setequal, union
# Hierarhicna (Ward) metoda
WARD <- users[raz_sprem] %>% # izberemo spremenljivke
get_dist(method = "euclidean") %>% # Izberemo razdaljo
hclust(method = "ward.D2") # Izberemo algoritem (kvadratna evklidska)
WARD
##
## Call:
## hclust(d = ., method = "ward.D2")
##
## Cluster method : ward.D2
## Distance : euclidean
## Number of objects: 999
# Prikazemo dendrogram
fviz_dend(WARD)
## Warning: The `<scale>` argument of `guides()` cannot be `FALSE`. Use "none" instead as
## of ggplot2 3.3.4.
## ℹ The deprecated feature was likely used in the factoextra package.
## Please report the issue at <https://github.com/kassambara/factoextra/issues>.
## This warning is displayed once every 8 hours.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.
Glede na izrisani dendrogram, bi lahko določili 2 ali 5 skupin, saj se pri teh številih skupin kaže povečanje heterogenosti.
library(NbClust)
# Izracunamo indekse, s katerimi si lahko pomagamo pri dolocanju optimalnega stevila skupin
optNumGroups <- users[raz_sprem] %>%
NbClust(distance = "euclidean",
min.nc = 2, # minimalno stevilo skupin
max.nc = 8, # maksimalno stevilo skupin
method = "ward.D2",
index = "all")
## *** : The Hubert index is a graphical method of determining the number of clusters.
## In the plot of Hubert index, we seek a significant knee that corresponds to a
## significant increase of the value of the measure i.e the significant peak in Hubert
## index second differences plot.
##
## *** : The D index is a graphical method of determining the number of clusters.
## In the plot of D index, we seek a significant knee (the significant peak in Dindex
## second differences plot) that corresponds to a significant increase of the value of
## the measure.
##
## *******************************************************************
## * Among all indices:
## * 7 proposed 2 as the best number of clusters
## * 3 proposed 3 as the best number of clusters
## * 1 proposed 4 as the best number of clusters
## * 11 proposed 5 as the best number of clusters
## * 1 proposed 8 as the best number of clusters
##
## ***** Conclusion *****
##
## * According to the majority rule, the best number of clusters is 5
##
##
## *******************************************************************
Skupine smo poskusili določiti tudi s pomočjo funkcije NbClust, ki pa ni vedno najbolj zanesljiva. V našem primeru je NbClust funkcija predlagala 5 skupin. Na podlagi pridobljenih informacij je bilo izbrano 5 skupin.
users$RazvrstitevWARD <- cutree(WARD,
k = 5) # dolocimo stevilo skupin
head(users)
## Churn AccountWeeks ContractRenewal CustServCalls DayCalls MonthlyCharge
## 1093 N 148 Y 1 87 50.5
## 2218 N 137 Y 2 42 78.8
## 179 N 116 Y 3 93 48.3
## 153 N 65 Y 1 116 46.0
## 2853 N 90 Y 1 126 35.0
## 2511 N 118 Y 2 119 53.0
## OverageFee AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## 1093 8.52 1.1433425 -0.4409951 -0.6388626 -0.4019801
## 2218 8.95 0.8700474 0.3259529 -2.8317550 1.2627164
## 179 9.71 0.3483022 1.0929010 -0.3464770 -0.5313911
## 153 7.88 -0.9187933 -0.4409951 0.7743347 -0.6666845
## 2853 6.31 -0.2976681 -0.4409951 1.2616441 -1.3137397
## 2511 11.68 0.3979922 0.3259529 0.9205275 -0.2549221
## Razlicnost_z RazvrstitevWARD
## 1093 1.439251 1
## 2218 3.236745 2
## 179 1.310790 3
## 153 1.443163 3
## 2853 1.897562 3
## 2511 1.084896 3
# Prikazemo zacetne voditelje, ki jih uporabimo kot zacetne voditelje pri nehierarhicnem pristopu razvrscanja. Doloceni kot centroidi skupin.
zac_vod <- aggregate(users[,raz_sprem],
by = list(users$RazvrstitevWARD),
FUN = mean)
zac_vod
## Group.1 AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## 1 1 1.22155832 0.001318826 -0.1641872 -0.2542996
## 2 2 -0.08039602 -0.177826681 -0.1059277 1.4820635
## 3 3 -0.26015422 -0.058607433 0.6931624 -0.5079785
## 4 4 -0.15924587 2.237236169 -0.3163102 -0.4071154
## 5 5 -0.59214683 -0.453104837 -0.8802090 -0.2461296
# Razvrscanje po metodi voditeljev, za zacetne voditelje dolocimo centroide, dobljene s hierarhicnim pristopom
met_vod <- hkmeans(users[raz_sprem],
k = 5, # Stevilo skupin
hc.metric = "euclidean", # Uporabljena razdalja
hc.method = "ward.D2") # Uporabljena metoda
met_vod
## Hierarchical K-means clustering with 5 clusters of sizes 216, 197, 217, 162, 207
##
## Cluster means:
## AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## 1 1.1827955 -0.1782444 0.1505335 -0.4704438
## 2 0.1157428 -0.2151932 -0.1268167 1.4977405
## 3 -0.5550486 -0.4940100 0.9133413 -0.4239100
## 4 -0.2531924 1.6420737 0.0238180 -0.2532155
## 5 -0.5638818 -0.3854192 -0.9889250 -0.2796165
##
## Clustering vector:
## 1093 2218 179 153 2853 2511 2314 1708 25 1749 1972 941 2112 2155 2304 2173
## 1 2 4 3 3 1 1 4 1 2 2 3 1 1 1 1
## 487 591 578 3235 271 1596 3322 1694 1388 1535 148 3076 1120 1626 11 284
## 3 2 3 5 3 4 4 2 1 1 5 1 1 2 4 2
## 647 2057 3266 1995 1528 1745 2448 1832 1209 1835 1804 1685 851 3217 2601 1582
## 2 4 4 5 5 2 3 4 1 2 3 1 1 1 1 2
## 1409 2529 708 192 1590 3030 366 2344 2270 371 2566 1032 1183 2462 349 1072
## 1 4 4 1 5 3 2 5 1 1 1 3 1 5 4 1
## 820 3049 215 2453 3307 2547 359 736 93 447 604 1232 2272 2741 2766 915
## 1 3 5 1 3 5 3 1 3 4 4 2 1 1 1 1
## 2287 2871 526 2397 1861 380 1477 1806 1004 2948 137 490 2665 2705 3303 2929
## 2 1 1 1 3 1 5 4 5 1 4 1 2 3 5 1
## 1130 3074 2620 2454 2754 2189 1274 1789 1175 1275 2590 2543 1984 987 468 2144
## 3 2 2 2 1 3 4 2 5 5 3 3 4 1 1 4
## 912 1360 1760 1005 1829 861 585 3332 480 1235 1874 2524 1212 228 969 3153
## 4 5 2 2 5 1 3 1 3 3 2 4 5 2 2 1
## 1718 1342 3159 2533 1733 1433 2862 812 795 837 2637 206 2921 1886 2256 967
## 3 2 4 1 4 5 2 5 3 2 5 5 1 3 1 2
## 2631 3165 2911 639 2634 3004 185 3162 2551 188 91 3280 1191 1936 257 1860
## 1 5 5 2 3 3 1 1 3 5 5 2 5 2 3 3
## 3134 2388 1881 519 1847 406 3295 2826 2250 425 2235 2093 2273 687 1592 2753
## 1 4 4 5 2 5 1 5 4 2 1 5 3 1 2 4
## 2449 2091 1621 2157 358 3062 3010 1490 327 1929 2331 1361 873 346 2343 394
## 1 2 2 4 2 5 4 1 1 5 3 3 2 1 3 5
## 3230 1907 3278 1713 2947 2479 1556 1231 342 2972 3273 1114 2835 2437 2540 2295
## 5 3 1 4 5 2 2 5 3 1 3 1 1 5 2 3
## 2206 2375 1720 2003 1816 2049 2808 759 2844 1453 2687 1206 1344 2048 594 138
## 4 1 3 1 2 1 3 2 1 3 2 1 5 4 2 4
## 3258 184 2350 1498 2417 921 1983 824 2265 1159 1617 1044 1531 2946 413 2065
## 1 5 3 1 3 1 5 5 4 3 3 4 3 3 5 5
## 3029 536 3288 1309 551 1516 2709 2860 1476 2683 595 1293 2163 1454 2774 1533
## 1 1 4 3 4 1 2 3 4 5 3 1 2 2 2 2
## 2053 1504 821 3036 883 3131 938 1050 1147 2103 1198 520 2790 2985 1174 866
## 1 2 2 4 1 4 3 5 1 1 4 4 5 3 3 4
## 53 1329 553 2237 1408 662 660 183 291 2371 2749 2627 2210 2963 1332 1622
## 3 3 4 1 4 2 1 3 1 4 5 5 4 5 4 3
## 1255 1909 1623 3117 2316 1803 1785 755 2165 3044 142 714 1992 86 247 2812
## 2 3 5 1 5 2 3 3 4 1 2 1 1 2 3 3
## 614 3192 2442 1011 2795 555 180 2409 899 727 723 2763 1942 3175 1782 2140
## 2 5 2 5 1 5 4 5 3 3 1 4 1 3 2 4
## 2534 1959 2916 1840 1026 2698 2459 1744 115 2813 831 2677 2441 2881 645 2243
## 5 4 4 3 2 2 2 5 3 2 4 1 3 3 2 1
## 1473 2183 2696 2713 1466 1278 1934 2275 251 140 1852 357 1351 1974 1770 1045
## 5 2 3 1 3 2 2 4 4 2 4 1 3 4 1 4
## 2804 171 2858 2182 306 567 2923 102 1380 2918 2130 2494 2380 269 1125 2828
## 4 3 1 2 1 2 1 3 4 5 1 4 5 3 1 4
## 1771 2072 1597 3160 808 2716 2246 2718 1107 1546 201 2406 1704 622 3088 1949
## 3 1 2 5 5 2 3 1 4 2 3 3 2 1 5 1
## 1152 713 2798 58 1142 611 745 1543 1051 2899 615 3238 407 1345 1711 2773
## 2 1 1 4 1 4 3 3 1 5 2 1 5 5 1 4
## 3122 1042 525 3240 1784 24 3140 2471 2883 3190 436 958 129 990 542 914
## 5 2 3 2 2 1 3 1 1 3 2 5 5 1 1 2
## 1096 2559 2762 1897 1495 2539 2764 1727 741 2366 379 12 2882 2667 2115 3120
## 3 3 3 1 1 5 4 3 5 2 5 3 2 3 4 3
## 838 329 1006 1667 1362 2864 1057 2106 1354 1430 225 2337 2470 2722 2037 2653
## 5 3 3 5 5 4 3 5 1 3 5 2 3 3 4 3
## 623 3298 1892 1121 316 3224 419 1296 814 2426 3261 1002 301 120 1924 249
## 2 2 1 5 3 3 2 5 1 5 5 1 5 3 1 4
## 2644 2565 934 344 2399 3268 1511 1088 1373 2436 815 1915 2266 2501 1750 1483
## 4 5 3 1 1 5 5 3 5 2 2 4 2 2 4 4
## 231 730 3263 3289 1450 2734 1308 2219 903 1501 2611 1376 2100 3151 1613 561
## 3 2 3 3 1 1 1 4 4 5 5 2 4 2 1 3
## 1429 255 1019 1355 3251 1648 722 2251 508 2014 2192 1160 2264 1703 1774 1458
## 3 3 3 1 3 5 4 3 4 5 3 3 3 4 2 1
## 1389 486 1356 2024 875 2175 986 398 3045 2503 3330 1470 1978 39 940 624
## 4 3 2 3 4 1 5 2 5 1 5 2 5 2 5 1
## 2776 1461 751 2498 1854 1948 3158 495 1539 1625 1480 1499 2340 1393 975 154
## 2 3 4 5 1 5 4 5 4 3 2 3 5 4 4 3
## 132 421 2180 364 787 1994 464 2033 2030 2880 2047 1061 1681 896 646 168
## 3 2 5 5 5 5 5 1 1 5 1 1 1 3 2 1
## 882 1286 1059 2102 110 3025 1283 84 871 2028 1210 1243 15 2073 1505 195
## 4 4 3 5 1 5 4 2 3 3 2 4 4 1 3 2
## 2680 2311 2885 3324 2632 1699 472 2598 1190 345 1167 2486 3054 2477 1369 1900
## 1 2 5 4 2 1 4 1 2 5 4 2 3 3 4 1
## 849 742 2979 10 3255 2423 1263 1069 1534 1964 666 2612 2263 930 3182 579
## 1 3 5 2 2 2 4 3 1 3 2 3 1 3 4 5
## 823 2282 1447 959 2895 2721 1977 3226 2903 2141 1492 1280 2994 1652 298 690
## 1 5 2 2 4 1 2 5 2 4 3 5 1 3 3 3
## 1735 1207 839 2261 1537 2148 1460 3309 2655 2262 259 1545 2991 1205 566 1814
## 3 3 2 2 5 4 5 5 5 4 3 1 3 3 4 5
## 1326 2341 3067 2230 1795 2408 1236 2606 1904 300 2872 2166 157 9 181 2087
## 4 2 1 2 5 2 4 2 2 5 1 1 2 2 4 1
## 389 1328 1963 460 2326 840 860 3242 1091 1517 203 441 3005 2391 1095 2392
## 5 1 4 3 2 2 4 1 1 3 4 2 5 1 3 2
## 1145 2153 2978 509 3203 1448 749 1357 2582 1269 62 1950 423 1701 819 1930
## 5 2 1 2 1 1 3 3 4 1 2 3 3 2 1 3
## 2020 712 280 2094 1739 2824 937 927 2784 2692 169 3325 587 2327 549 2711
## 2 4 1 5 1 5 2 1 2 5 2 1 5 1 5 5
## 518 704 456 734 2035 3271 1926 2579 1336 3041 1879 1442 2107 2427 1547 2098
## 5 1 3 2 3 5 3 1 3 3 3 2 2 3 3 5
## 438 200 3103 777 2719 2394 3031 2342 1883 1444 2896 123 3110 801 2953 1056
## 5 5 4 2 3 1 4 3 2 5 3 4 1 2 4 1
## 246 2066 3169 2060 2146 1111 3043 2198 2145 888 1364 563 2591 2785 2313 3046
## 3 5 1 4 3 1 1 5 1 5 4 2 2 4 5 5
## 45 721 1184 2045 2623 926 3187 2015 1315 3069 788 3232 1089 949 333 1181
## 5 5 2 3 4 3 4 4 4 2 5 2 2 5 4 5
## 2703 2831 846 2142 13 1271 1651 1431 1826 2596 1846 1279 3265 1620 1162 1599
## 1 5 2 3 1 3 2 5 4 5 3 1 5 4 5 5
## 2419 1585 3145 1400 2181 1730 1914 800 454 193 3112 2805 1387 2378 2364 505
## 3 3 4 4 3 3 5 2 2 5 2 3 5 3 5 5
## 42 2297 396 74 702 1895 919 782 285 3052 2846 584 2458 2490 680 988
## 2 5 2 3 5 4 5 3 4 3 5 1 2 4 5 2
## 2568 1587 1295 341 2229 1791 948 2212 3234 35 1108 1188 2169 1919 2509 1887
## 3 5 5 5 5 1 2 4 5 5 2 2 1 1 2 1
## 1484 2445 1105 1384 1314 664 550 724 678 636 1965 2443 482 1686 3210 1075
## 5 4 4 3 3 1 2 4 5 4 1 4 3 4 2 1
## 3038 2460 2863 1901 1367 3018 2220 1638 710 3121 2176 2817 707 1957 2320 2281
## 3 4 3 3 5 4 4 5 1 2 1 1 5 2 2 2
## 1865 3113 3032 1925 1522 3293 2357 2006 1064 2335 1422 691 3156 145 2285 876
## 5 4 4 5 4 5 2 1 3 4 2 3 1 1 5 2
## 44 2179 2041 1104 1828 369 2925 46 2455 323 3035 3219 1066 3316 261 1898
## 1 3 3 5 5 1 2 5 3 3 2 2 2 1 3 2
## 504 3019 3061 1333 2562 700 3254 1811 757 1472 1696 494 3285 2228 1593 1996
## 3 1 4 2 1 5 5 1 5 3 1 1 2 5 4 2
## 7 924 1557 1322 733 718 2983 101 470 2502 1227 1242 2737 2345 2402 2552
## 2 3 3 5 5 3 3 4 2 5 1 4 4 5 2 5
## 3050 2254 3199 1953 1891 1602 2312 1506 2504 302 1229 3079 559 1779 1552 451
## 1 3 5 5 4 2 1 1 1 2 2 1 5 5 1 3
## 2042 2679 2493 3090 1135 2147 2089 467 771 1022 2649 310 963 1662 1133 2585
## 2 5 5 5 5 3 5 2 1 5 2 1 4 2 3 4
## 601 2499 1916 2202 2286 686 2867 2992 729 2125 1796 834 603 961 1134 1759
## 5 5 1 3 3 3 3 3 2 4 2 3 1 4 4 1
## 122 368 299 282 121 2428 950 1220 2943 2403 3055 2802 1401 1677 2398 3155
## 3 3 4 5 5 3 3 5 2 4 1 4 4 5 5 3
## 2404 1097 2043 2852 1435 1827 2731
## 3 5 2 3 3 4 2
##
## Within cluster sum of squares by cluster:
## [1] 422.7481 440.6815 376.2508 439.0969 352.1644
## (between_SS / total_SS = 48.7 %)
##
## Available components:
##
## [1] "cluster" "centers" "totss" "withinss" "tot.withinss"
## [6] "betweenss" "size" "iter" "ifault" "data"
## [11] "hclust"
Glede na izbranih 5 skupin smo dobili, da 48,7% celotne variabilnosti predstavlja variabilnost med skupinami (BetweenSS/TotalSS). Rezultat se je povečal po odstranitvi osamelca, lahko pa bi bil še večji.
fviz_cluster(met_vod,
show.clust.cent = TRUE,
pointsize = 1, # Zmanjšamo velikost točk
labelsize = 0, # Zmanjšamo velikost pisave, da vidimo skupine
palette = "jama",
repel = FALSE,
ggtheme = theme_classic())
Iz grafa je razvidno, da je najbolj heterogena skupina 4. Po odstranitvi osamelca nobena enota ne izstopa pri analizi.
users$RazvrstitevVod <- met_vod$cluster
head(users[c("RazvrstitevWARD", "RazvrstitevVod")])
## RazvrstitevWARD RazvrstitevVod
## 1093 1 1
## 2218 2 2
## 179 3 4
## 153 3 3
## 2853 3 3
## 2511 3 1
# Izpis stevila enot v skupinah pri hierarhicni metodi
table(users$RazvrstitevWARD)
##
## 1 2 3 4 5
## 189 204 353 63 190
# Izpis stevila enotv skupinah pri metodi voditeljev
table(users$RazvrstitevVod)
##
## 1 2 3 4 5
## 216 197 217 162 207
table(users$RazvrstitevWARD, users$RazvrstitevVod)
##
## 1 2 3 4 5
## 1 146 23 0 13 7
## 2 5 151 22 10 16
## 3 58 10 188 72 25
## 4 0 0 0 63 0
## 5 7 13 7 4 159
Pri hierahičnem razvrščanju (Ward) je bilo najprej v prvi skupini 189 enot, ki pa se jih je po metodi voditeljev 43 prerazvrstilo in sicer 23 v drugo skupino, 13 v četrto skupino in 7 v peto skupino.
V četrti skupini ni bilo po metodi voditeljev nobene prerazvrstitve.
Pri nehierarhičnem razvrščanju (metoda voditeljev) smo imeli v tretji skupini 217 enot. 188 enot je že bilo v tej skupini, 22 jih je prišlo iz druge skupine, 7 pa iz pete skupine.
povprecja <- met_vod$centers
povprecja # povprecne vrednosti razvrstitvenih spremenljivk po skupinah
## AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## 1 1.1827955 -0.1782444 0.1505335 -0.4704438
## 2 0.1157428 -0.2151932 -0.1268167 1.4977405
## 3 -0.5550486 -0.4940100 0.9133413 -0.4239100
## 4 -0.2531924 1.6420737 0.0238180 -0.2532155
## 5 -0.5638818 -0.3854192 -0.9889250 -0.2796165
library(ggplot2)
library(tidyr)
slika <- as.data.frame(povprecja)
slika$id <- 1:nrow(slika)
slika <- pivot_longer(slika, cols = raz_sprem)
## Warning: Using an external vector in selections was deprecated in tidyselect 1.1.0.
## ℹ Please use `all_of()` or `any_of()` instead.
## # Was:
## data %>% select(raz_sprem)
##
## # Now:
## data %>% select(all_of(raz_sprem))
##
## See <https://tidyselect.r-lib.org/reference/faq-external-vector.html>.
## This warning is displayed once every 8 hours.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.
slika$skupina <- factor(slika$id,
levels = c(1,2,3,4,5),
labels = c("1","2","3","4","5"))
slika$ime <- factor(slika$name,
levels = raz_sprem,
labels = raz_sprem)
ggplot(slika, aes(x=ime, y=value)) +
geom_hline(yintercept = 0) +
theme_bw() +
geom_point(aes(shape=skupina, col=skupina), size=3) +
geom_line(aes(group=id), linewidth=1) +
ylab("Povprecje") +
xlab("Razvrstitvene spremenljivke") +
ylim(-2, 2)
Naročniki v prvi skupini imajo nadpovprečno število tednov naročnine, podpovprečno število klicov na tehnično pomoč, nadpovprečno število dnevnih klicov in podpovprečno vsoto mesečne naročnine.
Naročniki v drugi skupini imajo nadpovprečno število tednov naročnine, podpovprečno število klicov na tehnično pomoč, podpovprečno število dnevnih klicov in nadpovprečno vsoto mesečne naročnine.
Naročniki v tretji skupini imajo podpovprečno število tednov naročnine, podpovprečno število klicov na tehnično pomoč, nadpovprečno število dnevnih klicov in podpovprečno vsoto mesečne naročnine.
Naročniki v četrti skupini imajo podpovprečno število tednov naročnine, nadpovprečno število klicov na tehnično pomoč, rahlo nadpovprečno število dnevnih klicov oz. skoraj povprečno in podpovprečno vsoto mesečne naročnine.
Naročniki v peti skupini imajo podpovprečno število tednov naročnine, podpovprečno število klicov na tehnično pomoč, podpovprečno število dnevnih klicov in podpovprečno vsoto mesečne naročnine.
Izpolnjeni morata biti: - Preučevana spremenljivka je številska - Normalnost (Shapiro-Wilk test) - Homoskedastičnost (Levenov test) - Ni osamelcev
library(rstatix)
##
## Attaching package: 'rstatix'
## The following object is masked from 'package:stats':
##
## filter
users %>%
group_by(RazvrstitevVod) %>%
shapiro_test(AccountWeeks)
## # A tibble: 5 × 4
## RazvrstitevVod variable statistic p
## <int> <chr> <dbl> <dbl>
## 1 1 AccountWeeks 0.975 0.000620
## 2 2 AccountWeeks 0.995 0.733
## 3 3 AccountWeeks 0.978 0.00176
## 4 4 AccountWeeks 0.980 0.0188
## 5 5 AccountWeeks 0.994 0.568
users %>%
group_by(RazvrstitevVod) %>%
shapiro_test(CustServCalls)
## # A tibble: 5 × 4
## RazvrstitevVod variable statistic p
## <int> <chr> <dbl> <dbl>
## 1 1 CustServCalls 0.884 7.76e-12
## 2 2 CustServCalls 0.870 5.48e-12
## 3 3 CustServCalls 0.829 1.08e-14
## 4 4 CustServCalls 0.730 6.52e-16
## 5 5 CustServCalls 0.842 9.32e-14
users %>%
group_by(RazvrstitevVod) %>%
shapiro_test(DayCalls)
## # A tibble: 5 × 4
## RazvrstitevVod variable statistic p
## <int> <chr> <dbl> <dbl>
## 1 1 DayCalls 0.994 0.576
## 2 2 DayCalls 0.997 0.946
## 3 3 DayCalls 0.948 0.000000472
## 4 4 DayCalls 0.984 0.0673
## 5 5 DayCalls 0.946 0.000000569
users %>%
group_by(RazvrstitevVod) %>%
shapiro_test(MonthlyCharge)
## # A tibble: 5 × 4
## RazvrstitevVod variable statistic p
## <int> <chr> <dbl> <dbl>
## 1 1 MonthlyCharge 0.991 0.171
## 2 2 MonthlyCharge 0.987 0.0780
## 3 3 MonthlyCharge 0.993 0.424
## 4 4 MonthlyCharge 0.988 0.167
## 5 5 MonthlyCharge 0.994 0.540
Predpostavka o normalnosti je kršena, ker gledamo glede na razvrstitev v skupine nimamo v vseh skupinah zadostnega števila enot (ne velja CLI). Ker ni izpolnjena predpostavka naredimo Kruskal-Wallisov preizkus vsot rangov).
kruskal.test(AccountWeeks ~ as.factor(RazvrstitevVod),
data = users)
##
## Kruskal-Wallis rank sum test
##
## data: AccountWeeks by as.factor(RazvrstitevVod)
## Kruskal-Wallis chi-squared = 456.43, df = 4, p-value < 2.2e-16
kruskal.test(CustServCalls ~ as.factor(RazvrstitevVod),
data = users)
##
## Kruskal-Wallis rank sum test
##
## data: CustServCalls by as.factor(RazvrstitevVod)
## Kruskal-Wallis chi-squared = 421.66, df = 4, p-value < 2.2e-16
kruskal.test(DayCalls ~ as.factor(RazvrstitevVod),
data = users)
##
## Kruskal-Wallis rank sum test
##
## data: DayCalls by as.factor(RazvrstitevVod)
## Kruskal-Wallis chi-squared = 426.21, df = 4, p-value < 2.2e-16
kruskal.test(MonthlyCharge ~ as.factor(RazvrstitevVod),
data = users)
##
## Kruskal-Wallis rank sum test
##
## data: MonthlyCharge by as.factor(RazvrstitevVod)
## Kruskal-Wallis chi-squared = 445.03, df = 4, p-value < 2.2e-16
Zavrnemo H0 in ugotavljamo, da je glede na Kruskal-Wallisov preizkus vsot rangov porazdelitev pri vseh razvrstitvenih spremenljivkah v vsaj eni skupini lokacija porazdelitev drugačna od ostalih (p<0,001).
Naredimo Pearsonov Chi2 preizkus za ugotavljanje povezanosti med dvema kategorialnima spremenljivkama.
hi_kvadrat <- chisq.test(users$Churn, as.factor(users$RazvrstitevVod))
hi_kvadrat
##
## Pearson's Chi-squared test
##
## data: users$Churn and as.factor(users$RazvrstitevVod)
## X-squared = 38.593, df = 4, p-value = 8.454e-08
H0 zavrnemo (p<0,001) in ugotavljamo, da sta spremenljivki povezani.
# Empirične frekvence
addmargins(hi_kvadrat$observed)
##
## users$Churn 1 2 3 4 5 Sum
## N 200 167 196 118 186 867
## Y 16 30 21 44 21 132
## Sum 216 197 217 162 207 999
# Teoretične frekvence
addmargins(round(hi_kvadrat$expected, 2))
##
## users$Churn 1 2 3 4 5 Sum
## N 187.46 170.97 188.33 140.59 179.65 867
## Y 28.54 26.03 28.67 21.41 27.35 132
## Sum 216.00 197.00 217.00 162.00 207.00 999
Vse vrednosti so nad 5.
# Standardizirani ostanki
round(hi_kvadrat$res, 2)
##
## users$Churn 1 2 3 4 5
## N 0.92 -0.30 0.56 -1.91 0.47
## Y -2.35 0.78 -1.43 4.88 -1.21
library(effectsize)
##
## Attaching package: 'effectsize'
## The following objects are masked from 'package:rstatix':
##
## cohens_d, eta_squared
# Velikost učinka
effectsize::cramers_v(users$Churn, as.factor((users$RazvrstitevVod)))
## Cramer's V (adj.) | 95% CI
## --------------------------------
## 0.19 | [0.12, 1.00]
##
## - One-sided CIs: upper bound fixed at [1.00].
Spremenljivka churn ima statistično značilne razlike med skupinami (p<0,001) in zato prispeva k validaciji. V prvi skupini je manj kot pričakovano število strank, ki imajo naročnino (α = 0,05). V četrti skupini je več kot pričakovano število strank, ki imajo naročnino (α = 0,001).
Cramerjeva V statistika za velikost učinka kaže na šibko povezanost.
hi_kvadrat <- chisq.test(users$ContractRenewal, as.factor(users$RazvrstitevVod))
hi_kvadrat
##
## Pearson's Chi-squared test
##
## data: users$ContractRenewal and as.factor(users$RazvrstitevVod)
## X-squared = 4.1357, df = 4, p-value = 0.388
V skupinah ni statističnih razlik pri porazdelitvi spremenljivke ContractRenewal.
# Pregledamo povprečja OverageFee po posameznih skupina
aggregate(users$OverageFee,
by = list(users$RazvrstitevVod),
FUN = mean)
## Group.1 x
## 1 1 9.814120
## 2 2 10.757919
## 3 3 9.811613
## 4 4 9.816543
## 5 5 10.028019
# Pregled izpolnjevanja predpostavke o normalnosti
users %>%
group_by(RazvrstitevVod) %>%
shapiro_test(OverageFee)
## # A tibble: 5 × 4
## RazvrstitevVod variable statistic p
## <int> <chr> <dbl> <dbl>
## 1 1 OverageFee 0.996 0.822
## 2 2 OverageFee 0.995 0.828
## 3 3 OverageFee 0.994 0.508
## 4 4 OverageFee 0.994 0.725
## 5 5 OverageFee 0.996 0.811
Glede na Shapiro-Wilkov test normalnosti ne moremo zavrniti H0 (p>0,05), kar pomeni, da so vse skupine porazdelje normalno.
library(car)
## Loading required package: carData
##
## Attaching package: 'car'
## The following object is masked from 'package:dplyr':
##
## recode
# Preverjanje variance med skupinami
# H0: Homoskedastičnost
# H1: Heteroskedastičnost
leveneTest(users$OverageFee, as.factor(users$RazvrstitevVod))
## Levene's Test for Homogeneity of Variance (center = median)
## Df F value Pr(>F)
## group 4 0.6877 0.6005
## 994
Ne moremo zavrniti H0 (p=0.60) kar pomeni, da je porazdelitev homoskedastična.
# Naredimo ANOVO
fit <- aov(OverageFee ~ as.factor(RazvrstitevVod),
data = users)
summary(fit)
## Df Sum Sq Mean Sq F value Pr(>F)
## as.factor(RazvrstitevVod) 4 132 32.99 4.997 0.000544 ***
## Residuals 994 6563 6.60
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
eta_squared(fit)
## For one-way between subjects designs, partial eta squared is equivalent
## to eta squared. Returning eta squared.
## # Effect Size for ANOVA
##
## Parameter | Eta2 | 95% CI
## -----------------------------------------------
## as.factor(RazvrstitevVod) | 0.02 | [0.01, 1.00]
##
## - One-sided CIs: upper bound fixed at [1.00].
H0 zavrnemo pri p<0,001 in ugotavljamo, da se vsaj eno povprečje skupine razlikuje od ostalih. Odkrili smo majhne razlike med povprečji eta2 = 0,02.
Razvrstitev 999 naročnikov smo izvedli na štirih standardiziranih spremenljivkah (AccountWeeks, CustServCalls, DayCalls, MonthlyCharge).
Pri hierarhični razvrstitvi je bil uporabljen Wardov združevalni algoritem. Na podlagi analize dendrograma in testa z indeksi, ki analizira prirast heterogenosti, odločili za razvrstitev v 5 skupin. Razvrstitev smo še dodatno optimizirali s pomočjo metode voditljev.
V tretjo skupino je razvrščeno največje število naročnikov 217 kar je 21,7% vseh enot. Za njih je značilno nadpovprečno število klicov pri vseh ostalih spremenljivkah pa so podpovprečni.