1. Raziskovalno vprašanje

Iz podatkov o strankah ponudnika telekomunikacijskih storitev nas zanima, ali je možno s pomočjo razvrstitvenih spremenljivk oblikovati skupine, s pomočjo katerih lažje določimo stranke, ki imajo večjo verjetnost, da bodo prekinile naročnino (angl. churn).

2. Podatki

Podatki so pridobljeni iz spletne strani Kaggle na naslovu: https://www.kaggle.com/datasets/barun2104/telecom-churn.

# Podatke preberemo
users_raw <- read.csv2("./telecom_churn.csv",
                    header = TRUE,
                    sep = ",",
                    dec = ".")
# Izpišemo prvi dve vrstici podatkov, da vidimo spremenljivke, ki jih vsebuje in ali so se podatki pravilno prebrali
head(users_raw, 2)
##   Churn AccountWeeks ContractRenewal DataPlan DataUsage CustServCalls DayMins
## 1     0          128               1        1       2.7             1   265.1
## 2     0          107               1        1       3.7             1   161.6
##   DayCalls MonthlyCharge OverageFee RoamMins
## 1      110            89       9.87     10.0
## 2      123            82       9.78     13.7
nrow(users_raw) # št vrstic
## [1] 3333
ncol(users_raw) # št stolpcev
## [1] 11

Priprava podatkov

# Naredimo podvzorec
set.seed(48)
users <- users_raw[sample(nrow(users_raw), size = 1000),]
# Odstranimo spremenljivke, ki v analizi niso uporabljene
users <- users[,c(1, 2, 3, 6, 8, 9, 10)]
summary(users)
##      Churn        AccountWeeks ContractRenewal CustServCalls      DayCalls    
##  Min.   :0.000   Min.   :  1   Min.   :0.000   Min.   :0.000   Min.   :  0.0  
##  1st Qu.:0.000   1st Qu.: 75   1st Qu.:1.000   1st Qu.:1.000   1st Qu.: 86.0  
##  Median :0.000   Median :101   Median :1.000   Median :1.000   Median :101.0  
##  Mean   :0.133   Mean   :102   Mean   :0.909   Mean   :1.575   Mean   :100.1  
##  3rd Qu.:0.000   3rd Qu.:128   3rd Qu.:1.000   3rd Qu.:2.000   3rd Qu.:114.0  
##  Max.   :1.000   Max.   :232   Max.   :1.000   Max.   :7.000   Max.   :160.0  
##  MonthlyCharge      OverageFee   
##  Min.   : 14.00   Min.   : 2.65  
##  1st Qu.: 46.00   1st Qu.: 8.29  
##  Median : 54.00   Median :10.08  
##  Mean   : 57.33   Mean   :10.04  
##  3rd Qu.: 67.38   3rd Qu.:11.85  
##  Max.   :108.70   Max.   :17.71
users$Churn <- factor(users$Churn,
                      levels = c(0, 1),
                      labels = c("N", "Y"))

users$ContractRenewal <- factor(users$ContractRenewal,
                               levels = c(1, 0),
                               labels = c("Y", "N"))

Opisna statistika in opis podatkov

summary(users)
##  Churn    AccountWeeks ContractRenewal CustServCalls      DayCalls    
##  N:867   Min.   :  1   Y:909           Min.   :0.000   Min.   :  0.0  
##  Y:133   1st Qu.: 75   N: 91           1st Qu.:1.000   1st Qu.: 86.0  
##          Median :101                   Median :1.000   Median :101.0  
##          Mean   :102                   Mean   :1.575   Mean   :100.1  
##          3rd Qu.:128                   3rd Qu.:2.000   3rd Qu.:114.0  
##          Max.   :232                   Max.   :7.000   Max.   :160.0  
##  MonthlyCharge      OverageFee   
##  Min.   : 14.00   Min.   : 2.65  
##  1st Qu.: 46.00   1st Qu.: 8.29  
##  Median : 54.00   Median :10.08  
##  Mean   : 57.33   Mean   :10.04  
##  3rd Qu.: 67.38   3rd Qu.:11.85  
##  Max.   :108.70   Max.   :17.71

Podatki vsebujejo informacije o strankah telekomunikacijskega podjetja. Vseh podatkov je na začetku 3333, kar pa je bilo zmanjšano na 1000 enot zaradi lažjega in hitrejšega obdelovanja podatkov. Podatki niso vsebovali manjkajočih vrednosti. V analizi smo uprabili sledeče spremenljivke:

Razvrstitvene spremenljivke

  • AccountWeeks - število tednov sklenjene naročnine
  • CustServCalls - število klicov stranke na tehnično pomoč
  • DayCalls - povprečno dnevno število klicov
  • MonthlyCharge - znesek enomesečnega računa stranke

Validacijske spremenljivke

  • Churn - podatek o tem ali je stranka prekinila naročnino (Y - da, N - ne)
  • ContractRenewal - podatek o tem, ali je stranka pred kratkim ponovno sklenila naročnino (Y - da, N- ne)
  • OverageFee - največji znesek dodatnega plačila zaradi prekoračtve porabe v zadnjih 12 mesecih

Opisna statistika

V analizi imamo 867 naročnikov in 133 predhodnih naročnikov. 909 ljudi je naročnino pred kratkim podaljšalo, 91 pa se za to ni odločilo. Naročniki imajo v povprečju naročnine 102 tedna. Najdaljša naročnina je 232 tedna. 25% strank je klicalo za pomoč uporabnikom vsaj 2 krat. Povrečen naročnik mesečno plačuje 57,33 enot za telekomunikacijske storitve.

3. Analiza

# Standardizacija razvrstilnih spremenljivk
users$AccountWeeks_z <- scale(users$AccountWeeks)
users$CustServCalls_z <- scale(users$CustServCalls)
users$DayCalls_z <- scale(users$DayCalls)
users$MonthlyCharge_z <- scale(users$MonthlyCharge)
#users$DataUsage_z <- scale(users$DataUsage)
#users$DayMins_z <- scale(users$DayMins)
#users$OverageFee_z <- scale(users$OverageFee)
#users$RoamMins_z <- scale(users$RoamMins)

raz_sprem <- c("AccountWeeks_z", "CustServCalls_z", "DayCalls_z", "MonthlyCharge_z") # razvrstitvene spremenljivke
library(Hmisc)
## 
## Attaching package: 'Hmisc'
## The following objects are masked from 'package:base':
## 
##     format.pval, units
rcorr(as.matrix(users[,raz_sprem]),
      type = "pearson")
##                 AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## AccountWeeks_z            1.00           -0.03       0.05            0.01
## CustServCalls_z          -0.03            1.00      -0.02           -0.04
## DayCalls_z                0.05           -0.02       1.00           -0.06
## MonthlyCharge_z           0.01           -0.04      -0.06            1.00
## 
## n= 1000 
## 
## 
## P
##                 AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## AccountWeeks_z                 0.4142          0.1154     0.8161         
## CustServCalls_z 0.4142                         0.5712     0.2022         
## DayCalls_z      0.1154         0.5712                     0.0705         
## MonthlyCharge_z 0.8161         0.2022          0.0705

Glede na Pearsonov korelacijski koeficient ni zaslediti visoke korelacije.

users$Razlicnost_z <- sqrt(users$AccountWeeks_z^2 + users$CustServCalls_z^2 + users$DayCalls_z^2 + users$MonthlyCharge_z^2)
#users$Razlicnost_z <- sqrt(users$AccountWeeks_z^2 + users$CustServCalls_z^2 + users$RoamMins_z^2 + users$MonthlyCharge_z^2)
#users$Razlicnost_z <- sqrt(users$AccountWeeks_z^2 + users$CustServCalls_z^2 + users$DayMins_z^2 + users$RoamMins_z^2)

head(users[order(-users$Razlicnost_z),])
##      Churn AccountWeeks ContractRenewal CustServCalls DayCalls MonthlyCharge
## 1346     Y           98               Y             4        0          14.0
## 1274     Y           28               Y             6       48          32.0
## 903      N          149               Y             7       61          47.0
## 333      Y           86               Y             7      121          42.0
## 1832     N           93               Y             7       90          79.5
## 3113     Y          115               Y             7       89          41.0
##      OverageFee AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## 1346       7.98    -0.09890799        1.859849 -4.8784545      -2.5490268
## 1274       6.29    -1.83805873        3.393745 -2.5393693      -1.4902092
## 903       10.94     1.16818755        4.160693 -1.9058671      -0.6078613
## 333        9.86    -0.39704811        4.160693  1.0179894      -0.9019773
## 1832      13.38    -0.22313304        4.160693 -0.4926698       1.3038927
## 3113       9.62     0.32345719        4.160693 -0.5414008      -0.9608005
##      Razlicnost_z
## 1346     5.810824
## 1274     4.854388
## 903      4.762127
## 333      4.395325
## 1832     4.393634
## 3113     4.316508
users <- subset(users, Razlicnost_z < 5) # Ohranimo samo tiste, ki ustrezajo pogoju
head(users[order(-users$Razlicnost_z),])
##      Churn AccountWeeks ContractRenewal CustServCalls DayCalls MonthlyCharge
## 1274     Y           28               Y             6       48          32.0
## 903      N          149               Y             7       61          47.0
## 333      Y           86               Y             7      121          42.0
## 1832     N           93               Y             7       90          79.5
## 3113     Y          115               Y             7       89          41.0
## 1326     Y           17               Y             6      115          69.0
##      OverageFee AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## 1274       6.29     -1.8380587        3.393745 -2.5393693      -1.4902092
## 903       10.94      1.1681876        4.160693 -1.9058671      -0.6078613
## 333        9.86     -0.3970481        4.160693  1.0179894      -0.9019773
## 1832      13.38     -0.2231330        4.160693 -0.4926698       1.3038927
## 3113       9.62      0.3234572        4.160693 -0.5414008      -0.9608005
## 1326       9.30     -2.1113538        3.393745  0.7256037       0.6862491
##      Razlicnost_z
## 1274     4.854388
## 903      4.762127
## 333      4.395325
## 1832     4.393634
## 3113     4.316508
## 1326     4.119801

V tem primeru je bil odstranjen osamelec, ki je imel različnost (kvadratno evklidsko razdaljo) 5,81, kar se je pokazalo tudi pozitivno kasneje v vrednosti BetweenSS/totalSS, kar nam predstavlja kolikšen delež celotne variabilnosti predstavlja variabilnost med skupinami in se je ob odstranitvi osamelca povečala. Nato nam je med podatki ostalo le še 999 enot.

nrow(users)
## [1] 999
library(factoextra)
## Loading required package: ggplot2
## Welcome! Want to learn more? See two factoextra-related books at https://goo.gl/ve3WBa
#razdalje <- get_dist(users[c("AccountWeeks_z", "CustServCalls_z", "DayCalls_z", "MonthlyCharge_z")],
razdalje <- get_dist(users[raz_sprem],
                     method = "euclidean")
razdalje2 <- razdalje^2
fviz_dist(razdalje2)

Iz grafa je mogoče razbrati nekaj nastajajočih skupin, vendar bo za dokončno določitev še potrebna nadaljna uporaba hierarhičnega razvrščanja.

# Racunanje Hopkinsove statistike
get_clust_tendency(users[raz_sprem],
                   n = nrow(users) - 1,
                   graph = FALSE)
## $hopkins_stat
## [1] 0.7351526
## 
## $plot
## NULL

Hopkinsova statistika je večja od 0.5, kar pomeni, da imamo v podatkih naravne skupine.

library(dplyr)
## 
## Attaching package: 'dplyr'
## The following objects are masked from 'package:Hmisc':
## 
##     src, summarize
## The following objects are masked from 'package:stats':
## 
##     filter, lag
## The following objects are masked from 'package:base':
## 
##     intersect, setdiff, setequal, union
# Hierarhicna (Ward) metoda
WARD <- users[raz_sprem] %>% # izberemo spremenljivke
  get_dist(method = "euclidean") %>% # Izberemo razdaljo
  hclust(method = "ward.D2") # Izberemo algoritem (kvadratna evklidska)

WARD
## 
## Call:
## hclust(d = ., method = "ward.D2")
## 
## Cluster method   : ward.D2 
## Distance         : euclidean 
## Number of objects: 999
# Prikazemo dendrogram
fviz_dend(WARD)
## Warning: The `<scale>` argument of `guides()` cannot be `FALSE`. Use "none" instead as
## of ggplot2 3.3.4.
## ℹ The deprecated feature was likely used in the factoextra package.
##   Please report the issue at <https://github.com/kassambara/factoextra/issues>.
## This warning is displayed once every 8 hours.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.

Glede na izrisani dendrogram, bi lahko določili 2 ali 5 skupin, saj se pri teh številih skupin kaže povečanje heterogenosti.

library(NbClust)

# Izracunamo indekse, s katerimi si lahko pomagamo pri dolocanju optimalnega stevila skupin
optNumGroups <- users[raz_sprem] %>%
  NbClust(distance = "euclidean",
          min.nc = 2, # minimalno stevilo skupin
          max.nc = 8, # maksimalno stevilo skupin
          method = "ward.D2",
          index = "all")

## *** : The Hubert index is a graphical method of determining the number of clusters.
##                 In the plot of Hubert index, we seek a significant knee that corresponds to a 
##                 significant increase of the value of the measure i.e the significant peak in Hubert
##                 index second differences plot. 
## 

## *** : The D index is a graphical method of determining the number of clusters. 
##                 In the plot of D index, we seek a significant knee (the significant peak in Dindex
##                 second differences plot) that corresponds to a significant increase of the value of
##                 the measure. 
##  
## ******************************************************************* 
## * Among all indices:                                                
## * 7 proposed 2 as the best number of clusters 
## * 3 proposed 3 as the best number of clusters 
## * 1 proposed 4 as the best number of clusters 
## * 11 proposed 5 as the best number of clusters 
## * 1 proposed 8 as the best number of clusters 
## 
##                    ***** Conclusion *****                            
##  
## * According to the majority rule, the best number of clusters is  5 
##  
##  
## *******************************************************************

Skupine smo poskusili določiti tudi s pomočjo funkcije NbClust, ki pa ni vedno najbolj zanesljiva. V našem primeru je NbClust funkcija predlagala 5 skupin. Na podlagi pridobljenih informacij je bilo izbrano 5 skupin.

users$RazvrstitevWARD <- cutree(WARD,
                                k = 5) # dolocimo stevilo skupin
head(users)
##      Churn AccountWeeks ContractRenewal CustServCalls DayCalls MonthlyCharge
## 1093     N          148               Y             1       87          50.5
## 2218     N          137               Y             2       42          78.8
## 179      N          116               Y             3       93          48.3
## 153      N           65               Y             1      116          46.0
## 2853     N           90               Y             1      126          35.0
## 2511     N          118               Y             2      119          53.0
##      OverageFee AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## 1093       8.52      1.1433425      -0.4409951 -0.6388626      -0.4019801
## 2218       8.95      0.8700474       0.3259529 -2.8317550       1.2627164
## 179        9.71      0.3483022       1.0929010 -0.3464770      -0.5313911
## 153        7.88     -0.9187933      -0.4409951  0.7743347      -0.6666845
## 2853       6.31     -0.2976681      -0.4409951  1.2616441      -1.3137397
## 2511      11.68      0.3979922       0.3259529  0.9205275      -0.2549221
##      Razlicnost_z RazvrstitevWARD
## 1093     1.439251               1
## 2218     3.236745               2
## 179      1.310790               3
## 153      1.443163               3
## 2853     1.897562               3
## 2511     1.084896               3
# Prikazemo zacetne voditelje, ki jih uporabimo kot zacetne voditelje pri nehierarhicnem pristopu razvrscanja. Doloceni kot centroidi skupin.
zac_vod <- aggregate(users[,raz_sprem],
                     by = list(users$RazvrstitevWARD),
                     FUN = mean)
zac_vod
##   Group.1 AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## 1       1     1.22155832     0.001318826 -0.1641872      -0.2542996
## 2       2    -0.08039602    -0.177826681 -0.1059277       1.4820635
## 3       3    -0.26015422    -0.058607433  0.6931624      -0.5079785
## 4       4    -0.15924587     2.237236169 -0.3163102      -0.4071154
## 5       5    -0.59214683    -0.453104837 -0.8802090      -0.2461296
# Razvrscanje po metodi voditeljev, za zacetne voditelje dolocimo centroide, dobljene s hierarhicnim pristopom
met_vod <- hkmeans(users[raz_sprem],
                   k = 5, # Stevilo skupin
                   hc.metric = "euclidean", # Uporabljena razdalja
                   hc.method = "ward.D2") # Uporabljena metoda
met_vod
## Hierarchical K-means clustering with 5 clusters of sizes 216, 197, 217, 162, 207
## 
## Cluster means:
##   AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## 1      1.1827955      -0.1782444  0.1505335      -0.4704438
## 2      0.1157428      -0.2151932 -0.1268167       1.4977405
## 3     -0.5550486      -0.4940100  0.9133413      -0.4239100
## 4     -0.2531924       1.6420737  0.0238180      -0.2532155
## 5     -0.5638818      -0.3854192 -0.9889250      -0.2796165
## 
## Clustering vector:
## 1093 2218  179  153 2853 2511 2314 1708   25 1749 1972  941 2112 2155 2304 2173 
##    1    2    4    3    3    1    1    4    1    2    2    3    1    1    1    1 
##  487  591  578 3235  271 1596 3322 1694 1388 1535  148 3076 1120 1626   11  284 
##    3    2    3    5    3    4    4    2    1    1    5    1    1    2    4    2 
##  647 2057 3266 1995 1528 1745 2448 1832 1209 1835 1804 1685  851 3217 2601 1582 
##    2    4    4    5    5    2    3    4    1    2    3    1    1    1    1    2 
## 1409 2529  708  192 1590 3030  366 2344 2270  371 2566 1032 1183 2462  349 1072 
##    1    4    4    1    5    3    2    5    1    1    1    3    1    5    4    1 
##  820 3049  215 2453 3307 2547  359  736   93  447  604 1232 2272 2741 2766  915 
##    1    3    5    1    3    5    3    1    3    4    4    2    1    1    1    1 
## 2287 2871  526 2397 1861  380 1477 1806 1004 2948  137  490 2665 2705 3303 2929 
##    2    1    1    1    3    1    5    4    5    1    4    1    2    3    5    1 
## 1130 3074 2620 2454 2754 2189 1274 1789 1175 1275 2590 2543 1984  987  468 2144 
##    3    2    2    2    1    3    4    2    5    5    3    3    4    1    1    4 
##  912 1360 1760 1005 1829  861  585 3332  480 1235 1874 2524 1212  228  969 3153 
##    4    5    2    2    5    1    3    1    3    3    2    4    5    2    2    1 
## 1718 1342 3159 2533 1733 1433 2862  812  795  837 2637  206 2921 1886 2256  967 
##    3    2    4    1    4    5    2    5    3    2    5    5    1    3    1    2 
## 2631 3165 2911  639 2634 3004  185 3162 2551  188   91 3280 1191 1936  257 1860 
##    1    5    5    2    3    3    1    1    3    5    5    2    5    2    3    3 
## 3134 2388 1881  519 1847  406 3295 2826 2250  425 2235 2093 2273  687 1592 2753 
##    1    4    4    5    2    5    1    5    4    2    1    5    3    1    2    4 
## 2449 2091 1621 2157  358 3062 3010 1490  327 1929 2331 1361  873  346 2343  394 
##    1    2    2    4    2    5    4    1    1    5    3    3    2    1    3    5 
## 3230 1907 3278 1713 2947 2479 1556 1231  342 2972 3273 1114 2835 2437 2540 2295 
##    5    3    1    4    5    2    2    5    3    1    3    1    1    5    2    3 
## 2206 2375 1720 2003 1816 2049 2808  759 2844 1453 2687 1206 1344 2048  594  138 
##    4    1    3    1    2    1    3    2    1    3    2    1    5    4    2    4 
## 3258  184 2350 1498 2417  921 1983  824 2265 1159 1617 1044 1531 2946  413 2065 
##    1    5    3    1    3    1    5    5    4    3    3    4    3    3    5    5 
## 3029  536 3288 1309  551 1516 2709 2860 1476 2683  595 1293 2163 1454 2774 1533 
##    1    1    4    3    4    1    2    3    4    5    3    1    2    2    2    2 
## 2053 1504  821 3036  883 3131  938 1050 1147 2103 1198  520 2790 2985 1174  866 
##    1    2    2    4    1    4    3    5    1    1    4    4    5    3    3    4 
##   53 1329  553 2237 1408  662  660  183  291 2371 2749 2627 2210 2963 1332 1622 
##    3    3    4    1    4    2    1    3    1    4    5    5    4    5    4    3 
## 1255 1909 1623 3117 2316 1803 1785  755 2165 3044  142  714 1992   86  247 2812 
##    2    3    5    1    5    2    3    3    4    1    2    1    1    2    3    3 
##  614 3192 2442 1011 2795  555  180 2409  899  727  723 2763 1942 3175 1782 2140 
##    2    5    2    5    1    5    4    5    3    3    1    4    1    3    2    4 
## 2534 1959 2916 1840 1026 2698 2459 1744  115 2813  831 2677 2441 2881  645 2243 
##    5    4    4    3    2    2    2    5    3    2    4    1    3    3    2    1 
## 1473 2183 2696 2713 1466 1278 1934 2275  251  140 1852  357 1351 1974 1770 1045 
##    5    2    3    1    3    2    2    4    4    2    4    1    3    4    1    4 
## 2804  171 2858 2182  306  567 2923  102 1380 2918 2130 2494 2380  269 1125 2828 
##    4    3    1    2    1    2    1    3    4    5    1    4    5    3    1    4 
## 1771 2072 1597 3160  808 2716 2246 2718 1107 1546  201 2406 1704  622 3088 1949 
##    3    1    2    5    5    2    3    1    4    2    3    3    2    1    5    1 
## 1152  713 2798   58 1142  611  745 1543 1051 2899  615 3238  407 1345 1711 2773 
##    2    1    1    4    1    4    3    3    1    5    2    1    5    5    1    4 
## 3122 1042  525 3240 1784   24 3140 2471 2883 3190  436  958  129  990  542  914 
##    5    2    3    2    2    1    3    1    1    3    2    5    5    1    1    2 
## 1096 2559 2762 1897 1495 2539 2764 1727  741 2366  379   12 2882 2667 2115 3120 
##    3    3    3    1    1    5    4    3    5    2    5    3    2    3    4    3 
##  838  329 1006 1667 1362 2864 1057 2106 1354 1430  225 2337 2470 2722 2037 2653 
##    5    3    3    5    5    4    3    5    1    3    5    2    3    3    4    3 
##  623 3298 1892 1121  316 3224  419 1296  814 2426 3261 1002  301  120 1924  249 
##    2    2    1    5    3    3    2    5    1    5    5    1    5    3    1    4 
## 2644 2565  934  344 2399 3268 1511 1088 1373 2436  815 1915 2266 2501 1750 1483 
##    4    5    3    1    1    5    5    3    5    2    2    4    2    2    4    4 
##  231  730 3263 3289 1450 2734 1308 2219  903 1501 2611 1376 2100 3151 1613  561 
##    3    2    3    3    1    1    1    4    4    5    5    2    4    2    1    3 
## 1429  255 1019 1355 3251 1648  722 2251  508 2014 2192 1160 2264 1703 1774 1458 
##    3    3    3    1    3    5    4    3    4    5    3    3    3    4    2    1 
## 1389  486 1356 2024  875 2175  986  398 3045 2503 3330 1470 1978   39  940  624 
##    4    3    2    3    4    1    5    2    5    1    5    2    5    2    5    1 
## 2776 1461  751 2498 1854 1948 3158  495 1539 1625 1480 1499 2340 1393  975  154 
##    2    3    4    5    1    5    4    5    4    3    2    3    5    4    4    3 
##  132  421 2180  364  787 1994  464 2033 2030 2880 2047 1061 1681  896  646  168 
##    3    2    5    5    5    5    5    1    1    5    1    1    1    3    2    1 
##  882 1286 1059 2102  110 3025 1283   84  871 2028 1210 1243   15 2073 1505  195 
##    4    4    3    5    1    5    4    2    3    3    2    4    4    1    3    2 
## 2680 2311 2885 3324 2632 1699  472 2598 1190  345 1167 2486 3054 2477 1369 1900 
##    1    2    5    4    2    1    4    1    2    5    4    2    3    3    4    1 
##  849  742 2979   10 3255 2423 1263 1069 1534 1964  666 2612 2263  930 3182  579 
##    1    3    5    2    2    2    4    3    1    3    2    3    1    3    4    5 
##  823 2282 1447  959 2895 2721 1977 3226 2903 2141 1492 1280 2994 1652  298  690 
##    1    5    2    2    4    1    2    5    2    4    3    5    1    3    3    3 
## 1735 1207  839 2261 1537 2148 1460 3309 2655 2262  259 1545 2991 1205  566 1814 
##    3    3    2    2    5    4    5    5    5    4    3    1    3    3    4    5 
## 1326 2341 3067 2230 1795 2408 1236 2606 1904  300 2872 2166  157    9  181 2087 
##    4    2    1    2    5    2    4    2    2    5    1    1    2    2    4    1 
##  389 1328 1963  460 2326  840  860 3242 1091 1517  203  441 3005 2391 1095 2392 
##    5    1    4    3    2    2    4    1    1    3    4    2    5    1    3    2 
## 1145 2153 2978  509 3203 1448  749 1357 2582 1269   62 1950  423 1701  819 1930 
##    5    2    1    2    1    1    3    3    4    1    2    3    3    2    1    3 
## 2020  712  280 2094 1739 2824  937  927 2784 2692  169 3325  587 2327  549 2711 
##    2    4    1    5    1    5    2    1    2    5    2    1    5    1    5    5 
##  518  704  456  734 2035 3271 1926 2579 1336 3041 1879 1442 2107 2427 1547 2098 
##    5    1    3    2    3    5    3    1    3    3    3    2    2    3    3    5 
##  438  200 3103  777 2719 2394 3031 2342 1883 1444 2896  123 3110  801 2953 1056 
##    5    5    4    2    3    1    4    3    2    5    3    4    1    2    4    1 
##  246 2066 3169 2060 2146 1111 3043 2198 2145  888 1364  563 2591 2785 2313 3046 
##    3    5    1    4    3    1    1    5    1    5    4    2    2    4    5    5 
##   45  721 1184 2045 2623  926 3187 2015 1315 3069  788 3232 1089  949  333 1181 
##    5    5    2    3    4    3    4    4    4    2    5    2    2    5    4    5 
## 2703 2831  846 2142   13 1271 1651 1431 1826 2596 1846 1279 3265 1620 1162 1599 
##    1    5    2    3    1    3    2    5    4    5    3    1    5    4    5    5 
## 2419 1585 3145 1400 2181 1730 1914  800  454  193 3112 2805 1387 2378 2364  505 
##    3    3    4    4    3    3    5    2    2    5    2    3    5    3    5    5 
##   42 2297  396   74  702 1895  919  782  285 3052 2846  584 2458 2490  680  988 
##    2    5    2    3    5    4    5    3    4    3    5    1    2    4    5    2 
## 2568 1587 1295  341 2229 1791  948 2212 3234   35 1108 1188 2169 1919 2509 1887 
##    3    5    5    5    5    1    2    4    5    5    2    2    1    1    2    1 
## 1484 2445 1105 1384 1314  664  550  724  678  636 1965 2443  482 1686 3210 1075 
##    5    4    4    3    3    1    2    4    5    4    1    4    3    4    2    1 
## 3038 2460 2863 1901 1367 3018 2220 1638  710 3121 2176 2817  707 1957 2320 2281 
##    3    4    3    3    5    4    4    5    1    2    1    1    5    2    2    2 
## 1865 3113 3032 1925 1522 3293 2357 2006 1064 2335 1422  691 3156  145 2285  876 
##    5    4    4    5    4    5    2    1    3    4    2    3    1    1    5    2 
##   44 2179 2041 1104 1828  369 2925   46 2455  323 3035 3219 1066 3316  261 1898 
##    1    3    3    5    5    1    2    5    3    3    2    2    2    1    3    2 
##  504 3019 3061 1333 2562  700 3254 1811  757 1472 1696  494 3285 2228 1593 1996 
##    3    1    4    2    1    5    5    1    5    3    1    1    2    5    4    2 
##    7  924 1557 1322  733  718 2983  101  470 2502 1227 1242 2737 2345 2402 2552 
##    2    3    3    5    5    3    3    4    2    5    1    4    4    5    2    5 
## 3050 2254 3199 1953 1891 1602 2312 1506 2504  302 1229 3079  559 1779 1552  451 
##    1    3    5    5    4    2    1    1    1    2    2    1    5    5    1    3 
## 2042 2679 2493 3090 1135 2147 2089  467  771 1022 2649  310  963 1662 1133 2585 
##    2    5    5    5    5    3    5    2    1    5    2    1    4    2    3    4 
##  601 2499 1916 2202 2286  686 2867 2992  729 2125 1796  834  603  961 1134 1759 
##    5    5    1    3    3    3    3    3    2    4    2    3    1    4    4    1 
##  122  368  299  282  121 2428  950 1220 2943 2403 3055 2802 1401 1677 2398 3155 
##    3    3    4    5    5    3    3    5    2    4    1    4    4    5    5    3 
## 2404 1097 2043 2852 1435 1827 2731 
##    3    5    2    3    3    4    2 
## 
## Within cluster sum of squares by cluster:
## [1] 422.7481 440.6815 376.2508 439.0969 352.1644
##  (between_SS / total_SS =  48.7 %)
## 
## Available components:
## 
##  [1] "cluster"      "centers"      "totss"        "withinss"     "tot.withinss"
##  [6] "betweenss"    "size"         "iter"         "ifault"       "data"        
## [11] "hclust"

Glede na izbranih 5 skupin smo dobili, da 48,7% celotne variabilnosti predstavlja variabilnost med skupinami (BetweenSS/TotalSS). Rezultat se je povečal po odstranitvi osamelca, lahko pa bi bil še večji.

fviz_cluster(met_vod,
             show.clust.cent = TRUE,
             pointsize = 1, # Zmanjšamo velikost točk
             labelsize = 0, # Zmanjšamo velikost pisave, da vidimo skupine
             palette = "jama",
             repel = FALSE,
             ggtheme = theme_classic())

Iz grafa je razvidno, da je najbolj heterogena skupina 4. Po odstranitvi osamelca nobena enota ne izstopa pri analizi.

users$RazvrstitevVod <- met_vod$cluster
head(users[c("RazvrstitevWARD", "RazvrstitevVod")])
##      RazvrstitevWARD RazvrstitevVod
## 1093               1              1
## 2218               2              2
## 179                3              4
## 153                3              3
## 2853               3              3
## 2511               3              1
# Izpis stevila enot v skupinah pri hierarhicni metodi
table(users$RazvrstitevWARD)
## 
##   1   2   3   4   5 
## 189 204 353  63 190
# Izpis stevila enotv skupinah pri metodi voditeljev
table(users$RazvrstitevVod)
## 
##   1   2   3   4   5 
## 216 197 217 162 207
table(users$RazvrstitevWARD, users$RazvrstitevVod)
##    
##       1   2   3   4   5
##   1 146  23   0  13   7
##   2   5 151  22  10  16
##   3  58  10 188  72  25
##   4   0   0   0  63   0
##   5   7  13   7   4 159

Razlaga po vrstici

Pri hierahičnem razvrščanju (Ward) je bilo najprej v prvi skupini 189 enot, ki pa se jih je po metodi voditeljev 43 prerazvrstilo in sicer 23 v drugo skupino, 13 v četrto skupino in 7 v peto skupino.

V četrti skupini ni bilo po metodi voditeljev nobene prerazvrstitve.

Razlaga po stolpcu

Pri nehierarhičnem razvrščanju (metoda voditeljev) smo imeli v tretji skupini 217 enot. 188 enot je že bilo v tej skupini, 22 jih je prišlo iz druge skupine, 7 pa iz pete skupine.

povprecja <- met_vod$centers
povprecja # povprecne vrednosti razvrstitvenih spremenljivk po skupinah
##   AccountWeeks_z CustServCalls_z DayCalls_z MonthlyCharge_z
## 1      1.1827955      -0.1782444  0.1505335      -0.4704438
## 2      0.1157428      -0.2151932 -0.1268167       1.4977405
## 3     -0.5550486      -0.4940100  0.9133413      -0.4239100
## 4     -0.2531924       1.6420737  0.0238180      -0.2532155
## 5     -0.5638818      -0.3854192 -0.9889250      -0.2796165
library(ggplot2)
library(tidyr)

slika <- as.data.frame(povprecja)
slika$id <- 1:nrow(slika)
slika <- pivot_longer(slika, cols = raz_sprem)
## Warning: Using an external vector in selections was deprecated in tidyselect 1.1.0.
## ℹ Please use `all_of()` or `any_of()` instead.
##   # Was:
##   data %>% select(raz_sprem)
## 
##   # Now:
##   data %>% select(all_of(raz_sprem))
## 
## See <https://tidyselect.r-lib.org/reference/faq-external-vector.html>.
## This warning is displayed once every 8 hours.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.
slika$skupina <- factor(slika$id,
                        levels = c(1,2,3,4,5),
                        labels = c("1","2","3","4","5"))

slika$ime <- factor(slika$name,
                        levels = raz_sprem,
                        labels = raz_sprem)

ggplot(slika, aes(x=ime, y=value)) +
  geom_hline(yintercept = 0) +
  theme_bw() + 
  geom_point(aes(shape=skupina, col=skupina), size=3) +
  geom_line(aes(group=id), linewidth=1) +
  ylab("Povprecje") +
  xlab("Razvrstitvene spremenljivke") +
  ylim(-2, 2)

Skupina 1:

Naročniki v prvi skupini imajo nadpovprečno število tednov naročnine, podpovprečno število klicov na tehnično pomoč, nadpovprečno število dnevnih klicov in podpovprečno vsoto mesečne naročnine.

Skupina 2:

Naročniki v drugi skupini imajo nadpovprečno število tednov naročnine, podpovprečno število klicov na tehnično pomoč, podpovprečno število dnevnih klicov in nadpovprečno vsoto mesečne naročnine.

Skupina 3:

Naročniki v tretji skupini imajo podpovprečno število tednov naročnine, podpovprečno število klicov na tehnično pomoč, nadpovprečno število dnevnih klicov in podpovprečno vsoto mesečne naročnine.

Skupina 4:

Naročniki v četrti skupini imajo podpovprečno število tednov naročnine, nadpovprečno število klicov na tehnično pomoč, rahlo nadpovprečno število dnevnih klicov oz. skoraj povprečno in podpovprečno vsoto mesečne naročnine.

Skupina 5:

Naročniki v peti skupini imajo podpovprečno število tednov naročnine, podpovprečno število klicov na tehnično pomoč, podpovprečno število dnevnih klicov in podpovprečno vsoto mesečne naročnine.

ANOVA - analiza variance

Izpolnjeni morata biti: - Preučevana spremenljivka je številska - Normalnost (Shapiro-Wilk test) - Homoskedastičnost (Levenov test) - Ni osamelcev

Preverjanje normalnosti za razvrstitvene spremenljivke

  • H0: Porazdelitev je normalno porazdeljena
  • H1: Porazdelitev ni normalno porazdeljena
library(rstatix)
## 
## Attaching package: 'rstatix'
## The following object is masked from 'package:stats':
## 
##     filter
users %>%
  group_by(RazvrstitevVod) %>%
  shapiro_test(AccountWeeks)
## # A tibble: 5 × 4
##   RazvrstitevVod variable     statistic        p
##            <int> <chr>            <dbl>    <dbl>
## 1              1 AccountWeeks     0.975 0.000620
## 2              2 AccountWeeks     0.995 0.733   
## 3              3 AccountWeeks     0.978 0.00176 
## 4              4 AccountWeeks     0.980 0.0188  
## 5              5 AccountWeeks     0.994 0.568
users %>%
  group_by(RazvrstitevVod) %>%
  shapiro_test(CustServCalls)
## # A tibble: 5 × 4
##   RazvrstitevVod variable      statistic        p
##            <int> <chr>             <dbl>    <dbl>
## 1              1 CustServCalls     0.884 7.76e-12
## 2              2 CustServCalls     0.870 5.48e-12
## 3              3 CustServCalls     0.829 1.08e-14
## 4              4 CustServCalls     0.730 6.52e-16
## 5              5 CustServCalls     0.842 9.32e-14
users %>%
  group_by(RazvrstitevVod) %>%
  shapiro_test(DayCalls)
## # A tibble: 5 × 4
##   RazvrstitevVod variable statistic           p
##            <int> <chr>        <dbl>       <dbl>
## 1              1 DayCalls     0.994 0.576      
## 2              2 DayCalls     0.997 0.946      
## 3              3 DayCalls     0.948 0.000000472
## 4              4 DayCalls     0.984 0.0673     
## 5              5 DayCalls     0.946 0.000000569
users %>%
  group_by(RazvrstitevVod) %>%
  shapiro_test(MonthlyCharge)
## # A tibble: 5 × 4
##   RazvrstitevVod variable      statistic      p
##            <int> <chr>             <dbl>  <dbl>
## 1              1 MonthlyCharge     0.991 0.171 
## 2              2 MonthlyCharge     0.987 0.0780
## 3              3 MonthlyCharge     0.993 0.424 
## 4              4 MonthlyCharge     0.988 0.167 
## 5              5 MonthlyCharge     0.994 0.540

Predpostavka o normalnosti je kršena, ker gledamo glede na razvrstitev v skupine nimamo v vseh skupinah zadostnega števila enot (ne velja CLI). Ker ni izpolnjena predpostavka naredimo Kruskal-Wallisov preizkus vsot rangov).

Kruskal-Wallisov preizkus vsot rangov

  • H0: Vse lokacije porazdelitev so enake
  • H1: Vsaj ena lokacija porazdelitve se razlikuje
kruskal.test(AccountWeeks ~ as.factor(RazvrstitevVod),
             data = users)
## 
##  Kruskal-Wallis rank sum test
## 
## data:  AccountWeeks by as.factor(RazvrstitevVod)
## Kruskal-Wallis chi-squared = 456.43, df = 4, p-value < 2.2e-16
kruskal.test(CustServCalls ~ as.factor(RazvrstitevVod),
             data = users)
## 
##  Kruskal-Wallis rank sum test
## 
## data:  CustServCalls by as.factor(RazvrstitevVod)
## Kruskal-Wallis chi-squared = 421.66, df = 4, p-value < 2.2e-16
kruskal.test(DayCalls ~ as.factor(RazvrstitevVod),
             data = users)
## 
##  Kruskal-Wallis rank sum test
## 
## data:  DayCalls by as.factor(RazvrstitevVod)
## Kruskal-Wallis chi-squared = 426.21, df = 4, p-value < 2.2e-16
kruskal.test(MonthlyCharge ~ as.factor(RazvrstitevVod),
             data = users)
## 
##  Kruskal-Wallis rank sum test
## 
## data:  MonthlyCharge by as.factor(RazvrstitevVod)
## Kruskal-Wallis chi-squared = 445.03, df = 4, p-value < 2.2e-16

Zavrnemo H0 in ugotavljamo, da je glede na Kruskal-Wallisov preizkus vsot rangov porazdelitev pri vseh razvrstitvenih spremenljivkah v vsaj eni skupini lokacija porazdelitev drugačna od ostalih (p<0,001).

Validacija

Validacija s spremenljivko Churn (kategorična)

Naredimo Pearsonov Chi2 preizkus za ugotavljanje povezanosti med dvema kategorialnima spremenljivkama.

  • H0: Spremenljivki nista povezani
  • H1: Spremenljivki sta povezani
hi_kvadrat <- chisq.test(users$Churn, as.factor(users$RazvrstitevVod))
hi_kvadrat
## 
##  Pearson's Chi-squared test
## 
## data:  users$Churn and as.factor(users$RazvrstitevVod)
## X-squared = 38.593, df = 4, p-value = 8.454e-08

H0 zavrnemo (p<0,001) in ugotavljamo, da sta spremenljivki povezani.

# Empirične frekvence
addmargins(hi_kvadrat$observed)
##            
## users$Churn   1   2   3   4   5 Sum
##         N   200 167 196 118 186 867
##         Y    16  30  21  44  21 132
##         Sum 216 197 217 162 207 999
# Teoretične frekvence
addmargins(round(hi_kvadrat$expected, 2))
##            
## users$Churn      1      2      3      4      5 Sum
##         N   187.46 170.97 188.33 140.59 179.65 867
##         Y    28.54  26.03  28.67  21.41  27.35 132
##         Sum 216.00 197.00 217.00 162.00 207.00 999

Vse vrednosti so nad 5.

# Standardizirani ostanki
round(hi_kvadrat$res, 2)
##            
## users$Churn     1     2     3     4     5
##           N  0.92 -0.30  0.56 -1.91  0.47
##           Y -2.35  0.78 -1.43  4.88 -1.21
library(effectsize)
## 
## Attaching package: 'effectsize'
## The following objects are masked from 'package:rstatix':
## 
##     cohens_d, eta_squared
# Velikost učinka
effectsize::cramers_v(users$Churn, as.factor((users$RazvrstitevVod)))
## Cramer's V (adj.) |       95% CI
## --------------------------------
## 0.19              | [0.12, 1.00]
## 
## - One-sided CIs: upper bound fixed at [1.00].

Spremenljivka churn ima statistično značilne razlike med skupinami (p<0,001) in zato prispeva k validaciji. V prvi skupini je manj kot pričakovano število strank, ki imajo naročnino (α = 0,05). V četrti skupini je več kot pričakovano število strank, ki imajo naročnino (α = 0,001).

Cramerjeva V statistika za velikost učinka kaže na šibko povezanost.

Validacija s spremenljivko ContractRenewal (kategorična)

hi_kvadrat <- chisq.test(users$ContractRenewal, as.factor(users$RazvrstitevVod))
hi_kvadrat
## 
##  Pearson's Chi-squared test
## 
## data:  users$ContractRenewal and as.factor(users$RazvrstitevVod)
## X-squared = 4.1357, df = 4, p-value = 0.388

V skupinah ni statističnih razlik pri porazdelitvi spremenljivke ContractRenewal.

Validacija s spremenljivko OverageFee (numerična)

# Pregledamo povprečja OverageFee po posameznih skupina
aggregate(users$OverageFee,
          by = list(users$RazvrstitevVod),
          FUN = mean)
##   Group.1         x
## 1       1  9.814120
## 2       2 10.757919
## 3       3  9.811613
## 4       4  9.816543
## 5       5 10.028019
# Pregled izpolnjevanja predpostavke o normalnosti

users %>%
  group_by(RazvrstitevVod) %>%
  shapiro_test(OverageFee)
## # A tibble: 5 × 4
##   RazvrstitevVod variable   statistic     p
##            <int> <chr>          <dbl> <dbl>
## 1              1 OverageFee     0.996 0.822
## 2              2 OverageFee     0.995 0.828
## 3              3 OverageFee     0.994 0.508
## 4              4 OverageFee     0.994 0.725
## 5              5 OverageFee     0.996 0.811

Glede na Shapiro-Wilkov test normalnosti ne moremo zavrniti H0 (p>0,05), kar pomeni, da so vse skupine porazdelje normalno.

library(car)
## Loading required package: carData
## 
## Attaching package: 'car'
## The following object is masked from 'package:dplyr':
## 
##     recode
# Preverjanje variance med skupinami

# H0: Homoskedastičnost
# H1: Heteroskedastičnost

leveneTest(users$OverageFee, as.factor(users$RazvrstitevVod))
## Levene's Test for Homogeneity of Variance (center = median)
##        Df F value Pr(>F)
## group   4  0.6877 0.6005
##       994

Ne moremo zavrniti H0 (p=0.60) kar pomeni, da je porazdelitev homoskedastična.

# Naredimo ANOVO 
fit <- aov(OverageFee ~ as.factor(RazvrstitevVod),
           data = users)
summary(fit)
##                            Df Sum Sq Mean Sq F value   Pr(>F)    
## as.factor(RazvrstitevVod)   4    132   32.99   4.997 0.000544 ***
## Residuals                 994   6563    6.60                     
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
eta_squared(fit)
## For one-way between subjects designs, partial eta squared is equivalent
##   to eta squared. Returning eta squared.
## # Effect Size for ANOVA
## 
## Parameter                 | Eta2 |       95% CI
## -----------------------------------------------
## as.factor(RazvrstitevVod) | 0.02 | [0.01, 1.00]
## 
## - One-sided CIs: upper bound fixed at [1.00].

H0 zavrnemo pri p<0,001 in ugotavljamo, da se vsaj eno povprečje skupine razlikuje od ostalih. Odkrili smo majhne razlike med povprečji eta2 = 0,02.

4. Ugotovitve

Razvrstitev 999 naročnikov smo izvedli na štirih standardiziranih spremenljivkah (AccountWeeks, CustServCalls, DayCalls, MonthlyCharge).

Pri hierarhični razvrstitvi je bil uporabljen Wardov združevalni algoritem. Na podlagi analize dendrograma in testa z indeksi, ki analizira prirast heterogenosti, odločili za razvrstitev v 5 skupin. Razvrstitev smo še dodatno optimizirali s pomočjo metode voditljev.

V tretjo skupino je razvrščeno največje število naročnikov 217 kar je 21,7% vseh enot. Za njih je značilno nadpovprečno število klicov pri vseh ostalih spremenljivkah pa so podpovprečni.