BAB I. PENDAHULUAN

1.1 Latar Belakang

Perkembangan teknologi dan ketersediaan data mendorong penggunaan metode statistika dan machine learning untuk melakukan prediksi. Salah satu metode yang dapat digunakan adalah Decision Tree atau pohon keputusan. Metode ini membentuk model prediksi berdasarkan serangkaian aturan pemisahan data sehingga hasil pemodelannya relatif mudah dipahami dan diinterpretasikan.

Decision Tree untuk kasus regresi dikenal sebagai Regression Tree. Metode ini digunakan ketika variabel respons berbentuk numerik atau kontinu. Pembentukan pohon dilakukan dengan membagi data ke dalam beberapa kelompok berdasarkan variabel prediktor yang mampu meminimalkan kesalahan prediksi pada setiap pemisahan.

Pada praktikum ini digunakan dataset Hitters dari package ISLR. Dataset tersebut memuat informasi pemain baseball, seperti jumlah pertandingan, jumlah pukulan, jumlah home run, pengalaman bermain, serta gaji pemain. Variabel Salary digunakan sebagai variabel respons yang akan diprediksi berdasarkan variabel-variabel lainnya.

Sebelum pemodelan dilakukan, data diperiksa dan dibersihkan dari missing value menggunakan fungsi na.omit(). Selanjutnya, data dibagi menjadi data training dan testing. Model Regression Tree dibangun menggunakan data training, kemudian divisualisasikan dan dievaluasi menggunakan Mean Squared Error (MSE). Nilai Complexity Parameter (CP) terbaik ditentukan berdasarkan hasil cross-validation untuk melakukan pruning sehingga diperoleh pohon yang lebih sederhana.

1.2 Rumusan Masalah

  1. Bagaimana karakteristik dataset Hitters yang digunakan dalam pemodelan?
  2. Bagaimana melakukan pemeriksaan dan penanganan missing value pada dataset?
  3. Bagaimana membangun dan memvisualisasikan model Decision Tree Regression?
  4. Variabel apa yang memiliki tingkat kepentingan paling tinggi dalam memprediksi Salary?
  5. Bagaimana performa model sebelum dan sesudah pruning berdasarkan nilai MSE?

1.3 Tujuan Praktikum

  1. Menggunakan dataset Hitters dari package ISLR untuk memprediksi Salary.
  2. Melakukan pemeriksaan dan penanganan missing value menggunakan na.omit().
  3. Membagi data menjadi data training dan testing.
  4. Membangun dan memvisualisasikan model Regression Tree.
  5. Menganalisis tingkat kepentingan variabel prediktor.
  6. Melakukan prediksi dan evaluasi menggunakan MSE.
  7. Menentukan CP terbaik dan melakukan pruning.
  8. Membandingkan performa model sebelum dan sesudah pruning.

BAB II. TINJAUAN PUSTAKA

2.1 Decision Tree

Decision Tree merupakan salah satu metode machine learning yang membentuk model berupa struktur pohon. Struktur tersebut terdiri atas root node, internal node, dan terminal node. Root node merupakan simpul awal yang membagi data berdasarkan variabel tertentu, sedangkan terminal node merupakan simpul akhir yang menghasilkan nilai prediksi.

Decision Tree dapat digunakan untuk klasifikasi maupun regresi. Pada klasifikasi, variabel respons berbentuk kategori, sedangkan pada regresi variabel respons berbentuk numerik.

2.2 Regression Tree

Regression Tree merupakan metode Decision Tree yang digunakan untuk memprediksi variabel respons numerik. Pembentukan pohon dilakukan dengan mencari pemisahan terbaik yang menghasilkan kelompok data dengan variasi nilai respons sekecil mungkin.

Kriteria pemisahan pada Regression Tree dapat menggunakan jumlah kuadrat galat atau Residual Sum of Squares (RSS), yaitu:

\[ RSS = \sum_{i=1}^{n}(y_i-\hat{y}_i)^2 \]

Keterangan:

  • \(y_i\) adalah nilai aktual.
  • \(\hat{y}_i\) adalah nilai prediksi.
  • \(n\) adalah jumlah observasi.

Nilai RSS yang lebih kecil menunjukkan bahwa hasil prediksi semakin dekat dengan nilai aktual pada data yang digunakan.

2.3 Dataset Hitters

Dataset Hitters berasal dari package ISLR yang berisi informasi mengenai pemain baseball. Variabel respons yang digunakan dalam praktikum ini adalah Salary, yaitu gaji pemain baseball.

Beberapa variabel prediktor dalam dataset antara lain:

  • AtBat: jumlah kesempatan pemain melakukan pukulan.
  • Hits: jumlah pukulan yang berhasil.
  • HmRun: jumlah home run.
  • Runs: jumlah run yang dihasilkan.
  • RBI: jumlah run batted in.
  • Walks: jumlah walk.
  • Years: lama pengalaman bermain.
  • CAtBat: jumlah kesempatan pukulan sepanjang karier.
  • CHits: jumlah pukulan sepanjang karier.
  • CHmRun: jumlah home run sepanjang karier.
  • CRuns: jumlah run sepanjang karier.
  • CRBI: jumlah run batted in sepanjang karier.
  • CWalks: jumlah walk sepanjang karier.
  • League: liga pemain.
  • Division: divisi pemain.
  • PutOuts: jumlah putout.
  • Assists: jumlah assist.
  • Errors: jumlah kesalahan.
  • NewLeague: liga baru pemain.

2.4 Missing Value

Missing value merupakan kondisi ketika suatu observasi tidak memiliki nilai pada variabel tertentu. Missing value perlu ditangani sebelum pemodelan agar proses analisis dapat berjalan dengan baik.

Salah satu metode penanganannya adalah menggunakan fungsi na.omit(). Fungsi ini menghapus observasi yang memiliki setidaknya satu nilai kosong.

2.5 Pembagian Data Training dan Testing

Pembagian data dilakukan untuk memisahkan data yang digunakan dalam pembentukan model dan data yang digunakan untuk menguji kemampuan prediksi model.

Pada praktikum ini, data dibagi menjadi:

  • Data training sebesar 70%.
  • Data testing sebesar 30%.

Data training digunakan untuk membangun model, sedangkan data testing digunakan untuk mengevaluasi kemampuan model dalam memprediksi observasi yang belum digunakan saat pelatihan.

2.6 Variable Importance

Variable importance merupakan ukuran yang menunjukkan seberapa besar kontribusi suatu variabel prediktor dalam membentuk model. Pada Regression Tree, tingkat kepentingan variabel dapat diperoleh dari hasil penurunan kesalahan akibat pemisahan yang dilakukan oleh variabel tersebut.

Variabel dengan nilai importance yang lebih tinggi menunjukkan kontribusi yang lebih besar dalam pembentukan model.

2.7 Complexity Parameter (CP)

Complexity Parameter atau CP merupakan parameter yang digunakan untuk mengendalikan kompleksitas pohon. Nilai CP berfungsi sebagai batas minimum perbaikan model yang diperlukan agar suatu pemisahan dapat dipertahankan.

Pemilihan CP terbaik dilakukan berdasarkan hasil cross-validation. Pada praktikum ini, CP terbaik ditentukan berdasarkan nilai xerror terkecil pada tabel kompleksitas pohon.

2.8 Pruning

Pruning merupakan proses pemangkasan pohon dengan menghilangkan cabang yang dianggap tidak memberikan kontribusi cukup besar terhadap kemampuan prediksi model.

Tujuan pruning adalah menghasilkan pohon yang lebih sederhana dan mengurangi risiko overfitting. Pada package rpart, pruning dilakukan menggunakan fungsi prune() dengan memasukkan nilai CP terbaik.

2.9 Evaluasi Model Menggunakan Mean Squared Error

Mean Squared Error (MSE) digunakan untuk mengukur rata-rata kuadrat selisih antara nilai aktual dan nilai prediksi.

Rumus MSE adalah:

\[ MSE = \frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2 \]

Keterangan:

  • \(y_i\) adalah nilai aktual.
  • \(\hat{y}_i\) adalah nilai prediksi.
  • \(n\) adalah jumlah data testing.

Semakin kecil nilai MSE, semakin baik kemampuan model dalam menghasilkan prediksi berdasarkan data pengujian.

BAB III. METODOLOGI

3.1 Sumber Data

Data yang digunakan dalam praktikum ini adalah dataset Hitters yang tersedia pada package ISLR di R. Dataset berisi informasi pemain baseball dan digunakan untuk membangun model prediksi gaji pemain.

Variabel respons yang digunakan adalah Salary, sedangkan seluruh variabel lainnya digunakan sebagai variabel prediktor.

3.2 Variabel Penelitian

# Memanggil dataset Hitters
data("Hitters", package = "ISLR", envir = .GlobalEnv)

data_hitters <- get("Hitters", envir = .GlobalEnv)

# Menampilkan struktur dataset
str(data_hitters)
## 'data.frame':    322 obs. of  20 variables:
##  $ AtBat    : int  293 315 479 496 321 594 185 298 323 401 ...
##  $ Hits     : int  66 81 130 141 87 169 37 73 81 92 ...
##  $ HmRun    : int  1 7 18 20 10 4 1 0 6 17 ...
##  $ Runs     : int  30 24 66 65 39 74 23 24 26 49 ...
##  $ RBI      : int  29 38 72 78 42 51 8 24 32 66 ...
##  $ Walks    : int  14 39 76 37 30 35 21 7 8 65 ...
##  $ Years    : int  1 14 3 11 2 11 2 3 2 13 ...
##  $ CAtBat   : int  293 3449 1624 5628 396 4408 214 509 341 5206 ...
##  $ CHits    : int  66 835 457 1575 101 1133 42 108 86 1332 ...
##  $ CHmRun   : int  1 69 63 225 12 19 1 0 6 253 ...
##  $ CRuns    : int  30 321 224 828 48 501 30 41 32 784 ...
##  $ CRBI     : int  29 414 266 838 46 336 9 37 34 890 ...
##  $ CWalks   : int  14 375 263 354 33 194 24 12 8 866 ...
##  $ League   : Factor w/ 2 levels "A","N": 1 2 1 2 2 1 2 1 2 1 ...
##  $ Division : Factor w/ 2 levels "E","W": 1 2 2 1 1 2 1 2 2 1 ...
##  $ PutOuts  : int  446 632 880 200 805 282 76 121 143 0 ...
##  $ Assists  : int  33 43 82 11 40 421 127 283 290 0 ...
##  $ Errors   : int  20 10 14 3 4 25 7 9 19 0 ...
##  $ Salary   : num  NA 475 480 500 91.5 750 70 100 75 1100 ...
##  $ NewLeague: Factor w/ 2 levels "A","N": 1 2 1 2 2 1 1 1 2 1 ...
# Menampilkan nama variabel
nama_variabel <- data.frame(
  Variabel = names(data_hitters),
  Tipe_Data = sapply(data_hitters, function(x) class(x)[1])
)

knitr::kable(
  nama_variabel,
  caption = "Tabel 1. Variabel dalam Dataset Hitters"
)
Tabel 1. Variabel dalam Dataset Hitters
Variabel Tipe_Data
AtBat AtBat integer
Hits Hits integer
HmRun HmRun integer
Runs Runs integer
RBI RBI integer
Walks Walks integer
Years Years integer
CAtBat CAtBat integer
CHits CHits integer
CHmRun CHmRun integer
CRuns CRuns integer
CRBI CRBI integer
CWalks CWalks integer
League League factor
Division Division factor
PutOuts PutOuts integer
Assists Assists integer
Errors Errors integer
Salary Salary numeric
NewLeague NewLeague factor

3.3 Diagram Alir Penelitian

Tahapan analisis dalam praktikum ini dilakukan secara berurutan mulai dari pengambilan dataset hingga evaluasi model setelah pruning.

# Membuat diagram alir analisis
tahapan <- data.frame(
  x = rep(1, 9),
  y = 9:1,
  label = c(
    "Mulai",
    "Memanggil Dataset Hitters",
    "Pemeriksaan Missing Value",
    "Penanganan Missing Value\nmenggunakan na.omit()",
    "Pembagian Data Training dan Testing",
    "Pembentukan Model Regression Tree",
    "Prediksi dan Evaluasi MSE",
    "Menentukan CP Terbaik dan Pruning",
    "Evaluasi MSE Setelah Pruning\nSelesai"
  )
)

ggplot(tahapan, aes(x = x, y = y)) +
  geom_label(
    aes(label = label),
    fill = "#DCEAF7",
    color = "#1F4E79",
    size = 3.8,
    fontface = "bold",
    label.size = 0.5,
    label.padding = unit(0.3, "lines")
  ) +
  geom_segment(
    data = tahapan[-nrow(tahapan), ],
    aes(
      x = 1,
      xend = 1,
      y = y - 0.35,
      yend = y - 0.65
    ),
    arrow = arrow(length = unit(0.2, "cm")),
    color = "#1F4E79",
    linewidth = 0.8
  ) +
  scale_x_continuous(limits = c(0.5, 1.5)) +
  scale_y_continuous(limits = c(0.5, 9.5)) +
  theme_void() +
  labs(title = "Diagram Alir Analisis Decision Tree Regression")

3.4 Teknik Analisis Data

Tahapan analisis yang dilakukan adalah:

  1. Memanggil dataset Hitters dari package ISLR.
  2. Memeriksa struktur data dan missing value.
  3. Menghapus missing value menggunakan na.omit().
  4. Membagi data menjadi training dan testing dengan proporsi 70:30.
  5. Membentuk model Regression Tree menggunakan fungsi rpart().
  6. Memvisualisasikan pohon keputusan.
  7. Mengidentifikasi variable importance.
  8. Melakukan prediksi pada data testing.
  9. Menghitung nilai MSE sebelum pruning.
  10. Menentukan CP terbaik berdasarkan nilai cross-validation error terkecil.
  11. Melakukan pruning menggunakan fungsi prune().
  12. Melakukan prediksi dan menghitung MSE setelah pruning.

BAB IV. HASIL DAN PEMBAHASAN

4.1 Memanggil Dataset

Langkah pertama adalah memanggil dataset Hitters dari package ISLR. Dataset ini digunakan untuk memprediksi Salary berdasarkan karakteristik dan statistik permainan pemain baseball.

# Memanggil dataset Hitters
data("Hitters", package = "ISLR", envir = .GlobalEnv)

data_hitters <- get("Hitters", envir = .GlobalEnv)

# Melihat lima observasi pertama
head(data_hitters)
# Melihat dimensi data
dim(data_hitters)
## [1] 322  20
# Melihat struktur data
str(data_hitters)
## 'data.frame':    322 obs. of  20 variables:
##  $ AtBat    : int  293 315 479 496 321 594 185 298 323 401 ...
##  $ Hits     : int  66 81 130 141 87 169 37 73 81 92 ...
##  $ HmRun    : int  1 7 18 20 10 4 1 0 6 17 ...
##  $ Runs     : int  30 24 66 65 39 74 23 24 26 49 ...
##  $ RBI      : int  29 38 72 78 42 51 8 24 32 66 ...
##  $ Walks    : int  14 39 76 37 30 35 21 7 8 65 ...
##  $ Years    : int  1 14 3 11 2 11 2 3 2 13 ...
##  $ CAtBat   : int  293 3449 1624 5628 396 4408 214 509 341 5206 ...
##  $ CHits    : int  66 835 457 1575 101 1133 42 108 86 1332 ...
##  $ CHmRun   : int  1 69 63 225 12 19 1 0 6 253 ...
##  $ CRuns    : int  30 321 224 828 48 501 30 41 32 784 ...
##  $ CRBI     : int  29 414 266 838 46 336 9 37 34 890 ...
##  $ CWalks   : int  14 375 263 354 33 194 24 12 8 866 ...
##  $ League   : Factor w/ 2 levels "A","N": 1 2 1 2 2 1 2 1 2 1 ...
##  $ Division : Factor w/ 2 levels "E","W": 1 2 2 1 1 2 1 2 2 1 ...
##  $ PutOuts  : int  446 632 880 200 805 282 76 121 143 0 ...
##  $ Assists  : int  33 43 82 11 40 421 127 283 290 0 ...
##  $ Errors   : int  20 10 14 3 4 25 7 9 19 0 ...
##  $ Salary   : num  NA 475 480 500 91.5 750 70 100 75 1100 ...
##  $ NewLeague: Factor w/ 2 levels "A","N": 1 2 1 2 2 1 1 1 2 1 ...
# Ringkasan statistik data
summary(data_hitters)
##      AtBat            Hits         HmRun            Runs       
##  Min.   : 16.0   Min.   :  1   Min.   : 0.00   Min.   :  0.00  
##  1st Qu.:255.2   1st Qu.: 64   1st Qu.: 4.00   1st Qu.: 30.25  
##  Median :379.5   Median : 96   Median : 8.00   Median : 48.00  
##  Mean   :380.9   Mean   :101   Mean   :10.77   Mean   : 50.91  
##  3rd Qu.:512.0   3rd Qu.:137   3rd Qu.:16.00   3rd Qu.: 69.00  
##  Max.   :687.0   Max.   :238   Max.   :40.00   Max.   :130.00  
##                                                                
##       RBI             Walks            Years            CAtBat       
##  Min.   :  0.00   Min.   :  0.00   Min.   : 1.000   Min.   :   19.0  
##  1st Qu.: 28.00   1st Qu.: 22.00   1st Qu.: 4.000   1st Qu.:  816.8  
##  Median : 44.00   Median : 35.00   Median : 6.000   Median : 1928.0  
##  Mean   : 48.03   Mean   : 38.74   Mean   : 7.444   Mean   : 2648.7  
##  3rd Qu.: 64.75   3rd Qu.: 53.00   3rd Qu.:11.000   3rd Qu.: 3924.2  
##  Max.   :121.00   Max.   :105.00   Max.   :24.000   Max.   :14053.0  
##                                                                      
##      CHits            CHmRun           CRuns             CRBI        
##  Min.   :   4.0   Min.   :  0.00   Min.   :   1.0   Min.   :   0.00  
##  1st Qu.: 209.0   1st Qu.: 14.00   1st Qu.: 100.2   1st Qu.:  88.75  
##  Median : 508.0   Median : 37.50   Median : 247.0   Median : 220.50  
##  Mean   : 717.6   Mean   : 69.49   Mean   : 358.8   Mean   : 330.12  
##  3rd Qu.:1059.2   3rd Qu.: 90.00   3rd Qu.: 526.2   3rd Qu.: 426.25  
##  Max.   :4256.0   Max.   :548.00   Max.   :2165.0   Max.   :1659.00  
##                                                                      
##      CWalks        League  Division    PutOuts          Assists     
##  Min.   :   0.00   A:175   E:157    Min.   :   0.0   Min.   :  0.0  
##  1st Qu.:  67.25   N:147   W:165    1st Qu.: 109.2   1st Qu.:  7.0  
##  Median : 170.50                    Median : 212.0   Median : 39.5  
##  Mean   : 260.24                    Mean   : 288.9   Mean   :106.9  
##  3rd Qu.: 339.25                    3rd Qu.: 325.0   3rd Qu.:166.0  
##  Max.   :1566.00                    Max.   :1378.0   Max.   :492.0  
##                                                                     
##      Errors          Salary       NewLeague
##  Min.   : 0.00   Min.   :  67.5   A:176    
##  1st Qu.: 3.00   1st Qu.: 190.0   N:146    
##  Median : 6.00   Median : 425.0            
##  Mean   : 8.04   Mean   : 535.9            
##  3rd Qu.:11.00   3rd Qu.: 750.0            
##  Max.   :32.00   Max.   :2460.0            
##                  NAs    :59

Berdasarkan hasil pemanggilan dataset, diperoleh informasi mengenai jumlah observasi, jumlah variabel, tipe data, serta ringkasan statistik setiap variabel. Variabel Salary digunakan sebagai target prediksi dalam analisis Regression Tree.

4.2 Pemeriksaan Missing Value

Sebelum membangun model, dilakukan pemeriksaan missing value untuk mengetahui jumlah data kosong pada setiap variabel. Pemeriksaan dilakukan menggunakan fungsi is.na() dan colSums().

# Menghitung jumlah missing value setiap variabel
jumlah_missing <- colSums(is.na(data_hitters))

# Membuat tabel missing value
tabel_missing <- data.frame(
  Variabel = names(jumlah_missing),
  Jumlah_Missing = as.numeric(jumlah_missing)
)

knitr::kable(
  tabel_missing,
  caption = "Tabel 2. Jumlah Missing Value Setiap Variabel"
)
Tabel 2. Jumlah Missing Value Setiap Variabel
Variabel Jumlah_Missing
AtBat 0
Hits 0
HmRun 0
Runs 0
RBI 0
Walks 0
Years 0
CAtBat 0
CHits 0
CHmRun 0
CRuns 0
CRBI 0
CWalks 0
League 0
Division 0
PutOuts 0
Assists 0
Errors 0
Salary 59
NewLeague 0
# Menghitung total missing value
total_missing <- sum(is.na(data_hitters))

cat(
  "Total missing value pada dataset:",
  total_missing
)
## Total missing value pada dataset: 59
# Menghitung jumlah observasi sebelum penanganan
jumlah_awal <- nrow(data_hitters)

cat(
  "\nJumlah observasi sebelum penanganan:",
  jumlah_awal
)
## 
## Jumlah observasi sebelum penanganan: 322

4.3 Penanganan Missing Value

Penanganan missing value dilakukan menggunakan fungsi na.omit(). Fungsi ini menghapus seluruh baris yang memiliki setidaknya satu nilai kosong. Setelah proses tersebut, dilakukan pemeriksaan kembali untuk memastikan tidak terdapat missing value pada data yang akan digunakan dalam pemodelan.

# Menghapus observasi yang memiliki missing value
data_bersih <- na.omit(data_hitters)

# Memastikan variabel Salary tidak memiliki missing value
sum(is.na(data_bersih))
## [1] 0
# Melihat jumlah observasi setelah penanganan
jumlah_bersih <- nrow(data_bersih)

# Membuat perbandingan jumlah observasi
perbandingan_data <- data.frame(
  Keterangan = c(
    "Jumlah data sebelum penanganan",
    "Jumlah data setelah penanganan",
    "Jumlah data yang dihapus"
  ),
  Jumlah = c(
    jumlah_awal,
    jumlah_bersih,
    jumlah_awal - jumlah_bersih
  )
)

knitr::kable(
  perbandingan_data,
  caption = "Tabel 3. Perbandingan Jumlah Data Sebelum dan Sesudah Penanganan"
)
Tabel 3. Perbandingan Jumlah Data Sebelum dan Sesudah Penanganan
Keterangan Jumlah
Jumlah data sebelum penanganan 322
Jumlah data setelah penanganan 263
Jumlah data yang dihapus 59

Setelah missing value dihapus, data yang telah bersih digunakan untuk tahap pembagian training dan testing. Penghapusan observasi dilakukan agar seluruh variabel yang digunakan dalam pemodelan memiliki nilai yang lengkap.

4.4 Pembagian Data Training dan Testing

Data yang telah bersih selanjutnya dibagi menjadi data training dan testing. Pembagian dilakukan menggunakan fungsi createDataPartition() dari package caret dengan proporsi 70% untuk training dan 30% untuk testing.

# Menentukan seed agar hasil dapat direproduksi
set.seed(12305)

# Membagi data menjadi training dan testing
indeks_train <- createDataPartition(
  data_bersih$Salary,
  p = 0.70,
  list = FALSE
)

# Membentuk data training
data_train <- data_bersih[indeks_train, ]

# Membentuk data testing
data_test <- data_bersih[-indeks_train, ]

# Melihat jumlah data training dan testing
jumlah_train <- nrow(data_train)
jumlah_test <- nrow(data_test)

# Membuat tabel pembagian data
tabel_pembagian <- data.frame(
  Jenis_Data = c("Training", "Testing", "Total"),
  Jumlah_Observasi = c(
    jumlah_train,
    jumlah_test,
    jumlah_train + jumlah_test
  ),
  Persentase = round(
    c(
      jumlah_train,
      jumlah_test,
      jumlah_train + jumlah_test
    ) / nrow(data_bersih) * 100,
    2
  )
)

knitr::kable(
  tabel_pembagian,
  caption = "Tabel 4. Pembagian Data Training dan Testing"
)
Tabel 4. Pembagian Data Training dan Testing
Jenis_Data Jumlah_Observasi Persentase
Training 185 70.34
Testing 78 29.66
Total 263 100.00

Data training digunakan untuk membentuk model Regression Tree, sedangkan data testing digunakan untuk mengukur kemampuan model dalam memprediksi Salary pada data yang tidak digunakan selama proses pelatihan.

4.5 Pembentukan Model Decision Tree Regression

Pembentukan model dilakukan menggunakan fungsi rpart() dengan metode anova karena variabel respons Salary berbentuk numerik. Parameter awal CP ditetapkan sebesar 0,001 agar proses pembentukan pohon memberikan kesempatan untuk menghasilkan beberapa percabangan yang selanjutnya dapat dievaluasi melalui proses pruning.

# Membentuk model Regression Tree
model_tree <- rpart(
  Salary ~ .,
  data = data_train,
  method = "anova",
  control = rpart.control(
    cp = 0.001,
    minsplit = 20,
    minbucket = 7,
    maxdepth = 30,
    xval = 10
  )
)

# Menampilkan ringkasan model
summary(model_tree)
## Call:
## rpart(formula = Salary ~ ., data = data_train, method = "anova", 
##     control = rpart.control(cp = 0.001, minsplit = 20, minbucket = 7, 
##         maxdepth = 30, xval = 10))
##   n= 185 
## 
##             CP nsplit rel error    xerror       xstd
## 1  0.421565911      0 1.0000000 1.0098638 0.16126438
## 2  0.173684476      1 0.5784341 0.6557996 0.11650341
## 3  0.048592521      2 0.4047496 0.5940044 0.09865005
## 4  0.044806359      3 0.3561571 0.5490424 0.09206113
## 5  0.026895410      4 0.3113507 0.5143056 0.08228338
## 6  0.016166974      5 0.2844553 0.4718045 0.07812477
## 7  0.009716879      6 0.2682883 0.4619332 0.07523978
## 8  0.006968373      7 0.2585715 0.4801041 0.07502730
## 9  0.005768880      8 0.2516031 0.4807398 0.07274724
## 10 0.005511081      9 0.2458342 0.4836061 0.07282623
## 11 0.003636901     10 0.2403231 0.4834175 0.07307034
## 12 0.002596038     11 0.2366862 0.4815146 0.07306057
## 13 0.001000000     12 0.2340902 0.4817648 0.07365290
## 
## Variable importance
##   CHits  CAtBat   CRuns    CRBI  CWalks   Years     RBI   HmRun PutOuts   AtBat 
##      14      14      13      13      11       9       6       4       3       2 
##  CHmRun    Runs    Hits Assists   Walks 
##       2       2       2       1       1 
## 
## Node number 1: 185 observations,    complexity param=0.4215659
##   mean=534.2622, MSE=190529.7 
##   left son=2 (77 obs) right son=3 (108 obs)
##   Primary splits:
##       CHits  < 450    to the left,  improve=0.4215659, (0 missing)
##       CAtBat < 1645   to the left,  improve=0.4165314, (0 missing)
##       CRBI   < 307.5  to the left,  improve=0.4150499, (0 missing)
##       CRuns  < 218.5  to the left,  improve=0.4075231, (0 missing)
##       CWalks < 115.5  to the left,  improve=0.3752337, (0 missing)
##   Surrogate splits:
##       CAtBat < 1621.5 to the left,  agree=0.984, adj=0.961, (0 split)
##       CRuns  < 202.5  to the left,  agree=0.962, adj=0.909, (0 split)
##       CRBI   < 180.5  to the left,  agree=0.957, adj=0.896, (0 split)
##       CWalks < 131    to the left,  agree=0.924, adj=0.818, (0 split)
##       Years  < 4.5    to the left,  agree=0.859, adj=0.662, (0 split)
## 
## Node number 2: 77 observations,    complexity param=0.01616697
##   mean=198.6169, MSE=14348.33 
##   left son=4 (50 obs) right son=5 (27 obs)
##   Primary splits:
##       CHits  < 230.5  to the left,  improve=0.5157878, (0 missing)
##       CAtBat < 871    to the left,  improve=0.5026805, (0 missing)
##       CRBI   < 114.5  to the left,  improve=0.4981068, (0 missing)
##       CRuns  < 107    to the left,  improve=0.4933653, (0 missing)
##       CWalks < 117.5  to the left,  improve=0.4790811, (0 missing)
##   Surrogate splits:
##       CAtBat < 929.5  to the left,  agree=0.961, adj=0.889, (0 split)
##       CRuns  < 122    to the left,  agree=0.922, adj=0.778, (0 split)
##       CRBI   < 119.5  to the left,  agree=0.896, adj=0.704, (0 split)
##       CWalks < 102    to the left,  agree=0.857, adj=0.593, (0 split)
##       Years  < 4.5    to the left,  agree=0.766, adj=0.333, (0 split)
## 
## Node number 3: 108 observations,    complexity param=0.1736845
##   mean=773.5649, MSE=178553.9 
##   left son=6 (86 obs) right son=7 (22 obs)
##   Primary splits:
##       RBI     < 80.5   to the left,  improve=0.3174697, (0 missing)
##       PutOuts < 857.5  to the left,  improve=0.2655454, (0 missing)
##       Hits    < 122.5  to the left,  improve=0.2628368, (0 missing)
##       AtBat   < 426.5  to the left,  improve=0.2568924, (0 missing)
##       HmRun   < 23     to the left,  improve=0.2252887, (0 missing)
##   Surrogate splits:
##       HmRun   < 21.5   to the left,  agree=0.926, adj=0.636, (0 split)
##       CHmRun  < 244.5  to the left,  agree=0.843, adj=0.227, (0 split)
##       PutOuts < 965    to the left,  agree=0.824, adj=0.136, (0 split)
##       AtBat   < 635    to the left,  agree=0.815, adj=0.091, (0 split)
##       Walks   < 89.5   to the left,  agree=0.815, adj=0.091, (0 split)
## 
## Node number 4: 50 observations,    complexity param=0.002596038
##   mean=135.4, MSE=3394.97 
##   left son=8 (43 obs) right son=9 (7 obs)
##   Primary splits:
##       CRuns  < 109.5  to the left,  improve=0.5390629, (0 missing)
##       CAtBat < 638.5  to the left,  improve=0.5227457, (0 missing)
##       CHits  < 132    to the left,  improve=0.5177723, (0 missing)
##       CRBI   < 55.5   to the left,  improve=0.5173888, (0 missing)
##       CWalks < 82     to the left,  improve=0.4987846, (0 missing)
##   Surrogate splits:
##       CWalks < 86.5   to the left,  agree=0.92, adj=0.429, (0 split)
##       CHmRun < 41.5   to the left,  agree=0.90, adj=0.286, (0 split)
##       CRBI   < 115.5  to the left,  agree=0.90, adj=0.286, (0 split)
##       Walks  < 66.5   to the left,  agree=0.88, adj=0.143, (0 split)
##       CAtBat < 871    to the left,  agree=0.88, adj=0.143, (0 split)
## 
## Node number 5: 27 observations,    complexity param=0.003636901
##   mean=315.6852, MSE=13526.65 
##   left son=10 (19 obs) right son=11 (8 obs)
##   Primary splits:
##       CAtBat < 1458   to the left,  improve=0.3510038, (0 missing)
##       CWalks < 123    to the left,  improve=0.3371919, (0 missing)
##       Years  < 4.5    to the left,  improve=0.2555804, (0 missing)
##       CHits  < 358    to the left,  improve=0.1941361, (0 missing)
##       Walks  < 43     to the left,  improve=0.1474042, (0 missing)
##   Surrogate splits:
##       CHits  < 358    to the left,  agree=0.926, adj=0.750, (0 split)
##       CRuns  < 188.5  to the left,  agree=0.889, adj=0.625, (0 split)
##       Runs   < 59     to the left,  agree=0.778, adj=0.250, (0 split)
##       Walks  < 43     to the left,  agree=0.778, adj=0.250, (0 split)
##       CWalks < 137    to the left,  agree=0.778, adj=0.250, (0 split)
## 
## Node number 6: 86 observations,    complexity param=0.04859252
##   mean=653.1451, MSE=84805.25 
##   left son=12 (44 obs) right son=13 (42 obs)
##   Primary splits:
##       AtBat < 426.5  to the left,  improve=0.2348457, (0 missing)
##       Hits  < 103.5  to the left,  improve=0.2123952, (0 missing)
##       Runs  < 37.5   to the left,  improve=0.1523413, (0 missing)
##       RBI   < 51.5   to the left,  improve=0.1260569, (0 missing)
##       Walks < 66.5   to the left,  improve=0.1229390, (0 missing)
##   Surrogate splits:
##       Hits    < 111    to the left,  agree=0.953, adj=0.905, (0 split)
##       Runs    < 55     to the left,  agree=0.872, adj=0.738, (0 split)
##       RBI     < 47.5   to the left,  agree=0.779, adj=0.548, (0 split)
##       Walks   < 30.5   to the left,  agree=0.709, adj=0.405, (0 split)
##       PutOuts < 229.5  to the left,  agree=0.709, adj=0.405, (0 split)
## 
## Node number 7: 22 observations,    complexity param=0.04480636
##   mean=1244.297, MSE=266751.7 
##   left son=14 (15 obs) right son=15 (7 obs)
##   Primary splits:
##       PutOuts < 588    to the left,  improve=0.2691188, (0 missing)
##       Walks   < 52.5   to the left,  improve=0.2314087, (0 missing)
##       CRuns   < 788    to the left,  improve=0.1820575, (0 missing)
##       CHmRun  < 256.5  to the left,  improve=0.1421759, (0 missing)
##       Hits    < 140.5  to the left,  improve=0.1410718, (0 missing)
##   Surrogate splits:
##       Assists < 36.5   to the left,  agree=0.864, adj=0.571, (0 split)
##       Runs    < 64     to the right, agree=0.773, adj=0.286, (0 split)
##       Years   < 17.5   to the left,  agree=0.773, adj=0.286, (0 split)
##       CAtBat  < 7653.5 to the left,  agree=0.773, adj=0.286, (0 split)
##       AtBat   < 509.5  to the right, agree=0.727, adj=0.143, (0 split)
## 
## Node number 8: 43 observations
##   mean=118.1395, MSE=1410.353 
## 
## Node number 9: 7 observations
##   mean=241.4286, MSE=2514.031 
## 
## Node number 10: 19 observations
##   mean=270.9737, MSE=6119.96 
## 
## Node number 11: 8 observations
##   mean=421.875, MSE=15093.36 
## 
## Node number 12: 44 observations,    complexity param=0.006968373
##   mean=515.2652, MSE=46522.49 
##   left son=24 (19 obs) right son=25 (25 obs)
##   Primary splits:
##       League  splits as  LR,         improve=0.11999140, (0 missing)
##       Walks   < 21     to the left,  improve=0.11045900, (0 missing)
##       AtBat   < 369    to the left,  improve=0.09975250, (0 missing)
##       PutOuts < 215.5  to the left,  improve=0.09730479, (0 missing)
##       Hits    < 103.5  to the left,  improve=0.08944425, (0 missing)
##   Surrogate splits:
##       NewLeague splits as  LR,         agree=0.932, adj=0.842, (0 split)
##       Errors    < 2.5    to the left,  agree=0.727, adj=0.368, (0 split)
##       HmRun     < 7.5    to the right, agree=0.636, adj=0.158, (0 split)
##       CHmRun    < 71     to the right, agree=0.636, adj=0.158, (0 split)
##       PutOuts   < 20.5   to the left,  agree=0.636, adj=0.158, (0 split)
## 
## Node number 13: 42 observations,    complexity param=0.02689541
##   mean=797.5907, MSE=84130.32 
##   left son=26 (30 obs) right son=27 (12 obs)
##   Primary splits:
##       CHmRun  < 95     to the left,  improve=0.2682938, (0 missing)
##       CRuns   < 845    to the left,  improve=0.2163783, (0 missing)
##       CRBI    < 318.5  to the left,  improve=0.1963459, (0 missing)
##       Assists < 417.5  to the right, improve=0.1961414, (0 missing)
##       CWalks  < 588    to the left,  improve=0.1820037, (0 missing)
##   Surrogate splits:
##       CAtBat < 5609   to the left,  agree=0.857, adj=0.500, (0 split)
##       CRuns  < 801.5  to the left,  agree=0.857, adj=0.500, (0 split)
##       CRBI   < 542.5  to the left,  agree=0.857, adj=0.500, (0 split)
##       HmRun  < 17.5   to the left,  agree=0.833, adj=0.417, (0 split)
##       CHits  < 1543   to the left,  agree=0.833, adj=0.417, (0 split)
## 
## Node number 14: 15 observations
##   mean=1061.264, MSE=135432.6 
## 
## Node number 15: 7 observations
##   mean=1636.51, MSE=322530.8 
## 
## Node number 24: 19 observations
##   mean=429.5614, MSE=24316.4 
## 
## Node number 25: 25 observations,    complexity param=0.005511081
##   mean=580.4, MSE=53574.27 
##   left son=50 (7 obs) right son=51 (18 obs)
##   Primary splits:
##       Assists < 172    to the right, improve=0.14503570, (0 missing)
##       HmRun   < 7.5    to the left,  improve=0.12056930, (0 missing)
##       AtBat   < 369    to the left,  improve=0.09852724, (0 missing)
##       Years   < 7.5    to the right, improve=0.08456295, (0 missing)
##       CRuns   < 440    to the left,  improve=0.07166384, (0 missing)
##   Surrogate splits:
##       Errors < 12.5   to the right, agree=0.76, adj=0.143, (0 split)
## 
## Node number 26: 30 observations,    complexity param=0.009716879
##   mean=702.5714, MSE=48245.03 
##   left son=52 (10 obs) right son=53 (20 obs)
##   Primary splits:
##       Runs    < 81.5   to the right, improve=0.2366396, (0 missing)
##       Assists < 417.5  to the right, improve=0.2173243, (0 missing)
##       RBI     < 55.5   to the right, improve=0.2170368, (0 missing)
##       CRBI    < 284.5  to the left,  improve=0.1800900, (0 missing)
##       HmRun   < 15     to the right, improve=0.1610210, (0 missing)
##   Surrogate splits:
##       CRBI    < 240.5  to the left,  agree=0.900, adj=0.7, (0 split)
##       AtBat   < 538    to the right, agree=0.833, adj=0.5, (0 split)
##       Hits    < 149.5  to the right, agree=0.833, adj=0.5, (0 split)
##       Assists < 417.5  to the right, agree=0.800, adj=0.4, (0 split)
##       HmRun   < 13.5   to the right, agree=0.767, adj=0.3, (0 split)
## 
## Node number 27: 12 observations
##   mean=1035.139, MSE=94842.8 
## 
## Node number 50: 7 observations
##   mean=439.0477, MSE=28247.49 
## 
## Node number 51: 18 observations
##   mean=635.3703, MSE=52631.65 
## 
## Node number 52: 10 observations
##   mean=551.4643, MSE=33053.94 
## 
## Node number 53: 20 observations,    complexity param=0.00576888
##   mean=778.125, MSE=38715.55 
##   left son=106 (7 obs) right son=107 (13 obs)
##   Primary splits:
##       HmRun  < 10.5   to the right, improve=0.2626095, (0 missing)
##       CRBI   < 338    to the left,  improve=0.2013147, (0 missing)
##       Years  < 6.5    to the left,  improve=0.1626004, (0 missing)
##       CAtBat < 2787.5 to the left,  improve=0.1583321, (0 missing)
##       CHits  < 813.5  to the left,  improve=0.1583321, (0 missing)
##   Surrogate splits:
##       CHmRun  < 62     to the right, agree=0.90, adj=0.714, (0 split)
##       RBI     < 61.5   to the right, agree=0.85, adj=0.571, (0 split)
##       Assists < 82.5   to the left,  agree=0.80, adj=0.429, (0 split)
##       AtBat   < 491.5  to the left,  agree=0.75, adj=0.286, (0 split)
##       Hits    < 119.5  to the left,  agree=0.75, adj=0.286, (0 split)
## 
## Node number 106: 7 observations
##   mean=640.7143, MSE=19267.35 
## 
## Node number 107: 13 observations
##   mean=852.1154, MSE=33546.01
# Menampilkan struktur pohon
print(model_tree)
## n= 185 
## 
## node), split, n, deviance, yval
##       * denotes terminal node
## 
##   1) root 185 35247990.00  534.2622  
##     2) CHits< 450 77  1104821.00  198.6169  
##       4) CHits< 230.5 50   169748.50  135.4000  
##         8) CRuns< 109.5 43    60645.16  118.1395 *
##         9) CRuns>=109.5 7    17598.21  241.4286 *
##       5) CHits>=230.5 27   365219.60  315.6852  
##        10) CAtBat< 1458 19   116279.20  270.9737 *
##        11) CAtBat>=1458 8   120746.90  421.8750 *
##     3) CHits>=450 108 19283820.00  773.5649  
##       6) RBI< 80.5 86  7293252.00  653.1451  
##        12) AtBat< 426.5 44  2046989.00  515.2652  
##          24) League=A 19   462011.60  429.5614 *
##          25) League=N 25  1339357.00  580.4000  
##            50) Assists>=172 7   197732.40  439.0477 *
##            51) Assists< 172 18   947369.60  635.3703 *
##        13) AtBat>=426.5 42  3533474.00  797.5907  
##          26) CHmRun< 95 30  1447351.00  702.5714  
##            52) Runs>=81.5 10   330539.40  551.4643 *
##            53) Runs< 81.5 20   774310.90  778.1250  
##             106) HmRun>=10.5 7   134871.40  640.7143 *
##             107) HmRun< 10.5 13   436098.10  852.1154 *
##          27) CHmRun>=95 12  1138114.00 1035.1390 *
##       7) RBI>=80.5 22  5868538.00 1244.2970  
##        14) PutOuts< 588 15  2031489.00 1061.2640 *
##        15) PutOuts>=588 7  2257716.00 1636.5100 *

Model Regression Tree dibangun dengan menggunakan seluruh variabel prediktor untuk memprediksi Salary. Metode anova digunakan karena target yang diprediksi merupakan variabel numerik. Hasil pembentukan model selanjutnya divisualisasikan untuk melihat aturan pemisahan dan nilai prediksi pada setiap terminal node.

4.6 Visualisasi Decision Tree

Visualisasi pohon dilakukan menggunakan fungsi rpart.plot(). Visualisasi ini menampilkan variabel yang digunakan untuk pemisahan, aturan pemisahan, serta nilai prediksi pada setiap simpul.

# Visualisasi model Regression Tree
rpart.plot(
  model_tree,
  type = 3,
  extra = 101,
  fallen.leaves = TRUE,
  box.palette = "Blues",
  shadow.col = "gray",
  nn = TRUE,
  main = "Decision Tree Regression Sebelum Pruning"
)

Berdasarkan visualisasi tersebut, dapat diamati bagaimana model membagi data berdasarkan variabel prediktor tertentu. Setiap percabangan menunjukkan aturan pemisahan, sedangkan simpul terminal menunjukkan nilai prediksi Salary untuk kelompok observasi yang bersangkutan.

4.7 Analisis Variable Importance

Variable importance digunakan untuk mengetahui variabel prediktor yang memberikan kontribusi paling besar dalam pembentukan model Regression Tree. Nilai importance diperoleh dari komponen variable.importance pada objek model.

# Mengambil nilai variable importance
importance_tree <- model_tree$variable.importance

# Memeriksa ketersediaan variable importance
if (is.null(importance_tree)) {
  stop("Variable importance tidak tersedia pada model.")
}

# Mengurutkan importance dari terbesar
importance_tree <- sort(
  importance_tree,
  decreasing = TRUE
)

# Membuat tabel variable importance
tabel_importance <- data.frame(
  Variabel = names(importance_tree),
  Importance = as.numeric(importance_tree)
)

knitr::kable(
  tabel_importance,
  digits = 4,
  caption = "Tabel 5. Variable Importance Model Regression Tree"
)
Tabel 5. Variable Importance Model Regression Tree
Variabel Importance
CHits 15920354.7
CAtBat 15853461.5
CRuns 14597352.1
CRBI 14456430.8
CWalks 12566607.7
Years 10483098.2
RBI 7176180.1
HmRun 4635714.5
PutOuts 3146210.4
AtBat 2724303.9
CHmRun 2549550.0
Runs 2089988.5
Hits 1779013.9
Assists 1320877.8
Walks 1294940.3
League 245621.2
NewLeague 206838.9
Errors 118242.7
# Membuat data untuk visualisasi
data_importance <- data.frame(
  Variabel = names(importance_tree),
  Importance = as.numeric(importance_tree)
)

# Mengurutkan variabel berdasarkan importance
data_importance$Variabel <- factor(
  data_importance$Variabel,
  levels = data_importance$Variabel[
    order(data_importance$Importance)
  ]
)

# Visualisasi variable importance
ggplot(
  data_importance,
  aes(x = Variabel, y = Importance)
) +
  geom_col(fill = "#2878B5") +
  coord_flip() +
  labs(
    title = "Variable Importance Regression Tree",
    x = "Variabel Prediktor",
    y = "Nilai Importance"
  ) +
  theme_minimal() +
  theme(
    plot.title = element_text(
      face = "bold",
      hjust = 0.5
    )
  )

Variabel dengan nilai importance tertinggi merupakan variabel yang memberikan kontribusi paling besar dalam proses pembentukan pohon. Hasil ini dapat digunakan untuk mengetahui karakteristik pemain yang paling berperan dalam prediksi Salary berdasarkan model yang terbentuk.

# Menentukan variabel dengan importance tertinggi
variabel_terpenting <- names(importance_tree)[1]
nilai_terpenting <- as.numeric(importance_tree[1])

cat(
  "Berdasarkan hasil analisis variable importance, variabel yang memiliki tingkat kepentingan tertinggi adalah **",
  variabel_terpenting,
  "** dengan nilai importance sebesar **",
  round(nilai_terpenting, 4),
  "**. Variabel tersebut memberikan kontribusi paling besar dalam pembentukan model Regression Tree.",
  sep = ""
)

Berdasarkan hasil analisis variable importance, variabel yang memiliki tingkat kepentingan tertinggi adalah CHits dengan nilai importance sebesar 15920355. Variabel tersebut memberikan kontribusi paling besar dalam pembentukan model Regression Tree.

4.8 Prediksi Model Sebelum Pruning

Setelah model terbentuk, dilakukan prediksi terhadap data testing. Prediksi dilakukan menggunakan fungsi predict() dengan model Regression Tree yang telah dibangun.

# Melakukan prediksi pada data testing
prediksi_awal <- predict(
  model_tree,
  newdata = data_test
)

# Membuat tabel hasil prediksi
hasil_prediksi_awal <- data.frame(
  Aktual = data_test$Salary,
  Prediksi = as.numeric(prediksi_awal),
  Residual = data_test$Salary - as.numeric(prediksi_awal)
)

# Menampilkan beberapa hasil prediksi
head(hasil_prediksi_awal, 10)
knitr::kable(
  head(hasil_prediksi_awal, 10),
  digits = 3,
  caption = "Tabel 6. Hasil Prediksi Salary Sebelum Pruning"
)
Tabel 6. Hasil Prediksi Salary Sebelum Pruning
Aktual Prediksi Residual
1100.000 429.561 670.439
512.500 635.370 -122.870
550.000 421.875 128.125
700.000 429.561 270.439
776.667 1636.510 -859.843
180.000 118.140 61.860
1350.000 1061.264 288.736
90.000 118.140 -28.140
275.000 635.370 -360.370
230.000 270.974 -40.974

4.9 Evaluasi Model Sebelum Pruning

Evaluasi model sebelum pruning dilakukan menggunakan Mean Squared Error (MSE). Nilai MSE dihitung berdasarkan selisih antara nilai Salary aktual dan nilai prediksi pada data testing.

# Menghitung MSE sebelum pruning
mse_awal <- mean(
  (data_test$Salary - prediksi_awal)^2
)

# Menghitung RMSE sebelum pruning
rmse_awal <- sqrt(mse_awal)

# Menghitung MAE sebelum pruning
mae_awal <- mean(
  abs(data_test$Salary - prediksi_awal)
)

# Menghitung R-squared pada data testing
r2_awal <- 1 - sum(
  (data_test$Salary - prediksi_awal)^2
) / sum(
  (data_test$Salary - mean(data_test$Salary))^2
)

# Membuat tabel evaluasi awal
evaluasi_awal <- data.frame(
  Metrik = c("MSE", "RMSE", "MAE", "R-Squared"),
  Nilai = c(
    mse_awal,
    rmse_awal,
    mae_awal,
    r2_awal
  )
)

knitr::kable(
  evaluasi_awal,
  digits = 4,
  caption = "Tabel 7. Evaluasi Model Sebelum Pruning"
)
Tabel 7. Evaluasi Model Sebelum Pruning
Metrik Nilai
MSE 175901.7239
RMSE 419.4064
MAE 244.8342
R-Squared 0.2407

Nilai MSE menunjukkan besarnya rata-rata kuadrat kesalahan prediksi pada data testing. Semakin kecil nilai MSE, semakin baik kemampuan model dalam memprediksi Salary. Nilai ini akan dibandingkan dengan MSE setelah dilakukan pruning.

4.10 Menentukan Complexity Parameter (CP) Terbaik

Complexity Parameter digunakan untuk mengendalikan tingkat kompleksitas pohon. Penentuan CP terbaik dilakukan berdasarkan nilai xerror terkecil pada tabel kompleksitas yang dihasilkan oleh model rpart.

# Mengambil tabel kompleksitas model
tabel_cp <- as.data.frame(
  model_tree$cptable
)

# Menampilkan tabel CP
knitr::kable(
  tabel_cp,
  digits = 5,
  caption = "Tabel 8. Complexity Parameter Model Regression Tree"
)
Tabel 8. Complexity Parameter Model Regression Tree
CP nsplit rel error xerror xstd
0.42157 0 1.00000 1.00986 0.16126
0.17368 1 0.57843 0.65580 0.11650
0.04859 2 0.40475 0.59400 0.09865
0.04481 3 0.35616 0.54904 0.09206
0.02690 4 0.31135 0.51431 0.08228
0.01617 5 0.28446 0.47180 0.07812
0.00972 6 0.26829 0.46193 0.07524
0.00697 7 0.25857 0.48010 0.07503
0.00577 8 0.25160 0.48074 0.07275
0.00551 9 0.24583 0.48361 0.07283
0.00364 10 0.24032 0.48342 0.07307
0.00260 11 0.23669 0.48151 0.07306
0.00100 12 0.23409 0.48176 0.07365
# Menentukan baris dengan xerror terkecil
indeks_cp_terbaik <- which.min(
  tabel_cp$xerror
)

# Mengambil nilai CP terbaik
cp_terbaik <- tabel_cp$CP[
  indeks_cp_terbaik
]

# Mengambil jumlah split pada CP terbaik
jumlah_split_terbaik <- tabel_cp$nsplit[
  indeks_cp_terbaik
]

cat(
  "CP terbaik:",
  cp_terbaik,
  "\nJumlah split pada CP terbaik:",
  jumlah_split_terbaik
)
## CP terbaik: 0.009716879 
## Jumlah split pada CP terbaik: 6

CP terbaik dipilih berdasarkan nilai cross-validation error atau xerror terkecil. Nilai CP tersebut digunakan untuk menentukan tingkat kompleksitas pohon yang dipertahankan setelah proses pruning.

4.11 Visualisasi CP dan Cross-Validation Error

Visualisasi dilakukan untuk melihat hubungan antara nilai CP dan kesalahan cross-validation. Grafik ini membantu mengidentifikasi tingkat kompleksitas pohon yang memberikan kesalahan validasi paling kecil.

# Membuat data CP untuk visualisasi
data_cp <- tabel_cp

# Mengurutkan data berdasarkan CP
data_cp <- data_cp[
  order(data_cp$CP),
]

# Membuat grafik CP dan xerror
ggplot(
  data_cp,
  aes(x = CP, y = xerror)
) +
  geom_line(color = "#2878B5", linewidth = 1) +
  geom_point(
    color = "#D9534F",
    size = 3
  ) +
  geom_point(
    data = tabel_cp[indeks_cp_terbaik, ],
    aes(x = CP, y = xerror),
    color = "darkgreen",
    size = 4
  ) +
  scale_x_log10() +
  labs(
    title = "Hubungan Complexity Parameter dan Cross-Validation Error",
    x = "Complexity Parameter (CP)",
    y = "Cross-Validation Error (xerror)"
  ) +
  theme_minimal() +
  theme(
    plot.title = element_text(
      face = "bold",
      hjust = 0.5
    )
  )

Titik dengan nilai xerror terkecil menunjukkan CP terbaik berdasarkan hasil cross-validation. CP tersebut digunakan sebagai dasar pemangkasan pohon agar kompleksitas model dapat dikurangi.

4.12 Proses Pruning

Pruning dilakukan menggunakan fungsi prune() dengan memasukkan nilai CP terbaik yang telah diperoleh. Proses ini bertujuan untuk mengurangi cabang pohon yang tidak diperlukan sehingga model menjadi lebih sederhana.

# Melakukan pruning menggunakan CP terbaik
model_pruned <- prune(
  model_tree,
  cp = cp_terbaik
)

# Menampilkan ringkasan model setelah pruning
summary(model_pruned)
## Call:
## rpart(formula = Salary ~ ., data = data_train, method = "anova", 
##     control = rpart.control(cp = 0.001, minsplit = 20, minbucket = 7, 
##         maxdepth = 30, xval = 10))
##   n= 185 
## 
##            CP nsplit rel error    xerror       xstd
## 1 0.421565911      0 1.0000000 1.0098638 0.16126438
## 2 0.173684476      1 0.5784341 0.6557996 0.11650341
## 3 0.048592521      2 0.4047496 0.5940044 0.09865005
## 4 0.044806359      3 0.3561571 0.5490424 0.09206113
## 5 0.026895410      4 0.3113507 0.5143056 0.08228338
## 6 0.016166974      5 0.2844553 0.4718045 0.07812477
## 7 0.009716879      6 0.2682883 0.4619332 0.07523978
## 
## Variable importance
##   CHits  CAtBat   CRuns    CRBI  CWalks   Years     RBI   HmRun PutOuts   AtBat 
##      15      15      13      13      12      10       7       4       3       2 
##  CHmRun    Runs    Hits   Walks Assists 
##       2       2       1       1       1 
## 
## Node number 1: 185 observations,    complexity param=0.4215659
##   mean=534.2622, MSE=190529.7 
##   left son=2 (77 obs) right son=3 (108 obs)
##   Primary splits:
##       CHits  < 450    to the left,  improve=0.4215659, (0 missing)
##       CAtBat < 1645   to the left,  improve=0.4165314, (0 missing)
##       CRBI   < 307.5  to the left,  improve=0.4150499, (0 missing)
##       CRuns  < 218.5  to the left,  improve=0.4075231, (0 missing)
##       CWalks < 115.5  to the left,  improve=0.3752337, (0 missing)
##   Surrogate splits:
##       CAtBat < 1621.5 to the left,  agree=0.984, adj=0.961, (0 split)
##       CRuns  < 202.5  to the left,  agree=0.962, adj=0.909, (0 split)
##       CRBI   < 180.5  to the left,  agree=0.957, adj=0.896, (0 split)
##       CWalks < 131    to the left,  agree=0.924, adj=0.818, (0 split)
##       Years  < 4.5    to the left,  agree=0.859, adj=0.662, (0 split)
## 
## Node number 2: 77 observations,    complexity param=0.01616697
##   mean=198.6169, MSE=14348.33 
##   left son=4 (50 obs) right son=5 (27 obs)
##   Primary splits:
##       CHits  < 230.5  to the left,  improve=0.5157878, (0 missing)
##       CAtBat < 871    to the left,  improve=0.5026805, (0 missing)
##       CRBI   < 114.5  to the left,  improve=0.4981068, (0 missing)
##       CRuns  < 107    to the left,  improve=0.4933653, (0 missing)
##       CWalks < 117.5  to the left,  improve=0.4790811, (0 missing)
##   Surrogate splits:
##       CAtBat < 929.5  to the left,  agree=0.961, adj=0.889, (0 split)
##       CRuns  < 122    to the left,  agree=0.922, adj=0.778, (0 split)
##       CRBI   < 119.5  to the left,  agree=0.896, adj=0.704, (0 split)
##       CWalks < 102    to the left,  agree=0.857, adj=0.593, (0 split)
##       Years  < 4.5    to the left,  agree=0.766, adj=0.333, (0 split)
## 
## Node number 3: 108 observations,    complexity param=0.1736845
##   mean=773.5649, MSE=178553.9 
##   left son=6 (86 obs) right son=7 (22 obs)
##   Primary splits:
##       RBI     < 80.5   to the left,  improve=0.3174697, (0 missing)
##       PutOuts < 857.5  to the left,  improve=0.2655454, (0 missing)
##       Hits    < 122.5  to the left,  improve=0.2628368, (0 missing)
##       AtBat   < 426.5  to the left,  improve=0.2568924, (0 missing)
##       HmRun   < 23     to the left,  improve=0.2252887, (0 missing)
##   Surrogate splits:
##       HmRun   < 21.5   to the left,  agree=0.926, adj=0.636, (0 split)
##       CHmRun  < 244.5  to the left,  agree=0.843, adj=0.227, (0 split)
##       PutOuts < 965    to the left,  agree=0.824, adj=0.136, (0 split)
##       AtBat   < 635    to the left,  agree=0.815, adj=0.091, (0 split)
##       Walks   < 89.5   to the left,  agree=0.815, adj=0.091, (0 split)
## 
## Node number 4: 50 observations
##   mean=135.4, MSE=3394.97 
## 
## Node number 5: 27 observations
##   mean=315.6852, MSE=13526.65 
## 
## Node number 6: 86 observations,    complexity param=0.04859252
##   mean=653.1451, MSE=84805.25 
##   left son=12 (44 obs) right son=13 (42 obs)
##   Primary splits:
##       AtBat < 426.5  to the left,  improve=0.2348457, (0 missing)
##       Hits  < 103.5  to the left,  improve=0.2123952, (0 missing)
##       Runs  < 37.5   to the left,  improve=0.1523413, (0 missing)
##       RBI   < 51.5   to the left,  improve=0.1260569, (0 missing)
##       Walks < 66.5   to the left,  improve=0.1229390, (0 missing)
##   Surrogate splits:
##       Hits    < 111    to the left,  agree=0.953, adj=0.905, (0 split)
##       Runs    < 55     to the left,  agree=0.872, adj=0.738, (0 split)
##       RBI     < 47.5   to the left,  agree=0.779, adj=0.548, (0 split)
##       Walks   < 30.5   to the left,  agree=0.709, adj=0.405, (0 split)
##       PutOuts < 229.5  to the left,  agree=0.709, adj=0.405, (0 split)
## 
## Node number 7: 22 observations,    complexity param=0.04480636
##   mean=1244.297, MSE=266751.7 
##   left son=14 (15 obs) right son=15 (7 obs)
##   Primary splits:
##       PutOuts < 588    to the left,  improve=0.2691188, (0 missing)
##       Walks   < 52.5   to the left,  improve=0.2314087, (0 missing)
##       CRuns   < 788    to the left,  improve=0.1820575, (0 missing)
##       CHmRun  < 256.5  to the left,  improve=0.1421759, (0 missing)
##       Hits    < 140.5  to the left,  improve=0.1410718, (0 missing)
##   Surrogate splits:
##       Assists < 36.5   to the left,  agree=0.864, adj=0.571, (0 split)
##       Runs    < 64     to the right, agree=0.773, adj=0.286, (0 split)
##       Years   < 17.5   to the left,  agree=0.773, adj=0.286, (0 split)
##       CAtBat  < 7653.5 to the left,  agree=0.773, adj=0.286, (0 split)
##       AtBat   < 509.5  to the right, agree=0.727, adj=0.143, (0 split)
## 
## Node number 12: 44 observations
##   mean=515.2652, MSE=46522.49 
## 
## Node number 13: 42 observations,    complexity param=0.02689541
##   mean=797.5907, MSE=84130.32 
##   left son=26 (30 obs) right son=27 (12 obs)
##   Primary splits:
##       CHmRun  < 95     to the left,  improve=0.2682938, (0 missing)
##       CRuns   < 845    to the left,  improve=0.2163783, (0 missing)
##       CRBI    < 318.5  to the left,  improve=0.1963459, (0 missing)
##       Assists < 417.5  to the right, improve=0.1961414, (0 missing)
##       CWalks  < 588    to the left,  improve=0.1820037, (0 missing)
##   Surrogate splits:
##       CAtBat < 5609   to the left,  agree=0.857, adj=0.500, (0 split)
##       CRuns  < 801.5  to the left,  agree=0.857, adj=0.500, (0 split)
##       CRBI   < 542.5  to the left,  agree=0.857, adj=0.500, (0 split)
##       HmRun  < 17.5   to the left,  agree=0.833, adj=0.417, (0 split)
##       CHits  < 1543   to the left,  agree=0.833, adj=0.417, (0 split)
## 
## Node number 14: 15 observations
##   mean=1061.264, MSE=135432.6 
## 
## Node number 15: 7 observations
##   mean=1636.51, MSE=322530.8 
## 
## Node number 26: 30 observations
##   mean=702.5714, MSE=48245.03 
## 
## Node number 27: 12 observations
##   mean=1035.139, MSE=94842.8
# Menampilkan struktur pohon setelah pruning
print(model_pruned)
## n= 185 
## 
## node), split, n, deviance, yval
##       * denotes terminal node
## 
##  1) root 185 35247990.0  534.2622  
##    2) CHits< 450 77  1104821.0  198.6169  
##      4) CHits< 230.5 50   169748.5  135.4000 *
##      5) CHits>=230.5 27   365219.6  315.6852 *
##    3) CHits>=450 108 19283820.0  773.5649  
##      6) RBI< 80.5 86  7293252.0  653.1451  
##       12) AtBat< 426.5 44  2046989.0  515.2652 *
##       13) AtBat>=426.5 42  3533474.0  797.5907  
##         26) CHmRun< 95 30  1447351.0  702.5714 *
##         27) CHmRun>=95 12  1138114.0 1035.1390 *
##      7) RBI>=80.5 22  5868538.0 1244.2970  
##       14) PutOuts< 588 15  2031489.0 1061.2640 *
##       15) PutOuts>=588 7  2257716.0 1636.5100 *

4.13 Visualisasi Tree Setelah Pruning

Setelah proses pruning, model divisualisasikan kembali untuk melihat perubahan struktur pohon. Perbandingan visualisasi sebelum dan sesudah pruning dapat menunjukkan apakah jumlah percabangan berhasil dikurangi.

# Visualisasi pohon setelah pruning
rpart.plot(
  model_pruned,
  type = 3,
  extra = 101,
  fallen.leaves = TRUE,
  box.palette = "Greens",
  shadow.col = "gray",
  nn = TRUE,
  main = "Decision Tree Regression Setelah Pruning"
)

Hasil visualisasi setelah pruning menunjukkan struktur pohon yang telah disederhanakan berdasarkan CP terbaik. Penyederhanaan pohon diharapkan dapat mengurangi kompleksitas model tanpa menghilangkan kemampuan prediksi secara berlebihan.

4.14 Prediksi Model Setelah Pruning

Model yang telah dipangkas selanjutnya digunakan untuk memprediksi Salary pada data testing yang sama. Penggunaan data testing yang sama bertujuan agar hasil evaluasi sebelum dan sesudah pruning dapat dibandingkan secara adil.

# Melakukan prediksi menggunakan model setelah pruning
prediksi_pruned <- predict(
  model_pruned,
  newdata = data_test
)

# Membuat tabel hasil prediksi setelah pruning
hasil_prediksi_pruned <- data.frame(
  Aktual = data_test$Salary,
  Prediksi = as.numeric(prediksi_pruned),
  Residual = data_test$Salary - as.numeric(prediksi_pruned)
)

# Menampilkan sepuluh hasil prediksi pertama
knitr::kable(
  head(hasil_prediksi_pruned, 10),
  digits = 3,
  caption = "Tabel 9. Hasil Prediksi Salary Setelah Pruning"
)
Tabel 9. Hasil Prediksi Salary Setelah Pruning
Aktual Prediksi Residual
1100.000 515.265 584.735
512.500 515.265 -2.765
550.000 315.685 234.315
700.000 515.265 184.735
776.667 1636.510 -859.843
180.000 135.400 44.600
1350.000 1061.264 288.736
90.000 135.400 -45.400
275.000 515.265 -240.265
230.000 315.685 -85.685

4.15 Evaluasi Model Setelah Pruning

Evaluasi model setelah pruning dilakukan menggunakan MSE, RMSE, MAE, dan R-squared. Hasil evaluasi digunakan untuk mengetahui kemampuan model setelah kompleksitas pohon dikurangi.

# Menghitung MSE setelah pruning
mse_pruned <- mean(
  (data_test$Salary - prediksi_pruned)^2
)

# Menghitung RMSE setelah pruning
rmse_pruned <- sqrt(mse_pruned)

# Menghitung MAE setelah pruning
mae_pruned <- mean(
  abs(data_test$Salary - prediksi_pruned)
)

# Menghitung R-squared setelah pruning
r2_pruned <- 1 - sum(
  (data_test$Salary - prediksi_pruned)^2
) / sum(
  (data_test$Salary - mean(data_test$Salary))^2
)

# Membuat tabel evaluasi setelah pruning
evaluasi_pruned <- data.frame(
  Metrik = c("MSE", "RMSE", "MAE", "R-Squared"),
  Nilai = c(
    mse_pruned,
    rmse_pruned,
    mae_pruned,
    r2_pruned
  )
)

knitr::kable(
  evaluasi_pruned,
  digits = 4,
  caption = "Tabel 10. Evaluasi Model Setelah Pruning"
)
Tabel 10. Evaluasi Model Setelah Pruning
Metrik Nilai
MSE 171114.2063
RMSE 413.6595
MAE 237.0887
R-Squared 0.2614

4.16 Perbandingan Model Sebelum dan Sesudah Pruning

Perbandingan dilakukan untuk mengetahui perubahan kemampuan prediksi model setelah proses pruning. Perbandingan utama menggunakan nilai MSE pada data testing.

# Membuat tabel perbandingan evaluasi
perbandingan_model <- data.frame(
  Model = c(
    "Sebelum Pruning",
    "Setelah Pruning"
  ),
  MSE = c(
    mse_awal,
    mse_pruned
  ),
  RMSE = c(
    rmse_awal,
    rmse_pruned
  ),
  MAE = c(
    mae_awal,
    mae_pruned
  ),
  R_Squared = c(
    r2_awal,
    r2_pruned
  )
)

knitr::kable(
  perbandingan_model,
  digits = 4,
  caption = "Tabel 11. Perbandingan Evaluasi Sebelum dan Sesudah Pruning"
)
Tabel 11. Perbandingan Evaluasi Sebelum dan Sesudah Pruning
Model MSE RMSE MAE R_Squared
Sebelum Pruning 175901.7 419.4064 244.8342 0.2407
Setelah Pruning 171114.2 413.6595 237.0887 0.2614
# Mengubah tabel perbandingan menjadi format panjang
data_mse <- data.frame(
  Model = c(
    "Sebelum Pruning",
    "Setelah Pruning"
  ),
  MSE = c(
    mse_awal,
    mse_pruned
  )
)

# Membuat grafik perbandingan MSE
ggplot(
  data_mse,
  aes(x = Model, y = MSE, fill = Model)
) +
  geom_col(width = 0.6) +
  geom_text(
    aes(label = round(MSE, 2)),
    vjust = -0.5,
    size = 4
  ) +
  labs(
    title = "Perbandingan MSE Sebelum dan Sesudah Pruning",
    x = "Model",
    y = "Mean Squared Error"
  ) +
  theme_minimal() +
  theme(
    legend.position = "none",
    plot.title = element_text(
      face = "bold",
      hjust = 0.5
    )
  )

Interpretasi perbandingan model dilakukan dengan melihat nilai MSE. Model dengan MSE yang lebih kecil menunjukkan kesalahan prediksi yang lebih rendah pada data testing. Pruning tidak selalu menghasilkan MSE yang lebih kecil karena pengurangan kompleksitas pohon dapat mengubah kemampuan model dalam menangkap pola data.

# Membandingkan MSE sebelum dan sesudah pruning
if (mse_pruned < mse_awal) {

  cat(
    "Berdasarkan hasil evaluasi, model setelah pruning memiliki nilai MSE yang lebih kecil dibandingkan model sebelum pruning. Hal ini menunjukkan bahwa proses pruning menghasilkan peningkatan kemampuan prediksi pada data testing."
  )

} else if (mse_pruned > mse_awal) {

  cat(
    "Berdasarkan hasil evaluasi, model sebelum pruning memiliki nilai MSE yang lebih kecil dibandingkan model setelah pruning. Hal ini menunjukkan bahwa pemangkasan pohon belum memberikan peningkatan kemampuan prediksi pada data testing, meskipun kompleksitas model menjadi lebih sederhana."
  )

} else {

  cat(
    "Berdasarkan hasil evaluasi, model sebelum dan sesudah pruning memiliki nilai MSE yang sama. Dengan demikian, proses pruning tidak mengubah kesalahan prediksi pada data testing."
  )
}

Berdasarkan hasil evaluasi, model setelah pruning memiliki nilai MSE yang lebih kecil dibandingkan model sebelum pruning. Hal ini menunjukkan bahwa proses pruning menghasilkan peningkatan kemampuan prediksi pada data testing.

4.17 Visualisasi Aktual dan Prediksi

Visualisasi nilai aktual dan prediksi dilakukan untuk melihat kedekatan hasil prediksi model terhadap nilai Salary sebenarnya. Grafik dibuat untuk membandingkan model sebelum dan sesudah pruning.

# Menyiapkan data aktual dan prediksi
data_plot <- data.frame(
  Aktual = rep(
    data_test$Salary,
    2
  ),
  Prediksi = c(
    as.numeric(prediksi_awal),
    as.numeric(prediksi_pruned)
  ),
  Model = rep(
    c("Sebelum Pruning", "Setelah Pruning"),
    each = nrow(data_test)
  )
)

# Membuat grafik aktual dan prediksi
ggplot(
  data_plot,
  aes(x = Aktual, y = Prediksi)
) +
  geom_point(
    alpha = 0.7,
    color = "#2878B5"
  ) +
  geom_abline(
    slope = 1,
    intercept = 0,
    linetype = "dashed",
    color = "red"
  ) +
  facet_wrap(~Model) +
  labs(
    title = "Perbandingan Nilai Aktual dan Prediksi Salary",
    x = "Salary Aktual",
    y = "Salary Prediksi"
  ) +
  theme_minimal() +
  theme(
    plot.title = element_text(
      face = "bold",
      hjust = 0.5
    )
  )

Titik-titik yang semakin dekat dengan garis diagonal menunjukkan hasil prediksi yang semakin mendekati nilai aktual. Sebaliknya, titik yang semakin jauh dari garis diagonal menunjukkan adanya kesalahan prediksi yang lebih besar.

4.18 Ringkasan Hasil Analisis

# Menghitung jumlah percabangan sebelum pruning
jumlah_split_awal <- sum(
  model_tree$frame$var != "<leaf>"
)

# Menghitung jumlah percabangan setelah pruning
jumlah_split_pruned <- sum(
  model_pruned$frame$var != "<leaf>"
)

# Membuat ringkasan hasil akhir
ringkasan_hasil <- data.frame(
  Keterangan = c(
    "Jumlah data awal",
    "Jumlah data setelah na.omit()",
    "Jumlah data training",
    "Jumlah data testing",
    "Variabel paling penting",
    "Nilai CP terbaik",
    "Jumlah split sebelum pruning",
    "Jumlah split setelah pruning",
    "MSE sebelum pruning",
    "MSE setelah pruning"
  ),
  Hasil = c(
    as.character(jumlah_awal),
    as.character(jumlah_bersih),
    as.character(jumlah_train),
    as.character(jumlah_test),
    as.character(variabel_terpenting),
    as.character(round(cp_terbaik, 6)),
    as.character(jumlah_split_awal),
    as.character(jumlah_split_pruned),
    as.character(round(mse_awal, 4)),
    as.character(round(mse_pruned, 4))
  )
)

# Menampilkan ringkasan hasil
knitr::kable(
  ringkasan_hasil,
  caption = "Tabel 12. Ringkasan Hasil Analisis Decision Tree Regression"
)
Tabel 12. Ringkasan Hasil Analisis Decision Tree Regression
Keterangan Hasil
Jumlah data awal 322
Jumlah data setelah na.omit() 263
Jumlah data training 185
Jumlah data testing 78
Variabel paling penting CHits
Nilai CP terbaik 0.009717
Jumlah split sebelum pruning 12
Jumlah split setelah pruning 6
MSE sebelum pruning 175901.7239
MSE setelah pruning 171114.2063

BAB V. KESIMPULAN DAN SARAN

5.1 Kesimpulan

Berdasarkan praktikum Decision Tree Regression menggunakan dataset Hitters dari package ISLR, dapat disimpulkan bahwa:

  1. Dataset Hitters digunakan untuk memprediksi variabel Salary berdasarkan sejumlah karakteristik dan statistik permainan pemain baseball.
  2. Pemeriksaan missing value dilakukan menggunakan fungsi is.na() dan colSums(), sedangkan penanganannya dilakukan menggunakan fungsi na.omit() sehingga diperoleh data yang lengkap untuk pemodelan.
  3. Data yang telah dibersihkan dibagi menjadi data training sebesar 70% dan data testing sebesar 30%. Data training digunakan untuk membangun model Regression Tree, sedangkan data testing digunakan untuk mengevaluasi hasil prediksi.
  4. Model Decision Tree Regression dibangun menggunakan fungsi rpart() dengan metode anova karena variabel respons Salary berbentuk numerik.
  5. Analisis variable importance digunakan untuk mengetahui variabel prediktor yang memberikan kontribusi paling besar dalam pembentukan model.
  6. Evaluasi model dilakukan menggunakan Mean Squared Error (MSE). Nilai MSE digunakan untuk mengukur rata-rata kuadrat kesalahan prediksi pada data testing.
  7. CP terbaik ditentukan berdasarkan nilai cross-validation error terkecil. Nilai tersebut kemudian digunakan untuk melakukan pruning agar struktur pohon menjadi lebih sederhana.
  8. Perbandingan MSE sebelum dan sesudah pruning digunakan untuk mengetahui perubahan kemampuan prediksi model setelah dilakukan pemangkasan pohon.

5.2 Saran

Untuk praktikum selanjutnya, analisis dapat dikembangkan dengan membandingkan Regression Tree dengan metode ensemble seperti Random Forest dan Gradient Boosting. Perbandingan tersebut dapat memberikan gambaran mengenai kemampuan masing-masing metode dalam memprediksi variabel respons numerik.

DAFTAR PUSTAKA

Breiman, L., Friedman, J. H., Olshen, R. A., & Stone, C. J. (1984). Classification and Regression Trees. Wadsworth International Group.

James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An Introduction to Statistical Learning: With Applications in R (2nd ed.). Springer.

Therneau, T., Atkinson, B., & Ripley, B. (2023). rpart: Recursive Partitioning and Regression Trees. R package documentation.

R Core Team. (2026). R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing.

LAMPIRAN

Sintaks R

Seluruh tahapan analisis dalam laporan ini dilakukan menggunakan bahasa pemrograman R melalui RStudio. Sintaks yang digunakan mencakup pemanggilan dataset, pemeriksaan missing value, pembagian data, pembentukan model Regression Tree, visualisasi pohon, analisis variable importance, prediksi, evaluasi MSE, penentuan CP terbaik, dan pruning.