Nama : Alicia Arifin

Prodi : Statistika Bisnis

NIM : 20214920001

Loading the cancer data

kita akan menggunakan library tidyverse

library(tidyverse)

setwd(getwd())
cancer <- read.csv("wdbc.csv")
cancer

Decribing the variables in the cancer data set

Tumor kanker payudara bisa didiagnosa menggunakan biosy (oengambilan suatu jaringan dari badan yang di teliti untuk mengetahui keberadaan penyakit). Tumor tersebut dilihat dan diukur dari gambar digital hasil biopsy. 10 variabel yang berbeda diukur per satu nukleus (kolom ke 3-12).

sebagai bagian data preparation, yang data dibawah ini sudah di standarisasi (centered dan scaled).

Total set variabel per gambar : 1. ID : identificaion number 2. Class : diagnosis (M = malignant/ganas, B = benign/jinak) 3. Radius : rata-rata jarak dari titik tengah ke poin di parameter. 4. Texture : standar deviasi nilai grey-scale. 5. Perimeter : jarak kontur sekitar. 6. Area : Area di dalam kontur. 7. Smoothness : variasi local dalam jarak radius. 8. Compactness : rasio dari perimeter kuadrat dan area. 9. Concavity : tingkat keparahan bagian kontur cekung. 10. Concave Points : jumlah bagian cekung dari kontur 11. Symmertry : seberapa miripnya nukleus ketika dicerminkan 12. Fractal DImension : pengukuran seberapa “kasar” perimeter.

dibawah ini kita menggunakan glipse untuk melihat preview dataframe. fungsi ini dapat memudahkan melihat data, nanti munculnya kolomnya menjadi baris.

glimpse(cancer)

## Rows: 569
## Columns: 12
## $ ID                <int> 842302, 842517, 84300903, 84348301, 84358402, 843786~
## $ Class             <chr> "M", "M", "M", "M", "M", "M", "M", "M", "M", "M", "M~
## $ Radius            <dbl> 1.0960995, 1.8282120, 1.5784992, -0.7682333, 1.74875~
## $ Texture           <dbl> -2.0715123, -0.3533215, 0.4557859, 0.2535091, -1.150~
## $ Perimeter         <dbl> 1.26881726, 1.68447255, 1.56512598, -0.59216612, 1.7~
## $ Area              <dbl> 0.98350952, 1.90703027, 1.55751319, -0.76379174, 1.8~
## $ Smoothness        <dbl> 1.56708746, -0.82623545, 0.94138212, 3.28066684, 0.2~
## $ Compactness       <dbl> 3.28062806, -0.48664348, 1.05199990, 3.39991742, 0.5~
## $ Concavity         <dbl> 2.65054179, -0.02382489, 1.36227979, 1.91421287, 1.3~
## $ Concave_Points    <dbl> 2.53024886, 0.54766227, 2.03543978, 1.45043113, 1.42~
## $ Symmetry          <dbl> 2.215565542, 0.001391139, 0.938858720, 2.864862154, ~
## $ Fractal_Dimension <dbl> 2.25376381, -0.86788881, -0.39765801, 4.90660199, -0~

Dari data di atas dapat disuimpulkan Class merupakan character (<chr>). Karena kita akan menggunakan Class~ sebagai variabel kategorical statistik, kita akan mengubah itu menjadi factoe menggunakan fungsias_factor`.

cancer <- cancer |>
  mutate(Class = as_factor(Class))
glimpse(cancer)

## Rows: 569
## Columns: 12
## $ ID                <int> 842302, 842517, 84300903, 84348301, 84358402, 843786~
## $ Class             <fct> M, M, M, M, M, M, M, M, M, M, M, M, M, M, M, M, M, M~
## $ Radius            <dbl> 1.0960995, 1.8282120, 1.5784992, -0.7682333, 1.74875~
## $ Texture           <dbl> -2.0715123, -0.3533215, 0.4557859, 0.2535091, -1.150~
## $ Perimeter         <dbl> 1.26881726, 1.68447255, 1.56512598, -0.59216612, 1.7~
## $ Area              <dbl> 0.98350952, 1.90703027, 1.55751319, -0.76379174, 1.8~
## $ Smoothness        <dbl> 1.56708746, -0.82623545, 0.94138212, 3.28066684, 0.2~
## $ Compactness       <dbl> 3.28062806, -0.48664348, 1.05199990, 3.39991742, 0.5~
## $ Concavity         <dbl> 2.65054179, -0.02382489, 1.36227979, 1.91421287, 1.3~
## $ Concave_Points    <dbl> 2.53024886, 0.54766227, 2.03543978, 1.45043113, 1.42~
## $ Symmetry          <dbl> 2.215565542, 0.001391139, 0.938858720, 2.864862154, ~
## $ Fractal_Dimension <dbl> 2.25376381, -0.86788881, -0.39765801, 4.90660199, -0~

Perlu diingat kalau factor bisa dinamakan “levels,” yang bisa kita sebut sebagai kategori. kita bisa memastikan levelnya kolom Class menggunakan fungsi levels. Fungsi ini harusnya mengeluarkan nama kategori dalam kolom tersebut. Karena di kolom tersebut hanya memiliki 2 kategori, kita hanya berekspektasi muncul 2 kategori.

Note levels bisa dipakai kalau kolom merupakan vektor. jadi kita menggunakan pull untuk mengekstrak satu kolom (Class) dan di levels untuk melihat berapa banyak kategori yang ada.

cancer |>
  pull(Class) |>
  levels()

## [1] "M" "B"

Exploring the cancer data

Sebelum kita melakukan modeling mari eksplore data set. dibawah ini kita akna menggunakan group_by, summarize, dan n untuk menemukan banyaknya data dan berapa persen tumor ganas dan jinak. Jika menggabungkan n dan summarize dengan group_by, kita bisa mendapatkan persentase. kita punya 357 (63%) tumor jinak, dan 212 (37%) tumor ganas.

num_obs <- nrow(cancer)
cancer |>
  group_by(Class) |>
  summarize(
    count = n(),
    percentage = n() / num_obs * 100
  )

Selanjutnya, kita akan membuat visualisasi hubungan natara variabel perimeter dan concavity. daripada kita menggunakan ggplot defult template, kita akan memilih warna yang bisa dibedakan oleh orang yang buta warna.

perim_concav <- cancer |>
  ggplot(aes(x = Perimeter, y = Concavity, color = Class)) +
  geom_point(alpha = 0.6) +
  labs(x = "Perimeter (standardized)", 
       y = "Concavity (standardized)",
       color = "Diagnosis") +
  scale_color_manual(labels = c("Malignant", "Benign"), 
                     values = c("orange2", "steelblue2")) +
  theme(text = element_text(size = 12))
perim_concav

Figure 5.1 : Scatter plot concavity vs perimeter yang dibedakan dengan warna menggunakan diagnosis label.

Di figure 5.1, kita bisa lihat kalau observasi yg ganas biasanya ada di area kanan atas. Secara tidak langsung yang jinak berada di kiri bawah. Dengan kata lain, observasi jinak biasanya mempunyai concavity dan perimeter yang kecil, dan observasi ganas biasanya mempunyai concavity dan perimeter yang besar.

Misalkan kita mendapatkan pengamatan baru tidak dalam kumpulan data saat ini yang memiliki semua variabel yang diukur kecuali label. kita bisa mengkomputasi nilai standar perimeter dan concavity, yang hasilnya misalkan 1 banding 1. Apakah kita bisa menggunakan informasi tersebut untuk mengklasifikasikan jinak / ganas?

Jika nilai standar concavity dan perimeter satu banding 1, mungkin poin yang ada di tengah" awan orange (ganas) dan sepertinya kita bisa mengklasifikasikan itu sebagai ganas. Berdasarkan dari visualisasi kita, sepertinya prediksi berdasarkan label yang belum diketahui bisa dilakukan.

Distance between points

cara mencari jarak K “nearest” dengan garis lurus. contoh jika ada 2 titik. dari a(x,y) ke b(x,y). Maka kita bisa mencari jaraknya dengan menggunakan pitagoras.

Foto jarak1

K observasi itu mengambil /K/ dengan nilai yang paling kecil.

Contoh lain : K = 5, ada objek baru dengan perimeter 0 dan concavity 3.5, yang berwarna merah. kita akan menghitung menggunakan mutate, dan melihat bagaimana cara mengkomputasikannya.

Foto 5.6

new_obs_Perimeter <- 0
new_obs_Concavity <- 3.5
cancer |>
  select(ID, Perimeter, Concavity, Class) |>
  mutate(dist_from_new = sqrt((Perimeter - new_obs_Perimeter)^2 + 
                              (Concavity - new_obs_Concavity)^2)) |>
  arrange(dist_from_new) |>
  slice(1:5) # take the first 5 rows

pada tabel 5.1 kita bisa melihat cara menghitung menggunakan mutate untuk mengkomputasi variabel dist_from_new untuk 5 titk terdekat.

tabel5.1

hasilnya 3 dari 5 merupakan tumor ganas. karena mayoritas, kita mengklasifikasikan objek baru kita sebagai ganas. 5 neighbour akan dilingkari pada figure 5.7

Foto5.7

More than two explanotary variables

Algoritma K-nearest neighbour ini juga bisa digunakan ketika kita memiliki lebih dari 2 variabel prediktor. Ketika titik a (x,y,…,n) dan b(x,y,…,n). Jaraknya menjadi :

Figure jarak2

Formula ini mirip seperti garis lurus antar titik, tetapi lebih dari 2 dimensi.

Example : new observation with a perimeter of 0, concavity of 3.5, and symmetry of 1, and another observation with a perimeter, concavity, and symmetry of 0.417, 2.31, and 0.837 respectively. We have two observations with three predictor variables: perimeter, concavity, and symmetry.

Cara mencari jaraknya :

Jarak 2.1

Mari menghitung objek baru kita dengan data training set untuk mencari K= 5 ketika kita memiliki 3 prediktor.

new_obs_Perimeter <- 0
new_obs_Concavity <- 3.5
new_obs_Symmetry <- 1

cancer |>
  select(ID, Perimeter, Concavity, Symmetry, Class) |>
  mutate(dist_from_new = sqrt((Perimeter - new_obs_Perimeter)^2 + 
                              (Concavity - new_obs_Concavity)^2 +
                                (Symmetry - new_obs_Symmetry)^2)) |>
  arrange(dist_from_new) |>
  slice(1:5) # take the first 5 rows

dengan K = 5 dan 3 prediktor, kita bisa mengklasifikasikan objek baru ini sebagai ganas (4.5 merupakan ganas).

Figure 5.8 menunjukkan datanya seperti apa ketika divisualisasikan 3 dimensi scatter line dari objek baru ke 5 nearest neighbours.

Figure newplot

Figure 5.8: 3D scatter plot of the standardized symmetry, concavity, and perimeter variables. Note that in general we recommend against using 3D visualizations; here we show the data in 3D only to illustrate what higher dimensions and nearest neighbors look like, for learning purposes.

Summary of /K/-nearest neighbours algorithm

In order to classify a new observation using a
K-nearest neighbor classifier, we have to do the following:

1. Compute the distance between the new observation and each observation in the training set.
2. Sort the data table in ascending order according to the distances.
3. Choose the top K rows of the sorted table.
4. Classify the new observation based on a majority vote of the neighbor classes.

Centering and scaling

Untuk centering dan scaling data, kita perlu menemukan mean variabel dan standar deviasi. Untuk setiap nilai variabel yang diamati, kita kurangi mean dan bagi dengan standar deviasi. Ketika kita melakukan ini, data dikatakan terstandarisasi, dan semua variabel dalam kumpulan data akan memiliki rata-rata 0 dan simpangan baku 1.

Untuk mengilustrasikan pengaruh standarisasi terhadap algoritma knn, skearang kita akan membaca dalam kumpulan data kanker payudara Wisconsin yang asli dan tidak standar; kami telah menggunakan versi standar dari pengaturan data sampai sekarang. Untuk mempermudah, kita hanya akan menggunakan variabel Area, Smoothness, dan Class:

unscaled_cancer <- read_csv("unscaled_wdbc.csv") |>
  mutate(Class = as_factor(Class)) |>
  select(Class, Area, Smoothness)
unscaled_cancer

ketika melihat data yang belum di standarisasi seperti data di atas, kita bisa melihat perbedaan antara nilai untuk pengukuran area lebih besar daripada smoothness. Apakah akan mempengaruhi? nanti akan kita lihat. untuk mencari tahu, kita akan membuat scatter plot dari kedua prediktor (warna sesuai diagnosis) untuk kedua data yang belum distandarisasi, dan sesudah.

Pertamanya kita akan menstandarisasi unscaled_cancer data set dengan tidymodels. dalam tidymodels, semua preprosessing terjadi menggunakan recipe dari recipes package R. Kita akan menginisialisasi resep untuk data unscaled_cancer di atas, yg menentukan Class sebagai target, dan variabel lain adalah prediktor.

uc_recipe <- recipe(Class ~ ., data = unscaled_cancer)
print(uc_recipe)

## Recipe
## 
## Inputs:
## 
##       role #variables
##    outcome          1
##  predictor          2

Sejauh ini, tidak ada di recipe, hanya pernyataan tentang berapa banyak target dan prediktor. Mari kita tambahkan scaling (step_scale) dan centering (step_center) untuk semua prediktor sehingga semuanya memiliki rata-rata 0 dan sd 1.

tidyverse juga menyediakan step_normalize, yang melakukan scaling dan centering dalam satu recipe.

prep function ini untuk menyelesaikan recipe dengan menggunakan data untuk mengkomputasi semuanya untuk manjalankan recipe(sd dan mean).

uc_recipe <- uc_recipe |>
  step_scale(all_predictors()) |>
  step_center(all_predictors()) |>
  prep()
uc_recipe

## Recipe
## 
## Inputs:
## 
##       role #variables
##    outcome          1
##  predictor          2
## 
## Training data contained 569 data points and no missing data.
## 
## Operations:
## 
## Scaling for Area, Smoothness [trained]
## Centering for Area, Smoothness [trained]

Note : Ketika kita menambah step recipe, Anda harus menentukan kolom mana yang akan diaplikasikan. DI sini kita menggunakan all_predictors() untuk menentukan semua step harus diaplikasikan ke semua variabel prediktor.

Bahasa inggis : However, there are a number of different arguments one could use here, as well as naming particular columns with the same syntax as the select function. For example:

• all_nominal() and all_numeric(): specify all categorical or all numeric variables
• all_predictors() and all_outcomes(): specify all predictor or all target variables
• Area, Smoothness: specify both the Area and Smoothness variable
• -Class: specify everything except the Class variable

Anda bisa mencari full set dari semua step dan pemilihan variabel di recipe reference page.

Sekarang kita punya kalkulasi yang membutuhkan stattistika yang berdasar dari data input ke recipe, tetapi datanya belum di scaled dan centered. untuk benar-benar scale dan center data, kita perlu apply bake function ke data yg belum di scaled.

scaled_cancer <- bake(uc_recipe, unscaled_cancer)
scaled_cancer

Kita melakukan bake dan prep untuk scale dan center data melakukan step ini seperti step yang berlebih. Tetapi kita melakukan dua step ini agar kita bisa menentukan perbedaan data set pada bake step kalau kita mau.

Sebenarnya kita melakukan semua hal ini hanya untuk scaling dan center variabel. kita melakukan semua ini untuk menghindari error-prone. yang dimana kira bisa secara tidak sadar lupa men-apply centering / scaling yang sama ketika membuat prediksi, atau sengaja mengapply centering / scaling yang berbeda. Cara menggunakan recipe yang sebenarnya itu untuk membuat coding menjadi simple, bisa dibacam dan tidak ada error.

menggunakan prep dan bake itu diperlukan hanyak ketika anda ingin mengecek hasil dari preprosessing steps. (inggris) You will see further on in Section 5.8 that tidymodels provides tools to automatically apply prep and bake as necessary without additional coding effort.

Figure 5.9 menunjukkan dua perbandingan scatterplot dari unscaled_cancer dan scaled_cancer. dua-duanya sama-sama memiliki K=3.

Jika dibandingkan antara scaled dan unscaled data, terbdapat banyak perbedaan. Standarisasi data dapat mengubah banyak hal dengan cara yang penting ketika kita menggunakan algoritma prediktif. Menstandarisasi data Anda harus menjadi bagian dari prapemrosesan yang Anda lakukan sebelum pemodelan prediktif dan Anda harus selalu berpikir hati-hati tentang domain masalah Anda dan apakah Anda perlu menstandarisasi data Anda.

Figure 5.9 : Comparison of K = 3 nearest neighbors with standardized and unstandardized data.

Figure 5.10 : Close-up of three nearest neighbors for unstandardized data

Balancing

Balancing ini diperlukan ketika jumlah datanya tidak seinmbang dalam suatu kelas. Jadi jumlah yang sangat sedikit bisa salah observasi. contohnya ada 50 tumor jinak, dan hanya 3 tumor ganas. kalau dilihat ketiga tumor ganas tersebut bisa didiagnosa sebagai tumor jinak.

Contoh ilustrasi :

rare_cancer <- bind_rows(
      filter(cancer, Class == "B"),
      cancer |> filter(Class == "M") |> slice_head(n = 3)
    ) |>
    select(Class, Perimeter, Concavity)

rare_plot <- rare_cancer |>
  ggplot(aes(x = Perimeter, y = Concavity, color = Class)) +
  geom_point(alpha = 0.5) +
  labs(x = "Perimeter (standardized)", 
       y = "Concavity (standardized)",
       color = "Diagnosis") +
  scale_color_manual(labels = c("Malignant", "Benign"), 
                     values = c("orange2", "steelblue2")) +
  theme(text = element_text(size = 12))

rare_plot

Figure 5.11: Imbalanced data.

Dari contoh di atas, kita bisa simpulkan kalau K=7, apapun yang terjadi pasti suatu objek baru akan didiagnosa sebagai tumo jinak karena 3 kalah dengan 4. Sebagai contoh lihat foto di bawah ini.

Figure 5.12: Imbalanced data with 7 nearest neighbors to a new observation highlighted.

FIgure 5.13 menunjukkan apapun yg terjadi pasti akan di diagnosa sebagai jinak. 5.13 juga menunjukkan apa yang terjadi jika kita mengubah warna background area prediksi yg dibuat knn pengklasifikasiian.

Figure 5.13: Imbalanced data with background color indicating the decision of the classifier and the points represent the labeled data.

Kita bisa rebalance data ini dengan over sampling the rare class. Dengan kata lain, kita akan mereplikasi rare observvation berurang kali pada data set untuk memberikan suara yang lebih banyak saat algoritma Knn. Caranya kita menggunakan oversampling step uc_recipe recipe dengan step_upsample dari themis package R. Kita akan menunjukkan bagaimana cara melakukan ini, kita juga menggunakan summarize dan group_by.

library(themis)

ups_recipe <- recipe(Class ~ ., data = rare_cancer) |>
  step_upsample(Class, over_ratio = 1, skip = FALSE) |>
  prep()

ups_recipe

## Recipe
## 
## Inputs:
## 
##       role #variables
##    outcome          1
##  predictor          2
## 
## Training data contained 360 data points and no missing data.
## 
## Operations:
## 
## Up-sampling based on Class [trained]

upsampled_cancer <- bake(ups_recipe, rare_cancer)

upsampled_cancer |>
  group_by(Class) |>
  summarize(n = n())

upsampled_cancer <- bake(ups_recipe, rare_cancer)

upsampled_cancer |>
  group_by(Class) |>
  summarize(n = n())

Sekarang kita seharusnya berlatih dengan pengklasisfikasian Knn dengan K = 7 pada balanced data. Figure 5.14 menunjukkan apa yang terjadi sekarang ketika kita membuat background setiap bagian / daerah ke K-Nearest neighbour classsifier akan buat. Kita bisa melihat keputusan lebih masuk akan, ketika poin itu berdekatan dengan label ganas, pengklasifikasiannya akan memprediksi tumor ganas.

Figure 5.14: Upsampled data with background color indicating the decision of the classifier.