Members

Lulu Najla Salsabila

🌸 DATA SCIENCE STUDENT

🎫 NIM: 52250069
πŸ›οΈ Institut Teknologi Sains Bandung
πŸ‘¨β€πŸ« Bakti Siregar, M.Sc., CDS.

Aurora Sekarningrum

✨ DATA SCIENCE STUDENT

🎫 NIM: 52250072
πŸ›οΈ Institut Teknologi Sains Bandung
πŸ‘¨β€πŸ« Bakti Siregar, M.Sc., CDS.

Raihania Syah Putri

⚑ DATA SCIENCE STUDENT

🎫 NIM: 52250054
πŸ›οΈ Institut Teknologi Sains Bandung
πŸ‘¨β€πŸ« Bakti Siregar, M.Sc., CDS.

Soal 1 β€” E-Commerce

## Column

Section A – Data Collection

πŸ“ Sumber Data: Google Drive Folder β€” 5 file (CSV, Excel, JSON, TXT, XML) Β |Β  Total baris gabungan: 10000 baris Β |Β  22 kolom

Membaca 5 File Berbeda (LOOPING)

Program menggunakan looping (for (cfg in file_configs)) untuk membaca 5 file sekaligus dari Google Drive: ecommerce.csv, ecommerce.xlsx, ecommerce.json, ecommerce.txt (sep=|), dan ecommerce.xml. Setiap file dibaca dengan fungsi yang sesuai formatnya β€” read.csv(), read_excel(), fromJSON(), read.table(), xmlToDataFrame(). Tanpa looping, kita harus menulis kode baca file 5 kali secara manual.

Informasi Setiap File yang Ditampilkan

Untuk setiap file, program menampilkan tiga informasi wajib: (1) Jumlah baris β€” seberapa banyak data transaksi, (2) Jumlah kolom β€” seberapa banyak atribut, (3) Nama kolom β€” antara lain order_id, order_date, product_name, category, platform, unit_price, quantity, gross_sales, net_sales, order_status, payment_method, customer_rating, customer_segment, region, is_returned, discount.

Cek Struktur Kolom (IF / IF-ELSE)

Setelah setiap file dibaca, program mengecek dengan IF-ELSE: apakah kolom-kolomnya identik dengan file pertama (referensi)? Jika identical(sort(names(df_tmp)), ref_cols) β†’ cetak β€œβœ… Ready to merge”. Jika berbeda β†’ cetak β€œβš οΈ Need adjustment”. Ini memastikan hanya file yang kompatibel yang digabung ke dataset utama.

Gabungkan Jadi 1 Dataset Utama

Semua file yang berstatus β€œReady to merge” digabungkan menggunakan bind_rows() (R) menjadi satu DataFrame utama bernama df_combined_raw. Hasilnya: 10000 baris dari 5 file format berbeda β€” siap dianalisis dan dibersihkan di section berikutnya.

Autentikasi Google Drive

Untuk membaca file dari Google Drive, digunakan googledrive::drive_deauth() agar bisa mengakses folder publik tanpa login interaktif. File diunduh satu per satu ke direktori sementara (tempdir()) menggunakan drive_download(), lalu dibaca sesuai formatnya. Jika koneksi Drive gagal, data sintetis berstruktur sama digunakan sebagai fallback agar kode tetap berjalan.

Section B – Data Handling

πŸ“Š Dimensi Dataset: 10000 baris Γ— 22 kolom Β |Β  Missing values: 2685 Β |Β  Duplikat: 5313 baris (53.13%)

Dimensi Dataset Gabungan

Dataset gabungan df_combined berisi 10000 baris dan 22 kolom. Setiap baris mewakili satu transaksi e-commerce. Dimensi ini didapat dari penggabungan 5 file format berbeda menggunakan bind_rows(). Informasi ini penting sebagai baseline sebelum proses cleaning dimulai.

Tipe Data Setiap Kolom

Kolom order_id, product_name, platform, order_status, payment_method, category, customer_segment, region bertipe character. Kolom unit_price, gross_sales, net_sales seharusnya numerik tetapi tersimpan sebagai string karena ada format "Rp 1.800.000". Kolom order_date harus bertipe Date, quantity bertipe integer, is_returned bertipe logical, customer_rating & discount bertipe numeric.

Missing Values

Nilai kosong (NA) ditemukan pada kolom payment_method dan customer_rating. Kolom payment_method bisa kosong karena pelanggan tidak mengisi metode pembayaran. Kolom customer_rating kosong karena transaksi yang belum diberi ulasan. Total missing values: 2685 dari seluruh dataset.

Duplicate Rows (Baris Ganda)

Ditemukan 5313 baris duplikat (53.13% dari total). Duplikat bisa terjadi karena file yang berbeda format memiliki data yang tumpang tindih. Baris yang persis sama dua kali akan menyebabkan double counting dalam analisis revenue dan frekuensi transaksi β€” harus dihapus.

Masalah #1 β€” Format Mata Uang di Kolom Numerik

Kolom unit_price, gross_sales, net_sales berisi nilai seperti "Rp 1.800.000" β€” bertipe string, bukan angka. Akibatnya operasi matematika (sum, mean) tidak bisa dilakukan langsung. Ini adalah masalah paling umum saat data dikumpulkan dari berbagai sumber yang berbeda format pelaporannya.

Masalah #2 & #3 β€” Inkonsistensi Teks & Nilai Negatif

Masalah #2: Nama platform tidak konsisten β€” "shopee", "SHOPEE", " SHOPEE " semuanya merujuk hal yang sama. Ini menyebabkan group_by(platform) menghasilkan grup terpisah padahal seharusnya satu. Masalah #3: Ada nilai negatif pada kolom numerik dan quantity ≀ 0 β€” tidak masuk akal secara bisnis dan harus diganti dengan 0 atau median.

Section C – Data Cleaning

🧹 Hasil Cleaning: 4687 baris bersih  |  Platform distandardisasi: 5 platform  |  Median rating default: 5

Standardisasi Platform (WAJIB IF)

Menggunakan fungsi standardisasi_platform() dengan kondisi IF berjenjang: "shopee", " SHOPEE " β†’ "Shopee" | "tokped" β†’ "Tokopedia" | "lazada" β†’ "Lazada" | "tiktok shop" β†’ "TikTok Shop" | "blibli" β†’ "Blibli". Fungsi ini diterapkan ke seluruh kolom platform menggunakan sapply().

Cleaning Nilai Harga (LOOPING WAJIB)

Format "Rp 1.800.000" dikonversi ke angka murni 1800000 menggunakan bersihkan_harga(): hapus "Rp" β†’ hapus titik ribuan β†’ as.integer(). Looping diterapkan sekaligus pada kolom net_sales, gross_sales, dan unit_price. Nilai negatif diubah ke 0. Ini memungkinkan operasi matematika dilakukan pada ketiga kolom sekaligus.

Handling Missing Values (WAJIB IF)

payment_method kosong/NA β†’ diisi "Unknown" menggunakan ifelse(). customer_rating kosong β†’ diisi dengan median (5). Logika median dipilih karena: data rating e-commerce sering miring ke kiri (banyak rating rendah 1), sehingga median lebih mewakili β€œnilai tengah” yang sebenarnya dibanding mean yang bisa terdistorsi oleh outlier.

Standardisasi Order Status

Variasi penulisan diseragamkan: "delivered" β†’ "Completed" | "cancelled", "cancel", "batal" β†’ "Cancelled" | "on delivery", "shipped" β†’ "On Delivery" | "returned", "retur" β†’ "Returned" | "processing" β†’ "Processing". Hasilnya: distribusi status jadi konsisten dan bisa diagregasi dengan benar.

WAJIB LOOPING β€” Bersihkan Banyak Kolom Sekaligus

Looping pertama: 7 kolom teks (product_name, category, platform, order_status, payment_method, customer_segment, region) di-trim dan diubah lowercase sekaligus. Looping kedua: 3 kolom numerik (net_sales, gross_sales, unit_price) dibersihkan format Rp. Looping ketiga: 4 kolom diubah ke proper case. Total: 14 kolom dibersihkan via looping β€” jauh lebih efisien.

Konversi Tipe Data & Sortir

order_date β†’ as.Date() | quantity β†’ as.integer() (nilai ≀ 0 diisi 1) | is_returned β†’ as.logical() | discount β†’ as.numeric(). Dataset diurutkan berdasarkan order_date agar analisis time-series lebih mudah. Setelah semua tahap, df_clean siap untuk Section D dan E.

Section D – Conditional Logic

πŸ”– 3 Kolom Baru: is_high_value Β |Β  order_priority (nested IF) Β |Β  valid_transaction Β |Β  High Value: 1757 transaksi Β |Β  Invalid: 473 transaksi

Kolom is_high_value

Logika: ifelse(net_sales > 1000000, "Yes", "No"). Transaksi dengan penjualan bersih di atas Rp 1.000.000 diberi label "Yes". Kolom ini memudahkan tim marketing untuk mengidentifikasi pelanggan premium yang berpotensi masuk program loyalitas atau mendapat penanganan khusus. Dari 4687 transaksi, 1757 berstatus High Value.

Kolom order_priority (WAJIB Nested IF)

Menggunakan fungsi order_priority_fn() dengan nested IF: net_sales > 1.000.000 β†’ "High" | net_sales β‰₯ 500.000 β†’ "Medium" | net_sales < 500.000 β†’ "Low". Nested IF artinya kondisi berada di dalam kondisi lain. Distribusi: High = 1757 | Medium = 947 | Low = 1983 transaksi.

Kolom valid_transaction

Logika: ifelse(order_status == "Cancelled", "Invalid", "Valid"). Transaksi yang dibatalkan tidak menghasilkan pendapatan nyata dan tidak boleh masuk dalam perhitungan revenue. Label "Invalid" pada transaksi Cancelled memudahkan filter saat analisis pendapatan β€” tinggal filter valid_transaction == "Valid". Jumlah "Invalid": 473 transaksi.

Mengapa Logika Bisnis Penting?

Tiga kolom baru ini adalah penerapan business logic ke dalam data. Tanpanya, tim harus menghitung manual setiap kali: mana yang bernilai tinggi? Mana yang prioritas? Mana yang valid? Dengan kolom-kolom ini, analisis bisa dilakukan dengan satu baris filter() atau group_by() β€” menghemat waktu dan mengurangi human error.

Section E – Analytical Thinking

πŸ“ˆ Platform Dominan: Shopee (980 transaksi) Β |Β  Kategori Terbanyak: Sports (986 transaksi) Β |Β  Status Terbanyak: Completed (76.6%)

1. Platform Paling Dominan?

Platform dengan transaksi terbanyak adalah Shopee dengan 980 transaksi. Diukur menggunakan count(platform, sort=TRUE). Dominansi ini dapat mencerminkan kepercayaan konsumen yang lebih tinggi atau strategi harga yang lebih kompetitif di platform tersebut. Rekomendasi: alokasikan anggaran promosi lebih besar di platform ini untuk ROI yang lebih tinggi.

2. Category Paling Sering Muncul?

Kategori produk yang paling sering ditransaksikan adalah Sports dengan 986 transaksi. Diukur menggunakan count(category, sort=TRUE). Kategori ini menjadi tulang punggung penjualan β€” perlu dijaga ketersediaan stoknya dan menjadi fokus kampanye promosi utama. Kategori lain bisa ditingkatkan dengan bundling bersama kategori ini.

3. Status Transaksi Terbanyak?

Status transaksi yang paling banyak adalah Completed dengan 3588 transaksi (76.6% dari total). Diukur menggunakan count(order_status, sort=TRUE). Persentase ini memberikan gambaran kesehatan operasional bisnis β€” rasio Completed yang tinggi berarti layanan berjalan baik, sedangkan Cancelled yang tinggi bisa menandakan masalah stok atau pengiriman.

Insight Jumlah Transaksi Per Platform: Platform Shopee mendominasi dengan 980 transaksi. Ini menunjukkan basis pengguna terbesar ada di platform tersebut β€” alokasi iklan dan promosi sebaiknya diprioritaskan di sini untuk ROI tertinggi.

Insight Frekuensi Transaksi Per Kategori Produk: Kategori Sports adalah yang paling banyak ditransaksikan (986 transaksi). Fashion menjadi kategori utama karena tingginya frekuensi pembelian ulang dan impulse buying di platform e-commerce. Strategi: pastikan stok Fashion selalu lengkap dan beri diskon bundling dengan kategori Beauty.

Insight Distribusi Status Transaksi: Status Completed mendominasi (76.6% dari total transaksi). Persentase ini adalah indikator kesehatan operasional bisnis β€” semakin tinggi Completed, semakin baik. Perlu perhatian khusus pada transaksi Cancelled untuk mengidentifikasi penyebab pembatalan.

Soal 2 β€” Web Scraping

## Column

Section A – Data Collection

🌐 Web Scraping dengan R: Website 3 (Oscar AJAX) β€” 87 film Β |Β  Website 4 (Turtles iFrame) β€” 14 famili

Dua Bahasa Wajib: Python & R

Soal mewajibkan penggunaan Python (untuk Website 1 Countries & Website 2 Hockey Teams) dan R (untuk Website 3 Oscar Films & Website 4 Turtles). File .Rmd ini mengerjakan Website 3 & 4 menggunakan R dengan library rvest, httr, dan jsonlite. Website 1 & 2 dikerjakan di file .py/.ipynb Python terpisah.

WAJIB LOOPING β€” Scraping Banyak Halaman

Looping digunakan untuk: (1) iterasi setiap tahun Oscar (dari daftar years yang diambil dari halaman utama), kirim request AJAX satu per satu, dan simpan hasilnya β€” ini adalah scraping multi-halaman via AJAX parameter. (2) Iterasi setiap baris <tr class="family"> di dalam iframe Turtles. Tanpa looping, scraping ratusan tahun Oscar tidak akan efisien.

Simpan ke DataFrame dan CSV

Setelah berhasil dikumpulkan, data Oscar disimpan ke oscar_films.csv dan data Turtles ke turtles_iframe_data.csv menggunakan write.csv(..., row.names=FALSE). Dua file CSV ini adalah bagian dari 4 file CSV output wajib (masing-masing 1 per website). File CSV bisa dibuka langsung di Excel untuk verifikasi.

🎬 Website 3 β€” Oscar Winning Films (AJAX / Javascript)

Cara Kerja AJAX

Website Oscar tidak menampilkan data film langsung saat halaman pertama dibuka. Data dimuat belakangan oleh JavaScript melalui AJAX request di background ke endpoint tersembunyi. Scraping HTML biasa menghasilkan halaman kosong karena film belum ada saat request dikirim β€” ini tantangan utama website modern yang dinamis.

Solusi: Temukan Endpoint API

Dengan DevTools (Inspect β†’ Network β†’ Filter XHR), ditemukan endpoint: ?ajax=true&year=XXXX. Menggunakan GET(url_oscar, query=list(ajax="true", year=yr)), kita dapat response JSON berisi seluruh film untuk tahun tersebut β€” jauh lebih cepat dan bersih dibanding simulasi browser penuh dengan Selenium.

Data yang Diambil

Kolom yang diambil per tahun: year (tahun Oscar), title (judul film), nominations (jumlah nominasi), awards (jumlah penghargaan menang), best_picture (apakah menang Best Picture), category (Best Picture / Award Winner / Nominated β€” dibuat dengan IF), description (keterangan otomatis dibuat dari field lain).

LOOPING Antar Tahun Oscar

for (yr in years) {
  r <- GET(url_oscar, query=list(
            ajax="true", year=yr))
  films <- fromJSON(content(r,"text"))
  oscar_data <- append(oscar_data, 
                       list(films))
  Sys.sleep(0.2)  # jeda server
}

Loop berjalan pada vektor years yang diambil dari tag <a class="year-link"> halaman Oscar. Sys.sleep(0.2) mencegah rate-limit dari server.

🐒 Website 4 β€” Turtles All the Way Down (Frames & iFrames)

Cara Kerja iFrame

Halaman Turtles menyimpan seluruh kontennya di dalam sebuah iframe β€” seperti jendela di dalam jendela. Jika scraping halaman utama saja, tidak ada data kura-kura yang terambil. Kita harus masuk ke dalam iframe terlebih dahulu untuk bisa membaca isinya.

Solusi: Ambil src dari iframe

Langkah: (1) scrape halaman utama β†’ temukan <iframe id="iframe">, (2) ambil atribut src menggunakan html_attr(fr, "src"), (3) gabungkan dengan base URL, (4) scrape URL iframe tersebut secara terpisah sebagai halaman mandiri. Ini adalah teknik standar menangani konten berbasis frame.

Data yang Diambil

Dari dalam iframe: name (nama ilmiah famili, contoh "Cheloniidae"), description (nama umum, contoh "Sea turtles"), additional_info (kalimat ringkasan yang dibuat dari kombinasi kedua kolom sebelumnya). Minimal 3 field data sesuai ketentuan soal.

Fallback Data & IF Default

Jika koneksi iframe gagal (timeout/blocked), data fallback 14 famili kura-kura digunakan. Ini memastikan laporan tetap bisa dibuat. Di dalam looping baris, IF digunakan: jika elemen <td class="family-name"> tidak ditemukan β†’ nilai default "Unknown". Pendekatan defensif ini penting untuk scraping yang robust.

Section B – Data Handling

🎬 Oscar Films β€” Data Handling

Dimensi & Tipe Data Oscar

Dataset Oscar memiliki 87 baris dan 7 kolom. Kolom year, nominations, awards seharusnya bertipe integer β€” namun saat pertama diambil dari HTML, year bertipe string (karena diambil dari teks tag <a>). Perlu dikonversi dengan as.integer(). Kolom best_picture bertipe logical, kolom teks lainnya bertipe character.

Data Issue #1 β€” year Bertipe String

Kolom year dari scraping awal bertipe character (misal "2015"). Ini membuat pengurutan tidak bisa numerik β€” "9" secara alfabet lebih besar dari "2", sehingga urutan tahun bisa keliru. Perlu konversi as.integer(year) agar filter dan sort tahun berjalan benar.

Data Issue #2 β€” Kolom category Bersifat Derivatif

Kolom category dan description tidak tersedia langsung dari JSON response Oscar β€” harus dibuat manual dengan logika IF: best_picture==TRUE β†’ "Best Picture", awards>0 β†’ "Award Winner", else β†’ "Nominated". Nilai turunan seperti ini perlu didokumentasikan agar tidak dikira data asli dari sumber.

Missing Values & Duplikat Oscar

Missing values minimal karena data JSON dari Oscar sudah terstruktur rapi. Nilai kosong yang muncul (category kosong) langsung ditangani dengan default "Unknown" saat pengambilan. Duplikat bisa terjadi jika AJAX response mengembalikan film yang sama di dua tahun berbeda β€” dihapus dengan distinct().

🐒 Turtles β€” Data Handling

Dimensi & Tipe Data Turtles

Dataset Turtles memiliki 14 baris dan 2 kolom. Semua kolom bertipe character β€” tidak ada data kuantitatif karena ini adalah data klasifikasi taksonomi. Tidak ada kolom numerik yang perlu dikonversi, namun cleaning teks tetap diperlukan untuk konsistensi.

Data Issue #1 β€” Scraping Rentan Gagal

Koneksi ke URL iframe bisa gagal karena mekanisme anti-scraping, timeout, atau perubahan struktur HTML. Jika looping baris <tr class="family"> tidak menghasilkan data, seluruh dataset Turtles akan kosong. Ini adalah risiko scraping live yang harus diantisipasi dengan data fallback statis yang selalu tersedia.

Data Issue #2 β€” additional_info Redundan

Kolom additional_info dibuat dengan template: β€œThe [name] family β€” commonly known as [description]”. Informasi ini sebenarnya tidak menambah data baru β€” hanya menyusun ulang dua kolom yang sudah ada. Namun kolom ini memenuhi syarat soal untuk menyertakan informasi tambahan dari setiap famili kura-kura.

Missing Values & Duplikat Turtles

Dataset Turtles tidak memiliki missing values karena data fallback selalu tersedia sebagai pengaman. Nilai "Unknown" dimasukkan eksplisit jika elemen HTML tidak ditemukan (via IF). Duplikat mungkin terjadi jika nama famili muncul dari scraping live sekaligus dari fallback β€” dihapus dengan distinct().

Section C – Data Cleaning

🧹 Cleaning Oscar: 87 film bersih  |  Cleaning Turtles: 14 famili bersih  |  Output: oscar_films.csv + turtles_iframe_data.csv
🎬 Oscar Films β€” Cleaning

LOOPING β€” Cleaning 3 Kolom Teks Sekaligus

oscar_text_cols <- c("title","category",
                     "description")
for (col in oscar_text_cols) {
  df_oscar[[col]] <- str_squish(
    str_trim(df_oscar[[col]]))
  if (col == "title")
    df_oscar[[col]] <- str_to_title(...)
  else
    df_oscar[[col]] <- str_to_sentence(...)
}

Tiga kolom dibersihkan dalam satu loop β€” efisien dan konsisten.

IF untuk Missing Value & Tipe Data

category atau description kosong β†’ diisi "Unknown [kolom]" menggunakan if_else(). Kolom year, nominations, awards dikonversi ke integer agar operasi matematika valid. title diubah ke title case (nama film), category dan description ke sentence case agar konsisten.

Hapus Duplikat & Simpan CSV

Duplikat dihapus dengan distinct(). Data bersih disimpan: write.csv(df_oscar, "oscar_films.csv", row.names=FALSE). Ini adalah output CSV wajib #3 dari 4 yang ditentukan soal. File ini bisa langsung dibuka di Excel untuk verifikasi manual hasil scraping.

🐒 Turtles β€” Cleaning

LOOPING Semua Kolom (WAJIB)

for (col in names(df_turtles)) {
  if (is.character(df_turtles[[col]])) {
    df_turtles[[col]] <- str_squish(
      str_trim(df_turtles[[col]]))
    # IF untuk tiap kolom berbeda
    if (col == "name") {
      df_turtles[[col]] <- if_else(
        df_turtles[[col]] == "",
        "Unknown Turtle", ...)
    }
  }
}

Semua kolom character diproses dalam satu loop dengan IF di dalamnya.

IF-ELSE Default Berbeda per Kolom

name kosong β†’ "Unknown Turtle" | description kosong β†’ "No description available" | additional_info kosong β†’ "No additional information". Setiap kolom punya nilai default yang berbeda sesuai konteks kolomnya β€” lebih informatif dibanding mengisi semua dengan NA atau string kosong.

Proper Case & Simpan CSV

name (nama ilmiah) dipertahankan dalam title case sesuai konvensi taksonomi. description diubah ke sentence case agar konsisten. Data bersih disimpan: write.csv(df_turtles, "turtles_iframe_data.csv", row.names=FALSE). Ini adalah output CSV wajib #4 dari 4 yang ditentukan soal.

Section D – Conditional Logic

βœ… data_status Oscar: Complete = 87 Β |Β  Incomplete = 0 Β Β  | Β Β  data_status Turtles: Complete = 14 Β |Β  Incomplete = 0

Kondisi 1 β€” Elemen Tidak Ditemukan β†’ Default

Jika elemen HTML tidak berhasil ditemukan saat scraping (misal <td class="family-name"> tidak ada di iframe, atau title film berisi "Unknown Title") β†’ tandai data_status = "Incomplete". Ini berarti data tidak berhasil diambil dengan benar. Implementasi: if (!is.null(nm) && !is.na(nm)) html_text(nm) else "Unknown".

Kondisi 2 β€” Data Tidak Lengkap β†’ β€œIncomplete”

Jika data kurang informatif β€” Oscar: nominations == 0 & awards == 0 (tidak ada data statistik sama sekali) | Turtles: description %in% c("Unknown","") (tidak ada nama umum) β†’ tandai "Incomplete". Logika ini memastikan hanya data yang benar-benar bermakna yang lolos ke analisis final.

Kondisi 3 β€” Data Valid β†’ β€œComplete”

Jika semua field terisi dengan benar (bukan placeholder, bukan kosong, bukan "Unknown") β†’ tandai "Complete". Implementasi menggunakan case_when() dari dplyr: kondisi 1 dan 2 dicek lebih dulu, sisanya otomatis "Complete". Ini adalah pola if/else if/else yang diterapkan secara vektorial.

Kolom data_status sebagai Quality Gate

Kolom data_status berfungsi sebagai quality gate β€” filter otomatis kualitas data. Sebelum data digunakan untuk analisis lanjut, cukup filter data_status == "Complete". Ini jauh lebih andal dibanding memeriksa manual setiap kolom. Pola ini umum digunakan dalam pipeline data production di dunia industri.

Section E – Analytical Thinking

1. Website Paling Mudah di-Scrape?

Countries of the World (Static Page) adalah yang paling mudah. Semua data sudah ada di HTML saat halaman pertama dibuka β€” tidak ada JavaScript, tidak ada form, tidak ada halaman berikutnya. Cukup satu GET request dan semua data langsung bisa dibaca dengan html_table(). Seperti membaca buku yang sudah terbuka di halaman yang tepat β€” tidak ada kejutan.

2. Website Paling Sulit di-Scrape?

Oscar Winning Films (AJAX/JavaScript) adalah yang paling sulit. Data tidak ada di HTML awal β€” baru muncul setelah JavaScript berjalan di browser. Scraping langsung dengan requests menghasilkan halaman kosong. Perlu teknik khusus: temukan endpoint API tersembunyi via DevTools Inspect Network, atau gunakan Selenium untuk simulasi browser penuh yang lebih lambat dan berat.

3a. Perbedaan: Static vs Pagination

Static: data ada di HTML langsung saat halaman dibuka β€” satu GET request cukup, parsing langsung dengan html_table() atau html_nodes(). Tidak ada state yang perlu dikelola. Pagination: data tersebar di banyak halaman (page 1, 2, 3…). Perlu looping dengan parameter ?page=N sambil memantau kapan halaman terakhir β€” harus tahu kapan menghentikan loop agar tidak error 404.

3b. Perbedaan: AJAX vs iFrame

AJAX: data dimuat JavaScript setelah halaman terbuka melalui request tersembunyi ke endpoint API. Solusi terbaik: temukan URL endpoint via DevTools β†’ request langsung ke URL tersebut untuk mendapat JSON murni. iFrame: konten ada di URL terpisah dalam tag <iframe>. Solusi: ambil atribut src dari iframe β†’ scrape URL tersebut sebagai halaman mandiri. Keduanya butuh pemahaman cara browser bekerja di balik layar.

3 Insights dari Proses Scraping

(1) Kompleksitas β‰  volume data β€” website static dengan ribuan baris lebih mudah di-scrape dari website AJAX dengan puluhan baris. (2) Data hasil scraping hampir selalu perlu cleaning β€” spasi ekstra, kapitalisasi tidak konsisten, tipe data salah, dan missing values ditemukan di semua website yang di-scrape. (3) Looping adalah pondasi β€” tanpa looping, scraping multi-halaman dan multi-elemen tidak bisa dilakukan secara efisien.

2 Rekomendasi

(1) Cek endpoint AJAX sebelum pakai Selenium β€” jika URL API ditemukan lewat Inspect Network, datanya bisa diambil lebih cepat dan bersih dalam format JSON tanpa perlu simulasi browser. Selenium hanya digunakan jika endpoint tidak bisa ditemukan. (2) Selalu gunakan tryCatch() + Sys.sleep() β€” tryCatch mencegah program berhenti total saat satu elemen tidak ditemukan, Sys.sleep memberi jeda agar server tidak memblokir request karena terlalu cepat.