Sains Data untuk Inovasi Regional

E-Book Pendamping Mata Kuliah Statistics for Data Science — Magister Inovasi Regional, Universitas Padjadjaran

MAGISTER INOVASI REGIONAL · SEKOLAH PASCASARJANA · UNIVERSITAS PADJADJARAN

Sains Data untuk Inovasi Regional

E-Book Pendamping Mata Kuliah Statistics for Data Science

Outcome-Based Education · Case-Based Learning · Project-Based Learning · Responsible Generative AI

PenulisI Gede Nyoman Mindra Jaya

Dokumen Mata Kuliah

Dokumen resmi mata kuliah. Rencana Pembelajaran Semester (RPS) dan Kontrak Perkuliahan menjadi acuan pembelajaran, asesmen, capstone project, penggunaan Generative AI, serta ketentuan akademik sepanjang semester. Dokumen dapat dibuka langsung di Google Drive atau diunduh melalui tombol yang tersedia.

RPS

Rencana Pembelajaran Semester

Memuat CPL, CPMK, Sub-CPMK, bahan kajian, strategi pembelajaran, rencana 16 pertemuan, asesmen, rubrik, serta integrasi capstone project.

Buka RPS di Google Drive Unduh RPS

KP

Kontrak Perkuliahan

Memuat tata tertib pembelajaran, sistem penilaian, ketentuan tugas dan project, academic integrity, penggunaan Generative AI, serta hak dan kewajiban mahasiswa.

Buka Kontrak di Google Drive Unduh Kontrak

0. Pendahuluan

Kata Pengantar

E-book ini disusun sebagai pendamping Statistics for Data Science / Sains Data untuk Inovasi Regional pada Program Magister Inovasi Regional, Sekolah Pascasarjana, Universitas Padjadjaran. Struktur isi mengikuti Rencana Pembelajaran Semester (RPS): problem framing → data dan provenance → wrangling → EDA dan visualisasi → inferensi/regresi → predictive modeling → machine learning/classification → clustering/PCA → analisis spasial → evaluasi model → policy/dashboard → final synthesis dan reproducibility.

Orientasi jenjang magister adalah kemampuan menganalisis, mengevaluasi, mensintesis, dan mempertahankan keputusan analitik, bukan sekadar menjalankan perangkat lunak. R digunakan sebagai computational laboratory untuk menghasilkan analisis yang dapat direproduksi. Generative AI dapat digunakan secara terbatas sebagai co-pilot, dengan kewajiban verifikasi, dokumentasi, transparansi, dan integritas akademik.

Fokus e-book. Setiap bab berangkat dari Sub-CPMK dan materi pada RPS. Materi tambahan hanya dipertahankan bila membantu pencapaian CPMK, asesmen, capstone project, atau reproducibility.

Peta RPS dan Struktur 16 Pertemuan

Pertemuan	Sub-CPMK	Fokus RPS	Asesmen
1	S1	Sains data dan problem framing untuk inovasi regional	Diagnostik; partisipasi berjalan
2	S2	Ekosistem data, open data, provenance, metadata, etika	Kuis 1 (2,5%) + Project M1 (3%)
3	S3	Data wrangling, data quality, feature construction	Tugas 1 (5%)
4	S4	EDA dan statistika deskriptif regional	Project M2 (4%)
5	S4	Visualisasi data dan data storytelling	Kuis 2 (2,5%)
6	S5	Statistika inferensial dan regresi	Project M3 (5%)
7	S6	Predictive modeling, resampling, data leakage	Partisipasi Checkpoint I (5%)
8	S1–S6	UTS — integrated regional data case	UTS (20%)
9	S7	Machine learning untuk data regional	Kuis 3 (2,5%)
10	S7	Classification dan keputusan berbasis risiko	Project M4 (5%)
11	S8	Clustering dan segmentasi wilayah	Partisipasi berjalan
12	S8	Dimension reduction / PCA	Tugas 2 (5%)
13	S9	Analisis data spasial dan visualisasi geospasial	Kuis 4 (2,5%) + Project M5 (4%)
14	S10	Evaluasi model, uncertainty, robustness, fairness	Partisipasi berjalan
15	S11	Policy insight, dashboard, responsible Generative AI	Project M6 (4%) + Partisipasi Checkpoint II (5%)
16	S12	Final synthesis, reproducibility, presentation, defense	Project M7 (5%) + UAS (20%)

Sistem Asesmen Semester

Komponen	Bobot	Implementasi sesuai RPS
Project	30%	Tujuh milestone capstone berbasis masalah dan data regional nyata
Partisipasi	10%	Case discussion, lab, peer review, dan project studio; dicatat pada dua checkpoint
Kuis	10%	Empat kuis formatif (2?),5%
Tugas	10%	Dua tugas individual (5?)%: Data Audit/Wrangling dan Model/Interpretation Note
UTS	20%	Individual integrated regional data case
UAS	20%	Individual capstone defense/synthesis
Total	100%

Aturan konsistensi. Tidak ada tugas atau kuis sumatif tambahan di luar tabel RPS. Latihan pada setiap bab bersifat formatif kecuali secara eksplisit diberi label sebagai Kuis 1–4, Tugas 1–2, Project M1–M7, Partisipasi Checkpoint I–II, UTS, atau UAS.

Capstone Project — Milestone Resmi RPS

Milestone	Minggu	Fokus	Deliverable minimum	Bobot
M1	2	Problem Framing & Project Charter	Problem tree, stakeholder, decision/analytical question, outcome, unit, waktu/ruang, kandidat data, risiko etis, dan provenance awal	3%
M2	4	Data Dossier	Raw-source register, data dictionary, provenance card, cleaning log, analytic sample, missingness/quality audit, dan EDA awal	4%
M3	6	EDA & Evidence Story	Rmd/notebook dengan EDA, visualisasi utama, disparitas/tren, baseline inferensial/regresi, hypotheses, limitations, dan 3–5 evidence statements	5%
M4	10	Baseline + Predictive/Classification Model	Train/test/resampling workflow, baseline, model kandidat, metric, threshold bila classification, dan interpretasi awal	5%
M5	13	Regional Heterogeneity Module	Clustering, PCA, dan/atau spatial mapping/analysis sesuai pertanyaan; justifikasi, sensitivity, dan substantive typology	4%
M6	15	Policy & Dashboard Beta	Policy options, trade-off, KPI monitoring, model card, dashboard/prototype, dan AI-use log sementara	4%
M7	16	Final Reproducible Package	Rmd/report, code, data instructions, figures/tables, dashboard bila relevan, executive policy brief, AI declaration, dan final presentation	5%
		Total Project		30%

Prinsip Implementasi

1. Metode mengikuti pertanyaan, bukan sebaliknya. Tidak semua kasus memerlukan machine learning.
2. Setiap angka, visual, model, dan rekomendasi harus dapat ditelusuri ke sumber data dan transformasi yang jelas.
3. Dashboard adalah data product, bukan tujuan akhir.
4. Hasil prediktif tidak otomatis menjadi rekomendasi kebijakan; interpretasi harus mempertimbangkan mekanisme, trade-off, kapasitas implementasi, risiko, dan konteks regional.
5. Kualitas capstone dinilai dari coherence of evidence chain, bukan banyaknya algoritma.
6. Setiap bab membedakan klaim deskriptif, asosiasional, prediktif, kausal, dan rekomendatif.
7. Penggunaan Generative AI harus dicatat dan diverifikasi; AI tidak menggantikan penalaran, validasi, atau kontribusi pribadi mahasiswa.

Cara Menggunakan E-Book

Urutan minimum pada setiap analisis adalah pemeriksaan data → statistik deskriptif/EDA → visualisasi → estimasi/model → diagnostik/evaluasi → interpretasi regional → implikasi keputusan. Untuk metode non-prediktif, evaluasi dapat berupa quality check, sensitivity analysis, atau pemeriksaan asumsi yang relevan.

Setiap bab mengikuti satu pertemuan pada RPS. Bagian Latihan dan Latihan Formatif digunakan untuk penguatan konsep dan tidak menambah bobot penilaian. Bagian yang memiliki bobot hanya yang secara eksplisit diberi label sesuai tabel asesmen di atas.

Prinsip Reproducibility

Setiap analisis minimal mencatat: sumber data dan tanggal akses, unit observasi, kode pembersihan, aturan missing/outlier, skema training-test atau resampling bila prediktif, seed untuk proses acak, package/dependency, serta deklarasi penggunaan Generative AI.

Catatan Data Nyata

Contoh dapat menggunakan BPS, Open Data Jawa Barat, data.go.id, World Bank INDO-DAPOER, WHO/UNData, atau sumber resmi lain yang relevan. Dataset historis tidak boleh dipresentasikan sebagai kondisi terkini tanpa verifikasi periode dan definisi indikator.

1 Sains Data dan Inovasi Regional

1.1 Pendahuluan

Sains data untuk inovasi regional dimulai bukan dari algoritma, melainkan dari masalah keputusan. Ketimpangan antarwilayah, kemiskinan, akses layanan, produktivitas UMKM, mobilitas, kualitas lingkungan, dan daya inovasi memiliki mekanisme berbeda. Data science membantu menyatukan data administratif, survei, geospasial, sensor, dan sumber digital menjadi bukti yang dapat diuji. Pada jenjang magister, mahasiswa perlu bergerak dari pertanyaan “metode apa yang bisa digunakan?” ke pertanyaan “bukti apa yang dibutuhkan untuk keputusan ini, dengan asumsi dan keterbatasan apa?”. (Provost dan Fawcett 2013)

1.2 Tujuan Pembelajaran

Setelah bab ini, mahasiswa mampu: membedakan analisis deskriptif, diagnostik, prediktif, dan preskriptif; merumuskan masalah regional menjadi pertanyaan analitik; menentukan unit analisis; mengidentifikasi stakeholder; dan merancang minimum viable analysis untuk capstone.

1.3 Definisi dan Konsep

Sains data adalah praktik interdisipliner yang menggabungkan pemahaman substantif, statistika, komputasi, dan komunikasi untuk mengekstraksi informasi yang dapat digunakan dari data. Dalam konteks regional, “wilayah” bukan hanya label administratif; wilayah dapat memuat kedekatan spasial, jaringan ekonomi, arus komuter, struktur demografi, dan kapasitas kelembagaan. Karena itu, dua kabupaten dengan indikator rata-rata serupa belum tentu memiliki kebutuhan kebijakan yang sama.

Empat mode analitik yang penting adalah: deskriptif (apa yang terjadi?), diagnostik (pola apa yang menyertainya?), prediktif (apa yang mungkin terjadi pada observasi baru?), dan preskriptif (alternatif tindakan apa yang layak dipertimbangkan?). Analisis prediktif yang akurat tidak otomatis menghasilkan kesimpulan kausal. Korelasi antara internet dan kemiskinan, misalnya, belum membuktikan bahwa peningkatan internet menyebabkan penurunan kemiskinan.

1.4 Formulasi Matematis

Secara sederhana, data dapat ditulis sebagai matriks

$$\mathbf{X}=[x_{ij}], \qquad i=1,\ldots,n,\; j=1,\ldots,p,$$

di mana $n$ adalah jumlah unit observasi (misalnya kabupaten-tahun), $p$ jumlah variabel, dan $x_{ij}$ nilai variabel ke-$j$ pada observasi ke-$i$. Outcome yang ingin dijelaskan/prediksi ditulis $y_i$. Sebuah model prediktif mencari fungsi

$$\hat y_i=f(\mathbf{x}_i),$$

dengan $\mathbf{x}_i$ vektor fitur wilayah ke-$i$ dan $\hat y_i$ prediksi. Kualitas model tidak hanya ditentukan oleh kedekatan $\hat y_i$ terhadap $y_i$, tetapi juga relevansi fitur, kualitas data, stabilitas, fairness, serta kegunaan keputusan.

1.4.1 Dari masalah keputusan ke fungsi objektif

Dalam pembelajaran tingkat magister, algoritma dapat dipandang sebagai prosedur untuk memilih fungsi $f$ dari suatu kelas fungsi $\mathcal{F}$. Jika $L(y,\hat y)$ adalah fungsi kerugian (loss function), risiko populasi didefinisikan sebagai

$$R(f)=\mathbb{E}_{(X,Y)\sim P}\left[L\{Y,f(X)\}\right].$$

Distribusi populasi $P$ tidak diketahui, sehingga pada data pelatihan $(\mathbf{x}_i,y_i)_{i=1}^{n}$ kita menggunakan empirical risk

$$\widehat R_n(f)=\frac{1}{n}\sum_{i=1}^{n}L\{y_i,f(\mathbf{x}_i)\}.$$

Untuk outcome kontinu, pilihan yang umum adalah squared-error loss

$$L(y,\hat y)=(y-\hat y)^2,$$

sedangkan untuk keputusan klasifikasi biner dapat digunakan 0–1 loss

$$L(y,\hat y)=I(y\neq \hat y).$$

Namun biaya kebijakan sering tidak simetris. Misalkan $C_{FN}$ adalah biaya false negative (wilayah membutuhkan intervensi tetapi tidak diprioritaskan) dan $C_{FP}$ biaya false positive. Kerugian keputusan dapat ditulis

$$L(y,\hat y)=C_{FN}I(y=1,\hat y=0)+C_{FP}I(y=0,\hat y=1).$$

Konsekuensinya penting: threshold terbaik secara kebijakan tidak harus 0,5. Nilai threshold harus mempertimbangkan biaya, kapasitas intervensi, serta konsekuensi salah klasifikasi. (James dkk. 2021; Hastie, Tibshirani, dan Friedman 2009)

1.4.2 Indikator, normalisasi, dan indeks komposit

Banyak persoalan regional menggunakan beberapa indikator. Jika indikator $x_{ij}$ memiliki unit yang berbeda, dua transformasi umum adalah min–max scaling

$$z_{ij}^{(mm)}=\frac{x_{ij}-\min_i(x_{ij})}{\max_i(x_{ij})-\min_i(x_{ij})},$$

dan z-score standardization

$$z_{ij}=\frac{x_{ij}-\bar x_j}{s_j}, \qquad s_j=\sqrt{\frac{1}{n-1}\sum_{i=1}^n(x_{ij}-\bar x_j)^2}.$$

Indeks komposit berbobot dapat ditulis

$$S_i=\sum_{j=1}^{p} w_j z_{ij},\qquad w_j\ge 0,\qquad \sum_{j=1}^{p}w_j=1.$$

Jika indikator “lebih tinggi = lebih buruk”, sedangkan indikator lain “lebih tinggi = lebih baik”, arah harus diseragamkan sebelum agregasi. Untuk skala 0–1, pembalikan sederhana adalah $z_{ij}^{*}=1-z_{ij}$. Pilihan bobot $w_j$ adalah bagian dari desain kebijakan dan harus diuji dengan sensitivity analysis. OECD/JRC menekankan pentingnya kerangka teori, seleksi indikator, normalisasi, pembobotan, agregasi, serta analisis ketidakpastian pada indeks komposit. (OECD dan Joint Research Centre, European Commission 2008)

1.4.3 Dari prediksi menuju keputusan

Misalkan $a\in\mathcal{A}$ adalah alternatif tindakan dan $\theta$ keadaan dunia yang tidak diketahui. Dalam kerangka keputusan sederhana, kita memilih

$$a^{*}=\arg\max_{a\in\mathcal{A}}\mathbb{E}\{U(a,\theta)\mid \mathcal{D}\},$$

di mana $U(a,\theta)$ adalah utilitas tindakan dan $\mathcal{D}$ adalah data. Rumus ini mengingatkan bahwa prediksi $\hat y$ hanyalah salah satu input keputusan. Kapasitas anggaran, risiko, fairness, implementability, dan preferensi stakeholder dapat mengubah pilihan tindakan walaupun prediksi sama.

1.4.4 Notasi inti yang akan dipakai sepanjang buku

Simbol	Makna
$n$	jumlah unit observasi
$p$	jumlah fitur/variabel prediktor
$\mathbf{X}\in\mathbb{R}^{n\times p}$	matriks fitur
$\mathbf{x}_i$	vektor fitur observasi/wilayah ke-$i$
$y_i$	outcome aktual
$\hat y_i$	outcome prediksi
$f(\cdot)$	fungsi/model prediksi
$L(\cdot)$	fungsi kerugian
$R(f)$	risiko populasi
$\widehat R_n(f)$	empirical risk
$w_j$	bobot indikator ke-$j$

1.4.5 Kesalahan konseptual yang harus dihindari

1. Prediction ≠ causation. Model yang dapat memprediksi kemiskinan tidak otomatis menjelaskan intervensi apa yang akan menurunkannya. (Hernán dan Robins 2020)
2. Administrative unit ≠ mechanism. Kabupaten/kota adalah unit pelaporan; mekanisme sosial-ekonomi dapat melintasi batas tersebut.
3. Ranking ≠ diagnosis. Peringkat tinggi hanyalah sinyal prioritas; diagnosis kebijakan membutuhkan pembacaan indikator penyusun dan konteks lokal.
4. Model accuracy ≠ policy value. Perbaikan RMSE yang sangat kecil dapat tidak bernilai jika interpretasi, biaya implementasi, atau fairness memburuk.
5. Open data ≠ ready-to-model data. Ketersediaan publik tidak menjamin definisi stabil, lengkap, dan kompatibel antarsumber.

1.5 Intuisi Metode

Bayangkan pemerintah daerah harus menentukan 20 kecamatan prioritas. “Memilih model” baru relevan setelah definisi prioritas disepakati: apakah berdasarkan tingkat kemiskinan, tren memburuk, kerentanan guncangan, kekurangan layanan, atau kombinasi beberapa indikator? Sains data yang baik membuat definisi tersebut eksplisit sehingga hasil dapat diaudit.

1.5.1 Worked Example — dari isu kebijakan ke target analitik

Misalkan Bappeda memiliki tiga kabupaten hipotetis A, B, dan C. Outcome yang ingin diprioritaskan adalah multiple deprivation. Tiga indikator setelah orientasi “lebih tinggi = lebih buruk” adalah kemiskinan $z_1$, kekurangan internet $z_2$, dan kekurangan akses kesehatan $z_3$. Setelah min–max scaling diperoleh:

Wilayah	$z_1$	$z_2$	$z_3$
A	0.90	0.70	0.40
B	0.55	0.85	0.80
C	0.35	0.30	0.90

Dengan bobot $(0.50,0.30,0.20)$, $$S_A=0.50(0.90)+0.30(0.70)+0.20(0.40)=0.74,$$ $$S_B=0.50(0.55)+0.30(0.85)+0.20(0.80)=0.69,$$ $$S_C=0.50(0.35)+0.30(0.30)+0.20(0.90)=0.445.$$

Ranking awal adalah A–B–C. Tetapi bila stakeholder menyatakan akses layanan dasar lebih kritis dan bobot menjadi $(0.35,0.25,0.40)$, maka $$S_A=0.35(0.90)+0.25(0.70)+0.40(0.40)=0.650,$$ $$S_B=0.35(0.55)+0.25(0.85)+0.40(0.80)=0.725,$$ $$S_C=0.35(0.35)+0.25(0.30)+0.40(0.90)=0.558.$$ Ranking berubah menjadi B–A–C. Pelajaran: ranking bukan fakta alam; ia merupakan konsekuensi data, definisi indikator, transformasi, dan preferensi bobot. Maka laporan harus memisahkan hasil empiris dari pilihan normatif. (OECD dan Joint Research Centre, European Commission 2008)

1.5.2 Problem-framing canvas

Sebelum membuka R, isi enam kotak berikut.

Pertanyaan	Contoh jawaban
Siapa pengambil keputusan?	Bappeda provinsi + dinas terkait
Keputusan apa?	memilih 10 kabupaten untuk diagnostic review lanjutan
Unit analisis?	kabupaten–tahun
Outcome?	indeks kerentanan atau TPT tahun berikutnya
Horizon?	alokasi program tahun anggaran berikut
Kesalahan paling mahal?	tidak memasukkan wilayah benar-benar rentan

Bila jawaban “keputusan apa?” masih berupa “mengetahui kondisi”, project belum cukup tajam. Ubah menjadi keputusan yang dapat ditindaklanjuti: prioritas, alokasi, screening, evaluasi, pemantauan, atau desain inovasi.

1.5.3 Empirical-risk example dengan cost tidak simetris

Anggap 100 wilayah: 20 benar-benar prioritas. Model A menghasilkan FN=2 dan FP=20; model B FN=7 dan FP=5. Jika $C_{FN}=5$ dan $C_{FP}=1$: $$C_A=5(2)+1(20)=30,$$ $$C_B=5(7)+1(5)=40.$$ Walau model B mempunyai lebih sedikit false positive, model A lebih baik menurut cost policy yang ditetapkan. Jika cost berubah, pilihan dapat berubah. Karena itu pemilihan metric dan threshold harus mengikuti konsekuensi keputusan, bukan kebiasaan default software.

1.5.4 Implementasi R langkah demi langkah

set.seed(260811)
idx <- tibble::tribble(
  ~wilayah, ~kemiskinan, ~internet, ~akses,
  "A", 19, 45, 60,
  "B", 14, 35, 45,
  "C", 10, 70, 40
) |>
  mutate(
    kemiskinan_mm = (kemiskinan-min(kemiskinan))/(max(kemiskinan)-min(kemiskinan)),
    kurang_internet = 1-(internet-min(internet))/(max(internet)-min(internet)),
    kurang_akses = 1-(akses-min(akses))/(max(akses)-min(akses)),
    score_s1 = .50*kemiskinan_mm + .30*kurang_internet + .20*kurang_akses,
    score_s2 = .35*kemiskinan_mm + .25*kurang_internet + .40*kurang_akses
  )
knitr::kable(idx, digits = 3, caption = "Sensitivity of regional priority scores")

Table 1.1: Sensitivity of regional priority scores

wilayah	kemiskinan	internet	akses	kemiskinan_mm	kurang_internet	kurang_akses	score_s1	score_s2
A	19	45	60	1.000	0.714	0.00	0.714	0.529
B	14	35	45	0.444	1.000	0.75	0.672	0.706
C	10	70	40	0.000	0.000	1.00	0.200	0.400

Perhatikan bahwa kode menyimpan indikator asli dan indikator tertransformasi. Jangan menimpa kolom mentah karena audit trail akan hilang.

1.5.5 Pertanyaan refleksi tingkat magister

• Apakah target yang dipilih merupakan outcome yang memang dapat dipengaruhi oleh kebijakan dalam horizon yang tersedia?
• Apakah unit analisis terlalu agregat untuk mekanisme yang ingin dijelaskan?
• Apakah ranking diperlukan, atau interval/cluster lebih jujur terhadap uncertainty?
• Apa baseline keputusan tanpa model? Misalnya aturan existing atau indikator tunggal.
• Berapa minimum useful improvement yang membuat model baru layak dipakai?
• Siapa yang dapat dirugikan jika model salah?

1.6 Contoh dengan Data Simulasi

set.seed(260801)
contoh_wilayah <- tibble(
  wilayah = paste0("W", 1:12),
  kemiskinan = runif(12, 4, 20),
  internet = runif(12, 35, 95),
  akses_layanan = runif(12, 40, 90)
) |>
  mutate(skor_prioritas = 0.6*kemiskinan + 0.25*(100-internet) + 0.15*(100-akses_layanan)) |>
  arrange(desc(skor_prioritas))
knitr::kable(contoh_wilayah, digits = 2, caption = "Contoh pembentukan skor prioritas wilayah (simulasi)")

Table 1.2: Contoh pembentukan skor prioritas wilayah (simulasi)

wilayah	kemiskinan	internet	akses_layanan	skor_prioritas
W6	19.53	44.94	70.63	29.89
W5	17.09	55.12	49.86	28.99
W12	14.64	43.64	70.98	27.23
W3	10.65	48.82	52.30	26.34
W1	4.49	36.43	59.87	24.61
W8	15.68	57.89	69.55	24.50
W4	4.01	40.70	66.96	22.18
W2	16.44	90.05	56.19	18.92
W10	11.79	90.01	44.67	17.87
W7	6.21	54.16	83.45	17.67
W11	9.46	91.96	41.85	16.41
W9	5.16	79.46	84.76	10.52

1.6.1 Visualisasi Output: Prioritas Wilayah

contoh_wilayah |>
  dplyr::slice_head(n = 8) |>
  ggplot2::ggplot(ggplot2::aes(x = reorder(wilayah, skor_prioritas), y = skor_prioritas)) +
  ggplot2::geom_col(fill = "#145B8C") +
  ggplot2::coord_flip() +
  ggplot2::labs(
    title = "Skor prioritas delapan wilayah teratas — data simulasi",
    subtitle = "Skor merupakan alat screening; bobot tetap harus diuji sensitivitasnya",
    x = NULL, y = "Skor prioritas"
  )

Contoh ini menunjukkan bahwa definisi indeks adalah keputusan normatif-analitik. Bobot 0,60; 0,25; dan 0,15 bukan “ditemukan” oleh R. Bobot harus dibenarkan dengan teori, proses kebijakan, atau analisis sensitivitas.

1.7 Contoh dengan Data Nyata

INDO-DAPOER menyediakan indikator provinsi dan kabupaten/kota Indonesia dalam kelompok fiskal, ekonomi, sosial-demografi, dan infrastruktur, dengan cakupan historis 1976-2018. Unit observasi praktisnya adalah wilayah-tahun-indikator. Sumber aslinya antara lain BPS dan kementerian/lembaga Indonesia. Lisensinya CC BY 4.0. Kelebihannya adalah keluasan indikator dan format panel; keterbatasan utamanya adalah data tidak mutakhir dan konsistensi definisi perlu diperiksa antarperiode. (World Bank 2026)

Kartu dataset real.

• Nama: Indonesia Database for Policy and Economic Research (INDO-DAPOER).
• Sumber dan URL: World Bank Data Catalog, https://datacatalog.worldbank.org/search/dataset/0041056/indonesia-database-for-policy-and-economic-research.
• Tahun: 1976–2018 (cakupan keseluruhan; ketersediaan aktual berbeda per indikator).
• Unit observasi: provinsi/kabupaten/kota–tahun–indikator.
• Variabel yang digunakan: kode/nama wilayah; tahun; kode indikator; nilai indikator. Contoh: SI.POV.NAPR.ZS = poverty rate (% penduduk), IDX.HDI = Human Development Index, SP.POP.TOTL = total population.
• Alasan digunakan: panel subnasional lintas-sektor cocok untuk melatih problem framing, integrasi indikator, dan analisis disparitas.
• Keterbatasan: bukan data terkini; missingness dan cakupan indikator tidak seragam; perubahan definisi/kode wilayah harus diaudit. (World Bank 2026)

1.8 Analisis Menggunakan R

# Jika INDO-DAPOER sudah diunduh, gunakan data resmi; bila belum, tampilkan
# struktur indikator dari data simulasi agar e-book tetap dapat diknit offline.
if (dir.exists("data/raw/indodapoer") && length(list.files("data/raw/indodapoer")) > 0) {
  source("R/03_prepare_indodapoer.R")
  indo <- load_indodapoer()
  out <- indo |>
    dplyr::distinct(kode_indikator, indikator) |>
    dplyr::filter(stringr::str_detect(indikator, stringr::regex("poverty|unemploy|development|GDP", ignore_case = TRUE))) |>
    dplyr::arrange(indikator) |>
    head(15)
} else {
  out <- tibble::tribble(
    ~kode_indikator, ~indikator,
    "SIM.POV", "Kemiskinan (%) — simulasi",
    "SIM.TPT", "Tingkat pengangguran terbuka (%) — simulasi",
    "SIM.HDI", "Indeks pembangunan manusia — simulasi",
    "SIM.GDPPC", "PDRB per kapita (juta) — simulasi"
  )
}
knitr::kable(out, caption = "Output: daftar indikator yang relevan dengan problem framing")

Table 1.3: Output: daftar indikator yang relevan dengan problem framing

kode_indikator	indikator
SIM.POV	Kemiskinan (%) — simulasi
SIM.TPT	Tingkat pengangguran terbuka (%) — simulasi
SIM.HDI	Indeks pembangunan manusia — simulasi
SIM.GDPPC	PDRB per kapita (juta) — simulasi

Langkah pertama bukan langsung memodelkan, tetapi membaca metadata dan mengecek apakah indikator benar-benar merepresentasikan konsep yang sedang dibahas.

1.9 Interpretasi dalam Konteks Regional

Jika suatu wilayah memiliki kemiskinan tinggi tetapi akses internet dan layanan dasar juga rendah, masalahnya dapat mengarah pada multiple deprivation. Sebaliknya, pengangguran tinggi di kota dengan PDRB tinggi dapat menunjukkan mismatch tenaga kerja, struktur industri, atau tekanan urbanisasi. Rekomendasi kebijakan harus mengikuti pola substantif ini, bukan sekadar ranking algoritmik.

1.10 Latihan

1. Jelaskan perbedaan pertanyaan deskriptif dan prediktif untuk masalah pengangguran.
2. Mengapa unit “kabupaten” dan “kabupaten-tahun” menghasilkan struktur analisis berbeda?
3. Berikan contoh korelasi yang tidak boleh langsung dibaca sebagai hubungan kausal.
4. Analisis data: gunakan simulasi_panel_regional.csv untuk memilih lima wilayah yang tampak paling tertinggal pada 2025 berdasarkan minimal tiga indikator.
5. Analisis data: lakukan analisis sensitivitas dengan dua skema bobot indeks prioritas.
6. Mini-case: Bappeda meminta “model AI untuk menentukan desa prioritas”. Susun lima pertanyaan klarifikasi sebelum Anda menulis satu baris kode pun.

1.10.1 Latihan Formatif Pertemuan 1 — Problem Framing (non-sumatif)

Studio problem framing (formatif menuju M1). Pilih satu dari sepuluh contoh capstone atau usulkan tema lain. Buat 1 halaman yang memuat: masalah publik; stakeholder; decision question; unit analisis; outcome; minimal 5 kandidat indikator; horizon waktu; risiko salah keputusan; serta satu kalimat yang menjelaskan mengapa analisis tersebut bukan sekadar membuat dashboard.

Rubrik (100): problem significance 20; analytical question 20; unit/outcome clarity 15; data plausibility 15; decision relevance 20; caveat/ethics 10.

1.10.2 Latihan Kuis Pertemuan 1 (non-sumatif)

1. Apa perbedaan prediction target dan policy target?
   
2. Mengapa korelasi yang kuat tidak cukup untuk rekomendasi intervensi?
   
3. Jika cost false negative lima kali false positive, apa konsekuensi terhadap threshold?
   
4. Mengapa bobot indeks prioritas perlu sensitivity analysis?
   
5. Tulis satu contoh unit analisis yang salah untuk pertanyaan “perubahan pengangguran kabupaten 2015–2024”, lalu perbaiki.

1.11 Hubungan dengan Capstone Project

Milestone awal: pilih satu masalah regional, tentukan stakeholder, unit analisis, outcome/indikator utama, dan keputusan yang hendak didukung. Hasilnya berupa one-page problem brief.

1.12 Kesimpulan

Sains data regional adalah disiplin pengambilan keputusan berbasis bukti. Algoritma penting, tetapi kualitas formulasi masalah, definisi indikator, data provenance, dan interpretasi kebijakan menentukan apakah analisis benar-benar berguna.

1.13 Pendalaman Magister — Problem framing dan decision science

1.13.1 Audit metodologis

1. Outcome terlalu jauh dari keputusan aktual.
2. Unit administrasi dipakai tanpa alasan.
3. Indikator normatif dicampur dengan fitur prediktif.
4. Ranking diperlakukan sebagai kebenaran absolut.
5. Stakeholder tidak menentukan false-positive/false-negative cost.
6. Model dipilih sebelum masalah dirumuskan.

1.13.2 Pertanyaan viva / diskusi kelas

1. Apa baseline keputusan tanpa model?
2. Klaim apa yang hanya deskriptif dan mana yang prediktif?
3. Bagaimana bobot indeks dipertanggungjawabkan?
4. Siapa yang menanggung kerugian jika ranking salah?
5. Bagaimana menguji stabilitas ranking?
6. Apa bukti bahwa outcome relevan dengan horizon kebijakan?

2 Ekosistem Data, Open Data, dan Data Provenance

2.1 Pendahuluan

Analisis regional sering gagal bukan karena model, melainkan karena data berasal dari sistem yang berbeda: kode wilayah berubah, definisi indikator tidak identik, periode pencatatan tidak sinkron, dan angka proyeksi diperlakukan seperti hasil observasi. Bab ini menempatkan provenance dan metadata sebagai bagian dari metode ilmiah, bukan urusan administratif.

2.2 Tujuan Pembelajaran

Mahasiswa mampu memetakan ekosistem data regional, mengevaluasi kualitas sumber, membuat data inventory, membedakan data primer/sekunder/administratif/open data, dan menyusun dokumentasi dataset (datasheet).

2.3 Definisi dan Konsep

Data provenance adalah jejak asal-usul data: siapa produsen data, bagaimana data dikumpulkan, kapan diperbarui, transformasi apa yang dilakukan, dan lisensi apa yang berlaku. Datasheets for datasets membantu mendokumentasikan motivasi, komposisi, proses pengumpulan, preprocessing, penggunaan yang direkomendasikan, serta keterbatasan. (Gebru dkk. 2021)

Dalam analisis regional, cek minimal: unit geografis, kode wilayah, frekuensi waktu, definisi denominator, perubahan metodologi, status angka sementara/final, missingness, dan revision policy. “Jumlah penduduk miskin” tidak sama dengan “persentase penduduk miskin”; perbandingan antarkabupaten membutuhkan denominator.

2.4 Formulasi Matematis

Untuk indikator berbasis rasio,

$$r_i=\frac{a_i}{b_i}\times c,$$

di mana $a_i$ adalah pembilang, $b_i$ denominator, dan $c$ konstanta skala (misalnya 100 untuk persen atau 1.000 untuk per seribu). Membandingkan $a_i$ tanpa mempertimbangkan $b_i$ dapat menimbulkan size bias.

Missingness dapat diringkas sebagai

$$m_j=\frac{1}{n}\sum_{i=1}^n I(x_{ij}\;\text{missing}),$$

dengan $I(\cdot)$ fungsi indikator. Nilai $m_j$ adalah proporsi missing untuk variabel $j$.

2.4.1 Struktur indikator: count, rate, proportion, index, dan stock–flow

Mahasiswa harus membedakan tipe indikator karena operasi matematis yang sah berbeda. Count adalah jumlah kejadian/unit, rate menghubungkan kejadian dengan populasi berisiko dan periode waktu, proportion adalah bagian dari keseluruhan, sedangkan index biasanya merupakan transformasi beberapa komponen.

Proporsi: $$p_i=\frac{a_i}{n_i},\qquad 0\le p_i\le 1.$$

Rate per $k$ penduduk: $$r_i=\frac{a_i}{n_i}\times k.$$

Perubahan absolut dan relatif: $$\Delta x_t=x_t-x_{t-1},\qquad g_t=\frac{x_t-x_{t-1}}{x_{t-1}}\times100\%.$$

Jika interval lebih dari satu tahun, compound annual growth rate (CAGR) adalah $$\operatorname{CAGR}=\left(\frac{x_T}{x_0}\right)^{1/T}-1.$$

Stock diukur pada titik waktu (misalnya jumlah penduduk pada pertengahan tahun), sedangkan flow diakumulasi selama periode (misalnya investasi selama tahun). Menjumlahkan atau membagi stock dan flow tanpa memperhatikan waktu dapat menghasilkan indikator yang menyesatkan.

2.4.2 Kelengkapan, duplikasi, dan konsistensi

Untuk variabel $j$, completeness dapat diringkas sebagai

$$C_j=1-m_j=1-\frac{1}{n}\sum_{i=1}^n I(x_{ij}\text{ missing}).$$

Jika kunci yang diharapkan unik adalah kombinasi wilayah–tahun, tingkat duplikasi dapat ditulis

$$D=\frac{n-n_{\text{unik}}}{n}.$$

Ketika dua sumber digabungkan dengan kunci $K$, match rate adalah

$$M=\frac{n_{\text{matched}}}{n_{\text{target}}}.$$

Nilai $M<1$ bukan sekadar masalah teknis. Penyebabnya dapat berupa perubahan kode wilayah, pemekaran, perbedaan kapitalisasi nama, atau cakupan unit yang tidak sama. Join harus didiagnosis sebelum baris tak cocok dihapus.

2.4.3 Mekanisme missing data

Gunakan $R_{ij}=1$ bila $X_{ij}$ teramati dan $0$ bila hilang. Secara konseptual:

• MCAR: $P(R\mid X_{obs},X_{mis})=P(R)$;
• MAR: $P(R\mid X_{obs},X_{mis})=P(R\mid X_{obs})$;
• MNAR: probabilitas missing tetap bergantung pada nilai yang tidak teramati.

Klasifikasi ini penting karena complete-case analysis dapat bias ketika missing terkait dengan karakteristik wilayah. Wilayah dengan kapasitas pelaporan rendah, misalnya, mungkin memiliki missingness lebih tinggi. (Little dan Rubin 2019)

Imputasi mean sederhana $$x_{ij}^{imp}=\bar x_j$$ mempertahankan rata-rata tetapi cenderung mengecilkan varians dan merusak hubungan antarvariabel. Untuk analisis serius, pertimbangkan multiple imputation atau model yang secara eksplisit menangani missingness, disertai sensitivity analysis. (Little dan Rubin 2019)

2.4.4 Harmonisasi lintas waktu dan wilayah

Jika batas wilayah berubah, indikator historis mungkin harus dikonversi ke constant geography. Secara abstrak, jika $\mathbf{x}^{old}$ adalah nilai pada unit lama dan $\mathbf{A}$ matriks alokasi dari unit lama ke unit baru, maka

$$\mathbf{x}^{new}=\mathbf{A}\mathbf{x}^{old}.$$

Elemen $a_{kj}$ menyatakan proporsi unit lama $j$ yang dialokasikan ke unit baru $k$. Untuk count, bobot dapat berbasis populasi/area sesuai konsep; untuk rate, jangan langsung mengalikan tanpa merekonstruksi numerator dan denominator jika memungkinkan.

2.4.5 Provenance sebagai objek yang dapat diaudit

Untuk setiap dataset, simpan minimal tuple $$\mathcal{P}=(\text{producer},\text{URL},\text{access date},\text{version},\text{license},\text{unit},\text{period},\text{transformation}).$$

Prinsip ini konsisten dengan datasheets for datasets: dokumentasi harus menjelaskan motivasi, komposisi, proses pengumpulan, preprocessing, penggunaan yang direkomendasikan, dan keterbatasan. (Gebru dkk. 2021)

2.5 Intuisi Metode

Data berkualitas tidak selalu berarti “tanpa missing”. Yang lebih penting adalah mengetahui mengapa missing terjadi. Wilayah terpencil mungkin lebih sering tidak melaporkan data; jika demikian, menghapus baris missing dapat secara sistematis menghilangkan wilayah yang justru paling membutuhkan kebijakan.

2.5.1 Worked Example — denominator mengubah cerita

Dua wilayah melaporkan 5.000 dan 3.000 penganggur. Tanpa denominator, wilayah pertama tampak lebih buruk. Jika angkatan kerja masing-masing 100.000 dan 40.000: $$TPT_A=\frac{5{,}000}{100{,}000}\times100=5\%,$$ $$TPT_B=\frac{3{,}000}{40{,}000}\times100=7.5\%.$$ Maka cerita berubah. Untuk kebijakan tenaga kerja, count berguna untuk memperkirakan volume layanan; rate berguna untuk membandingkan tingkat masalah. Keduanya dapat diperlukan, tetapi menjawab pertanyaan berbeda.

2.5.2 Worked Example — weighted rate tidak sama dengan mean rate

Misalkan rate tiga kabupaten adalah 4%, 8%, 12% dengan angkatan kerja 1 juta, 100 ribu, dan 50 ribu. Mean sederhana adalah 8%. Weighted rate: $$\bar r_w=\frac{0.04(1{,}000{,}000)+0.08(100{,}000)+0.12(50{,}000)}{1{,}150{,}000}=4.70\%.$$ Perbedaan besar terjadi karena ukuran denominator tidak sama. Agregasi rate tingkat provinsi sebaiknya direkonstruksi dari numerator/denominator yang sesuai jika tersedia, bukan selalu mean kabupaten.

2.5.3 Missingness sebagai informasi substantif

Bayangkan missing rate pelaporan fasilitas kesehatan adalah 5% di perkotaan dan 35% di daerah terpencil. Jika seluruh baris missing dihapus, dataset analitik menjadi lebih “urban” daripada populasi target. Untuk mendiagnosis, modelkan indikator missing: $$P(R_i=1\mid X_i)=\operatorname{logit}^{-1}(\gamma_0+\gamma_1Remote_i+\gamma_2Capacity_i).$$ Tujuannya bukan selalu mengestimasi mekanisme missing secara formal, tetapi melihat apakah missingness berpola. (Little dan Rubin 2019)

2.5.4 Data provenance table yang wajib ada pada capstone

provenance <- tibble::tribble(
  ~dataset, ~producer, ~period, ~unit, ~status, ~access_date,
  "TPT", "BPS / Open Data Jabar", "2007-2024", "kab/kota-tahun", "published", "2026-08-07",
  "UMKM", "Dinas KUK / Open Data Jabar", "2016-2023", "kab/kota-tahun", "projection", "2026-08-07",
  "INDO-DAPOER", "World Bank", "1976-2018", "subnational-year", "historical", "2026-08-07"
)
knitr::kable(provenance, caption = "Contoh minimum provenance register")

Table 2.1: Contoh minimum provenance register

dataset	producer	period	unit	status	access_date
TPT	BPS / Open Data Jabar	2007-2024	kab/kota-tahun	published	2026-08-07
UMKM	Dinas KUK / Open Data Jabar	2016-2023	kab/kota-tahun	projection	2026-08-07
INDO-DAPOER	World Bank	1976-2018	subnational-year	historical	2026-08-07

2.5.5 Checklist validasi sumber

Sebelum data dimodelkan, jawab ya/tidak:

1. Producer resmi dapat diidentifikasi?
2. Definisi indikator tertulis?
3. Unit/satuan jelas?
4. Periodisitas jelas?
5. Angka final/sementara/proyeksi diketahui?
6. Kode wilayah dan versi nomenklatur diketahui?
7. Lisensi/ketentuan penggunaan diperiksa?
8. Perubahan metodologi dicari?
9. Tanggal akses dicatat?
10. URL landing page disimpan selain direct-download URL?

Jika beberapa jawaban “tidak”, masalah tersebut harus masuk limitation dan dapat mengubah metode. Sumber data yang kredibel tidak berarti setiap field otomatis siap dipakai.

2.6 Contoh dengan Data Simulasi

set.seed(260802)
dq <- tibble(
  wilayah = sprintf("W%02d", 1:40),
  populasi = round(runif(40, 100000, 3000000)),
  kasus = rpois(40, lambda = 200),
  akses_data = runif(40)
) |>
  mutate(
    kasus = if_else(akses_data < .12, NA_integer_, kasus),
    rate_per_100k = kasus/populasi*100000
  )

dq |>
  summarise(n = n(), missing_kasus = mean(is.na(kasus)), median_rate = median(rate_per_100k, na.rm = TRUE)) |>
  knitr::kable(digits = 3, caption = "Audit kualitas data sederhana")

Table 2.2: Audit kualitas data sederhana

n	missing_kasus	median_rate
40	0.125	12.573

2.6.1 Visualisasi Output: Pola Missingness

tibble::tibble(
  status = ifelse(is.na(dq$kasus), "Missing", "Tersedia")
) |>
  dplyr::count(status) |>
  ggplot2::ggplot(ggplot2::aes(status, n, fill = status)) +
  ggplot2::geom_col(show.legend = FALSE) +
  ggplot2::scale_fill_manual(values = c("Missing" = "#C99A17", "Tersedia" = "#145B8C")) +
  ggplot2::labs(title = "Ketersediaan data kasus — simulasi", x = NULL, y = "Jumlah observasi")

2.7 Contoh dengan Data Nyata

Open Data Jawa Barat menyediakan dataset mentah dari perangkat daerah dan BPS, dengan pilihan CSV/Excel/API. Contoh yang relevan adalah TPT kabupaten/kota 2007-2024, jumlah penduduk miskin 2002-2025, dan proyeksi UMKM 2016-2023. Perhatikan bahwa dataset UMKM secara eksplisit berstatus proyeksi, sehingga tidak boleh ditafsirkan identik dengan sensus usaha aktual. (Pemerintah Provinsi Jawa Barat 2026)

Kartu dataset real.

• Nama: (i) Tingkat Pengangguran Terbuka (TPT) kabupaten/kota Jawa Barat; (ii) Jumlah Penduduk Miskin kabupaten/kota Jawa Barat; (iii) Proyeksi Jumlah UMKM kabupaten/kota Jawa Barat.
• Sumber dan URL: Open Data Jawa Barat/BPS untuk TPT https://opendata.jabarprov.go.id/id/dataset/tingkat-pengangguran-terbuka-berdasarkan-kabupatenkota-di-jawa-barat; kemiskinan https://opendata.jabarprov.go.id/id/dataset/jumlah-penduduk-miskin-berdasarkan-kabupatenkota-di-jawa-barat; UMKM https://opendata.jabarprov.go.id/id/dataset/proyeksi-jumlah-usaha-mikro-kecil-menengah-umkm-berdasarkan-kabupatenkota-di-jawa-barat.
• Tahun: TPT 2007–2024; kemiskinan 2002–2025; UMKM 2016–2023.
• Unit observasi: kabupaten/kota–tahun.
• Variabel/definisi: kode/nama provinsi dan kabupaten/kota; tingkat_pengangguran_terbuka = persen TPT; jumlah_penduduk_miskin = ribu jiwa; proyeksi_jumlah_umkm = proyeksi jumlah unit UMKM; satuan; tahun.
• Alasan digunakan: menunjukkan bahwa beberapa open datasets dapat memiliki produsen, periode, unit, dan status angka berbeda sehingga provenance harus dikelola eksplisit.
• Keterbatasan: seri tidak memiliki periode identik; nilai UMKM adalah proyeksi; kode wilayah/definisi dapat berubah antarversi. (Pemerintah Provinsi Jawa Barat 2026)

2.8 Analisis Menggunakan R

katalog <- read_csv("data/katalog_data_real.csv", show_col_types = FALSE)
knitr::kable(katalog[, c("dataset","sumber","cakupan_tahun","unit_observasi")],
             caption = "Katalog sumber data nyata untuk mata kuliah")

Table 2.3: Katalog sumber data nyata untuk mata kuliah

dataset	sumber	cakupan_tahun	unit_observasi
Tingkat Pengangguran Terbuka berdasarkan Kabupaten/Kota di Jawa Barat	Open Data Jawa Barat / BPS	2007-2024	Kabupaten/kota-tahun
Jumlah Penduduk Miskin berdasarkan Kabupaten/Kota di Jawa Barat	Open Data Jawa Barat / BPS	2002-2025	Kabupaten/kota-tahun
Proyeksi Jumlah UMKM berdasarkan Kabupaten/Kota di Jawa Barat	Open Data Jawa Barat / Dinas Koperasi dan Usaha Kecil	2016-2023	Kabupaten/kota-tahun
Jumlah Penduduk berdasarkan Kabupaten/Kota di Jawa Barat	Open Data Jawa Barat / BPS	2010-2025	Kabupaten/kota-tahun
Indonesia Database for Policy and Economic Research (INDO-DAPOER)	World Bank Data Catalog; sumber indikator terutama BPS dan kementerian/lembaga Indonesia	1976-2018	Provinsi/kabupaten/kota-tahun-indikator
World Bank Official Boundaries	World Bank Data Catalog	diperbarui berkala	Geometri admin 0/1/2

if (dir.exists("data/raw/indodapoer") && length(list.files("data/raw/indodapoer")) > 0) {
  source("R/03_prepare_indodapoer.R")
  indo <- load_indodapoer()
  quality <- indo |>
    dplyr::group_by(kode_indikator, indikator) |>
    dplyr::summarise(
      prop_missing = mean(is.na(nilai)),
      tahun_min = min(tahun[!is.na(nilai)], na.rm = TRUE),
      tahun_max = max(tahun[!is.na(nilai)], na.rm = TRUE),
      .groups = "drop"
    ) |>
    dplyr::arrange(prop_missing) |>
    head(20)
} else {
  demo <- readr::read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE)
  quality <- tibble::tibble(
    variabel = names(demo),
    prop_missing = purrr::map_dbl(demo, ~mean(is.na(.x))),
    kelas = purrr::map_chr(demo, ~class(.x)[1])
  )
}
knitr::kable(quality, digits = 3, caption = "Output: audit kelengkapan dan struktur data")

Table 2.4: Output: audit kelengkapan dan struktur data

variabel	prop_missing	kelas
wilayah	0	character
tahun	0	numeric
urban	0	numeric
longitude	0	numeric
latitude	0	numeric
pdrb_perkapita_juta	0	numeric
kemiskinan_persen	0	numeric
tpt_persen	0	numeric
ipm	0	numeric
internet_persen	0	numeric
umkm_per_1000	0	numeric
indeks_pendidikan	0	numeric
akses_kesehatan	0	numeric
indeks_inovasi	0	numeric

2.9 Interpretasi dalam Konteks Regional

Audit metadata dapat mengubah keputusan analitik. Jika data pengangguran tersedia tahunan tetapi indikator inovasi hanya tersedia pada tahun tertentu, memaksakan model panel tahunan dapat menghasilkan banyak imputasi dan asumsi. Pilihan yang lebih defensible mungkin mengubah unit waktu atau membatasi pertanyaan pada cross-section tertentu.

2.10 Latihan

1. Apa perbedaan data provenance dan data quality?
2. Mengapa angka proyeksi harus diberi label eksplisit dalam dashboard?
3. Sebutkan tiga risiko ketika kode wilayah berubah karena pemekaran.
4. Analisis: buat data inventory dari minimal tiga dataset Open Data Jabar.
5. Analisis: hitung persentase missing per variabel pada data simulasi setelah sengaja menambahkan missing 10%.
6. Mini-case: dua dinas melaporkan angka UMKM berbeda. Susun prosedur rekonsiliasi sebelum memilih salah satu sumber.

2.10.1 Project M1 — Problem Framing, Project Charter, dan Provenance Awal (3%)

Lengkapi project charter dan buat data dossier awal untuk tiga sumber data calon capstone. Setiap sumber harus memuat producer, URL, access date, periode, unit observasi, definisi variabel, status angka (final/sementara/proyeksi), lisensi, update frequency, missingness yang terlihat, dan risiko integrasi. Pilih satu sumber yang tidak jadi digunakan dan jelaskan alasan penolakannya.

2.10.2 Kuis 1 — Ekosistem Data, Open Data, dan Provenance (2,5%)

1. Bedakan count, rate, proportion, dan index.
   
2. Mengapa jumlah penganggur tidak dapat selalu diperoleh dari TPT × total penduduk?
   
3. Apa perbedaan MCAR, MAR, dan MNAR?
   
4. Apa yang harus dilakukan bila kode kabupaten berbeda antardataset?
   
5. Mengapa angka proyeksi harus diberi label eksplisit?

2.11 Hubungan dengan Capstone Project

Project M1 diselesaikan pada pertemuan ini. Mahasiswa menautkan problem framing dengan sumber data yang dapat diaudit, lalu menyiapkan provenance awal sebagai dasar M2 Data Dossier.

2.12 Kesimpulan

Model yang canggih tidak dapat memperbaiki provenance yang tidak jelas. Metadata, denominator, definisi indikator, dan perubahan metodologi adalah bagian inti dari validitas analisis regional.

2.13 Pendalaman Magister — Data governance, provenance, dan measurement

2.13.1 Audit metodologis

1. Denominator tidak sesuai definisi indikator.
2. Seri historis digabung tanpa cek perubahan metodologi.
3. Proyeksi dianggap observasi aktual.
4. Missingness sistematis diabaikan.
5. Kode wilayah beda versi.
6. Lisensi dan tanggal akses tidak dicatat.

2.13.2 Pertanyaan viva / diskusi kelas

1. Apa unit pengukuran vs unit observasi?
2. Mengapa rate tidak boleh dirata-ratakan sembarang?
3. Bagaimana mendeteksi missingness yang berpola?
4. Apa tindakan bila kode wilayah berubah?
5. Bagaimana membedakan revision data dan data error?
6. Mengapa provenance bagian metode ilmiah?

3 Data Wrangling, Data Quality, dan Feature Construction

3.1 Pendahuluan

Data kebijakan hampir selalu memerlukan penataan: nama wilayah tidak konsisten, angka tersimpan sebagai teks, struktur wide/long bercampur, dan indikator harus dinormalisasi. Bab ini memperlakukan data wrangling sebagai proses analitik yang terdokumentasi.

3.2 Tujuan Pembelajaran

Mahasiswa mampu melakukan import, tipe data, reshape, join, deduplikasi, penanganan missing, deteksi outlier, serta konstruksi indikator yang sesuai unit dan denominator.

3.3 Definisi dan Konsep

Data tidy memiliki satu variabel per kolom, satu observasi per baris, dan satu jenis unit observasi per tabel. (Wickham, Çetinkaya-Rundel, dan Grolemund 2023) Kunci join harus mencerminkan identitas observasi; untuk panel kabupaten/kota biasanya kombinasi kode_wilayah + tahun, bukan hanya nama wilayah.

Feature construction harus mempunyai makna substantif. UMKM per 1.000 penduduk sering lebih dapat dibandingkan antardaerah daripada jumlah UMKM mentah. Transformasi log dapat mengurangi skewness pada nilai ekonomi yang sangat lebar, tetapi interpretasinya berubah.

3.4 Formulasi Matematis

Standardisasi z-score:

$$z_{ij}=\frac{x_{ij}-\bar x_j}{s_j},$$

dengan $\bar x_j$ mean dan $s_j$ simpangan baku variabel $j$. Transformasi log yang sering digunakan:

$$x^{*}=\log(1+x),$$

terutama bila $x\ge0$ dan distribusi sangat skewed. Penambahan 1 mencegah masalah $\log(0)$, tetapi harus dinyatakan secara eksplisit.

3.4.1 Prinsip tidy data dan transformasi yang dapat dilacak

Dalam tidy data, setiap variabel berada pada kolom, setiap observasi pada baris, dan setiap jenis unit observasi pada tabel tersendiri. Struktur ini mengurangi ambiguitas saat agregasi dan pemodelan. (Wickham 2014; Wickham, Çetinkaya-Rundel, dan Grolemund 2023)

Jika $x_i$ adalah nilai mentah, transformasi log sering dipakai untuk distribusi sangat menceng: $$x_i^{*}=\log(x_i+c),$$ dengan $c>0$ ketika nol mungkin muncul. Perubahan unit harus dinyatakan: koefisien pada skala log tidak identik dengan koefisien skala asli.

3.4.2 Standardisasi dan robust scaling

Z-score: $$z_i=\frac{x_i-\bar x}{s}.$$

Robust z-score berbasis median dan MAD: $$z_i^{rob}=\frac{x_i-\operatorname{median}(x)}{1.4826\operatorname{MAD}(x)},$$

di mana $$\operatorname{MAD}(x)=\operatorname{median}_i\{|x_i-\operatorname{median}(x)|\}.$$

Konstanta 1,4826 membuat MAD mendekati simpangan baku untuk data normal. Robust scaling berguna ketika terdapat outlier yang valid secara substantif—misalnya kota metropolitan memang ekstrem dibanding kabupaten rural—dan kita tidak ingin ekstrem tersebut otomatis dianggap kesalahan.

3.4.3 Deteksi outlier: rule bukan vonis

IQR: $$\operatorname{IQR}=Q_{0.75}-Q_{0.25}.$$

Aturan boxplot menandai observasi potensial di luar $$[Q_{0.25}-1.5\operatorname{IQR},\;Q_{0.75}+1.5\operatorname{IQR}].$$

Outlier tidak boleh langsung dihapus. Klasifikasikan: (a) data entry error, (b) definisi unit berbeda, (c) kejadian ekstrem nyata, atau (d) perubahan metodologi. Dalam data regional, ekstrem yang nyata sering justru menjadi objek analisis.

3.4.4 Feature engineering untuk regional analytics

Beberapa fitur yang sering lebih bermakna daripada count mentah:

Per kapita $$x_i^{pc}=\frac{x_i}{N_i}\times k.$$

Density $$d_i=\frac{N_i}{A_i},$$ dengan $A_i$ luas wilayah.

Share $$s_{ik}=\frac{x_{ik}}{\sum_k x_{ik}}.$$

Lag temporal $$x_{i,t-1}=L(x_{it}).$$

Growth $$g_{it}=\frac{x_{it}-x_{i,t-1}}{x_{i,t-1}}.$$

Difference $$\Delta x_{it}=x_{it}-x_{i,t-1}.$$

Location quotient (LQ) untuk konsentrasi sektor $k$ di wilayah $i$: $$LQ_{ik}=\frac{x_{ik}/\sum_k x_{ik}}{\sum_i x_{ik}/\sum_i\sum_k x_{ik}}.$$ $LQ>1$ menunjukkan konsentrasi relatif di atas rata-rata wilayah pembanding. Interpretasi bergantung pada definisi variabel—tenaga kerja, output, atau unit usaha.

3.4.5 Transformasi sebelum split dapat menyebabkan leakage

Jika parameter preprocessing (mean, SD, imputation value, PCA loading) dihitung dari seluruh data sebelum train/test split, informasi test set bocor ke proses training. Secara benar, parameter transformasi $\widehat\theta$ harus dihitung hanya dari training: $$\widehat\theta=g(\mathcal{D}_{train}),\qquad \widetilde X_{test}=T(X_{test};\widehat\theta).$$

Framework recipes pada tidymodels membantu menerapkan prinsip ini secara sistematis. (Kuhn dan Silge 2022)

3.5 Intuisi Metode

Jika Kabupaten A memiliki 200 ribu UMKM dan Kabupaten B 80 ribu UMKM, belum tentu A lebih “entrepreneurial”. Setelah dibagi populasi usia kerja, ranking dapat berubah. Feature engineering yang baik mengubah data menjadi ukuran yang lebih dekat dengan konsep kebijakan.

3.5.1 Worked Example — growth dan division by zero

Jika UMKM suatu wilayah meningkat dari 10.000 menjadi 11.500 unit, $$g=\frac{11{,}500-10{,}000}{10{,}000}=0.15=15\%.$$ Jika baseline $x_{t-1}=0$, growth rate tidak terdefinisi. Jangan mengganti denominator nol dengan angka kecil tanpa justifikasi karena dapat menciptakan pertumbuhan ekstrem artifisial. Gunakan perubahan absolut atau definisi alternatif.

3.5.2 Worked Example — Location Quotient

Wilayah A memiliki 20.000 pekerja manufaktur dari total 100.000 pekerja; provinsi memiliki 300.000 pekerja manufaktur dari 3.000.000 pekerja. $$LQ_A=\frac{20{,}000/100{,}000}{300{,}000/3{,}000{,}000}=\frac{0.20}{0.10}=2.$$ Artinya konsentrasi tenaga kerja manufaktur dua kali share provinsi. Bukan berarti produktivitas dua kali lebih tinggi, dan bukan bukti sektor tersebut “lebih baik”.

3.5.3 Join audit

Jika tabel A memiliki 27 kabupaten/kota × 10 tahun = 270 key dan tabel B setelah join hanya match 258 key: $$M=258/270=95.56\%.$$ 12 key yang tidak match harus diperiksa. Contoh R:

a <- tibble(wilayah=c("A","B","C"), tahun=2024, x=1:3)
b <- tibble(wilayah=c("A","B","D"), tahun=2024, y=11:13)
anti_join(a,b,by=c("wilayah","tahun"))

#> # A tibble: 1 × 3
#>   wilayah tahun     x
#>   <chr>   <dbl> <int>
#> 1 C        2024     3

anti_join(b,a,by=c("wilayah","tahun"))

#> # A tibble: 1 × 3
#>   wilayah tahun     y
#>   <chr>   <dbl> <int>
#> 1 D        2024    13

anti_join() sering lebih penting daripada left_join() karena mengungkap observasi yang hilang akibat perbedaan key.

3.5.4 Outlier decision log

Gunakan kategori keputusan berikut:

Temuan	Diagnosis	Tindakan
nilai negatif pada jumlah penduduk	impossible	cek source/parse; jangan imputasi diam-diam
PDRB per kapita sangat tinggi	plausible structural extreme	pertahankan; pertimbangkan log/robust scaling
TPT 850	kemungkinan decimal/unit error	cek metadata/satuan
lon/lat di luar Indonesia	coordinate error	koreksi dari sumber atau exclude terdocumentasi

3.5.5 Leakage-safe recipe

set.seed(260813)
dat <- readr::read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |>
  dplyr::filter(tahun == 2025) |>
  dplyr::select(kemiskinan_persen, pdrb_perkapita_juta, internet_persen, tpt_persen, ipm)
split <- initial_split(dat, prop = .8, strata = kemiskinan_persen)
train <- training(split); test <- testing(split)
rec <- recipe(kemiskinan_persen ~ ., data = train) |>
  step_impute_median(all_numeric_predictors()) |>
  step_zv(all_predictors()) |>
  step_normalize(all_numeric_predictors())
prep_rec <- prep(rec, training = train)
train_baked <- bake(prep_rec, new_data = NULL)
test_baked  <- bake(prep_rec, new_data = test)
knitr::kable(head(train_baked, 6), digits = 3, caption = "Output: data training setelah preprocessing leakage-safe")

Table 3.1: Output: data training setelah preprocessing leakage-safe

pdrb_perkapita_juta	internet_persen	tpt_persen	ipm	kemiskinan_persen
-1.476	-0.628	-0.719	-0.328	9.992
0.459	0.524	1.979	0.718	6.006
0.643	0.396	-0.477	-0.561	8.570
-0.070	0.398	0.303	0.000	10.076
-0.391	0.275	-0.596	-0.468	11.637
-0.546	-1.018	-0.758	-0.899	8.979

Mean/median dan SD dipelajari dari training. Inilah alasan workflow modeling sebaiknya menyatukan preprocessing dan model. (Kuhn dan Silge 2022)

3.5.6 Checklist feature engineering

Setiap fitur baru harus memiliki: formula; denominator; unit; temporal alignment; rationale; potential leakage; dan interpretasi. Fitur growth_2024 tidak boleh digunakan untuk memprediksi outcome 2023; fitur “jumlah penerima program” dapat menjadi post-treatment variable bila digunakan untuk menjelaskan outcome setelah program.

3.6 Contoh dengan Data Simulasi

set.seed(260803)
raw <- tibble(
  kab_kota = c("Kab. A", "kab a ", "KOTA B", "Kota C"),
  tahun = c("2024", "2024", "2024", "2024"),
  penduduk = c("1,200,000", "1,200,000", "850,000", NA),
  umkm = c(85000, 85000, 62000, 21000)
)

clean <- raw |>
  clean_names() |>
  mutate(
    kab_kota = str_to_title(str_squish(kab_kota)),
    tahun = as.integer(tahun),
    penduduk = parse_number(penduduk),
    umkm_per_1000 = umkm/penduduk*1000
  ) |>
  distinct(kab_kota, tahun, .keep_all = TRUE)
knitr::kable(clean, digits = 2, caption = "Contoh cleaning dan konstruksi rate")

Table 3.2: Contoh cleaning dan konstruksi rate

kab_kota	tahun	penduduk	umkm	umkm_per_1000
Kab. A	2024	1200000	85000	70.83
Kab A	2024	1200000	85000	70.83
Kota B	2024	850000	62000	72.94
Kota C	2024	NA	21000	NA

3.7 Contoh dengan Data Nyata

Dataset TPT Open Data Jawa Barat memuat kode provinsi, nama provinsi, kode kabupaten/kota, nama kabupaten/kota, TPT (%), satuan, dan tahun. Kode wilayah sebaiknya dijadikan kunci utama saat menggabungkannya dengan data penduduk atau kemiskinan. Periksa apakah standar kode wilayah konsisten antarversi dataset. (Pemerintah Provinsi Jawa Barat 2026)

Kartu dataset real.

• Nama: Tingkat Pengangguran Terbuka Berdasarkan Kabupaten/Kota di Jawa Barat.
• Sumber dan URL: Open Data Jawa Barat; produsen BPS, https://opendata.jabarprov.go.id/id/dataset/tingkat-pengangguran-terbuka-berdasarkan-kabupatenkota-di-jawa-barat.
• Tahun: 2007–2024; periode tahunan.
• Unit observasi: kabupaten/kota–tahun.
• Variabel/definisi: kode_provinsi, nama_provinsi, kode_kabupaten_kota, nama_kabupaten_kota, tingkat_pengangguran_terbuka = persentase TPT, satuan = persen, tahun.
• Alasan digunakan: struktur long/panel sederhana ideal untuk latihan type conversion, key checking, join, dan harmonisasi data regional.
• Keterbatasan: seri ini memberikan persentase, bukan jumlah penganggur; validasi kode wilayah diperlukan ketika digabung dengan dataset lain. (Pemerintah Provinsi Jawa Barat 2026)

3.8 Analisis Menggunakan R

panel <- read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE)

panel_2025 <- panel |>
  filter(tahun == 2025) |>
  mutate(
    pdrb_log = log1p(pdrb_perkapita_juta),
    kemiskinan_z = as.numeric(scale(kemiskinan_persen))
  )

panel_2025 |>
  select(wilayah, pdrb_perkapita_juta, pdrb_log, kemiskinan_persen, kemiskinan_z) |>
  head() |>
  knitr::kable(digits = 3)

wilayah	pdrb_perkapita_juta	pdrb_log	kemiskinan_persen	kemiskinan_z
Wilayah_01	31.612	3.485	9.992	0.061
Wilayah_02	65.249	4.193	7.681	-1.257
Wilayah_03	52.521	3.980	6.006	-2.212
Wilayah_04	54.513	4.017	8.570	-0.750
Wilayah_05	46.803	3.867	10.076	0.109
Wilayah_06	43.338	3.792	11.637	0.999

3.8.1 Visualisasi Output: Dampak Transformasi

panel_2025 |>
  ggplot2::ggplot(ggplot2::aes(pdrb_perkapita_juta, pdrb_log)) +
  ggplot2::geom_point(size = 2.2, colour = "#145B8C") +
  ggplot2::labs(
    title = "Transformasi log pada PDRB per kapita — simulasi",
    subtitle = "Transformasi mengompresi nilai besar dan dapat membantu stabilisasi skala",
    x = "PDRB per kapita (juta)", y = "log(1 + PDRB per kapita)"
  )

if (file.exists("data/raw/tpt_jabar.csv") && file.exists("data/raw/penduduk_jabar.csv")) {
  tpt <- readr::read_csv("data/raw/tpt_jabar.csv", show_col_types = FALSE) |> janitor::clean_names()
  penduduk <- readr::read_csv("data/raw/penduduk_jabar.csv", show_col_types = FALSE) |> janitor::clean_names()
  regional <- tpt |>
    dplyr::inner_join(penduduk, by = c("kode_kabupaten_kota", "tahun"), suffix = c("_tpt", "_pop"))
  out <- head(regional, 8)
} else {
  out <- readr::read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |>
    dplyr::select(wilayah, tahun, tpt_persen, pdrb_perkapita_juta, kemiskinan_persen) |>
    head(8)
}
knitr::kable(out, digits = 2, caption = "Output: hasil integrasi data; gunakan data simulasi bila raw data resmi belum tersedia")

Table 3.3: Output: hasil integrasi data; gunakan data simulasi bila raw data resmi belum tersedia

wilayah	tahun	tpt_persen	pdrb_perkapita_juta	kemiskinan_persen
Wilayah_01	2019	7.01	17.25	17.55
Wilayah_01	2020	9.29	18.82	16.01
Wilayah_01	2021	8.16	32.33	15.19
Wilayah_01	2022	7.82	29.36	15.32
Wilayah_01	2023	7.89	23.84	15.52
Wilayah_01	2024	6.99	28.46	12.75
Wilayah_01	2025	7.12	31.61	9.99
Wilayah_02	2019	9.07	44.30	13.41

3.9 Interpretasi dalam Konteks Regional

Cleaning adalah bagian dari argumentasi. Menghapus duplikat tanpa memahami penyebabnya dapat menghapus kategori yang sebenarnya berbeda. Mengimputasi missing dengan mean provinsi dapat meratakan disparitas dan membuat wilayah ekstrem tampak “normal”. Setiap keputusan cleaning perlu log perubahan.

3.10 Latihan

1. Mengapa join dengan nama wilayah lebih berisiko daripada kode wilayah?
2. Kapan transformasi log berguna dan apa konsekuensi interpretasinya?
3. Bedakan outlier karena error dengan outlier yang merupakan fenomena kebijakan penting.
4. Analisis: buat pipeline cleaning untuk simulasi_panel_regional.csv dan tambahkan unit pada nama variabel.
5. Analisis: buat tabel audit duplikasi dan missing per tahun.
6. Mini-case: satu kabupaten mengalami lonjakan PDRB 5 kali lipat karena perubahan unit dari juta ke ribu. Tunjukkan bagaimana Anda mendeteksi dan memperbaikinya.

3.10.1 Tugas 1 — Data Audit & Wrangling (5%)

Susun audit dan pipeline wrangling pada dataset regional yang berbeda dari capstone. Fokus pada provenance, diagnosis kualitas data, aturan cleaning yang dapat dijustifikasi, joining/reshaping/feature construction, dan reproducibility. Luaran berupa R Markdown/PDF atau notebook yang dapat dijalankan ulang, disertai data dictionary, cleaning log, quality report, dan daftar sumber.

Rubrik sesuai RPS: correctness pipeline 35%; reproducibility 25%; quality diagnosis 25%; documentation/source 15%.

3.10.2 Latihan Formatif — Wrangling dan Data Quality (non-sumatif)

Kuis 10–15 soal campuran konsep dan potongan kode. Kisi-kisi: unit analisis; denominator; provenance; tidy data; missingness; scaling; outlier; feature engineering; leakage preprocessing.

3.11 Hubungan dengan Capstone Project

Mahasiswa menyerahkan data cleaning log: input, transformasi, alasan, jumlah baris sebelum/sesudah, dan isu yang belum terselesaikan.

3.12 Kesimpulan

Wrangling bukan kosmetik. Kesalahan unit, denominator, kode wilayah, dan join dapat menghasilkan kesimpulan kebijakan yang salah meskipun model dihitung dengan benar.

3.13 Pendalaman Magister — Wrangling sebagai bagian inferensi

3.13.1 Audit metodologis

1. Cleaning menghapus observasi valid.
2. Join many-to-many tidak disadari.
3. Feature menggunakan informasi masa depan.
4. Outlier dihapus karena ekstrem.
5. Growth dihitung dari denominator nol.
6. Transformasi tidak disimpan dalam script.

3.13.2 Pertanyaan viva / diskusi kelas

1. Apa konsekuensi many-to-many join?
2. Kapan robust scaling lebih tepat?
3. Bagaimana membedakan data error dan structural extreme?
4. Apa risiko feature engineering pasca-outcome?
5. Mengapa anti_join wajib saat integrasi?
6. Bagaimana membangun cleaning log?

4 Exploratory Data Analysis dan Statistika Deskriptif Regional

4.1 Pendahuluan

EDA adalah proses menguji struktur data sebelum memaksakan model. Untuk data regional, EDA harus melihat distribusi, tren, heterogenitas antardaerah, hubungan antarindikator, missingness, dan kemungkinan struktur spasial/temporal. (Tukey 1977)

4.2 Tujuan Pembelajaran

Mahasiswa mampu menyusun ringkasan numerik dan grafis, membandingkan distribusi antarwilayah/waktu, mendeteksi pola nonlinier/outlier, dan merumuskan hipotesis analitik dari EDA.

4.3 Definisi dan Konsep

Ukuran pemusatan (mean, median), penyebaran (SD, IQR), quantile, dan korelasi harus dipilih sesuai distribusi dan tujuan. Untuk data skewed, median sering lebih stabil daripada mean. Korelasi Pearson mengukur asosiasi linear, sedangkan Spearman berbasis ranking dan lebih robust terhadap nonnormalitas tertentu.

4.4 Formulasi Matematis

Mean dan variance sampel:

$$\bar x=\frac{1}{n}\sum_{i=1}^{n}x_i,\qquad s^2=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar x)^2.$$

Korelasi Pearson:

$$r_{xy}=\frac{\sum_i(x_i-\bar x)(y_i-\bar y)}{\sqrt{\sum_i(x_i-\bar x)^2\sum_i(y_i-\bar y)^2}}.$$

4.4.1 Ukuran lokasi dan penyebaran

Rata-rata aritmetik: $$\bar x=\frac{1}{n}\sum_{i=1}^{n}x_i.$$

Rata-rata tertimbang—misalnya rata-rata provinsi dari rate kabupaten dengan bobot populasi yang relevan: $$\bar x_w=\frac{\sum_{i=1}^{n}w_i x_i}{\sum_{i=1}^{n}w_i}.$$

Varians sampel dan simpangan baku: $$s^2=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar x)^2,\qquad s=\sqrt{s^2}.$$

Coefficient of variation: $$CV=\frac{s}{\bar x}\times100\%,$$ berguna untuk membandingkan dispersi relatif pada variabel dengan skala berbeda ketika mean positif dan bermakna.

4.4.2 Covariance dan correlation

$$\operatorname{Cov}(X,Y)=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar x)(y_i-\bar y),$$

$$r_{XY}=\frac{\operatorname{Cov}(X,Y)}{s_Xs_Y}.$$

Pearson correlation mengukur hubungan linear, bukan hubungan kausal. Spearman correlation adalah Pearson correlation pada ranks dan lebih sesuai ketika hubungan monotonic tetapi tidak linear atau ketika robust terhadap skala ordinal dibutuhkan.

4.4.3 Ukuran ketimpangan: Gini dan Theil

Untuk nilai non-negatif yang diurutkan $x_{(1)}\le\cdots\le x_{(n)}$, salah satu bentuk koefisien Gini adalah $$G=\frac{2\sum_{i=1}^{n} i x_{(i)}}{n\sum_{i=1}^{n}x_{(i)}}-\frac{n+1}{n}.$$

$G=0$ menunjukkan kesetaraan sempurna; nilai lebih tinggi menunjukkan konsentrasi lebih besar. Pada indikator regional, jelaskan apa yang didistribusikan—pendapatan, PDRB per kapita, kapasitas layanan, atau investasi—karena makna normatifnya berbeda.

Theil $T$ index: $$T=\frac{1}{n}\sum_{i=1}^{n}\frac{x_i}{\bar x}\ln\left(\frac{x_i}{\bar x}\right).$$

Keunggulan Theil adalah dekomposabilitas antar dan dalam kelompok, bermanfaat saat membedakan ketimpangan antarkawasan metropolitan/nonmetropolitan atau antar koridor pembangunan.

4.4.4 Quantile dan robust summaries

Quantile $Q_p$ memenuhi secara konseptual $P(X\le Q_p)=p$. Median adalah $Q_{0.5}$. Untuk distribusi menceng, laporkan median dan IQR selain mean dan SD. Perbedaan mean–median sendiri dapat memberi sinyal konsentrasi ekstrem.

4.4.5 EDA sebagai proses iteratif

EDA bukan “membuat banyak grafik”, tetapi siklus $$\text{Question}\rightarrow \text{Visualization/Summary}\rightarrow \text{Pattern}\rightarrow \text{New Question}.$$

Tukey menekankan EDA sebagai eksplorasi yang membuka struktur data sebelum pemodelan konfirmatori. (Tukey 1977) Untuk konteks regional, minimal bedakan variasi antarwilayah, antarwaktu, dan interaksi wilayah–waktu.

4.4.6 Decomposition sederhana panel regional

Untuk indikator $y_{it}$, dekomposisi konseptual $$y_{it}=\mu+\alpha_i+\gamma_t+e_{it}$$ memisahkan rata-rata umum $\mu$, efek wilayah $\alpha_i$, efek waktu $\gamma_t$, dan residual. Walaupun belum menjadi model panel formal, struktur ini membantu mahasiswa bertanya apakah perbedaan didominasi karakteristik persisten wilayah atau shock waktu bersama.

4.5 Intuisi Metode

Dua provinsi dapat memiliki mean kemiskinan sama tetapi distribusi kabupaten sangat berbeda. Salah satu homogen, yang lain memiliki beberapa kantong kemiskinan ekstrem. Kebijakan yang hanya melihat mean provinsi akan kehilangan informasi target.

4.5.1 Worked Example — mean vs median pada distribusi regional

Pendapatan per kapita hipotetis lima wilayah: 20, 22, 24, 26, 100. Mean: $$\bar x=\frac{20+22+24+26+100}{5}=38.4,$$ median = 24. Satu wilayah ekstrem menggeser mean jauh dari mayoritas. Tidak ada statistik yang “lebih benar” secara universal: mean relevan untuk total/expectation; median lebih representatif untuk typical region saat skew tinggi.

4.5.2 Worked Example — weighted mean

Jika indikator A=60 dengan populasi 1 juta dan B=80 dengan populasi 100 ribu, mean sederhana 70, tetapi $$\bar x_w=\frac{60(1{,}000{,}000)+80(100{,}000)}{1{,}100{,}000}=61.82.$$ Pertanyaan substantif menentukan bobot: populasi, rumah tangga, angkatan kerja, atau bobot sampling.

4.5.3 Worked Example — Gini kecil

Untuk tiga nilai $x=(10,20,30)$ yang sudah diurutkan: $$G=\frac{2[1(10)+2(20)+3(30)]}{3(60)}-\frac{4}{3} =\frac{280}{180}-1.3333=0.2222.$$ Gini sensitif pada keseluruhan distribusi. Jika satu wilayah melonjak menjadi 100, Gini meningkat. Tetapi Gini tidak memberi tahu wilayah mana yang tertinggal; selalu kombinasikan dengan distribusi/ranking/peta.

4.5.4 Worked Example — Theil dan dekomposisi pemikiran

Theil memberi nol ketika semua $x_i=\bar x$. Karena term $x_i/\bar x\ln(x_i/\bar x)$ bertambah untuk nilai yang menyimpang, indeks meningkat dengan ketimpangan. Kelebihan untuk regional analytics adalah dekomposisi: $$T=T_{between}+T_{within},$$ sehingga kita dapat bertanya apakah ketimpangan provinsi terutama berasal dari perbedaan antar-kawasan atau variasi di dalam kawasan.

4.5.5 EDA matrix

Untuk capstone, minimal isi matriks berikut.

Perspektif	Pertanyaan	Statistik/grafik
cross-section	wilayah mana ekstrem?	boxplot, rank, map
temporal	membaik/memburuk?	line, growth, slope
bivariate	variabel bergerak bersama?	scatter/correlation
multivariate	pola gabungan?	pairwise, PCA/cluster kemudian
uncertainty	seberapa stabil?	CI, sensitivity, missing analysis

4.5.6 EDA R workflow

panel <- readr::read_csv("data/simulasi_panel_regional.csv", show_col_types=FALSE)
panel_2025 <- panel |> filter(tahun==2025)
panel_2025 |>
  summarise(
    n=n(),
    mean_pov=mean(kemiskinan_persen),
    median_pov=median(kemiskinan_persen),
    sd_pov=sd(kemiskinan_persen),
    iqr_pov=IQR(kemiskinan_persen),
    cv_pov=sd_pov/mean_pov
  ) |> knitr::kable(digits=3)

n	mean_pov	median_pov	sd_pov	iqr_pov	cv_pov
27	9.886	9.837	1.753	2.329	0.177

Setelah statistik keluar, tugas mahasiswa bukan membaca angka satu per satu, tetapi menghubungkan: apakah mean–median berbeda? apakah CV besar? apakah outlier valid? apakah tahun 2025 representatif atau shock?

4.6 Contoh dengan Data Simulasi

panel <- read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE)
latest <- panel |> filter(tahun == max(tahun))

latest |>
  summarise(across(c(kemiskinan_persen, tpt_persen, ipm, internet_persen),
                   list(mean = mean, median = median, sd = sd))) |>
  pivot_longer(everything()) |>
  knitr::kable(digits = 2, caption = "Ringkasan indikator regional 2025 (simulasi)")

Table 4.1: Ringkasan indikator regional 2025 (simulasi)

name	value
kemiskinan_persen_mean	9.89
kemiskinan_persen_median	9.84
kemiskinan_persen_sd	1.75
tpt_persen_mean	8.07
tpt_persen_median	7.75
tpt_persen_sd	1.10
ipm_mean	70.74
ipm_median	70.68
ipm_sd	1.18
internet_persen_mean	83.44
internet_persen_median	85.60
internet_persen_sd	8.19

latest |>
  ggplot(aes(internet_persen, kemiskinan_persen)) +
  geom_point() +
  geom_smooth(method = "lm", se = TRUE) +
  labs(x = "Akses internet (%)", y = "Kemiskinan (%)",
       title = "EDA: hubungan internet dan kemiskinan - data simulasi")

4.7 Contoh dengan Data Nyata

Gunakan Poverty Rate (SI.POV.NAPR.ZS), HDI (IDX.HDI), populasi (SP.POP.TOTL), dan literacy rate (SE.LITR.15UP.ZS) dari INDO-DAPOER. Metadata World Bank menyatakan sumber indikator tersebut terutama BPS/SUSENAS. Data historis dapat digunakan untuk mengamati disparitas, tetapi batas periode harus dicantumkan. (World Bank 2026)

Kartu dataset real.

• Nama: subset indikator sosial-ekonomi INDO-DAPOER.
• Sumber dan URL: World Bank Data Catalog, https://datacatalog.worldbank.org/search/dataset/0041056/indonesia-database-for-policy-and-economic-research.
• Tahun: maksimum 1976–2018; contoh EDA menggunakan tahun yang memiliki overlap indikator memadai.
• Unit observasi: wilayah–tahun setelah indikator di-pivot menjadi kolom.
• Variabel/definisi: SI.POV.NAPR.ZS = poverty rate (%), IDX.HDI = HDI, SP.POP.TOTL = total population, SE.LITR.15UP.ZS = literacy rate usia 15+.
• Alasan digunakan: memungkinkan EDA multivariat untuk melihat tren, dispersi, outlier, dan disparitas antardaerah.
• Keterbatasan: indikator dapat berasal dari sumber/survei berbeda dan tidak selalu tersedia pada tahun yang sama; analisis harus melaporkan analytic sample. (World Bank 2026)

4.8 Analisis Menggunakan R

if (dir.exists("data/raw/indodapoer") && length(list.files("data/raw/indodapoer")) > 0) {
  source("R/03_prepare_indodapoer.R")
  indo <- load_indodapoer()
  eda <- indo |>
    dplyr::filter(kode_indikator %in% c("SI.POV.NAPR.ZS", "IDX.HDI"), tahun == 2018) |>
    dplyr::select(wilayah, kode_indikator, nilai) |>
    tidyr::pivot_wider(names_from = kode_indikator, values_from = nilai)
  ggplot2::ggplot(eda, ggplot2::aes(IDX.HDI, SI.POV.NAPR.ZS)) +
    ggplot2::geom_point(alpha = .65) + ggplot2::geom_smooth(method = "lm") +
    ggplot2::labs(x = "HDI", y = "Poverty rate (%)", title = "EDA data INDO-DAPOER 2018")
} else {
  eda <- readr::read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |> dplyr::filter(tahun == 2025)
  ggplot2::ggplot(eda, ggplot2::aes(ipm, kemiskinan_persen)) +
    ggplot2::geom_point(alpha = .7) + ggplot2::geom_smooth(method = "lm") +
    ggplot2::labs(x = "IPM", y = "Kemiskinan (%)", title = "Output fallback: EDA data simulasi")
}

4.9 Paket Output Analisis Lengkap

eda4 <- readr::read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |>
  dplyr::filter(tahun == 2025)
vars4 <- c("pdrb_perkapita_juta", "kemiskinan_persen", "tpt_persen", "ipm", "internet_persen", "indeks_inovasi")
summary4 <- eda4 |>
  dplyr::summarise(dplyr::across(dplyr::all_of(vars4), list(mean=mean, median=median, sd=sd, min=min, q1=~quantile(.x,.25), q3=~quantile(.x,.75), max=max))) |>
  tidyr::pivot_longer(dplyr::everything(), names_to=c("indikator","stat"), names_pattern="(.*)_(mean|median|sd|min|q1|q3|max)") |>
  tidyr::pivot_wider(names_from=stat, values_from=value)
knitr::kable(summary4, digits=2, caption="Ringkasan lengkap indikator regional tahun 2025")

Table 4.2: Ringkasan lengkap indikator regional tahun 2025

indikator	mean	median	sd	min	q1	q3	max
pdrb_perkapita_juta	49.22	50.90	10.86	24.04	41.56	56.10	66.15
kemiskinan_persen	9.89	9.84	1.75	6.01	8.77	11.10	13.05
tpt_persen	8.07	7.75	1.10	6.69	7.19	8.72	10.35
ipm	70.74	70.68	1.18	67.78	70.02	71.50	73.42
internet_persen	83.44	85.60	8.19	65.66	76.90	88.74	96.99
indeks_inovasi	68.25	69.00	4.12	60.29	65.42	71.06	76.82

ggplot2::ggplot(eda4, ggplot2::aes(kemiskinan_persen)) +
  ggplot2::geom_histogram(ggplot2::aes(y=ggplot2::after_stat(density)), bins=10) +
  ggplot2::geom_density(linewidth=1) +
  ggplot2::geom_vline(xintercept=median(eda4$kemiskinan_persen), linetype=2) +
  ggplot2::labs(title="Distribusi kemiskinan regional", subtitle="Histogram, density, dan median", x="Kemiskinan (%)", y="Density")

ggplot2::ggplot(eda4, ggplot2::aes(pdrb_perkapita_juta, kemiskinan_persen, shape=factor(urban))) +
  ggplot2::geom_point(size=2.7, alpha=.8) +
  ggplot2::geom_smooth(method="lm", se=TRUE) +
  ggplot2::labs(title="PDRB per kapita dan kemiskinan", x="PDRB per kapita (juta)", y="Kemiskinan (%)", shape="Urban")

cor4 <- cor(eda4 |> dplyr::select(dplyr::all_of(vars4)), use="pairwise.complete.obs")
cor_long4 <- as.data.frame(as.table(cor4))
ggplot2::ggplot(cor_long4, ggplot2::aes(Var1,Var2,fill=Freq)) +
  ggplot2::geom_tile() + ggplot2::geom_text(ggplot2::aes(label=sprintf("%.2f",Freq)), size=3) +
  ggplot2::scale_fill_gradient2(limits=c(-1,1), midpoint=0) +
  ggplot2::coord_equal() + ggplot2::labs(title="Matriks korelasi indikator regional",x=NULL,y=NULL,fill="r") +
  ggplot2::theme(axis.text.x=ggplot2::element_text(angle=45,hjust=1))

4.10 Interpretasi dalam Konteks Regional

Jika hubungan HDI-kemiskinan negatif tetapi terdapat wilayah yang jauh dari pola umum, outlier tersebut justru menarik untuk case tracing: apakah ada struktur ekonomi khusus, kualitas layanan, urbanisasi, atau masalah measurement? EDA menghasilkan pertanyaan baru, bukan hanya grafik.

4.11 Latihan

1. Kapan median lebih informatif daripada mean?
2. Apa yang tidak dapat disimpulkan dari korelasi tinggi?
3. Mengapa agregasi provinsi dapat menyembunyikan disparitas kabupaten?
4. Analisis: buat small multiples tren kemiskinan untuk 9 wilayah simulasi.
5. Analisis: hitung matriks korelasi dan identifikasi pasangan variabel yang berpotensi multikolinear.
6. Mini-case: rata-rata pengangguran turun, tetapi 25% kabupaten justru naik. Bagaimana Anda menyampaikan temuan ini kepada pengambil kebijakan?

4.11.1 Project M2 — Data Dossier dan EDA Awal (4%)

Susun regional disparity profile untuk satu indikator utama dan minimal dua indikator penjelas. Wajib menyajikan mean/median/SD/IQR, CV atau ukuran ketimpangan, top–bottom regions, trend, serta dua hipotesis substantif yang belum diklaim sebagai kausal.

4.11.2 Latihan Formatif Pertemuan 4 (non-sumatif)

1. Kapan median lebih informatif daripada mean?
   
2. Apa arti $G=0$ pada koefisien Gini?
   
3. Mengapa korelasi pada pooled panel dapat berbeda dari korelasi per tahun?
   
4. Apa manfaat Theil dibanding satu ukuran dispersi biasa?
   
5. Bedakan pola antarwilayah dan pola antarwaktu.

4.12 Hubungan dengan Capstone Project

Project M2 menghasilkan data dossier yang dapat diaudit dan EDA awal dengan 3–5 temuan yang relevan. Setiap grafik harus menjawab pertanyaan tertentu dan menaut pada kualitas data.

4.13 Kesimpulan

EDA adalah mekanisme quality control dan pembentuk hipotesis. Untuk konteks regional, selalu lihat distribusi, waktu, dan heterogenitas antarwilayah sebelum membangun model.

4.14 Pendalaman Magister — EDA dan ketimpangan regional

4.14.1 Audit metodologis

1. Pooled pattern menutupi heterogenitas waktu.
2. Mean menutupi skew/outlier.
3. Korelasi ekologis dianggap individual.
4. Ranking tanpa uncertainty.
5. Ketimpangan disimpulkan dari satu statistic.
6. Multiple comparisons tanpa konteks.

4.14.2 Pertanyaan viva / diskusi kelas

1. Mengapa mean dan median dapat memberi cerita berbeda?
2. Apa yang Gini tidak beritahu?
3. Bagaimana Theil membantu dekomposisi?
4. Apa Simpson’s paradox secara intuitif?
5. Bagaimana memisahkan efek wilayah dan waktu secara deskriptif?
6. Kapan weighted mean diperlukan?

5 Visualisasi Data dan Data Storytelling untuk Kebijakan

5.1 Pendahuluan

Visualisasi kebijakan harus cepat dipahami, tetapi tidak boleh mengorbankan ketepatan. Grafik yang baik mengarahkan perhatian pada pesan substantif sekaligus menyediakan konteks: unit, baseline, skala, denominator, dan ketidakpastian. Grammar of Graphics menyediakan kerangka sistematis untuk memetakan data ke estetika visual. (Wilkinson 2005; Tufte 2001)

5.2 Tujuan Pembelajaran

Mahasiswa mampu memilih bentuk grafik sesuai pertanyaan, menghindari visual yang menyesatkan, membangun data story, dan merancang prototipe dashboard regional.

5.3 Definisi dan Konsep

Data storytelling menggabungkan evidence, narrative, dan visual design. Narasi kebijakan umumnya mengikuti: konteks → gap/disparitas → siapa/di mana → faktor terkait → implikasi → opsi tindakan. Dashboard berbeda dari laporan: dashboard membantu monitoring/eksplorasi, sedangkan laporan dapat memuat argumentasi lebih panjang.

5.4 Formulasi Matematis

Perubahan absolut dan relatif:

$$\Delta x=x_t-x_{t-1}, \qquad g=\frac{x_t-x_{t-1}}{x_{t-1}}\times100\%.$$

Keduanya dapat menghasilkan pesan berbeda. Kenaikan 2 poin persentase dari 4% ke 6% adalah +2 pp tetapi +50% secara relatif.

5.4.1 Transformasi visual sebagai transformasi analitik

Jika grafik menggunakan log scale, hubungan visual berubah. Untuk $x>0$, $$x^{*}=\log(x).$$ Perbedaan pada skala log berhubungan dengan rasio pada skala asli: $$\log x_2-\log x_1=\log\left(\frac{x_2}{x_1}\right).$$ Karena itu, setiap transformasi sumbu harus disebutkan dan dipahami, bukan dianggap dekorasi.

5.4.2 Rates, indexes, dan baseline

Indeks dengan tahun dasar $0$: $$I_t=\frac{x_t}{x_0}\times100.$$ Nilai $I_t=125$ berarti 25% di atas level tahun dasar, bukan “naik 125%”. Untuk membandingkan trajectory kabupaten dengan skala absolut sangat berbeda, indeks dapat lebih informatif daripada plot count.

5.4.3 Slope dan annualized change

Untuk dua titik waktu, $$\text{slope}=\frac{y_{t_2}-y_{t_1}}{t_2-t_1}.$$ Jika model tren linear $y_t=\beta_0+\beta_1t+\varepsilon_t$, maka $\beta_1$ adalah perubahan rata-rata per unit waktu, dengan asumsi tren linear memadai.

5.4.4 Encoding visual dan risiko distorsi

Dalam Grammar of Graphics, grafik adalah pemetaan data ke aesthetics—position, length, color, shape, size—plus geometric objects dan coordinate system. (Wilkinson 2005) Untuk perbandingan presisi, posisi pada skala bersama umumnya lebih mudah dibaca dibanding area/volume. Karena itu bubble chart yang menarik secara visual belum tentu tepat untuk membandingkan perbedaan kecil.

Untuk choropleth, klasifikasi nilai dapat menggunakan quantile. Jika $K$ kelas, batas kuantil adalah $Q_{k/K}$. Namun klasifikasi quantile membuat tiap kelas berisi jumlah wilayah relatif sama dan dapat menyembunyikan gap substantif; equal interval dan natural breaks memberi pesan berbeda. Metode klasifikasi wajib dilaporkan.

5.4.5 Uncertainty dalam visualisasi

Jika estimasi $\hat\theta$ memiliki standard error $SE(\hat\theta)$, interval aproksimasi 95% adalah $$\hat\theta\pm 1.96\,SE(\hat\theta),$$ untuk kondisi asimtotik yang memadai. Menampilkan ribbon/interval membantu mencegah pembaca memperlakukan estimasi sebagai angka pasti.

5.4.6 Data storytelling untuk kebijakan

Satu evidence story yang kuat memiliki struktur:

$$\text{Claim} + \text{Evidence} + \text{Context} + \text{Uncertainty} + \text{Decision implication}.$$

“Pengangguran turun” adalah claim; grafik trend adalah evidence; perubahan definisi atau shock pandemi adalah context; interval atau sensitivitas adalah uncertainty; implikasi target program adalah decision implication. Visualisasi yang indah tanpa lima komponen ini berisiko menjadi poster, bukan alat kebijakan. (Tufte 2001)

5.5 Intuisi Metode

Grafik bar cocok untuk membandingkan kategori; line chart untuk tren waktu; scatterplot untuk hubungan; peta untuk pola geografis. Peta bukan default untuk semua indikator regional. Jika tujuan hanya ranking 27 kabupaten, sorted dot plot sering lebih mudah dibaca daripada choropleth.

5.5.1 Worked Example — indeks tahun dasar

Jika TPT wilayah A adalah 10% pada 2020 dan 7% pada 2024, indeks basis 2020: $$I_{2024}=\frac{7}{10}\times100=70.$$ Artinya level 2024 adalah 70% dari level 2020 atau turun 30% relatif terhadap baseline. Jangan menulis “TPT menjadi 70%” tanpa menyebut bahwa 70 adalah indeks, bukan rate aktual.

5.5.2 Worked Example — slope vs percent change

Dari 10% menjadi 7% selama 4 tahun: $$\text{slope}=\frac{7-10}{4}=-0.75\text{ percentage point/year}.$$ Perubahan relatif: $$\frac{7-10}{10}=-30\%.$$ “Turun 3 percentage points” berbeda dari “turun 30 persen”. Bahasa kebijakan harus membedakan percentage point dan percent change.

5.5.3 Visual encoding audit

Sebelum menggunakan grafik, cek:

• position/length untuk perbandingan presisi;
• color hue untuk kategori;
• color luminance untuk ordered values;
• area hanya jika pembaca tidak perlu membandingkan nilai kecil dengan presisi;
• shape untuk sedikit kategori;
• animation hanya jika dinamika waktu tidak lebih jelas dengan small multiples.

Peta sebaiknya tidak digunakan hanya karena data memiliki nama wilayah. Jika pertanyaan adalah tren 20 tahun, line chart sering lebih efektif; peta membantu ketika spatial pattern substantif.

5.5.4 Worked R story

sel <- panel |> filter(wilayah %in% unique(wilayah)[1:5])
ggplot(sel, aes(tahun, kemiskinan_persen, group=wilayah, color=wilayah)) +
  geom_line(linewidth=.8) + geom_point(size=1.5) +
  labs(title="Perubahan kemiskinan lima wilayah simulasi",
       subtitle="Bandingkan arah dan kecepatan perubahan, bukan hanya ranking tahun terakhir",
       x=NULL, y="Kemiskinan (%)", color="Wilayah") +
  theme(legend.position="bottom")

Setelah grafik, tulis tiga jenis kalimat: pattern (“semua turun tetapi kecepatannya berbeda”), exception (“wilayah X stagnan”), dan implication (“intervensi seragam mungkin kurang tepat”).

5.5.5 Checklist caption yang kuat

Caption seharusnya menjawab: apa yang diukur; unit; periode; denominator; sumber; dan caveat. Contoh: “TPT kabupaten/kota Jawa Barat, persen angkatan kerja, 2007–2024; sumber BPS melalui Open Data Jawa Barat. Perubahan seri perlu dibaca bersama metadata dan kondisi pasar kerja.” (Badan Pusat Statistik dan Pemerintah Provinsi Jawa Barat 2026b)

5.5.6 Anti-pattern visualisasi

1. Sumbu dipotong untuk bar chart sehingga perbedaan tampak dramatis.
2. Warna diverging tanpa titik tengah bermakna.
3. Menggunakan 27 warna kategori pada satu grafik.
4. Dual axis tanpa hubungan transformasi eksplisit.
5. Choropleth count tanpa standardisasi populasi ketika tujuan membandingkan risiko.
6. Peta dengan kelas quantile tetapi narasi seolah kelas merepresentasikan threshold substantif.

5.6 Contoh dengan Data Simulasi

latest <- read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |>
  filter(tahun == 2025) |>
  arrange(desc(kemiskinan_persen)) |>
  slice_head(n = 12)

ggplot(latest, aes(x = reorder(wilayah, kemiskinan_persen), y = kemiskinan_persen)) +
  geom_col() +
  coord_flip() +
  labs(x = NULL, y = "Kemiskinan (%)",
       title = "12 wilayah dengan kemiskinan tertinggi (simulasi)",
       subtitle = "Ranking digunakan untuk screening awal, bukan otomatis penetapan prioritas")

5.7 Contoh dengan Data Nyata

TPT Open Data Jawa Barat memiliki seri tahunan 2007-2024, sehingga cocok untuk visualisasi tren dan perbandingan kabupaten/kota. Dataset menghasilkan persentase TPT, bukan jumlah penganggur; untuk beban absolut perlu sumber jumlah angkatan kerja atau jumlah penganggur. (Pemerintah Provinsi Jawa Barat 2026)

Kartu dataset real.

• Nama: Tingkat Pengangguran Terbuka Berdasarkan Kabupaten/Kota di Jawa Barat.
• Sumber dan URL: Open Data Jawa Barat/BPS, https://opendata.jabarprov.go.id/id/dataset/tingkat-pengangguran-terbuka-berdasarkan-kabupatenkota-di-jawa-barat.
• Tahun: 2007–2024.
• Unit observasi: kabupaten/kota–tahun.
• Variabel/definisi: identitas wilayah; tingkat_pengangguran_terbuka = persentase angkatan kerja yang menganggur menurut definisi statistik produsen; satuan = persen; tahun.
• Alasan digunakan: seri waktu lintas wilayah cocok untuk latihan small multiples, ranking yang bertanggung jawab, dan storytelling perubahan.
• Keterbatasan: persentase tidak menunjukkan beban absolut; perubahan kecil tidak selalu substantif; narasi harus menyebut tahun dan sumber. (Pemerintah Provinsi Jawa Barat 2026)

5.8 Analisis Menggunakan R

if (file.exists("data/raw/tpt_jabar.csv")) {
  tpt <- readr::read_csv("data/raw/tpt_jabar.csv", show_col_types = FALSE) |> janitor::clean_names()
  dat_plot <- tpt |> dplyr::group_by(nama_kabupaten_kota) |> dplyr::filter(dplyr::n() >= 3) |> dplyr::ungroup() |> dplyr::slice_head(n = 80)
  ggplot2::ggplot(dat_plot, ggplot2::aes(tahun, tingkat_pengangguran_terbuka, group = nama_kabupaten_kota)) +
    ggplot2::geom_line(alpha=.55) + ggplot2::labs(y="TPT (%)", title="Tren TPT — data resmi yang tersedia")
} else {
  dat_plot <- readr::read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |>
    dplyr::filter(wilayah %in% unique(wilayah)[1:5])
  ggplot2::ggplot(dat_plot, ggplot2::aes(tahun, tpt_persen, group=wilayah, color=wilayah)) +
    ggplot2::geom_line(linewidth=.9) + ggplot2::geom_point() +
    ggplot2::labs(y="TPT (%)", title="Output fallback: tren TPT lima wilayah simulasi", color="Wilayah")
}

5.9 Paket Visual Evidence Lengkap

vis5 <- readr::read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE)
sel5 <- unique(vis5$wilayah)[1:6]
ggplot2::ggplot(vis5 |> dplyr::filter(wilayah %in% sel5), ggplot2::aes(tahun, kemiskinan_persen, group=wilayah, colour=wilayah)) +
  ggplot2::geom_line(linewidth=.9) + ggplot2::geom_point(size=1.8) +
  ggplot2::labs(title="Perubahan kemiskinan: contoh enam wilayah", y="Kemiskinan (%)", colour="Wilayah")

rank5 <- vis5 |> dplyr::filter(tahun==max(tahun)) |> dplyr::arrange(dplyr::desc(kemiskinan_persen)) |>
  dplyr::select(wilayah, kemiskinan_persen, tpt_persen, ipm, internet_persen)
knitr::kable(rank5, digits=2, caption="Evidence table untuk mendampingi visual ranking")

Table 5.1: Evidence table untuk mendampingi visual ranking

wilayah	kemiskinan_persen	tpt_persen	ipm	internet_persen
Wilayah_23	13.05	7.05	69.78	72.33
Wilayah_07	12.94	8.68	71.95	78.72
Wilayah_15	12.64	7.56	69.35	75.14
Wilayah_19	11.81	7.54	70.19	76.92
Wilayah_25	11.67	6.69	71.38	69.83
Wilayah_06	11.64	7.25	69.97	84.58
Wilayah_21	11.24	6.74	67.78	65.66
Wilayah_09	10.97	9.63	70.38	85.60
Wilayah_17	10.55	7.31	70.99	79.71
Wilayah_27	10.10	7.65	69.34	90.37
Wilayah_05	10.08	8.20	70.43	85.62
Wilayah_24	10.06	8.67	71.73	88.05
Wilayah_01	9.99	7.12	70.11	76.88
Wilayah_18	9.84	7.75	70.68	84.59
Wilayah_20	9.66	6.79	70.86	93.39
Wilayah_26	9.61	9.63	71.71	75.11
Wilayah_16	9.53	9.09	70.26	87.40
Wilayah_22	9.44	8.76	71.33	89.43
Wilayah_13	8.99	7.88	70.08	82.50
Wilayah_08	8.98	7.08	69.54	73.56
Wilayah_04	8.57	7.38	69.88	85.61
Wilayah_10	8.52	8.09	71.62	96.99
Wilayah_14	8.19	10.03	72.54	95.23
Wilayah_12	7.98	10.35	71.12	93.96
Wilayah_02	7.68	7.01	73.42	91.38
Wilayah_11	7.16	7.94	72.38	87.64
Wilayah_03	6.01	9.96	71.13	86.70

ggplot2::ggplot(rank5, ggplot2::aes(reorder(wilayah, kemiskinan_persen), kemiskinan_persen)) +
  ggplot2::geom_col() + ggplot2::coord_flip() +
  ggplot2::labs(title="Ranking kemiskinan pada tahun terakhir", x=NULL, y="Kemiskinan (%)")

5.10 Interpretasi dalam Konteks Regional

Visualisasi harus membedakan “nilai tinggi” dan “masalah besar”. Kota kecil dengan TPT tinggi mungkin memiliki jumlah penganggur absolut lebih sedikit daripada kabupaten besar dengan TPT sedang. Dashboard yang baik memungkinkan pembaca melihat rate dan count secara berdampingan.

5.11 Latihan

1. Mengapa sumbu y yang dipotong dapat menyesatkan pada bar chart?
2. Kapan peta lebih informatif daripada ranking plot?
3. Bedakan perubahan persentase dan poin persentase.
4. Analisis: buat tiga jenis grafik untuk indikator yang sama dan evaluasi mana paling komunikatif.
5. Analisis: buat visual before-after untuk dua tahun pada data simulasi.
6. Mini-case: kepala daerah hanya punya 30 detik melihat dashboard. Rancang tiga KPI dan jelaskan alasan pemilihannya.

5.11.1 Aktivitas Formatif — Evidence Story (non-sumatif)

Buat satu halaman policy evidence story berisi maksimal empat grafik. Setiap grafik harus memiliki: pertanyaan, caption substantif, sumber, unit/satuan, periode, dan satu kalimat caveat. Sertakan satu grafik yang sengaja buruk, kemudian revisi dan jelaskan mengapa versi kedua lebih tepat.

5.11.2 Kuis 2 — Visualisasi Data dan Data Storytelling (2,5%)

Fokus: transformasi log; indeks tahun dasar; slope; pilihan visual encoding; masalah dual-axis; choropleth classification; uncertainty; claim–evidence–context–decision implication.

5.12 Hubungan dengan Capstone Project

Mahasiswa membuat storyboard 5 panel: masalah, disparitas, driver/pola, model/evidence, dan rekomendasi. Ini menjadi kerangka dashboard dan presentasi akhir.

5.13 Kesimpulan

Visualisasi kebijakan adalah alat penalaran dan komunikasi. Pilih bentuk grafik berdasarkan pertanyaan, bukan karena efek visualnya menarik.

5.14 Pendalaman Magister — Visual evidence dan policy storytelling

5.14.1 Audit metodologis

1. Grafik menjawab pertanyaan yang salah.
2. Sumbu/warna memperbesar perbedaan.
3. Count dipetakan tanpa denominator.
4. Peta dipakai saat time trend lebih relevan.
5. Uncertainty dihilangkan.
6. Caption tidak memuat sumber/periode.

5.14.2 Pertanyaan viva / diskusi kelas

1. Apa unit pesan satu grafik?
2. Kapan choropleth tidak tepat?
3. Apa beda percent dan percentage point?
4. Bagaimana klasifikasi peta memengaruhi cerita?
5. Mengapa uncertainty perlu divisualisasikan?
6. Apa struktur claim–evidence–context–decision?

6 Statistika Inferensial dan Regresi untuk Data Regional

6.1 Pendahuluan

Regresi menghubungkan outcome dengan satu atau lebih prediktor dan menyediakan kerangka untuk estimasi, ketidakpastian, dan prediksi. Pada data regional, regresi sangat berguna, tetapi interpretasi harus membedakan asosiasi dari efek kausal.

6.2 Tujuan Pembelajaran

Mahasiswa mampu merumuskan model regresi, menginterpretasi koefisien dan interval kepercayaan, mengecek residual secara dasar, mengenali multikolinearitas, dan menjelaskan keterbatasan inferensi observasional.

6.3 Definisi dan Konsep

Model linear berganda menaksir hubungan kondisional: perubahan ekspektasi outcome ketika satu prediktor berubah, dengan prediktor lain ditahan konstan. Asumsi penting meliputi spesifikasi mean yang memadai, independensi/struktur error yang sesuai, serta stabilitas hubungan. Data panel dan spasial sering melanggar independensi sederhana sehingga regresi OLS harus dilihat sebagai baseline, bukan akhir analisis.

6.4 Formulasi Matematis

$$y_i=\beta_0+\beta_1x_{i1}+\cdots+\beta_px_{ip}+\varepsilon_i,$$

dengan $y_i$ outcome, $x_{ij}$ prediktor, $\beta_j$ koefisien, dan $\varepsilon_i$ error. Estimator OLS dalam notasi matriks:

$$\hat{\boldsymbol\beta}=(\mathbf X^\top\mathbf X)^{-1}\mathbf X^\top\mathbf y.$$

Interval kepercayaan koefisien secara umum:

$$\hat\beta_j \pm t_{\alpha/2,df}\,SE(\hat\beta_j).$$

6.4.1 Estimasi, standard error, dan confidence interval

Misalkan $X_1,\dots,X_n$ i.i.d. dengan mean $\mu$ dan varians $\sigma^2$. Rata-rata sampel $$\bar X=\frac{1}{n}\sum_{i=1}^nX_i$$ memiliki $$E(\bar X)=\mu,\qquad \operatorname{Var}(\bar X)=\frac{\sigma^2}{n}.$$ Standard error diestimasi oleh $$SE(\bar X)=\frac{s}{\sqrt n}.$$ Untuk populasi normal atau sampel yang memadai, CI mean dengan $t$ adalah $$\bar x\pm t_{1-\alpha/2,n-1}\frac{s}{\sqrt n}.$$ Interpretasi frequentist: prosedur interval tersebut memiliki coverage $1-\alpha$ pada repeated sampling; bukan probabilitas posterior bahwa $\mu$ berada di interval tertentu.

6.4.2 Uji hipotesis

Untuk $H_0:\mu=\mu_0$, $$t=\frac{\bar x-\mu_0}{s/\sqrt n}.$$ $p$-value adalah probabilitas memperoleh statistik uji setidaknya se-ekstrem yang teramati jika $H_0$ dan asumsi model benar. $p$-value bukan ukuran besar efek, bukan probabilitas $H_0$ benar, dan bukan pengganti relevansi kebijakan.

6.4.3 Regresi linear sederhana dan berganda

Model: $$y_i=\beta_0+\beta_1x_{i1}+\cdots+\beta_px_{ip}+\varepsilon_i, \qquad E(\varepsilon_i\mid X)=0.$$ Dalam bentuk matriks: $$\mathbf y=\mathbf X\boldsymbol\beta+\boldsymbol\varepsilon.$$ OLS memilih $$\widehat{\boldsymbol\beta}=\arg\min_{\boldsymbol\beta}(\mathbf y-\mathbf X\boldsymbol\beta)'(\mathbf y-\mathbf X\boldsymbol\beta),$$ yang, jika $\mathbf X'\mathbf X$ invertibel, memiliki solusi $$\widehat{\boldsymbol\beta}=(\mathbf X'\mathbf X)^{-1}\mathbf X'\mathbf y.$$ Residual: $$e_i=y_i-\hat y_i.$$ Estimator varians error: $$\hat\sigma^2=\frac{\sum_{i=1}^{n}e_i^2}{n-p-1}.$$ Varian koefisien di bawah homoskedastisitas: $$\operatorname{Var}(\widehat{\boldsymbol\beta}\mid X)=\sigma^2(\mathbf X'\mathbf X)^{-1}.$$

6.4.4 Goodness of fit dan penalti kompleksitas

$$SST=\sum_i(y_i-\bar y)^2,\qquad SSE=\sum_i(y_i-\hat y_i)^2.$$

$$R^2=1-\frac{SSE}{SST}.$$

Adjusted $R^2$: $$\bar R^2=1-\frac{SSE/(n-p-1)}{SST/(n-1)}.$$ $R^2$ tinggi tidak menjamin model memiliki error prediksi kecil pada data baru atau memiliki interpretasi kausal yang valid. (Harrell 2015)

6.4.5 Multikolinearitas dan VIF

Untuk prediktor $X_j$, regresikan $X_j$ terhadap prediktor lain dan peroleh $R_j^2$. Variance Inflation Factor: $$VIF_j=\frac{1}{1-R_j^2}.$$ VIF menunjukkan inflasi varians koefisien akibat hubungan linear antarfitur; threshold seperti 5 atau 10 hanyalah rule-of-thumb, bukan hukum universal.

6.4.6 Interaksi dan nonlinearity

Model interaksi: $$y=\beta_0+\beta_1x_1+\beta_2x_2+\beta_3x_1x_2+\varepsilon.$$ Efek marginal $x_1$ adalah $$\frac{\partial E(Y\mid X)}{\partial x_1}=\beta_1+\beta_3x_2.$$ Artinya efek $x_1$ bergantung pada $x_2$. Dalam konteks regional, dampak asosiasional digital connectivity terhadap outcome dapat berbeda menurut tingkat urbanisasi atau kapasitas fiskal.

6.4.7 Prediksi bukan klaim kausal

Koefisien OLS bersifat kausal hanya di bawah asumsi identifikasi yang kuat. Jika variabel tak teramati $U$ memengaruhi $X$ dan $Y$, maka asosiasi dapat mengalami confounding. Buku kausal modern menekankan pemisahan pertanyaan prediktif dan kausal. (Hernán dan Robins 2020) Dalam mata kuliah ini, regresi terutama digunakan untuk deskripsi kondisional dan prediksi, kecuali desain identifikasi dijelaskan eksplisit.

6.5 Intuisi Metode

Koefisien internet -0,05 pada model kemiskinan berarti bahwa, dalam model dan skala yang digunakan, peningkatan 1 poin persentase internet diasosiasikan dengan penurunan rata-rata 0,05 poin kemiskinan ketika variabel lain tetap. Ini bukan bukti efek kausal jika faktor confounding tidak ditangani.

6.5.1 Worked Example — interpretasi koefisien

Model hipotetis: $$\widehat{Poverty}=18-0.08\,Internet-0.04\,PDRBpc+0.30\,TPT.$$ Jika internet diukur persen, koefisien $-0.08$ berarti pada data/model tersebut, kenaikan 1 percentage point internet berasosiasi dengan penurunan rata-rata 0,08 percentage point poverty, conditional on PDRBpc dan TPT. Kenaikan 10 points berasosiasi dengan 0,8 points lebih rendah. Kata “menyebabkan” tidak dibenarkan tanpa desain kausal.

6.5.2 Matrix OLS miniature

Untuk model tanpa intercept yang sangat sederhana dengan $$X=\begin{bmatrix}1\\2\\3\end{bmatrix},\quad y=\begin{bmatrix}2\\4\\5\end{bmatrix},$$ $$X'X=1^2+2^2+3^2=14,\qquad X'y=1(2)+2(4)+3(5)=25.$$ Maka $$\hat\beta=25/14=1.786.$$ Prediksi $\hat y=(1.786,3.571,5.357)'$. Contoh ini membantu melihat bahwa formula matriks adalah generalisasi prosedur minimisasi squared residual.

6.5.3 Confidence interval vs prediction interval

Untuk mean response pada $x_0$: $$SE\{\hat y(x_0)\}=\hat\sigma\sqrt{x_0'(X'X)^{-1}x_0}.$$ Untuk observasi baru: $$SE_{pred}=\hat\sigma\sqrt{1+x_0'(X'X)^{-1}x_0}.$$ Prediction interval lebih lebar karena mencakup irreducible individual error selain uncertainty mean. Ini penting saat memberi range outcome satu wilayah, bukan hanya expected mean.

6.5.4 Residual diagnostics

Empat pertanyaan minimum:

1. Linearity: residual vs fitted menunjukkan pola melengkung?
2. Homoskedastisitas: spread residual meningkat pada fitted besar?
3. Influence: adakah wilayah ekstrem dengan leverage besar?
4. Dependence: residual mungkin berkorelasi antarwaktu/spasial?

Pada panel regional, asumsi independence sering paling rapuh. Jika observasi wilayah berulang, standard error OLS biasa dapat tidak memadai. Mata kuliah ini mengenalkan diagnosis; model panel/spatial formal dapat menjadi studi lanjut.

6.5.5 R implementation

d <- panel |> filter(tahun==2025)
fit6 <- lm(kemiskinan_persen ~ internet_persen + pdrb_perkapita_juta + tpt_persen,
           data=d)
broom::tidy(fit6, conf.int=TRUE) |> knitr::kable(digits=3)

term	estimate	std.error	statistic	p.value	conf.low	conf.high
(Intercept)	17.477	3.581	4.880	0.000	10.068	24.886
internet_persen	-0.020	0.064	-0.309	0.760	-0.152	0.113
pdrb_perkapita_juta	-0.086	0.047	-1.834	0.080	-0.184	0.011
tpt_persen	-0.209	0.271	-0.771	0.449	-0.771	0.352

broom::glance(fit6) |> select(r.squared, adj.r.squared, sigma, AIC) |> knitr::kable(digits=3)

r.squared	adj.r.squared	sigma	AIC
0.464	0.394	1.365	99.102

Gunakan broom::augment() untuk residual/fitted. Setelah output, tulis effect scale, uncertainty, dan limitation. Koefisien kecil belum tentu tidak substantif bila satu unit perubahan variabel sangat besar; sebaliknya koefisien “signifikan” dapat tidak relevan secara kebijakan.

6.5.6 Pertanyaan kritik regresi

• Apakah outcome continuous dan model linear masuk akal?
• Adakah rate bounded 0–100 yang mendekati boundary?
• Adakah denominator sangat berbeda sehingga weighting relevan?
• Adakah omitted variable yang membuat interpretasi kausal berbahaya?
• Apakah data pooled time menyebabkan pseudo-replication?
• Apakah hubungan nonlinear/interaksi didukung teori?

6.6 Contoh dengan Data Simulasi

panel <- read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |>
  filter(tahun == 2025)

m1 <- lm(kemiskinan_persen ~ pdrb_perkapita_juta + internet_persen + ipm + tpt_persen,
         data = panel)
broom::tidy(m1, conf.int = TRUE) |>
  knitr::kable(digits = 3, caption = "Regresi kemiskinan pada data simulasi")

Table 6.1: Regresi kemiskinan pada data simulasi

term	estimate	std.error	statistic	p.value	conf.low	conf.high
(Intercept)	7.522	23.830	0.316	0.755	-41.897	56.941
pdrb_perkapita_juta	-0.102	0.060	-1.697	0.104	-0.226	0.023
internet_persen	-0.012	0.068	-0.180	0.859	-0.152	0.128
ipm	0.145	0.343	0.423	0.677	-0.567	0.857
tpt_persen	-0.233	0.282	-0.826	0.417	-0.818	0.352

augment(m1) |>
  ggplot(aes(.fitted, .resid)) +
  geom_hline(yintercept = 0, linetype = 2) +
  geom_point() +
  labs(x = "Fitted", y = "Residual", title = "Pemeriksaan residual dasar")

6.7 Contoh dengan Data Nyata

INDO-DAPOER memiliki poverty rate (SI.POV.NAPR.ZS), HDI (IDX.HDI), literacy (SE.LITR.15UP.ZS), populasi (SP.POP.TOTL), unemployment counts (SL.UEM.TOTL) dan labor force (SL.TLF). TPT dapat dikonstruksi dari SL.UEM.TOTL/SL.TLF*100 jika definisi dan periode kompatibel. (World Bank 2026)

Kartu dataset real.

• Nama: subset kemiskinan, pembangunan manusia, literasi, populasi, pengangguran dan angkatan kerja INDO-DAPOER.
• Sumber dan URL: World Bank Data Catalog, https://datacatalog.worldbank.org/search/dataset/0041056/indonesia-database-for-policy-and-economic-research.
• Tahun: sampai 2018, dipilih periode dengan overlap data.
• Unit observasi: kabupaten/kota–tahun.
• Variabel/definisi: poverty rate (%), HDI (indeks), literacy 15+ (%), total population, number unemployed, labor force; TPT latihan dapat dihitung sebagai unemployed/labor_force*100 bila definisinya kompatibel.
• Alasan digunakan: menyediakan outcome dan covariates untuk regresi/inferensi dengan konteks pembangunan regional.
• Keterbatasan: regresi observasional menunjukkan asosiasi, bukan efek kebijakan kausal; denominator dan kompatibilitas definisi harus diverifikasi. (World Bank 2026)

6.8 Analisis Menggunakan R

if (dir.exists("data/raw/indodapoer") && length(list.files("data/raw/indodapoer")) > 0) {
  source("R/03_prepare_indodapoer.R")
  indo <- load_indodapoer()
  sel <- indo |>
    dplyr::filter(kode_indikator %in% c("SI.POV.NAPR.ZS", "IDX.HDI", "SE.LITR.15UP.ZS", "SL.UEM.TOTL", "SL.TLF"), tahun == 2018) |>
    dplyr::select(wilayah, kode_indikator, nilai) |>
    tidyr::pivot_wider(names_from = kode_indikator, values_from = nilai) |>
    dplyr::mutate(tpt_constructed = 100 * SL.UEM.TOTL / SL.TLF)
  fit_real <- lm(SI.POV.NAPR.ZS ~ IDX.HDI + SE.LITR.15UP.ZS + tpt_constructed, data = sel)
} else {
  sel <- readr::read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |> dplyr::filter(tahun == 2025)
  fit_real <- lm(kemiskinan_persen ~ ipm + indeks_pendidikan + tpt_persen, data = sel)
}
broom::tidy(fit_real, conf.int = TRUE) |> knitr::kable(digits = 3, caption = "Output: estimasi model dan interval kepercayaan")

Table 6.2: Output: estimasi model dan interval kepercayaan

term	estimate	std.error	statistic	p.value	conf.low	conf.high
(Intercept)	17.875	22.593	0.791	0.437	-28.863	64.612
ipm	0.146	0.392	0.372	0.714	-0.665	0.957
indeks_pendidikan	-0.187	0.084	-2.212	0.037	-0.361	-0.012
tpt_persen	-0.640	0.299	-2.138	0.043	-1.259	-0.021

6.9 Paket Output Regresi Lengkap

reg6 <- readr::read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |>
  dplyr::filter(tahun == 2025)
fit6 <- stats::lm(kemiskinan_persen ~ pdrb_perkapita_juta + tpt_persen + internet_persen + ipm + urban, data=reg6)
coef6 <- broom::tidy(fit6, conf.int=TRUE)
knitr::kable(coef6, digits=3, caption="Koefisien OLS, standard error, p-value, dan 95% CI")

Table 6.3: Koefisien OLS, standard error, p-value, dan 95% CI

term	estimate	std.error	statistic	p.value	conf.low	conf.high
(Intercept)	2.866	24.361	0.118	0.907	-47.796	53.528
pdrb_perkapita_juta	-0.125	0.065	-1.929	0.067	-0.259	0.010
tpt_persen	-0.434	0.352	-1.234	0.231	-1.165	0.297
internet_persen	-0.017	0.068	-0.254	0.802	-0.158	0.124
ipm	0.248	0.360	0.689	0.498	-0.501	0.997
urban	0.888	0.926	0.959	0.348	-1.038	2.815

glance6 <- broom::glance(fit6) |> dplyr::select(r.squared, adj.r.squared, sigma, statistic, p.value, AIC, BIC, df.residual)
knitr::kable(glance6, digits=3, caption="Ringkasan goodness-of-fit model regresi")

Table 6.4: Ringkasan goodness-of-fit model regresi

r.squared	adj.r.squared	sigma	statistic	p.value	AIC	BIC	df.residual
0.49	0.369	1.393	4.043	0.01	101.726	110.797	21

aug6 <- broom::augment(fit6)
metric6 <- tibble::tibble(
  RMSE = rmse_manual(reg6$kemiskinan_persen, aug6$.fitted),
  MAE = mae_manual(reg6$kemiskinan_persen, aug6$.fitted),
  mean_residual = mean(aug6$.resid),
  max_cooks_d = max(aug6$.cooksd)
)
knitr::kable(metric6, digits=3, caption="Ukuran error dan influence pada data estimasi")

Table 6.5: Ukuran error dan influence pada data estimasi

RMSE	MAE	mean_residual	max_cooks_d
1.228	0.942	0	0.256

ggplot2::ggplot(aug6, ggplot2::aes(.fitted, .resid)) +
  ggplot2::geom_hline(yintercept=0, linetype=2) + ggplot2::geom_point(alpha=.8) +
  ggplot2::geom_smooth(se=FALSE) + ggplot2::labs(title="Residual versus fitted", x="Fitted", y="Residual")

ggplot2::ggplot(aug6, ggplot2::aes(sample=.std.resid)) +
  ggplot2::stat_qq() + ggplot2::stat_qq_line() +
  ggplot2::labs(title="Normal Q–Q plot standardized residual")

ggplot2::ggplot(aug6, ggplot2::aes(kemiskinan_persen, .fitted)) +
  ggplot2::geom_abline(slope=1,intercept=0,linetype=2) + ggplot2::geom_point(size=2.5) +
  ggplot2::labs(title="Aktual versus fitted OLS", x="Aktual (%)", y="Fitted (%)")

6.10 Interpretasi dalam Konteks Regional

Koefisien harus dibaca bersama skala, interval ketidakpastian, dan plausibilitas substantif. Jika model menunjukkan HDI dan literacy sama-sama kuat tetapi sangat berkorelasi, koefisien individual dapat menjadi tidak stabil. Untuk kebijakan, fokus pada evidence pattern dan ketidakpastian, bukan pada signifikansi p-value saja.

6.11 Latihan

1. Apa arti “mengontrol variabel lain” dalam regresi?
2. Mengapa p-value kecil tidak sama dengan dampak kebijakan besar?
3. Apa risiko multikolinearitas pada indikator pembangunan yang saling tumpang tindih?
4. Analisis: bandingkan model sederhana dan model berganda pada data simulasi.
5. Analisis: buat interval kepercayaan prediksi untuk lima wilayah.
6. Mini-case: koefisien investasi positif terhadap pengangguran. Susun minimal tiga penjelasan selain “investasi meningkatkan pengangguran”.

6.11.1 Project M3 — EDA, Evidence Story, dan Baseline Regression (5%)

Bangun baseline regression untuk outcome regional. Laporkan model equation, coefficient table, CI, residual diagnostics, VIF, satu interaction term yang punya justifikasi, dan interpretasi substantif. Tuliskan satu paragraf berjudul “Apa yang tidak dapat saya simpulkan secara kausal dari model ini.”

6.11.2 Latihan Formatif Pertemuan 6 (non-sumatif)

1. Interpretasi $\beta_j$ pada multiple regression.
   
2. Perbedaan CI koefisien dan prediction interval.
   
3. Apa arti VIF besar?
   
4. Bagaimana membaca interaction $x_1x_2$?
   
5. Mengapa $R^2$ tinggi tidak menjamin model bagus untuk data baru?

6.12 Hubungan dengan Capstone Project

Project M3 mengintegrasikan EDA/evidence story dengan baseline statistical model dan dokumentasi asumsi. Baseline ini menjadi pembanding yang bermakna untuk model prediktif berikutnya.

6.13 Kesimpulan

Regresi adalah alat dasar yang sangat kuat untuk regional analytics jika digunakan dengan disiplin interpretasi, diagnostik, dan kesadaran terhadap confounding serta struktur data.

6.14 Pendalaman Magister — Inferensi dan regression reasoning

6.14.1 Audit metodologis

1. P-value dijadikan ukuran importance.
2. R2 dijadikan ukuran kausalitas.
3. Multikolinearitas diabaikan.
4. Nonlinearity/interaksi tidak diperiksa.
5. Dependence panel/spasial diabaikan.
6. Koefisien asosiasi disebut dampak kebijakan.

6.14.2 Pertanyaan viva / diskusi kelas

1. Apa makna conditional coefficient?
2. Mengapa CI bukan probabilitas parameter frequentist?
3. Apa yang dilakukan VIF?
4. Bagaimana interaction mengubah marginal effect?
5. Kapan prediction interval lebih relevan?
6. Apa asumsi tambahan untuk causal interpretation?

7 Predictive Modeling, Resampling, dan Pencegahan Data Leakage

7.1 Pendahuluan

Prediksi menilai kemampuan model untuk bekerja pada data yang tidak digunakan saat fitting. Kesalahan umum dalam proyek regional adalah mengevaluasi model pada data training atau melakukan preprocessing menggunakan seluruh data sebelum split, sehingga kinerja terlihat terlalu baik.

7.2 Tujuan Pembelajaran

Mahasiswa mampu membangun workflow train/test, cross-validation, baseline, feature preprocessing, serta mendeteksi leakage temporal dan geografis.

7.3 Definisi dan Konsep

Generalization error adalah error pada observasi baru. Data leakage terjadi ketika informasi yang seharusnya tidak tersedia saat prediksi masuk ke proses training. Untuk forecast atau panel waktu, random split dapat membocorkan informasi masa depan. Untuk wilayah, random split juga dapat terlalu optimistis bila wilayah tetangga sangat serupa.

7.4 Formulasi Matematis

MSE dan RMSE:

$$MSE=\frac{1}{n}\sum_{i=1}^n(y_i-\hat y_i)^2,\qquad RMSE=\sqrt{MSE}.$$

MAE:

$$MAE=\frac{1}{n}\sum_{i=1}^n|y_i-\hat y_i|.$$

Dalam $K$-fold cross-validation,

$$CV_K=\frac{1}{K}\sum_{k=1}^K L_k,$$

dengan $L_k$ loss pada fold ke-$k$.

7.4.1 Generalization error

Tujuan prediksi bukan meminimalkan training error, tetapi error pada data baru: $$Err_{gen}=\mathbb{E}_{(X,Y)\sim P_{new}}[L\{Y,\hat f(X)\}].$$ Test error adalah estimator praktis dari kuantitas ini ketika test set benar-benar independen dari proses training/tuning.

7.4.2 K-fold cross-validation

Data training dibagi menjadi $K$ fold $\mathcal{I}_1,\dots,\mathcal{I}_K$. Model $\hat f^{(-k)}$ dilatih tanpa fold $k$. Estimator CV risk: $$\widehat R_{CV}=\frac{1}{n}\sum_{k=1}^{K}\sum_{i\in\mathcal I_k}L\{y_i,\hat f^{(-k)}(x_i)\}.$$ Untuk panel regional, random CV dapat terlalu optimistis bila observasi wilayah yang sama muncul di train dan validation. Gunakan grouped CV, spatial blocking, atau rolling/temporal split sesuai target deployment. (Kuhn dan Silge 2022)

7.4.3 Metrik regresi

$$RMSE=\sqrt{\frac{1}{n}\sum_i(y_i-\hat y_i)^2},$$

$$MAE=\frac{1}{n}\sum_i|y_i-\hat y_i|,$$

$$MAPE=\frac{100\%}{n}\sum_i\left|\frac{y_i-\hat y_i}{y_i}\right|.$$ MAPE bermasalah saat $y_i$ dekat nol. Untuk indikator seperti growth yang dapat nol/negatif, MAE/RMSE atau scaled errors biasanya lebih aman.

7.4.4 Bias–variance decomposition

Untuk squared error pada titik $x_0$, $$E[(Y-\hat f(x_0))^2] =\sigma^2+\{Bias[\hat f(x_0)]\}^2+Var[\hat f(x_0)].$$ Model sangat fleksibel dapat menurunkan bias tetapi meningkatkan variance. Resampling membantu memilih kompleksitas yang memberi trade-off generalization terbaik. (Hastie, Tibshirani, dan Friedman 2009)

7.4.5 Ridge dan lasso sebagai regularized regression

Ridge: $$\widehat\beta^{ridge}=\arg\min_{\beta_0,\boldsymbol\beta} \left\{\sum_i(y_i-\beta_0-\mathbf x_i'\boldsymbol\beta)^2+\lambda\sum_{j=1}^{p}\beta_j^2\right\}.$$ Lasso: $$\widehat\beta^{lasso}=\arg\min_{\beta_0,\boldsymbol\beta} \left\{\sum_i(y_i-\beta_0-\mathbf x_i'\boldsymbol\beta)^2+\lambda\sum_{j=1}^{p}|\beta_j|\right\}.$$ Ridge mengecilkan koefisien; lasso dapat menghasilkan beberapa koefisien tepat nol. Prediktor sebaiknya distandardisasi sebelum regularisasi. (Hoerl dan Kennard 1970; Tibshirani 1996)

7.4.6 Data leakage formal

Misalkan transformasi preprocessing memiliki parameter $\theta$. Leakage terjadi jika $$\widehat\theta=g(\mathcal D_{train}\cup\mathcal D_{test})$$ ketika seharusnya $$\widehat\theta=g(\mathcal D_{train}).$$ Contoh: standardisasi, imputasi, feature selection, PCA, atau tuning threshold menggunakan test set. Test set baru “dibuka” setelah seluruh keputusan model selesai.

7.5 Intuisi Metode

RMSE lebih memberi penalti pada error besar. Jika kebijakan sangat sensitif terhadap kegagalan memprediksi wilayah ekstrem, RMSE bisa lebih relevan daripada MAE. Tetapi metric harus terkait keputusan, bukan dipilih hanya karena umum digunakan.

7.5.1 Worked Example — split temporal

Tujuan: memprediksi indikator 2025 menggunakan informasi hingga 2024. Maka split random yang memasukkan observasi 2025 ke training melanggar deployment. Gunakan $$\mathcal D_{train}=\{t\le2023\},\quad \mathcal D_{valid}=\{t=2024\},\quad \mathcal D_{test}=\{t=2025\}.$$ Validation dipakai tuning; test hanya evaluasi final.

7.5.2 RMSE vs MAE numeric

Error model A: $(1,1,1,5)$. MAE=$2$, RMSE=$\sqrt{(1+1+1+25)/4}=\sqrt7=2.646$. Error ekstrem mendapat penalti lebih kuat pada RMSE. Jika kebijakan sangat sensitif terhadap miss besar, RMSE mungkin lebih sesuai; jika robust typical absolute error lebih penting, MAE informatif.

7.5.3 Cross-validation manual intuition

Untuk 5-fold CV, setiap observasi menjadi validation tepat sekali. Jika fold RMSE = 2.1, 2.4, 1.9, 2.6, 2.2: $$\bar{RMSE}=2.24,$$ $$s=\sqrt{\sum_k(RMSE_k-2.24)^2/(5-1)}\approx0.27.$$ Laporkan distribusi, bukan hanya mean. Variability tinggi berarti model sensitif terhadap sample composition.

7.5.4 Ridge shrinkage intuition

Jika dua prediktor sangat berkorelasi, OLS dapat menghasilkan koefisien besar dengan tanda tidak stabil. Ridge menambah $\lambda\sum\beta_j^2$, sehingga solusi menerima sedikit bias untuk mengurangi variance. lambda bukan dipilih dari test set; gunakan resampling training.

7.5.5 R workflow dengan tidymodels

set.seed(260817)
dat <- readr::read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |>
  dplyr::select(kemiskinan_persen, pdrb_perkapita_juta, tpt_persen, internet_persen, ipm, umkm_per_1000)
spl <- initial_split(dat, prop = .8)
tr <- training(spl)
folds <- vfold_cv(tr, v = 5)
rec <- recipe(kemiskinan_persen ~ ., data = tr) |> step_normalize(all_numeric_predictors())
mod <- linear_reg() |> set_engine("lm")
wf <- workflow() |> add_recipe(rec) |> add_model(mod)
res <- fit_resamples(wf, resamples = folds, metrics = metric_set(rmse, mae, rsq))
collect_metrics(res) |> knitr::kable(digits = 3, caption = "Output: 5-fold cross-validation baseline")

Table 7.1: Output: 5-fold cross-validation baseline

.metric	.estimator	mean	n	std_err	.config
mae	standard	1.024	5	0.030	pre0_mod0_post0
rmse	standard	1.313	5	0.050	pre0_mod0_post0
rsq	standard	0.711	5	0.027	pre0_mod0_post0

7.5.6 Leakage audit table

Komponen	Fit hanya pada train/resample?	Risiko jika tidak
median imputation	ya	test distribution bocor
normalization	ya	mean/SD test bocor
feature selection	ya	selection optimism
PCA	ya	loading memakai test
hyperparameter tuning	ya	overfit test
threshold selection	validation	inflated test metric

7.5.7 Deployment realism

Pertanyaan validasi bukan “split mana yang paling mudah”, tetapi “data apa yang akan tersedia saat model benar-benar dipakai?”. Untuk prediksi wilayah baru, group split by region mungkin tepat. Untuk masa depan, temporal split. Untuk generalisasi geografis, spatial block. (Kuhn dan Silge 2022)

7.6 Contoh dengan Data Simulasi

panel <- read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE)
train <- panel |> filter(tahun <= 2023)
test  <- panel |> filter(tahun >= 2024)

fit <- lm(kemiskinan_persen ~ pdrb_perkapita_juta + tpt_persen + internet_persen + ipm,
          data = train)

pred <- test |> mutate(.pred = predict(fit, newdata = test))
pred |>
  summarise(RMSE = rmse_manual(kemiskinan_persen, .pred),
            MAE = mae_manual(kemiskinan_persen, .pred)) |>
  knitr::kable(digits = 3)

RMSE	MAE
1.413	1.096

7.6.1 Visualisasi Output: Aktual versus Prediksi

pred |>
  ggplot2::ggplot(ggplot2::aes(kemiskinan_persen, .pred)) +
  ggplot2::geom_abline(slope = 1, intercept = 0, linetype = 2, colour = "#C99A17") +
  ggplot2::geom_point(alpha = .7, colour = "#145B8C") +
  ggplot2::labs(
    title = "Evaluasi out-of-time: aktual versus prediksi",
    x = "Kemiskinan aktual (%)", y = "Kemiskinan prediksi (%)"
  )

7.7 Contoh dengan Data Nyata

Data panel INDO-DAPOER dapat dibagi berdasarkan waktu, misalnya training sampai 2015 dan test 2016-2018, selama indikator memiliki kelengkapan memadai. Karena data historis, tujuan latihan adalah mengevaluasi pipeline, bukan memberi rekomendasi kebijakan terkini.

Kartu dataset real.

• Nama: panel indikator subnasional INDO-DAPOER untuk latihan time-aware validation.
• Sumber dan URL: World Bank Data Catalog, https://datacatalog.worldbank.org/search/dataset/0041056/indonesia-database-for-policy-and-economic-research.
• Tahun: hingga 2018; contoh split: training ≤2015 dan test 2016–2018 jika data tersedia.
• Unit observasi: wilayah–tahun.
• Variabel/definisi: outcome regional dipilih dari indikator numerik; predictors berupa indikator ekonomi/sosial yang diketahui sebelum outcome pada horizon prediksi.
• Alasan digunakan: struktur waktu memungkinkan demonstrasi perbedaan random split dan temporal holdout serta risiko leakage.
• Keterbatasan: data historis tidak digunakan untuk klaim kondisi terkini; fitur dengan publikasi terlambat dapat menyebabkan look-ahead bias. (World Bank 2026)

7.8 Analisis Menggunakan R

library(tidymodels)
set.seed(260807)
reg <- read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |> filter(tahun == 2025)
split <- initial_split(reg, prop = .8, strata = kemiskinan_persen)
tr <- training(split); te <- testing(split)

rec <- recipe(kemiskinan_persen ~ pdrb_perkapita_juta + tpt_persen + internet_persen + ipm + umkm_per_1000,
              data = tr) |>
  step_normalize(all_numeric_predictors())

mod <- linear_reg() |> set_engine("lm")
wf <- workflow() |> add_recipe(rec) |> add_model(mod) |> fit(tr)
p <- predict(wf, te) |> bind_cols(te |> select(kemiskinan_persen))
yardstick::metrics(p, truth = kemiskinan_persen, estimate = .pred)

#> # A tibble: 3 × 3
#>   .metric .estimator .estimate
#>   <chr>   <chr>          <dbl>
#> 1 rmse    standard       1.66 
#> 2 rsq     standard       0.369
#> 3 mae     standard       1.42

7.9 Paket Output Validasi Lengkap

set.seed(260817)
dat7 <- readr::read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |>
  dplyr::select(kemiskinan_persen, pdrb_perkapita_juta, tpt_persen, internet_persen, ipm, umkm_per_1000)
split7 <- rsample::initial_split(dat7, prop=.8)
tr7 <- rsample::training(split7); te7 <- rsample::testing(split7)
folds7 <- rsample::vfold_cv(tr7, v=5)
wf7 <- workflows::workflow() |>
  workflows::add_recipe(recipes::recipe(kemiskinan_persen ~ ., data=tr7) |> recipes::step_normalize(recipes::all_numeric_predictors())) |>
  workflows::add_model(parsnip::linear_reg() |> parsnip::set_engine("lm"))
res7 <- tune::fit_resamples(wf7, resamples=folds7, metrics=yardstick::metric_set(yardstick::rmse, yardstick::mae, yardstick::rsq))
fold_metric7 <- tune::collect_metrics(res7, summarize=FALSE)
knitr::kable(fold_metric7, digits=3, caption="Metric setiap fold — bukan hanya rata-rata")

Table 7.2: Metric setiap fold — bukan hanya rata-rata

id	.metric	.estimator	.estimate	.config
Fold1	rmse	standard	1.123	pre0_mod0_post0
Fold1	mae	standard	0.926	pre0_mod0_post0
Fold1	rsq	standard	0.802	pre0_mod0_post0
Fold2	rmse	standard	1.346	pre0_mod0_post0
Fold2	mae	standard	1.086	pre0_mod0_post0
Fold2	rsq	standard	0.647	pre0_mod0_post0
Fold3	rmse	standard	1.328	pre0_mod0_post0
Fold3	mae	standard	1.084	pre0_mod0_post0
Fold3	rsq	standard	0.667	pre0_mod0_post0
Fold4	rmse	standard	1.356	pre0_mod0_post0
Fold4	mae	standard	1.016	pre0_mod0_post0
Fold4	rsq	standard	0.724	pre0_mod0_post0
Fold5	rmse	standard	1.414	pre0_mod0_post0
Fold5	mae	standard	1.007	pre0_mod0_post0
Fold5	rsq	standard	0.714	pre0_mod0_post0

ggplot2::ggplot(fold_metric7 |> dplyr::filter(.metric %in% c("rmse","mae")), ggplot2::aes(.metric,.estimate)) +
  ggplot2::geom_boxplot(width=.45) + ggplot2::geom_jitter(width=.08, size=2) +
  ggplot2::labs(title="Variabilitas metric antar-fold", x=NULL, y="Nilai metric")

fit7 <- generics::fit(wf7, data = tr7)
pred7 <- predict(fit7, te7) |> dplyr::bind_cols(te7 |> dplyr::select(kemiskinan_persen))
yardstick::metrics(pred7, truth=kemiskinan_persen, estimate=.pred) |>
  knitr::kable(digits=3, caption="Final test metrics setelah resampling selesai")

Table 7.3: Final test metrics setelah resampling selesai

.metric	.estimator	.estimate
rmse	standard	1.096
rsq	standard	0.719
mae	standard	0.870

7.10 Interpretasi dalam Konteks Regional

Model dengan RMSE 1,2 poin kemiskinan berarti error tipikal berada pada skala sekitar satu poin persentase, tetapi implikasinya berbeda bagi wilayah 3% dan 20%. Evaluasi perlu melihat error menurut kelompok: urban/rural, wilayah miskin/nonmiskin, dan wilayah dengan data terbatas.

7.11 Latihan

1. Apa perbedaan training error dan test error?
2. Berikan contoh data leakage dalam monitoring kemiskinan.
3. Mengapa random split dapat bermasalah untuk data time series?
4. Analisis: bandingkan split acak dan split waktu pada data simulasi.
5. Analisis: hitung RMSE per kelompok urban/nonurban.
6. Mini-case: model nasional bagus tetapi buruk di wilayah timur. Apa evaluasi tambahan yang wajib dilakukan sebelum deployment?

7.11.1 Partisipasi Checkpoint I — Validation & Leakage Audit (5%)

Bandingkan minimal dua model pada split yang sesuai dengan deployment (random/group/time). Laporkan baseline, CV metric distribution, final test metric, dan tabel leakage audit. Setiap transformasi harus dikerjakan hanya pada training/resample yang relevan.

7.11.2 Latihan Formatif — Predictive Workflow (non-sumatif)

Kisi-kisi: summary/inequality; visualisasi; OLS; CI; interaction; RMSE/MAE; cross-validation; bias–variance; ridge/lasso; leakage; baseline comparison.

7.12 Hubungan dengan Capstone Project

Kelompok harus menetapkan evaluation protocol sebelum mencoba banyak model: unit split, metric utama, metric sekunder, baseline, dan subgroup check.

7.13 Kesimpulan

Evaluasi yang jujur lebih penting daripada skor spektakuler. Leakage dapat membuat model tampak hebat namun gagal saat digunakan untuk keputusan nyata.

7.14 Pendalaman Magister — Generalization dan resampling

7.14.1 Audit metodologis

1. Random split tidak sesuai deployment.
2. Test set dipakai tuning.
3. Preprocessing fit pada seluruh data.
4. Hanya melaporkan satu metric.
5. Resample dependence diabaikan.
6. Model kompleks tanpa baseline.

7.14.2 Pertanyaan viva / diskusi kelas

1. Apa target generalization?
2. Mengapa temporal split berbeda dari random split?
3. Apa bias–variance trade-off?
4. Bagaimana ridge dan lasso berbeda?
5. Mengapa test set hanya sekali?
6. Apa arti variability antar-fold?

8 UTS: Integrative Regional Data Case

8.1 Pendahuluan

UTS menguji integrasi kompetensi minggu 1-7. Fokusnya bukan menghafal sintaks, melainkan membuat keputusan analitik yang dapat dipertanggungjawabkan.

8.2 Tujuan Pembelajaran

Mahasiswa mampu mengaudit dataset, merumuskan pertanyaan, melakukan EDA, membangun baseline model, mengevaluasi, dan menulis interpretasi kebijakan singkat secara individual.

8.3 Definisi dan Konsep

UTS menggunakan open-book analytical case. Mahasiswa dapat melihat dokumentasi R, tetapi harus menjelaskan alasan pilihan metode dan interpretasi. Data dapat berupa potongan indikator kabupaten/kota dengan masalah kualitas yang sengaja disisipkan.

8.4 Formulasi Matematis

Formula yang diujikan berasal dari bab 1-7: rate, standardisasi, mean/variance, korelasi, regresi, RMSE, dan MAE. Mahasiswa tidak dinilai karena menghafal formula, tetapi karena memilih formula yang sesuai dan menjelaskan simbol serta unitnya.

8.4.1 Formula sheet UTS yang harus dipahami, bukan dihafal tanpa konteks

UTS mengintegrasikan materi minggu 1–7. Mahasiswa harus dapat menjelaskan kapan setiap rumus relevan dan asumsi apa yang menyertainya.

Rate dan growth $$r=\frac{a}{b}k,\qquad g_t=\frac{x_t-x_{t-1}}{x_{t-1}}.$$

Z-score $$z=\frac{x-\bar x}{s}.$$

Correlation $$r=\frac{\sum_i(x_i-\bar x)(y_i-\bar y)}{(n-1)s_xs_y}.$$

OLS $$\hat\beta=(X'X)^{-1}X'y.$$

RMSE/MAE $$RMSE=\sqrt{n^{-1}\sum_i e_i^2},\qquad MAE=n^{-1}\sum_i|e_i|.$$

CV risk $$\widehat R_{CV}=n^{-1}\sum_{k}\sum_{i\in\mathcal I_k}L(y_i,\hat f^{(-k)}(x_i)).$$

8.4.2 Filosofi soal UTS

UTS bukan ujian “mengetik kode tercepat”. Sebuah jawaban lengkap memiliki empat lapis:

1. analytical framing — apa unit analisis dan target keputusan;
2. statistical correctness — metode, asumsi, dan metrik tepat;
3. computational reproducibility — kode dapat dijalankan dan transformasi terdokumentasi;
4. regional interpretation — temuan diterjemahkan ke karakter wilayah, bukan sekadar angka model.

8.4.3 Kisi-kisi dan Rubrik UTS (20% nilai akhir)

Dimensi RPS	Proporsi skor UTS	Fokus
Problem framing & pertanyaan analitik	15%	unit analisis, outcome, pertanyaan, provenance, dan batas klaim
Data quality/EDA dan pemilihan bukti	20%	audit data, cleaning, EDA, visualisasi, dan kualitas evidence
Metode statistik/model dasar	25%	pemilihan dan penerapan metode, formulasi, asumsi, serta interpretasi
Evaluasi/asumsi/validation reasoning	15%	diagnostic, split/resampling bila relevan, metric, leakage, dan keterbatasan
Interpretasi regional dan policy implication	15%	makna substantif, caveat, dan rekomendasi terbatas
Reproducibility, sumber, dan komunikasi	10%	Rmd/PDF, sumber, dokumentasi, dan keterlacakan analisis

8.4.4 Bentuk UTS sesuai RPS

• Individual integrated regional data case dari problem framing sampai model dasar, interpretasi, reproducibility, dan policy note.
• Luaran berupa R Markdown/PDF individual yang memuat problem framing, data audit/EDA, model dasar, evaluasi/asumsi, interpretasi regional, policy implication terbatas, sumber, serta pernyataan penggunaan AI.
• Skala kinerja per dimensi mengikuti rubrik RPS: 4 = tepat, lengkap, terjustifikasi, dan dapat direplikasi; 3 = benar dengan gap minor; 2 = sebagian benar/justifikasi lemah; 1 = tidak memenuhi bukti minimal.
• Ketentuan penggunaan Generative AI mengikuti kebijakan RPS/dosen dan wajib transparan serta diverifikasi.

8.5 Intuisi Metode

UTS mensimulasikan situasi analis: data belum sempurna, waktu terbatas, dan stakeholder membutuhkan ringkasan yang akurat. Jawaban terbaik bukan yang memakai model paling kompleks, tetapi yang menjaga validitas dari awal sampai interpretasi.

8.5.1 Mock UTS Case — struktur jawaban ideal

Kasus: dataset 27 kabupaten/kota × 2016–2024 berisi TPT, kemiskinan, pertumbuhan PDRB, internet, dan pendidikan. Ada duplikasi 6 key, missing internet 2020 untuk 4 wilayah, dan satu nilai TPT=82 akibat salah decimal.

Langkah 1 — audit. Jangan langsung drop_na(). Identifikasi duplicate key dan nilai impossible. Verifikasi dari source sebelum koreksi.

Langkah 2 — feature. Untuk memprediksi TPT 2024, fitur yang berasal dari outcome 2024 tidak boleh digunakan. Gunakan lag 2023 atau indikator yang tersedia sebelum keputusan.

Langkah 3 — EDA. Minimal satu grafik trend, satu cross-sectional relationship, satu regional ranking/map. Setiap grafik punya source/unit.

Langkah 4 — baseline. Fit model linear pada ≤2022, validasi 2023, test 2024. Interpretasikan conditional associations.

Langkah 5 — metric. Jika RMSE 1.4 percentage points, terjemahkan: “typical squared-error scale sekitar 1.4 poin TPT”, bukan “akurasi 98.6%”.

Langkah 6 — policy memo. Pisahkan observation, hypothesis, dan recommendation.

8.5.2 Contoh scoring jawaban

Jawaban dengan kode sempurna tetapi menggunakan data 2024 untuk feature yang memprediksi 2024 dapat kehilangan skor besar karena target leakage. Sebaliknya syntax kecil yang tidak memengaruhi kesimpulan dapat mendapat penalti lebih ringan. Ini menegaskan prioritas validitas dibanding kosmetika.

8.5.3 Mini formula drill

1. Dari 12 ke 9: relative change $=(9-12)/12=-25\%$.
2. Error $(1,-2,3)$: $MAE=2$, $RMSE=\sqrt{14/3}=2.160$.
3. Jika $R_j^2=0.9$, $VIF=10$.
4. Jika mean=50, SD=10, $x=70$, z-score=2.
5. Jika SSE=200, SST=500, $R^2=0.6$.

Mahasiswa seharusnya mampu menghitung dan menjelaskan makna tiap hasil.

8.5.4 UTS reproducibility checklist

File harus dapat di-knit dari awal. Gunakan path relatif; jangan menggunakan setwd("/Users/nama/Desktop"); jangan menyunting angka output secara manual; dan catat package yang dipakai. Bila data ujian disediakan lokal, gunakan here atau struktur folder sederhana.

8.6 Contoh dengan Data Simulasi

set.seed(260808)
uts_case <- read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |>
  filter(tahun %in% c(2023, 2024, 2025)) |>
  sample_n(60) |>
  mutate(internet_persen = if_else(row_number() %% 13 == 0, NA_real_, internet_persen))
knitr::kable(head(uts_case, 8), digits = 2, caption = "Contoh struktur data case UTS")

Table 8.1: Contoh struktur data case UTS

wilayah	tahun	urban	longitude	latitude	pdrb_perkapita_juta	kemiskinan_persen	tpt_persen	ipm	internet_persen	umkm_per_1000	indeks_pendidikan	akses_kesehatan	indeks_inovasi
Wilayah_23	2025	0	106.92	-6.89	41.20	13.05	7.05	69.78	72.33	35.41	65.93	70.35	70.57
Wilayah_27	2023	1	107.67	-6.04	42.78	12.10	8.44	67.63	77.99	31.82	65.90	59.45	66.14
Wilayah_08	2023	0	106.96	-6.76	32.64	12.09	6.92	68.94	64.86	30.16	70.45	60.78	59.17
Wilayah_18	2025	1	107.84	-7.68	53.71	9.84	7.75	70.68	84.59	40.48	64.91	63.78	67.93
Wilayah_24	2024	1	108.35	-6.50	52.89	11.27	7.99	68.66	82.10	38.27	62.40	60.52	63.88
Wilayah_16	2023	1	107.54	-7.54	46.36	9.45	9.43	65.87	77.38	32.02	59.58	55.15	64.34
Wilayah_21	2025	0	107.06	-6.75	24.04	11.24	6.74	67.78	65.66	31.20	60.43	64.54	60.84
Wilayah_10	2025	1	107.47	-7.51	66.15	8.52	8.09	71.62	96.99	46.95	77.19	76.32	70.22

8.6.1 Visualisasi Output: Audit Missing Data untuk Kasus UTS

uts_case |>
  dplyr::summarise(dplyr::across(dplyr::everything(), ~mean(is.na(.x)))) |>
  tidyr::pivot_longer(dplyr::everything(), names_to = "variabel", values_to = "prop_missing") |>
  dplyr::filter(prop_missing > 0) |>
  ggplot2::ggplot(ggplot2::aes(reorder(variabel, prop_missing), prop_missing)) +
  ggplot2::geom_col(fill = "#C99A17") +
  ggplot2::coord_flip() +
  ggplot2::scale_y_continuous(labels = scales::percent) +
  ggplot2::labs(title = "Proporsi missing pada data kasus UTS", x = NULL, y = "Proporsi missing")

8.7 Contoh dengan Data Nyata

Dosen dapat mengganti case dengan subset Open Data Jabar yang diunduh sebelum ujian. Dataset dan metadata diberikan bersama agar ujian mengukur analisis, bukan kemampuan mencari URL.

Kartu dataset real untuk UTS.

• Nama: TPT dan Jumlah Penduduk Miskin kabupaten/kota Jawa Barat (subset yang disiapkan dosen).
• Sumber dan URL: Open Data Jawa Barat/BPS: TPT https://opendata.jabarprov.go.id/id/dataset/tingkat-pengangguran-terbuka-berdasarkan-kabupatenkota-di-jawa-barat; kemiskinan https://opendata.jabarprov.go.id/id/dataset/jumlah-penduduk-miskin-berdasarkan-kabupatenkota-di-jawa-barat.
• Tahun: subset dari 2007–2024 (TPT) dan 2002–2025 (kemiskinan), dengan tahun overlap ditetapkan pada soal.
• Unit observasi: kabupaten/kota–tahun.
• Variabel/definisi: identitas wilayah, TPT (%), jumlah penduduk miskin (ribu jiwa), tahun; dosen dapat menambahkan denominator/populasi.
• Alasan digunakan: cukup kaya untuk menguji framing, cleaning, EDA, visualisasi, dan model dasar tanpa bergantung pada pencarian data saat ujian.
• Keterbatasan: kedua indikator tidak mengukur konsep yang sama; jumlah miskin dipengaruhi ukuran populasi sehingga perbandingan membutuhkan konteks/denominator. (Pemerintah Provinsi Jawa Barat 2026)

8.8 Analisis Menggunakan R

Template minimum jawaban:

dat <- uts_case |> tidyr::drop_na()
fit <- lm(kemiskinan_persen ~ internet_persen + pdrb_perkapita_juta + tpt_persen, data = dat)
broom::glance(fit) |>
  dplyr::select(r.squared, adj.r.squared, sigma, AIC) |>
  knitr::kable(digits = 3, caption = "Output contoh UTS: ringkasan baseline regression")

Table 8.2: Output contoh UTS: ringkasan baseline regression

r.squared	adj.r.squared	sigma	AIC
0.573	0.549	1.246	189.426

8.9 Interpretasi dalam Konteks Regional

Nilai tinggi diberikan untuk interpretasi yang mengenali trade-off dan ketidakpastian. Mahasiswa harus menghindari kalimat kausal jika desain data hanya observasional.

8.10 Latihan

1. Buat checklist 10 menit pertama saat menerima dataset baru.
2. Apa bukti minimal bahwa model baseline layak?
3. Apa tiga hal yang harus ada dalam executive summary analitik?
4. Analisis: kerjakan ulang salah satu mini-case bab 1-7 tanpa melihat solusi.
5. Analisis: buat fungsi R untuk audit missing dan duplikasi.
6. Mini-case: tulis policy note 200 kata dari satu grafik dan satu model.

8.10.1 Latihan Pra-UTS

Kerjakan satu mock case 90 menit: data kabupaten–tahun dengan dua masalah kualitas, satu missing mechanism yang perlu didiskusikan, satu visualisasi yang salah, dan satu baseline regression. Jawaban harus memuat kode serta policy interpretation.

8.10.2 Checklist Sebelum UTS

Mahasiswa harus dapat menjelaskan tanpa membuka catatan: unit analisis; denominator; z-score; correlation; OLS objective; arti CI; RMSE vs MAE; K-fold CV; data leakage; dan mengapa prediksi tidak identik dengan kausalitas.

8.11 Hubungan dengan Capstone Project

UTS menjadi quality gate: kelemahan individu yang muncul pada UTS harus diperbaiki sebelum tim masuk ke model ML capstone.

8.12 Kesimpulan

UTS menilai integrasi, bukan potongan teknik. Kemampuan mendokumentasikan keputusan analitik sama pentingnya dengan mendapatkan output model.

8.13 Pendalaman Magister — Integrasi pra-UTS

8.13.1 Audit metodologis

1. Syntax diprioritaskan di atas validitas.
2. Metadata dilewati.
3. Jawaban tidak membedakan association/prediction.
4. Metric tanpa unit.
5. Kode tidak reproducible.
6. Rekomendasi tidak traceable ke hasil.

8.13.2 Pertanyaan viva / diskusi kelas

1. Bagaimana mengaudit kasus baru dalam 10 menit pertama?
2. Rumus apa yang harus dipahami bukan dihafal?
3. Bagaimana menemukan leakage?
4. Apa bentuk jawaban policy interpretation yang baik?
5. Bagaimana memprioritaskan waktu ujian?
6. Apa bukti minimal sebelum recommendation?

9 Machine Learning untuk Data Regional

9.1 Pendahuluan

Machine learning berguna ketika hubungan antarvariabel kompleks, interaksi banyak, atau tujuan utama adalah prediksi. Namun model harus dibandingkan dengan baseline yang sederhana dan dipilih berdasarkan generalisasi, interpretabilitas, biaya kesalahan, serta konteks implementasi. (James dkk. 2021; Kuhn dan Silge 2022)

9.2 Tujuan Pembelajaran

Mahasiswa mampu menjelaskan bias-variance trade-off, membangun workflow ML dengan resampling, menggunakan tree-based model, dan membandingkan kinerja dengan regresi baseline.

9.3 Definisi dan Konsep

Bias adalah error sistematis dari model yang terlalu sederhana; variance adalah sensitivitas model terhadap perubahan sampel. Random forest menggabungkan banyak pohon dengan bootstrap dan random feature selection sehingga variance berkurang. (Breiman 2001)

9.4 Formulasi Matematis

Dekomposisi error prediksi secara konseptual:

$$E[(Y-\hat f(X))^2]=\sigma^2 + Bias[\hat f(X)]^2 + Var[\hat f(X)].$$

Untuk random forest regresi, prediksi adalah rata-rata pohon:

$$\hat f_{RF}(x)=\frac{1}{B}\sum_{b=1}^{B}\hat f^{(b)}(x),$$

dengan $B$ jumlah pohon.

9.4.1 Decision tree untuk regresi

Pada node $R$, prediksi konstan terbaik untuk squared error adalah mean $$\hat c_R=\frac{1}{|R|}\sum_{i:x_i\in R}y_i.$$ Split $(j,s)$ dipilih untuk meminimalkan $$\sum_{i:x_i\in R_1(j,s)}(y_i-\hat c_1)^2+ \sum_{i:x_i\in R_2(j,s)}(y_i-\hat c_2)^2.$$ Tree yang terlalu dalam cenderung overfit; hyperparameter seperti min_n, depth, atau cost complexity mengendalikan kompleksitas. (James dkk. 2021)

9.4.2 Classification tree: Gini dan entropy

Jika node $m$ memiliki proporsi kelas $\hat p_{mk}$, $$Gini(m)=\sum_{k=1}^{K}\hat p_{mk}(1-\hat p_{mk})=1-\sum_k\hat p_{mk}^2.$$ Entropy: $$H(m)=-\sum_{k=1}^{K}\hat p_{mk}\log\hat p_{mk}.$$ Split dicari untuk menurunkan impurity tertimbang.

9.4.3 Bagging dan random forest

Untuk bootstrap sample $b=1,\ldots,B$, fit tree $\hat f^{(b)}$. Prediksi regresi bagging: $$\hat f_{bag}(x)=\frac{1}{B}\sum_{b=1}^{B}\hat f^{(b)}(x).$$ Random forest menambahkan random subset fitur pada setiap split untuk mengurangi korelasi antar-tree; prinsip ini dapat menurunkan variance ensemble. (Breiman 2001)

Untuk klasifikasi, probabilitas dapat diperkirakan dari rata-rata probabilitas tree atau proporsi votes: $$\hat p_k(x)=\frac{1}{B}\sum_{b=1}^{B}I\{\hat f^{(b)}(x)=k\}.$$

9.4.4 Gradient boosting

Boosting membangun model aditif $$F_M(x)=F_0(x)+\sum_{m=1}^{M}\nu\rho_m h_m(x),$$ dengan weak learner $h_m$, step size $\rho_m$, dan learning rate $0<\nu\le1$. Pada setiap iterasi, learner baru diarahkan untuk mengurangi loss melalui negative gradient. (Friedman 2001)

XGBoost menambahkan regularization pada objective: $$\mathcal L^{(t)}=\sum_i l(y_i,\hat y_i^{(t-1)}+f_t(x_i))+\Omega(f_t),$$ dengan penalti kompleksitas tree $\Omega(f_t)$. (Chen dan Guestrin 2016)

9.4.5 Variable importance bukan bukti sebab-akibat

Permutation importance untuk fitur $j$ dapat diringkas sebagai kenaikan error setelah nilai fitur tersebut diacak: $$VI_j=Err_{perm(j)}-Err_{base}.$$ Jika dua prediktor sangat berkorelasi, importance dapat tersebar/tidak stabil. Importance menunjukkan kontribusi prediktif dalam model dan distribusi data tertentu, bukan efek intervensi. Untuk kebijakan, gunakan sebagai alat diagnosis model, bukan klaim kausal.

9.4.6 Baseline-first principle

Model kompleks $M_1$ harus dibandingkan dengan baseline $M_0$. Perbaikan relatif error: $$\Delta_{rel}=\frac{Err(M_0)-Err(M_1)}{Err(M_0)}\times100\%.$$ Jika perbaikan sangat kecil tetapi kompleksitas, biaya komputasi, dan kesulitan interpretasi meningkat tajam, baseline dapat lebih layak untuk sistem kebijakan.

9.5 Intuisi Metode

Satu pohon mudah dijelaskan tetapi tidak stabil. Random forest membuat banyak pohon yang berbeda dan merata-ratakan keputusan. Kinerja dapat meningkat, tetapi interpretasi kebijakan menjadi lebih tidak langsung; gunakan variable importance atau partial dependence secara hati-hati, bukan sebagai bukti kausal.

9.5.1 Worked Example — mencari split tree

Node memiliki outcome $(3,4,5,10,12,13)$ dan satu fitur yang memungkinkan split setelah observasi ke-3. Mean kiri =4, mean kanan =11.667. SSE split: $$SSE_L=(3-4)^2+(4-4)^2+(5-4)^2=2,$$ $$SSE_R=(10-11.667)^2+(12-11.667)^2+(13-11.667)^2\approx4.667.$$ Total 6.667. Tree membandingkan candidate split lain dan memilih penurunan impurity terbesar.

9.5.2 Gini impurity numeric

Node memiliki 8 prioritas dan 2 non-prioritas: $$Gini=1-(0.8^2+0.2^2)=0.32.$$ Node pure 10/0 memiliki Gini=0. Split yang menghasilkan child lebih pure menurunkan weighted impurity.

9.5.3 Bagging variance intuition

Jika $B$ estimator individual memiliki variance $\sigma^2$ dan pairwise correlation $\rho$, variance rata-rata kira-kira $$Var(\bar f)=\rho\sigma^2+\frac{1-\rho}{B}\sigma^2.$$ Menambah $B$ mengurangi komponen kedua, tetapi tidak menghilangkan komponen korelasi. Random feature selection pada random forest bertujuan menurunkan correlation antartree. (Breiman 2001)

9.5.4 Boosting learning rate

Learning rate kecil $\nu$ memerlukan lebih banyak trees tetapi sering memberi regularization lebih baik. Ada trade-off antara trees, tree_depth, dan learn_rate. Tuning harus dilakukan pada resamples training; jangan memilih parameter karena satu test metric terlihat paling baik.

9.5.5 Model card ringkas

Untuk model project, buat tabel:

Elemen	Isi
Intended use	screening wilayah untuk review
Not intended	menentukan penerima individu
Training period	contoh 2015–2022
Target	TPT 2023 atau prioritas biner
Metrics	RMSE/MAE atau PR-AUC/calibration
Key limitations	historical coverage, spatial dependence
Fairness slices	urban/rural atau kawasan bila justified

Dokumentasi model semacam ini sejalan dengan gagasan model cards. (Mitchell dkk. 2019)

9.5.6 R comparison template

models <- tibble::tribble(
  ~model, ~kompleksitas, ~kekuatan, ~risiko,
  "Linear regression", "Rendah", "Interpretabel; baseline kuat", "Nonlinearitas tidak tertangkap",
  "Decision tree", "Sedang", "Aturan keputusan mudah dijelaskan", "Tidak stabil; mudah overfit",
  "Random forest", "Tinggi", "Menangkap nonlinearitas/interaksi", "Interpretasi lebih sulit"
)
knitr::kable(models, caption = "Output: model comparison matrix sebelum tuning")

Table 9.1: Output: model comparison matrix sebelum tuning

model	kompleksitas	kekuatan	risiko
Linear regression	Rendah	Interpretabel; baseline kuat	Nonlinearitas tidak tertangkap
Decision tree	Sedang	Aturan keputusan mudah dijelaskan	Tidak stabil; mudah overfit
Random forest	Tinggi	Menangkap nonlinearitas/interaksi	Interpretasi lebih sulit

9.5.7 Interpretability hierarchy

Gunakan tiga lapis: (1) global performance, (2) global structure/importance, (3) local prediction explanation. Jangan meloncat ke local explanation bila model global tidak tervalidasi. Penjelasan model tidak memperbaiki model yang salah atau data yang tidak relevan.

9.6 Contoh dengan Data Simulasi

library(tidymodels)
set.seed(260809)
dat <- read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |> filter(tahun == 2025)
s <- initial_split(dat, prop = .8)
tr <- training(s); te <- testing(s)

rf_spec <- rand_forest(trees = 500, mtry = 4, min_n = 3) |>
  set_engine("ranger", importance = "permutation") |>
  set_mode("regression")

rf_fit <- workflow() |>
  add_formula(kemiskinan_persen ~ pdrb_perkapita_juta + tpt_persen + ipm + internet_persen + umkm_per_1000 + akses_kesehatan) |>
  add_model(rf_spec) |>
  fit(tr)

predict(rf_fit, te) |>
  bind_cols(te |> select(kemiskinan_persen)) |>
  yardstick::metrics(truth = kemiskinan_persen, estimate = .pred)

#> # A tibble: 3 × 3
#>   .metric .estimator .estimate
#>   <chr>   <chr>          <dbl>
#> 1 rmse    standard     1.90   
#> 2 rsq     standard     0.00147
#> 3 mae     standard     1.51

9.7 Contoh dengan Data Nyata

INDO-DAPOER dapat menyediakan fitur sosial-ekonomi lintas kabupaten. Karena jumlah indikator sangat banyak dan missingness bervariasi, pemilihan fitur harus mengikuti teori dan data availability; memasukkan semua indikator tanpa screening dapat meningkatkan leakage dan instability.

Kartu dataset real.

• Nama: panel multivariat INDO-DAPOER.
• Sumber dan URL: World Bank Data Catalog, https://datacatalog.worldbank.org/search/dataset/0041056/indonesia-database-for-policy-and-economic-research.
• Tahun: hingga 2018; satu rentang waktu konsisten dipilih setelah audit missingness.
• Unit observasi: kabupaten/kota–tahun.
• Variabel/definisi: outcome (mis. poverty rate/HDI) dan features fiskal, ekonomi, sosial-demografi, atau infrastruktur; setiap feature mempertahankan kode indikator dan metadata aslinya.
• Alasan digunakan: jumlah indikator memungkinkan perbandingan model linear dengan tree-based/nonlinear model tanpa kehilangan konteks regional.
• Keterbatasan: high-dimensional missingness, collinearity, dan leakage; feature screening harus berbasis teori dan availability pada waktu prediksi. (World Bank 2026)

9.8 Analisis Menggunakan R

# Bandingkan model sederhana dan RF pada split yang sama.
lm_fit <- linear_reg() |> set_engine("lm") |>
  fit(kemiskinan_persen ~ pdrb_perkapita_juta + tpt_persen + ipm + internet_persen + umkm_per_1000 + akses_kesehatan,
      data = tr)

lm_pred <- predict(lm_fit, te) |> bind_cols(te |> select(kemiskinan_persen))
rf_pred <- predict(rf_fit, te) |> bind_cols(te |> select(kemiskinan_persen))

bind_rows(
  yardstick::metrics(lm_pred, kemiskinan_persen, .pred) |> mutate(model = "Linear"),
  yardstick::metrics(rf_pred, kemiskinan_persen, .pred) |> mutate(model = "Random forest")
) |>
  filter(.metric %in% c("rmse", "mae")) |>
  select(model, .metric, .estimate) |>
  knitr::kable(digits = 3)

model	.metric	.estimate
Linear	rmse	2.114
Linear	mae	1.797
Random forest	rmse	1.896
Random forest	mae	1.510

9.8.1 Visualisasi Output: Perbandingan Prediksi Model

vis_compare <- dplyr::bind_rows(
  lm_pred |> dplyr::transmute(actual = kemiskinan_persen, pred = .pred, model = "Linear regression"),
  rf_pred |> dplyr::transmute(actual = kemiskinan_persen, pred = .pred, model = "Random forest")
)
ggplot2::ggplot(vis_compare, ggplot2::aes(actual, pred)) +
  ggplot2::geom_abline(slope = 1, intercept = 0, linetype = 2, colour = "#C99A17") +
  ggplot2::geom_point(alpha = .7, colour = "#145B8C") +
  ggplot2::facet_wrap(~model) +
  ggplot2::labs(title = "Aktual versus prediksi pada split yang sama", x = "Aktual", y = "Prediksi")

9.9 Paket Output Machine Learning Lengkap

rf_engine9 <- workflows::extract_fit_engine(rf_fit)
imp9 <- tibble::enframe(rf_engine9$variable.importance, name="feature", value="importance") |>
  dplyr::arrange(dplyr::desc(importance))
knitr::kable(imp9, digits=3, caption="Permutation variable importance Random Forest")

Table 9.2: Permutation variable importance Random Forest

feature	importance
pdrb_perkapita_juta	2.214
internet_persen	0.132
umkm_per_1000	0.032
akses_kesehatan	0.014
tpt_persen	-0.060
ipm	-0.071

ggplot2::ggplot(imp9, ggplot2::aes(reorder(feature, importance), importance)) +
  ggplot2::geom_col() + ggplot2::coord_flip() +
  ggplot2::labs(title="Variable importance Random Forest", x=NULL, y="Permutation importance")

error9 <- dplyr::bind_rows(
  lm_pred |> dplyr::mutate(model="Linear"),
  rf_pred |> dplyr::mutate(model="Random forest")
) |> dplyr::mutate(error=.pred-kemiskinan_persen)
err_summary9 <- error9 |> dplyr::group_by(model) |>
  dplyr::summarise(RMSE=sqrt(mean(error^2)), MAE=mean(abs(error)), Bias=mean(error), MaxAbs=max(abs(error)), .groups="drop")
knitr::kable(err_summary9, digits=3, caption="Perbandingan distribusi error model")

Table 9.3: Perbandingan distribusi error model

model	RMSE	MAE	Bias	MaxAbs
Linear	2.114	1.797	0.401	3.534
Random forest	1.896	1.510	0.464	3.876

ggplot2::ggplot(error9, ggplot2::aes(.pred, error)) +
  ggplot2::geom_hline(yintercept=0,linetype=2) + ggplot2::geom_point(alpha=.75) +
  ggplot2::facet_wrap(~model) + ggplot2::labs(title="Residual diagnostic pada holdout", x="Prediksi", y="Error prediksi")

9.10 Interpretasi dalam Konteks Regional

Jika random forest hanya memperbaiki RMSE sedikit tetapi jauh lebih sulit dijelaskan, model linear mungkin lebih berguna untuk dialog kebijakan. Sebaliknya, jika tujuan operasional adalah screening ribuan unit dan RF mengurangi false negatives secara substansial, kompleksitas tambahan dapat dibenarkan.

9.11 Latihan

1. Jelaskan bias-variance trade-off dengan bahasa nonteknis.
2. Mengapa variable importance bukan ukuran kausal?
3. Kapan baseline sederhana sebaiknya dipertahankan?
4. Analisis: variasikan mtry dan min_n lalu bandingkan kinerja.
5. Analisis: evaluasi error model pada 20% wilayah dengan kemiskinan tertinggi.
6. Mini-case: model RF naik 2% akurasi tetapi tidak dapat dijelaskan kepada dinas pelaksana. Tentukan kriteria keputusan apakah model baru layak dipakai.

9.11.1 Latihan Terstruktur Pertemuan 9 — Model Comparison (non-sumatif)

Gunakan dataset yang sama untuk baseline linear model, regression tree, dan random forest. Pastikan split sama. Bandingkan RMSE/MAE, training time secara sederhana, dan interpretability. Beri rekomendasi model untuk deployment pemerintah daerah—boleh memilih model yang bukan paling akurat bila alasannya kuat.

9.11.2 Kuis 3 — Machine Learning untuk Data Regional (2,5%)

1. Apa fungsi bootstrap dalam bagging?
   
2. Mengapa random subset fitur dipakai pada random forest?
   
3. Apa beda bagging dan boosting?
   
4. Mengapa variable importance bukan causal effect?
   
5. Apa makna relative error improvement 3% terhadap baseline?

9.12 Hubungan dengan Capstone Project

Milestone model dimulai: minimal satu baseline interpretable dan satu model alternatif. Tim harus mendokumentasikan alasan perbandingan, bukan sekadar menambah algoritma.

9.13 Kesimpulan

Machine learning memberi fleksibilitas, bukan otomatis validitas. Keunggulannya harus dibuktikan pada data holdout dan dikaitkan dengan keputusan kebijakan.

9.14 Pendalaman Magister — Tree-based machine learning

9.14.1 Audit metodologis

1. Tuning pada test.
2. Importance ditafsirkan kausal.
3. Lebih banyak trees dianggap selalu lebih baik secara substantif.
4. Imbalance diabaikan.
5. Model card tidak dibuat.
6. Baseline sederhana tidak dibandingkan.

9.14.2 Pertanyaan viva / diskusi kelas

1. Bagaimana tree memilih split?
2. Mengapa RF menurunkan korelasi tree?
3. Apa beda bagging dan boosting?
4. Apa fungsi learning rate?
5. Apa keterbatasan permutation importance?
6. Kapan model linear lebih layak dipilih?

10 Classification dan Prioritisasi Intervensi

10.1 Pendahuluan

Classification relevan saat outcome bersifat kategori: desa prioritas/nonprioritas, risiko tinggi/rendah, UMKM potensial/tidak, atau keberhasilan program. Namun threshold classification adalah keputusan yang membawa konsekuensi alokasi sumber daya.

10.2 Tujuan Pembelajaran

Mahasiswa mampu menerapkan logistic regression dan classifier, membaca confusion matrix, precision, recall, specificity, F1, ROC-AUC, dan memilih threshold berdasarkan biaya kesalahan.

10.3 Definisi dan Konsep

False negative dapat lebih mahal daripada false positive jika model digunakan untuk mendeteksi wilayah yang sangat rentan. Karena itu, accuracy saja tidak cukup, terutama bila kelas tidak seimbang.

10.4 Formulasi Matematis

Logistic regression:

$$\log\left(\frac{p_i}{1-p_i}\right)=\beta_0+\boldsymbol\beta^\top\mathbf x_i,$$

dengan $p_i=P(Y_i=1\mid X_i)$.

Precision dan recall:

$$Precision=\frac{TP}{TP+FP},\qquad Recall=\frac{TP}{TP+FN}.$$

F1:

$$F1=2\frac{Precision\times Recall}{Precision+Recall}.$$

10.4.1 Logistic regression

Untuk $Y_i\in\{0,1\}$, $$p_i=P(Y_i=1\mid X_i).$$ Logit model: $$\log\left(\frac{p_i}{1-p_i}\right)=\beta_0+\sum_{j=1}^{p}\beta_jx_{ij}.$$ Sehingga $$p_i=\frac{\exp(\eta_i)}{1+\exp(\eta_i)},\qquad \eta_i=\beta_0+\mathbf x_i'\beta.$$ Odds ratio untuk kenaikan satu unit $x_j$ adalah $\exp(\beta_j)$, dengan prediktor lain tetap. Interpretasi odds ratio bukan perubahan probabilitas absolut yang konstan.

10.4.2 Likelihood dan cross-entropy

Likelihood Bernoulli: $$L(\beta)=\prod_{i=1}^{n}p_i^{y_i}(1-p_i)^{1-y_i}.$$ Negative log-likelihood / binary cross-entropy: $$-\ell(\beta)=-\sum_i\left[y_i\log p_i+(1-y_i)\log(1-p_i)\right].$$

10.4.3 Confusion matrix dan metrik

Dengan TP, TN, FP, FN: $$Accuracy=\frac{TP+TN}{TP+TN+FP+FN},$$ $$Sensitivity=Recall=\frac{TP}{TP+FN},$$ $$Specificity=\frac{TN}{TN+FP},$$ $$Precision=\frac{TP}{TP+FP},$$ $$F_1=2\frac{Precision\times Recall}{Precision+Recall}.$$

Balanced accuracy: $$BA=\frac{Sensitivity+Specificity}{2}.$$ Untuk kelas prioritas yang jarang, accuracy dapat tinggi walaupun seluruh kasus prioritas gagal ditemukan.

10.4.4 Threshold berbasis biaya

Jika tindakan diberikan saat $\hat p_i\ge t$, expected classification cost pada validation data: $$C(t)=C_{FN}FN(t)+C_{FP}FP(t).$$ Pilih $t$ yang meminimalkan biaya atau memenuhi kapasitas intervensi. Jika pemerintah hanya mampu menangani 15% wilayah, threshold dapat dikaitkan dengan kuantil risk score, tetapi keputusan itu harus transparan.

10.4.5 ROC, AUC, dan precision-recall

ROC memplot TPR vs FPR dengan $$FPR=1-Specificity.$$ AUC dapat dipahami sebagai $$AUC=P(\hat p^{+}>\hat p^{-}),$$ probabilitas satu observasi positif acak memperoleh score lebih tinggi daripada observasi negatif acak. (Fawcett 2006)

AUC mengukur ranking discrimination, bukan calibration dan bukan manfaat kebijakan. Untuk kelas sangat imbalanced, precision–recall curve sering lebih informatif.

10.4.6 Calibration

Prediksi terkalibrasi berarti di antara unit dengan $\hat p\approx0.2$, sekitar 20% benar-benar positif pada data serupa. Calibration intercept/slope dapat diperiksa melalui model $$\operatorname{logit}P(Y=1)=\alpha+\gamma\operatorname{logit}(\hat p).$$ Idealnya $\alpha=0$ dan $\gamma=1$. Calibration penting jika probabilitas dipakai untuk alokasi sumber daya, bukan hanya ranking.

10.5 Intuisi Metode

Threshold 0,5 bukan hukum alam. Jika anggaran hanya mampu mengintervensi 15% desa, threshold dapat ditetapkan berdasarkan kapasitas program dan tujuan, lalu kinerja serta fairness dinilai pada threshold itu.

10.5.1 Worked Example — confusion matrix

Dari 200 wilayah/desa: TP=30, FN=10, FP=40, TN=120. $$Sensitivity=30/(30+10)=0.75,$$ $$Specificity=120/(120+40)=0.75,$$ $$Precision=30/(30+40)=0.429,$$ $$Accuracy=(30+120)/200=0.75,$$ $$F_1=2(0.429)(0.75)/(0.429+0.75)=0.545.$$ Interpretasi: model menemukan 75% kasus prioritas, tetapi hanya 43% dari unit yang ditandai benar-benar prioritas berdasarkan label. Jika verifikasi lapangan murah, precision ini mungkin dapat diterima; jika intervensi mahal, threshold perlu ditinjau.

10.5.2 Threshold trade-off

Jika threshold turun, secara umum sensitivity naik dan specificity turun. Pilih threshold dari validation, bukan test. Bila $C_{FN}=4$, $C_{FP}=1$: $$C(t)=4FN(t)+FP(t).$$ Bandingkan beberapa $t$, lalu lakukan sanity check apakah jumlah unit terpilih sesuai kapasitas program.

10.5.3 Odds ratio vs probability

Jika $\beta=\log(2)$, odds ratio=2. Bila baseline probability 0.10, odds=0.111; setelah dua kali odds=0.222, probability=0.182. Kenaikan probability hanya 8.2 points. Bila baseline probability 0.50, odds=1 →2, probability=0.667, naik 16.7 points. Efek probability bergantung baseline.

10.5.4 Calibration bins

Bagi prediksi menjadi deciles/bin. Untuk bin $b$: $$\bar p_b=\frac{1}{n_b}\sum_{i\in b}\hat p_i,\qquad \bar y_b=\frac{1}{n_b}\sum_{i\in b}y_i.$$ Plot $\bar p_b$ vs $\bar y_b$; garis ideal $y=x$. Untuk kebijakan risk-based, calibration dapat lebih penting daripada sedikit perbedaan AUC.

10.5.5 R threshold table

set.seed(260820)
prob <- runif(200)
y <- rbinom(200,1,prob)
thresholds <- c(.2,.3,.4,.5,.6)
threshold_table <- purrr::map_dfr(thresholds, function(t){
  pred <- as.integer(prob>=t)
  TP <- sum(pred==1 & y==1); FN <- sum(pred==0 & y==1)
  FP <- sum(pred==1 & y==0); TN <- sum(pred==0 & y==0)
  tibble(threshold=t,
         sensitivity=TP/(TP+FN), specificity=TN/(TN+FP),
         precision=ifelse(TP+FP==0,NA,TP/(TP+FP)),
         selected=TP+FP, cost=4*FN+FP)
})
knitr::kable(threshold_table, digits=3)

threshold	sensitivity	specificity	precision	selected	cost
0.2	0.980	0.314	0.578	166	78
0.3	0.939	0.500	0.643	143	75
0.4	0.898	0.588	0.677	130	82
0.5	0.827	0.735	0.750	108	95
0.6	0.724	0.833	0.807	88	125

10.5.6 Policy question before metric

• Jika tujuan screening, false negative biasanya lebih mahal → sensitivity.
• Jika intervensi mahal dan kapasitas terbatas → precision/PPV + cost.
• Jika ranking untuk manual review → AUC/PR + top-k capture.
• Jika probability masuk formula alokasi → calibration.

Tidak ada “metric terbaik” tanpa decision context. (Fawcett 2006)

10.6 Contoh dengan Data Simulasi

library(tidymodels)
set.seed(260810)

# Membaca data simulasi dan menstandarkan label kelas.
# "prioritas" sengaja ditempatkan sebagai level pertama karena dalam yardstick
# level pertama adalah event class secara default.
desa <- read_csv("data/simulasi_klasifikasi_desa.csv", show_col_types = FALSE) |>
  mutate(
    .label_raw = tolower(trimws(as.character(prioritas_intervensi))),
    prioritas_intervensi = case_when(
      .label_raw %in% c("1", "prioritas", "ya", "yes", "true") ~ "prioritas",
      .label_raw %in% c("0", "non", "non-prioritas", "tidak", "no", "false") ~ "non",
      TRUE ~ NA_character_
    )
  ) |>
  select(-.label_raw)

# Guardrail pedagogis: ROC hanya terdefinisi jika kedua kelas tersedia.
# Jika file simulasi lama memiliki kelas yang terlalu timpang atau labelnya tidak
# dikenali, label simulasi dibentuk ulang dari skor kerentanan regional.
zscore_safe <- function(x) {
  sx <- stats::sd(x, na.rm = TRUE)
  mx <- mean(x, na.rm = TRUE)
  if (!is.finite(sx) || sx == 0) return(rep(0, length(x)))
  (x - mx) / sx
}

class_count <- desa |>
  filter(!is.na(prioritas_intervensi)) |>
  count(prioritas_intervensi, name = "n")

if (nrow(class_count) < 2 || min(class_count$n) < 8 || anyNA(desa$prioritas_intervensi)) {
  skor_kerentanan <- with(
    desa,
    1.00 * zscore_safe(kemiskinan_persen) +
    0.55 * zscore_safe(jarak_pusat_km) -
    0.45 * zscore_safe(akses_kesehatan) -
    0.40 * zscore_safe(kualitas_jalan) -
    0.50 * zscore_safe(internet_persen)
  )

  batas_prioritas <- as.numeric(stats::quantile(
    skor_kerentanan, probs = 0.70, na.rm = TRUE, names = FALSE
  ))

  desa <- desa |>
    mutate(
      prioritas_intervensi = if_else(
        skor_kerentanan >= batas_prioritas, "prioritas", "non"
      )
    )
}

desa <- desa |>
  mutate(
    prioritas_intervensi = factor(
      prioritas_intervensi,
      levels = c("prioritas", "non")
    )
  )

# Tampilkan keseimbangan kelas sebelum pemodelan.
class_count <- desa |>
  count(prioritas_intervensi, name = "n") |>
  mutate(proporsi = n / sum(n))

knitr::kable(
  class_count, digits = 3,
  caption = "Distribusi kelas sebelum train-test split"
)

Table 10.1: Distribusi kelas sebelum train-test split

prioritas_intervensi	n	proporsi
prioritas	240	0.3
non	560	0.7

# Stratified split mempertahankan proporsi kelas pada training dan testing.
sp <- initial_split(desa, prop = .8, strata = prioritas_intervensi)
trc <- training(sp)
tec <- testing(sp)

# Pemeriksaan eksplisit agar evaluasi classification tidak berjalan pada test set
# yang hanya berisi satu kelas.
if (dplyr::n_distinct(tec$prioritas_intervensi) < 2) {
  stop(
    "Testing set hanya memiliki satu kelas. Periksa distribusi prioritas_intervensi ",
    "atau gunakan data simulasi yang telah diperbarui."
  )
}

knitr::kable(
  tec |> count(prioritas_intervensi, name = "n_test"),
  caption = "Distribusi kelas pada testing set"
)

Table 10.1: Distribusi kelas pada testing set

prioritas_intervensi	n_test
prioritas	48
non	112

logit <- logistic_reg() |>
  set_engine("glm") |>
  fit(
    prioritas_intervensi ~ kemiskinan_persen + jarak_pusat_km +
      akses_kesehatan + kualitas_jalan + internet_persen,
    data = trc
  )

pr <- predict(logit, tec, type = "prob") |>
  bind_cols(predict(logit, tec, type = "class")) |>
  bind_cols(tec |> select(prioritas_intervensi))

conf_mat(pr, truth = prioritas_intervensi, estimate = .pred_class)

#>            Truth
#> Prediction  prioritas non
#>   prioritas        47   0
#>   non               1 112

metric_set(accuracy, sens, spec, precision, recall, f_meas)(
  pr,
  truth = prioritas_intervensi,
  estimate = .pred_class
)

#> # A tibble: 6 × 3
#>   .metric   .estimator .estimate
#>   <chr>     <chr>          <dbl>
#> 1 accuracy  binary         0.994
#> 2 sens      binary         0.979
#> 3 spec      binary         1    
#> 4 precision binary         1    
#> 5 recall    binary         0.979
#> 6 f_meas    binary         0.989

10.6.1 Visualisasi Output: ROC Curve

# AUC dan ROC menggunakan "prioritas" sebagai event class.
auc_out <- yardstick::roc_auc(
  pr,
  truth = prioritas_intervensi,
  .pred_prioritas,
  event_level = "first"
)

knitr::kable(auc_out, digits = 3, caption = "ROC AUC pada testing set")

Table 10.2: ROC AUC pada testing set

.metric	.estimator	.estimate
roc_auc	binary	1

roc_out <- yardstick::roc_curve(
  pr,
  truth = prioritas_intervensi,
  .pred_prioritas,
  event_level = "first"
)

autoplot(roc_out) +
  ggplot2::geom_abline(linetype = 2, alpha = .6) +
  ggplot2::labs(
    title = "ROC Curve — Klasifikasi Prioritas Intervensi",
    subtitle = "Event class: prioritas; data simulasi",
    x = "1 - Specificity",
    y = "Sensitivity"
  )

10.7 Contoh dengan Data Nyata

Classification dapat dibentuk dari data nyata dengan mendefinisikan label kebijakan, misalnya kabupaten dengan poverty rate di atas quantile 75 sebagai screening target. Tetapi label berbasis cut-off statistik bukan ground truth kebijakan; mahasiswa wajib menjelaskan bahwa label dibuat untuk latihan dan tidak otomatis valid untuk penetapan program.

Kartu dataset real.

• Nama: INDO-DAPOER—classification exercise berbasis poverty rate.
• Sumber dan URL: World Bank Data Catalog, https://datacatalog.worldbank.org/search/dataset/0041056/indonesia-database-for-policy-and-economic-research.
• Tahun: hingga 2018; gunakan satu periode/holdout yang konsisten.
• Unit observasi: wilayah–tahun.
• Variabel/definisi: SI.POV.NAPR.ZS = poverty rate; label latihan prioritas=1 dibuat dari cut-off eksplisit (mis. kuantil 75), sementara predictors dipilih dari indikator yang tersedia sebelum keputusan.
• Alasan digunakan: memperlihatkan confusion matrix, probability, threshold, calibration, dan cost-sensitive decision.
• Keterbatasan: label cut-off adalah konstruksi pedagogis, bukan ground truth kebijakan; threshold harus diuji sensitivitasnya dan tidak boleh dipakai untuk keputusan nyata tanpa proses substantif. (World Bank 2026)

10.8 Analisis Menggunakan R

# Threshold 0.30 untuk meningkatkan sensitivitas terhadap kelas prioritas.
pr2 <- pr |>
  mutate(.pred_30 = factor(if_else(.pred_prioritas >= .30, "prioritas", "non"),
                           levels = c("prioritas", "non")))
conf_mat(pr2, truth = prioritas_intervensi, estimate = .pred_30)

#>            Truth
#> Prediction  prioritas non
#>   prioritas        47   0
#>   non               1 112

10.9 Paket Output Klasifikasi Lengkap

class10 <- pr |>
  dplyr::mutate(.pred_class = factor(ifelse(.pred_prioritas >= .5, "prioritas", "non"), levels=levels(prioritas_intervensi)))
cm10 <- yardstick::conf_mat(class10, truth=prioritas_intervensi, estimate=.pred_class)
cm10

#>            Truth
#> Prediction  prioritas non
#>   prioritas        47   0
#>   non               1 112

yardstick::metric_set(yardstick::accuracy, yardstick::sens, yardstick::spec, yardstick::ppv, yardstick::npv, yardstick::f_meas)(
  class10, truth=prioritas_intervensi, estimate=.pred_class, event_level="first"
) |> knitr::kable(digits=3, caption="Metric klasifikasi pada threshold 0,50")

Table 10.3: Metric klasifikasi pada threshold 0,50

.metric	.estimator	.estimate
accuracy	binary	0.994
sens	binary	0.979
spec	binary	1.000
ppv	binary	1.000
npv	binary	0.991
f_meas	binary	0.989

ggplot2::ggplot(pr, ggplot2::aes(.pred_prioritas, fill=prioritas_intervensi)) +
  ggplot2::geom_histogram(position="identity", alpha=.55, bins=12) +
  ggplot2::labs(title="Distribusi probabilitas prediksi menurut kelas aktual", x="Predicted probability: prioritas", fill="Aktual")

cal10 <- pr |>
  dplyr::mutate(bin=dplyr::ntile(.pred_prioritas, 5), y=as.integer(prioritas_intervensi=="prioritas")) |>
  dplyr::group_by(bin) |>
  dplyr::summarise(mean_pred=mean(.pred_prioritas), observed_rate=mean(y), n=dplyr::n(), .groups="drop")
knitr::kable(cal10, digits=3, caption="Calibration table per kuintil probabilitas")

Table 10.4: Calibration table per kuintil probabilitas

bin	mean_pred	observed_rate	n
1	0.000	0.0	32
2	0.000	0.0	32
3	0.000	0.0	32
4	0.469	0.5	32
5	1.000	1.0	32

ggplot2::ggplot(cal10, ggplot2::aes(mean_pred, observed_rate)) +
  ggplot2::geom_abline(slope=1,intercept=0,linetype=2) + ggplot2::geom_point(size=3) + ggplot2::geom_line() +
  ggplot2::coord_equal(xlim=c(0,1),ylim=c(0,1)) +
  ggplot2::labs(title="Calibration plot", x="Mean predicted probability", y="Observed event rate")

10.10 Interpretasi dalam Konteks Regional

Jika recall meningkat dari 0,60 menjadi 0,82 setelah threshold diturunkan, lebih banyak wilayah rentan berhasil terdeteksi, tetapi false positives juga naik. Implikasinya adalah kebutuhan verifikasi lapangan lebih besar. Pilihan threshold harus dibahas bersama kapasitas program.

10.11 Latihan

1. Mengapa accuracy dapat menyesatkan pada kelas imbalanced?
2. Bedakan precision dan recall dalam bahasa kebijakan.
3. Apa konsekuensi etis false negative untuk program perlindungan sosial?
4. Analisis: bandingkan threshold 0,3; 0,5; 0,7.
5. Analisis: buat kurva ROC dan precision-recall.
6. Mini-case: pemerintah hanya mampu memverifikasi 100 dari 1.000 desa. Rancang strategi threshold/ranking dan mekanisme human review.

10.11.1 Project M4 — Predictive/Classification Model (5%)

Definisikan binary priority outcome dari kasus regional secara transparan. Fit logistic regression dan satu model non-linear. Bandingkan ROC-AUC, PR behavior, sensitivity, precision, calibration, dan minimal tiga threshold. Pilih threshold dengan alasan kapasitas/biaya kebijakan.

10.11.2 Latihan Formatif — Classification dan Threshold (non-sumatif)

Kisi-kisi: tree impurity; random forest; boosting; logistic probability/odds; confusion matrix; sensitivity/specificity; precision/F1; ROC-AUC; calibration; threshold berbasis cost.

10.12 Hubungan dengan Capstone Project

Jika proyek menggunakan classification, tim harus menyertakan cost-of-error statement: siapa yang dirugikan oleh FP/FN dan bagaimana threshold dipilih.

10.13 Kesimpulan

Classification adalah mekanisme keputusan. Metric dan threshold harus dikaitkan dengan kapasitas program, risiko, fairness, dan prosedur verifikasi manusia.

10.14 Pendalaman Magister — Classification dan decision threshold

10.14.1 Audit metodologis

1. Accuracy dipakai pada kelas jarang.
2. Threshold 0.5 dianggap universal.
3. Auc dianggap calibration.
4. Label prioritas dibuat setelah melihat outcome test.
5. Probability tidak dikalibrasi.
6. Cost kebijakan tidak dibahas.

10.14.2 Pertanyaan viva / diskusi kelas

1. Apa beda discrimination dan calibration?
2. Kapan PR curve lebih informatif?
3. Bagaimana cost mengubah threshold?
4. Apa beda odds ratio dan probability difference?
5. Mengapa sensitivity tinggi dapat menurunkan precision?
6. Bagaimana kapasitas program masuk keputusan threshold?

11 Clustering dan Segmentasi Wilayah

11.1 Pendahuluan

Clustering digunakan untuk menyusun tipologi wilayah berdasarkan kemiripan profil indikator, bukan untuk menentukan peringkat “baik–buruk”. Dalam inovasi regional, segmentasi dapat membantu pemerintah merancang paket intervensi yang berbeda untuk kelompok daerah dengan kebutuhan berbeda. Karena hasil cluster sensitif terhadap pemilihan indikator, skala, distance metric, jumlah cluster, dan initialization, analisis harus menampilkan proses pemilihan cluster dan profil akhirnya secara transparan. (Kaufman dan Rousseeuw 1990; Hastie, Tibshirani, dan Friedman 2009; James dkk. 2021)

11.2 Tujuan Pembelajaran

Setelah pertemuan ini mahasiswa mampu:

1. menjelaskan fungsi objektif K-means dan hierarchical clustering;
2. melakukan standardisasi indikator regional secara benar;
3. membandingkan beberapa nilai $K$ menggunakan WSS dan silhouette;
4. menampilkan keanggotaan dan profil setiap cluster secara rinci;
5. memvisualisasikan cluster melalui PCA dan heatmap profil;
6. melakukan pemeriksaan sensitivitas terhadap pilihan $K$ dan metode pengelompokan; dan
7. menerjemahkan tipologi menjadi strategi regional yang tidak stigmatis.

11.3 Definisi dan Konsep

Untuk wilayah $i=1,\ldots,n$ dengan $p$ indikator, tulis vektor fitur sebagai $\mathbf{x}_i=(x_{i1},\ldots,x_{ip})^\top$. Karena indikator memiliki unit berbeda, fitur umumnya distandardisasi:

$$z_{ij}=\frac{x_{ij}-\bar{x}_j}{s_j},$$

dengan $\bar{x}_j$ rata-rata indikator $j$ dan $s_j$ simpangan bakunya.

K-means membagi observasi ke $K$ cluster $C_1,\ldots,C_K$ dengan meminimumkan within-cluster sum of squares:

$$\operatorname{WSS}(K)=\sum_{k=1}^{K}\sum_{i\in C_k}\|\mathbf z_i-\boldsymbol\mu_k\|_2^2,$$

di mana $\boldsymbol\mu_k$ adalah centroid cluster $k$.

Untuk observasi $i$, silhouette didefinisikan sebagai

$$s(i)=\frac{b(i)-a(i)}{\max\{a(i),b(i)\}},$$

dengan $a(i)$ rata-rata jarak ke anggota cluster sendiri dan $b(i)$ rata-rata jarak minimum ke cluster lain. Nilai mendekati 1 menunjukkan pemisahan yang baik, mendekati 0 menunjukkan observasi berada di perbatasan, dan negatif mengindikasikan kemungkinan salah pengelompokan. (Rousseeuw 1987)

Hierarchical clustering dengan Ward meminimumkan kenaikan variasi dalam-cluster ketika dua kelompok digabung. Untuk dua cluster $A$ dan $B$, perubahan error sum of squares dapat ditulis secara intuitif sebagai fungsi jarak centroid dan ukuran kedua cluster. Karena itu Ward cocok sebagai pembanding K-means ketika tujuan utamanya adalah cluster kompak.

11.4 Intuisi Metode

Cluster merupakan ringkasan geometri data yang dipilih analis. Jika fitur hanya ekonomi, hasilnya terutama tipologi ekonomi; jika ditambah pendidikan, kesehatan, digitalisasi, dan UMKM, definisi “kemiripan wilayah” berubah. Karena itu pemilihan fitur adalah keputusan substantif, bukan sekadar teknis.

Prinsip interpretasi: beri nama cluster berdasarkan pola indikator, misalnya “kemiskinan tinggi–akses digital rendah”, bukan “wilayah gagal” atau “wilayah tertinggal”.

11.5 Data Simulasi dan Pemeriksaan Awal

reg11 <- readr::read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |>
  dplyr::filter(tahun == 2025) |>
  dplyr::select(
    wilayah, pdrb_perkapita_juta, kemiskinan_persen, tpt_persen,
    ipm, internet_persen, umkm_per_1000, indeks_inovasi
  ) |>
  tidyr::drop_na()

vars11 <- c("pdrb_perkapita_juta", "kemiskinan_persen", "tpt_persen",
            "ipm", "internet_persen", "umkm_per_1000", "indeks_inovasi")

ringkas11 <- reg11 |>
  dplyr::summarise(dplyr::across(
    dplyr::all_of(vars11),
    list(mean = mean, sd = sd, min = min, median = median, max = max)
  )) |>
  tidyr::pivot_longer(dplyr::everything(), names_to = c("indikator", ".value"), names_pattern = "(.*)_(mean|sd|min|median|max)$")

knitr::kable(ringkas11, digits = 2, caption = "Statistik deskriptif indikator sebelum clustering")

Table 11.1: Statistik deskriptif indikator sebelum clustering

indikator	mean	sd	min	median	max
pdrb_perkapita_juta	49.22	10.86	24.04	50.90	66.15
kemiskinan_persen	9.89	1.75	6.01	9.84	13.05
tpt_persen	8.07	1.10	6.69	7.75	10.35
ipm	70.74	1.18	67.78	70.68	73.42
internet_persen	83.44	8.19	65.66	85.60	96.99
umkm_per_1000	38.60	5.12	29.37	39.66	48.99
indeks_inovasi	68.25	4.12	60.29	69.00	76.82

Output ini wajib dibaca sebelum standardisasi. Perbedaan rentang yang besar menjelaskan mengapa Euclidean distance pada skala asli dapat didominasi variabel tertentu.

cor11 <- cor(reg11 |> dplyr::select(dplyr::all_of(vars11)), use = "pairwise.complete.obs")
cor_long11 <- as.data.frame(as.table(cor11))

ggplot2::ggplot(cor_long11, ggplot2::aes(Var1, Var2, fill = Freq)) +
  ggplot2::geom_tile() +
  ggplot2::geom_text(ggplot2::aes(label = sprintf("%.2f", Freq)), size = 3) +
  ggplot2::scale_fill_gradient2(limits = c(-1, 1), midpoint = 0) +
  ggplot2::coord_equal() +
  ggplot2::labs(title = "Korelasi antarindikator sebelum clustering", x = NULL, y = NULL, fill = "r") +
  ggplot2::theme(axis.text.x = ggplot2::element_text(angle = 45, hjust = 1))

Korelasi tinggi tidak otomatis membuat indikator harus dibuang, tetapi fitur yang sangat redundan dapat memberi bobot geometris berlebih pada satu dimensi substantif.

11.6 Standardisasi dan Pemilihan Jumlah Cluster

X11 <- scale(reg11 |> dplyr::select(dplyr::all_of(vars11)))
scale_check11 <- tibble::tibble(
  indikator = colnames(X11),
  mean_z = apply(X11, 2, mean),
  sd_z = apply(X11, 2, sd)
)
knitr::kable(scale_check11, digits = 4, caption = "Pemeriksaan hasil standardisasi")

Table 11.2: Pemeriksaan hasil standardisasi

indikator	mean_z	sd_z
pdrb_perkapita_juta	0	1
kemiskinan_persen	0	1
tpt_persen	0	1
ipm	0	1
internet_persen	0	1
umkm_per_1000	0	1
indeks_inovasi	0	1

Secara numerik, setiap kolom hasil z-score seharusnya memiliki rata-rata mendekati 0 dan simpangan baku mendekati 1.

set.seed(260811)
d11 <- stats::dist(X11)

eval_k11 <- purrr::map_dfr(2:6, function(k) {
  km_tmp <- stats::kmeans(X11, centers = k, nstart = 100)
  sil_tmp <- cluster::silhouette(km_tmp$cluster, d11)
  tibble::tibble(
    K = k,
    total_WSS = km_tmp$tot.withinss,
    avg_silhouette = mean(sil_tmp[, "sil_width"]),
    betweenSS_ratio = km_tmp$betweenss / km_tmp$totss
  )
})

knitr::kable(eval_k11, digits = 3, caption = "Perbandingan kandidat jumlah cluster")

Table 11.3: Perbandingan kandidat jumlah cluster

K	total_WSS	avg_silhouette	betweenSS_ratio
2	97.396	0.372	0.465
3	72.859	0.290	0.600
4	62.985	0.265	0.654
5	54.639	0.202	0.700
6	47.707	0.196	0.738

ggplot2::ggplot(eval_k11, ggplot2::aes(K, total_WSS)) +
  ggplot2::geom_line(linewidth = 1) +
  ggplot2::geom_point(size = 2.7) +
  ggplot2::scale_x_continuous(breaks = 2:6) +
  ggplot2::labs(title = "Elbow plot", subtitle = "WSS selalu turun; cari perubahan kemiringan yang masuk akal", y = "Total within-cluster SS")

ggplot2::ggplot(eval_k11, ggplot2::aes(K, avg_silhouette)) +
  ggplot2::geom_line(linewidth = 1) +
  ggplot2::geom_point(size = 2.7) +
  ggplot2::scale_x_continuous(breaks = 2:6) +
  ggplot2::labs(title = "Rata-rata silhouette untuk beberapa nilai K", y = "Average silhouette width")

Pemilihan $K$ tidak didasarkan pada satu grafik saja. Dalam contoh ini, kandidat awal dipilih dari silhouette tertinggi, lalu diperiksa kembali dari sisi interpretabilitas dan kegunaan kebijakan.

11.7 Model K-Means Final dan Output Lengkap

k11 <- eval_k11 |> dplyr::slice_max(avg_silhouette, n = 1, with_ties = FALSE) |> dplyr::pull(K)
set.seed(260811)
km11 <- stats::kmeans(X11, centers = k11, nstart = 200)

fit_summary11 <- tibble::tibble(
  jumlah_cluster = k11,
  total_SS = km11$totss,
  within_SS = km11$tot.withinss,
  between_SS = km11$betweenss,
  proporsi_between_SS = km11$betweenss / km11$totss
)
knitr::kable(fit_summary11, digits = 3, caption = "Ringkasan fit K-means final")

Table 11.4: Ringkasan fit K-means final

jumlah_cluster	total_SS	within_SS	between_SS	proporsi_between_SS
2	182	97.396	84.604	0.465

membership11 <- reg11 |>
  dplyr::mutate(cluster = factor(km11$cluster)) |>
  dplyr::arrange(cluster, dplyr::desc(kemiskinan_persen)) |>
  dplyr::select(wilayah, cluster, dplyr::all_of(vars11))
knitr::kable(membership11, digits = 2, caption = "Keanggotaan cluster dan indikator setiap wilayah")

Table 11.5: Keanggotaan cluster dan indikator setiap wilayah

wilayah	cluster	pdrb_perkapita_juta	kemiskinan_persen	tpt_persen	ipm	internet_persen	umkm_per_1000	indeks_inovasi
Wilayah_23	1	41.20	13.05	7.05	69.78	72.33	35.41	70.57
Wilayah_15	1	36.80	12.64	7.56	69.35	75.14	30.74	63.42
Wilayah_19	1	34.46	11.81	7.54	70.19	76.92	31.66	63.60
Wilayah_25	1	41.46	11.67	6.69	71.38	69.83	33.05	64.86
Wilayah_06	1	43.34	11.64	7.25	69.97	84.58	36.00	60.29
Wilayah_21	1	24.04	11.24	6.74	67.78	65.66	31.20	60.84
Wilayah_17	1	39.58	10.55	7.31	70.99	79.71	35.69	69.55
Wilayah_01	1	31.61	9.99	7.12	70.11	76.88	33.97	63.79
Wilayah_08	1	41.66	8.98	7.08	69.54	73.56	29.37	61.57
Wilayah_07	2	44.19	12.94	8.68	71.95	78.72	43.01	67.37
Wilayah_09	2	45.12	10.97	9.63	70.38	85.60	40.47	68.69
Wilayah_27	2	52.01	10.10	7.65	69.34	90.37	40.48	69.92
Wilayah_05	2	46.80	10.08	8.20	70.43	85.62	40.55	69.04
Wilayah_24	2	53.89	10.06	8.67	71.73	88.05	36.22	71.50
Wilayah_18	2	53.71	9.84	7.75	70.68	84.59	40.48	67.93
Wilayah_20	2	62.74	9.66	6.79	70.86	93.39	41.84	71.42
Wilayah_26	2	54.20	9.61	9.63	71.71	75.11	38.96	65.99
Wilayah_16	2	50.13	9.53	9.09	70.26	87.40	40.24	67.09
Wilayah_22	2	59.50	9.44	8.76	71.33	89.43	44.67	74.23
Wilayah_13	2	50.90	8.99	7.88	70.08	82.50	39.66	69.00
Wilayah_04	2	54.51	8.57	7.38	69.88	85.61	37.62	71.90
Wilayah_10	2	66.15	8.52	8.09	71.62	96.99	46.95	70.22
Wilayah_14	2	64.33	8.19	10.03	72.54	95.23	42.66	71.74
Wilayah_12	2	57.69	7.98	10.35	71.12	93.96	48.99	72.47
Wilayah_02	2	65.25	7.68	7.01	73.42	91.38	41.63	70.70
Wilayah_11	2	61.14	7.16	7.94	72.38	87.64	45.55	76.82
Wilayah_03	2	52.52	6.01	9.96	71.13	86.70	35.17	68.19

Tabel di atas sengaja ditampilkan lengkap. Pada HTML, tabel lebar dapat digeser ke kiri–kanan sehingga nama wilayah dan seluruh indikator tetap dapat diperiksa.

profile11 <- membership11 |>
  dplyr::group_by(cluster) |>
  dplyr::summarise(
    n = dplyr::n(),
    dplyr::across(dplyr::all_of(vars11), mean),
    .groups = "drop"
  )
knitr::kable(profile11, digits = 2, caption = "Profil rata-rata setiap cluster pada skala asli")

Table 11.6: Profil rata-rata setiap cluster pada skala asli

cluster	n	pdrb_perkapita_juta	kemiskinan_persen	tpt_persen	ipm	internet_persen	umkm_per_1000	indeks_inovasi
1	9	37.13	11.29	7.15	69.90	74.96	33.01	64.28
2	18	55.27	9.19	8.53	71.16	87.68	41.40	70.24

profile_z11 <- as.data.frame(X11) |>
  dplyr::mutate(cluster = factor(km11$cluster)) |>
  dplyr::group_by(cluster) |>
  dplyr::summarise(dplyr::across(dplyr::everything(), mean), .groups = "drop") |>
  tidyr::pivot_longer(-cluster, names_to = "indikator", values_to = "mean_z")

ggplot2::ggplot(profile_z11, ggplot2::aes(indikator, cluster, fill = mean_z)) +
  ggplot2::geom_tile() +
  ggplot2::geom_text(ggplot2::aes(label = sprintf("%.2f", mean_z)), size = 3.2) +
  ggplot2::scale_fill_gradient2(midpoint = 0) +
  ggplot2::labs(title = "Heatmap profil cluster", subtitle = "Nilai adalah rata-rata z-score; positif berarti di atas rata-rata keseluruhan", x = NULL, y = "Cluster", fill = "Mean z") +
  ggplot2::theme(axis.text.x = ggplot2::element_text(angle = 45, hjust = 1))

Heatmap lebih berguna untuk penamaan cluster daripada centroid mentah karena seluruh indikator telah berada pada skala yang sebanding.

11.8 Silhouette Setiap Wilayah

sil11 <- cluster::silhouette(km11$cluster, d11)
sil_tbl11 <- tibble::as_tibble(as.data.frame(sil11)) |>
  dplyr::mutate(wilayah = reg11$wilayah) |>
  dplyr::arrange(sil_width)

knitr::kable(
  sil_tbl11 |> dplyr::select(wilayah, cluster, neighbor, sil_width),
  digits = 3,
  caption = "Silhouette setiap wilayah; nilai rendah/negatif perlu diperiksa"
)

Table 11.7: Silhouette setiap wilayah; nilai rendah/negatif perlu diperiksa

wilayah	cluster	neighbor	sil_width
Wilayah_07	2	1	0.037
Wilayah_17	1	2	0.171
Wilayah_26	2	1	0.213
Wilayah_09	2	1	0.252
Wilayah_27	2	1	0.252
Wilayah_13	2	1	0.254
Wilayah_04	2	1	0.278
Wilayah_05	2	1	0.280
Wilayah_18	2	1	0.302
Wilayah_03	2	1	0.319
Wilayah_16	2	1	0.344
Wilayah_23	1	2	0.362
Wilayah_06	1	2	0.367
Wilayah_24	2	1	0.381
Wilayah_20	2	1	0.389
Wilayah_02	2	1	0.389
Wilayah_25	1	2	0.456
Wilayah_11	2	1	0.456
Wilayah_08	1	2	0.456
Wilayah_12	2	1	0.472
Wilayah_21	1	2	0.483
Wilayah_14	2	1	0.489
Wilayah_10	2	1	0.494
Wilayah_01	1	2	0.511
Wilayah_22	2	1	0.520
Wilayah_15	1	2	0.560
Wilayah_19	1	2	0.568

ggplot2::ggplot(sil_tbl11, ggplot2::aes(reorder(wilayah, sil_width), sil_width, fill = factor(cluster))) +
  ggplot2::geom_col() +
  ggplot2::coord_flip() +
  ggplot2::geom_hline(yintercept = 0, linetype = 2) +
  ggplot2::labs(title = "Silhouette per wilayah", x = NULL, y = "Silhouette width", fill = "Cluster")

Wilayah dengan silhouette dekat nol adalah kasus transisi; kebijakan sebaiknya tidak memperlakukan batas cluster sebagai kategori keras.

11.9 Visualisasi Cluster pada Ruang PCA

pca11 <- stats::prcomp(X11, center = FALSE, scale. = FALSE)
pca_score11 <- tibble::as_tibble(pca11$x[, 1:2]) |>
  dplyr::mutate(wilayah = reg11$wilayah, cluster = factor(km11$cluster))

ggplot2::ggplot(pca_score11, ggplot2::aes(PC1, PC2, colour = cluster)) +
  ggplot2::geom_point(size = 3, alpha = .85) +
  ggplot2::labs(
    title = "Visualisasi cluster pada dua komponen utama",
    subtitle = paste0("PC1 + PC2 menjelaskan ", round(100 * sum(summary(pca11)$importance[2,1:2]), 1), "% variasi terstandardisasi"),
    colour = "Cluster"
  )

Plot PCA hanya proyeksi dua dimensi; keputusan K-means tetap menggunakan seluruh indikator terstandardisasi, bukan hanya PC1–PC2.

11.10 Pembanding: Hierarchical Clustering Ward

hc11 <- stats::hclust(d11, method = "ward.D2")
plot(hc11, labels = reg11$wilayah, cex = .65,
     main = "Dendrogram hierarchical clustering — Ward.D2", xlab = "", sub = "")
rect.hclust(hc11, k = k11, border = 2:(k11 + 1))

hc_group11 <- stats::cutree(hc11, k = k11)
agreement11 <- table(KMeans = km11$cluster, Ward = hc_group11)
knitr::kable(as.data.frame.matrix(agreement11), caption = "Tabulasi silang K-means versus Ward")

Table 11.8: Tabulasi silang K-means versus Ward

1	2
9	0
0	18

Perbedaan keanggotaan tidak selalu berarti salah. Ia menunjukkan bahwa tipologi sensitif terhadap definisi cluster dan perlu dibaca sebagai alat eksplorasi.

11.11 Interpretasi dalam Konteks Regional

Interpretasi dilakukan dari tabel profil dan heatmap, bukan dari nomor cluster. Misalnya, sebuah cluster dengan kemiskinan dan TPT di atas rata-rata serta internet dan IPM di bawah rata-rata dapat diberi label “tekanan sosial-ekonomi tinggi–kapabilitas layanan lebih rendah”. Cluster dengan PDRB dan internet tinggi tetapi TPT tetap tinggi dapat menunjukkan “ekonomi kuat–mismatch pasar kerja”. Kebijakan untuk kedua kelompok tidak seharusnya sama.

Cluster tidak membuktikan mekanisme sebab-akibat. Setelah tipologi terbentuk, mahasiswa harus kembali ke data sektoral, konteks institusi, dan informasi lapangan untuk memeriksa apakah paket kebijakan yang diusulkan masuk akal.

11.12 Latihan

1. Mengapa K-means perlu standardisasi ketika unit indikator berbeda?
2. Apa perbedaan informasi yang diberikan elbow plot dan silhouette?
3. Mengapa cluster dengan silhouette negatif perlu diperiksa?
4. Ulangi analisis dengan mengeluarkan satu indikator yang sangat berkorelasi. Bandingkan profil dan membership.
5. Bandingkan $K=3$, $K=4$, dan $K=5$. Apakah rekomendasi kebijakan berubah secara substantif?
6. Buat nama deskriptif untuk setiap cluster tanpa menggunakan istilah normatif seperti “buruk”, “gagal”, atau “tertinggal”.

11.12.1 Latihan Terstruktur Pertemuan 11 — Clustering (non-sumatif)

Gunakan 5–8 indikator pada capstone project. Tampilkan statistik deskriptif, korelasi, alasan standardisasi, evaluasi $K$, tabel membership lengkap, profil cluster, silhouette, heatmap, dan minimal satu sensitivity check. Akhiri dengan satu halaman strategi kebijakan yang berbeda untuk setiap tipologi.

11.12.2 Latihan Kuis Pertemuan 11 (non-sumatif)

1. Tuliskan fungsi objektif K-means.
2. Apa makna $s(i)<0$ pada silhouette?
3. Mengapa WSS selalu turun ketika $K$ bertambah?
4. Apa implikasi dua indikator yang hampir redundan terhadap Euclidean distance?
5. Mengapa cluster tidak boleh ditafsirkan sebagai kelas sosial yang “alamiah”?

11.13 Hubungan dengan Capstone Project

Pertemuan 11 menyiapkan regional segmentation package sebagai bahan M5: fitur terpilih, evaluasi $K$, membership, profil, visualisasi, dan sensitivity analysis. M5 baru dinilai pada pertemuan 13 setelah modul heterogenitas regional dilengkapi.

11.14 Kesimpulan

Clustering bernilai ketika ia mengubah data multivariat menjadi tipologi yang dapat dipahami dan diuji. Analisis yang hanya menghasilkan nomor cluster tanpa profil, silhouette, membership, dan sensitivity check belum cukup untuk jenjang magister.

11.15 Pendalaman Magister — Clustering dan Regional Typology

11.15.1 Audit metodologis

1. Apakah pilihan indikator memiliki justifikasi substantif?
2. Apakah standardisasi dan distance metric sesuai?
3. Apakah $K$ dipilih dari lebih dari satu bukti?
4. Apakah cluster stabil terhadap perubahan seed, fitur, dan metode?
5. Apakah label cluster bersifat deskriptif dan non-stigmatis?
6. Apakah rekomendasi dibangun dari profil indikator, bukan nomor cluster semata?

11.15.2 Pertanyaan Viva

1. Apa yang sebenarnya diminimumkan K-means?
2. Mengapa silhouette dapat negatif?
3. Kapan Ward memberi hasil berbeda dari K-means?
4. Mengapa PCA plot tidak identik dengan ruang clustering penuh?
5. Bagaimana Anda menjelaskan ketidakstabilan cluster kepada pembuat kebijakan?

12 Dimension Reduction dan PCA untuk Indikator Pembangunan

12.1 Pendahuluan

Indikator pembangunan sering saling berkorelasi: pendidikan, kesehatan, internet, pendapatan, dan layanan dasar bergerak bersama. PCA membantu mereduksi dimensi dan mengidentifikasi kombinasi laten, tetapi komponen harus ditafsirkan dengan hati-hati.

12.2 Tujuan Pembelajaran

Mahasiswa mampu melakukan PCA pada data yang distandardisasi, membaca variance explained dan loadings, serta menggunakan komponen untuk visualisasi/segmentasi tanpa kehilangan interpretasi kebijakan.

12.3 Definisi dan Konsep

PCA mencari arah linear yang menjelaskan variasi maksimum. PC1 adalah kombinasi linear dengan variance terbesar, PC2 orthogonal terhadap PC1 dan menjelaskan variance terbesar berikutnya. PCA tidak secara otomatis menghasilkan “indeks pembangunan” yang normatif.

12.4 Formulasi Matematis

Untuk data terpusat $\mathbf X$, covariance matrix

$$\mathbf S=\frac{1}{n-1}\mathbf X^\top\mathbf X.$$

PCA menyelesaikan

$$\mathbf S\mathbf v_k=\lambda_k\mathbf v_k,$$

di mana $\mathbf v_k$ eigenvector/loading PC ke-$k$ dan $\lambda_k$ variance yang dijelaskan. Skor komponen:

$$z_{ik}=\mathbf x_i^\top\mathbf v_k.$$

12.4.1 Matriks data terpusat dan covariance

Untuk data $X$ berukuran $n\times p$, pusatkan setiap kolom: $$X_c=X-\mathbf 1\bar x'.$$ Covariance matrix: $$S=\frac{1}{n-1}X_c'X_c.$$ Jika variabel memiliki unit/skala sangat berbeda, gunakan correlation PCA dengan data standardisasi $Z$.

12.4.2 Eigen decomposition

PCA mencari arah unit $v_k$ yang memaksimalkan variance proyeksi: $$v_1=\arg\max_{\|v\|=1}Var(X_cv).$$ Solusinya adalah eigenvector dari $S$: $$Sv_k=\lambda_kv_k,$$ dengan $\lambda_1\ge\lambda_2\ge\cdots\ge0$.

Score principal component: $$z_{ik}=x_{ic}'v_k.$$ Loading $v_{jk}$ menunjukkan kontribusi variabel $j$ pada komponen $k$.

12.4.3 Explained variance

$$PVE_k=\frac{\lambda_k}{\sum_{j=1}^{p}\lambda_j},$$ $$CPVE_K=\sum_{k=1}^{K}PVE_k.$$ Pemilihan jumlah komponen tidak boleh hanya berdasarkan threshold 80%/90%; interpretability dan tujuan project harus dipertimbangkan. (Jolliffe dan Cadima 2016)

12.4.4 Rekonstruksi dan information loss

Dengan $K<p$ komponen: $$\widehat X_c=Z_KV_K'.$$ Reconstruction error: $$E_K=\|X_c-\widehat X_c\|_F^2.$$ PCA memilih subspace linear yang meminimalkan squared reconstruction error, tetapi komponen yang menjelaskan variance tinggi belum tentu paling relevan untuk outcome kebijakan tertentu.

12.4.5 PCA untuk indeks regional: peluang dan batasan

Skor PC1 dapat dipakai sebagai data-driven index: $$PC1_i=\sum_j v_{j1}z_{ij}.$$ Namun tanda eigenvector dapat terbalik tanpa mengubah solusi; orientasi indeks harus ditentukan agar “lebih tinggi” memiliki arti substantif konsisten. PCA juga menimbang berdasarkan struktur covariance, bukan prioritas normatif. Bandingkan dengan indeks berbobot teori dan lakukan sensitivity analysis. (OECD dan Joint Research Centre, European Commission 2008)

12.4.6 Biplot interpretation

Sudut antar loading vector secara kasar berkaitan dengan korelasi: arah sejalan ≈ korelasi positif, berlawanan ≈ negatif, hampir tegak lurus ≈ korelasi kecil. Panjang dan skala biplot bergantung implementasi, jadi interpretasi harus mengikuti definisi scaling perangkat lunak.

12.5 Intuisi Metode

Jika internet, IPM, pendidikan, dan akses kesehatan semuanya tinggi bersama, PC1 dapat menangkap “kapabilitas layanan/manusia” secara statistik. Tetapi penamaan tersebut harus didukung pola loading, bukan asumsi.

12.5.1 Worked Example — PCA dua variabel

Misalkan covariance matrix standardized dua indikator adalah $$S=\begin{bmatrix}1&0.8\\0.8&1\end{bmatrix}.$$ Eigenvalue memenuhi $|S-\lambda I|=0$: $$(1-\lambda)^2-0.64=0 \Rightarrow \lambda_1=1.8,\;\lambda_2=0.2.$$ Total variance=2, sehingga $$PVE_1=1.8/2=90\%,\qquad PVE_2=10\%.$$ Eigenvector pertama proporsional $(1,1)$, artinya PC1 kira-kira rata-rata standardized kedua indikator; PC2 menangkap kontras di antara keduanya.

12.5.2 Loading sign ambiguity

Jika $v$ adalah eigenvector, $-v$ juga eigenvector dengan eigenvalue sama. Karena itu software dapat memberikan PC1 dengan tanda berlawanan tanpa mengubah geometri. Untuk indeks, pilih orientasi agar makna substantif konsisten dan dokumentasikan pembalikan tanda.

12.5.3 Correlation PCA vs covariance PCA

Jika variabel berbeda unit, covariance PCA dapat didominasi variabel variance besar. Correlation PCA ekuivalen PCA pada $Z$ standardized. Namun standardisasi menganggap satu SD setiap variabel comparable; jika measurement reliability berbeda, pertimbangkan hal tersebut dalam interpretasi.

12.5.4 Reconstruction intuition

Dengan $K$ komponen, prediksi data standardized: $$\hat z_i=\sum_{k=1}^{K}score_{ik}v_k.$$ Residual reconstruction $z_i-\hat z_i$ menunjukkan informasi yang tidak ditangkap komponen. Wilayah dengan reconstruction error tinggi bisa merupakan pola unik/outlier yang justru penting secara kebijakan.

12.5.5 R output reading

xp <- panel |> filter(tahun==2025) |>
  select(kemiskinan_persen, tpt_persen, internet_persen, ipm, indeks_inovasi)
pca <- prcomp(xp, center=TRUE, scale.=TRUE)
summary(pca)

#> Importance of components:
#>                           PC1    PC2    PC3    PC4     PC5
#> Standard deviation     1.7221 0.8432 0.7656 0.6708 0.53601
#> Proportion of Variance 0.5931 0.1422 0.1172 0.0900 0.05746
#> Cumulative Proportion  0.5931 0.7353 0.8525 0.9425 1.00000

round(pca$rotation[,1:3],3)

#>                      PC1    PC2    PC3
#> kemiskinan_persen -0.443 -0.003 -0.696
#> tpt_persen         0.367  0.893 -0.190
#> internet_persen    0.501 -0.108  0.215
#> ipm                0.439 -0.217 -0.645
#> indeks_inovasi     0.475 -0.379 -0.133

Baca sdev^2 sebagai eigenvalue (untuk covariance matrix dari data transformed sesuai prcomp), rotation sebagai loading/eigenvectors, dan x sebagai score.

12.5.6 PCA vs index theory

Jika PC1 memberi loading besar pada internet dan IPM karena variance/correlation dominan, tetapi stakeholder menilai akses kesehatan normatif sangat penting, PC1 tidak otomatis menggantikan indeks teori. Laporkan dua pendekatan dan sensitivitas. (Jolliffe dan Cadima 2016; OECD dan Joint Research Centre, European Commission 2008)

12.6 Contoh dengan Data Simulasi

reg <- read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |>
  filter(tahun == 2025)
X <- reg |> select(ipm, internet_persen, indeks_pendidikan, akses_kesehatan, pdrb_perkapita_juta, umkm_per_1000)
pca <- prcomp(X, center = TRUE, scale. = TRUE)
summary(pca)

#> Importance of components:
#>                           PC1    PC2     PC3     PC4     PC5     PC6
#> Standard deviation     2.0253 0.8835 0.72790 0.58744 0.39925 0.28818
#> Proportion of Variance 0.6837 0.1301 0.08831 0.05751 0.02657 0.01384
#> Cumulative Proportion  0.6837 0.8138 0.90208 0.95959 0.98616 1.00000

round(pca$rotation[, 1:3], 3) |> knitr::kable(caption = "Loading tiga komponen utama")

Table 12.1: Loading tiga komponen utama

	PC1	PC2	PC3
ipm	0.400	0.240	0.544
internet_persen	0.417	-0.503	0.002
indeks_pendidikan	0.402	0.401	0.345
akses_kesehatan	0.347	0.597	-0.633
pdrb_perkapita_juta	0.454	-0.267	0.087
umkm_per_1000	0.422	-0.318	-0.420

12.7 Contoh dengan Data Nyata

INDO-DAPOER menyediakan banyak indikator yang secara substantif saling terkait. Sebelum PCA, pilih satu periode dan pastikan kelengkapan data memadai. Jangan mencampur level provinsi dan kabupaten atau indikator dengan tahun berbeda tanpa justifikasi.

Kartu dataset real.

• Nama: indikator multivariat pembangunan INDO-DAPOER untuk PCA.
• Sumber dan URL: World Bank Data Catalog, https://datacatalog.worldbank.org/search/dataset/0041056/indonesia-database-for-policy-and-economic-research.
• Tahun: satu tahun analisis ≤2018 dengan overlap indikator memadai.
• Unit observasi: kabupaten/kota.
• Variabel/definisi: sekumpulan indikator kuantitatif pembangunan (mis. poverty, literacy, HDI components, fiscal/infrastructure indicators); transformasi/standardisasi dicatat eksplisit.
• Alasan digunakan: menunjukkan bagaimana korelasi antarindikator dapat diringkas menjadi beberapa komponen tanpa menyebutnya otomatis sebagai indeks kebijakan.
• Keterbatasan: PCA sensitif terhadap skala/outlier dan hanya menangkap variasi linear; komponen tinggi varian belum tentu paling relevan bagi kebijakan. (World Bank 2026)

12.8 Analisis Menggunakan R

library(factoextra)
fviz_pca_biplot(pca, repel = TRUE, title = "PCA indikator regional - simulasi")

12.9 Paket Output PCA Lengkap

eigen12 <- pca$sdev^2
pve12 <- eigen12/sum(eigen12)
eigen_tbl12 <- tibble::tibble(
  PC=paste0("PC",seq_along(eigen12)), eigenvalue=eigen12,
  PVE=pve12, cumulative_PVE=cumsum(pve12)
)
knitr::kable(eigen_tbl12, digits=3, caption="Eigenvalue, proportion variance explained, dan kumulatif")

Table 12.2: Eigenvalue, proportion variance explained, dan kumulatif

PC	eigenvalue	PVE	cumulative_PVE
PC1	4.102	0.684	0.684
PC2	0.781	0.130	0.814
PC3	0.530	0.088	0.902
PC4	0.345	0.058	0.960
PC5	0.159	0.027	0.986
PC6	0.083	0.014	1.000

ggplot2::ggplot(eigen_tbl12, ggplot2::aes(seq_along(eigenvalue), PVE)) +
  ggplot2::geom_col() + ggplot2::geom_line(ggplot2::aes(y=cumulative_PVE), linewidth=1) +
  ggplot2::geom_point(ggplot2::aes(y=cumulative_PVE), size=2.5) +
  ggplot2::scale_x_continuous(breaks=seq_along(eigen12), labels=eigen_tbl12$PC) +
  ggplot2::labs(title="Scree dan cumulative explained variance", x="Principal component", y="Proporsi variance")

load12 <- as.data.frame(pca$rotation[,1:min(4,ncol(pca$rotation)),drop=FALSE]) |>
  tibble::rownames_to_column("indikator")
knitr::kable(load12, digits=3, caption="Loading komponen utama")

Table 12.3: Loading komponen utama

indikator	PC1	PC2	PC3	PC4
ipm	0.400	0.240	0.544	-0.623
internet_persen	0.417	-0.503	0.002	0.394
indeks_pendidikan	0.402	0.401	0.345	0.595
akses_kesehatan	0.347	0.597	-0.633	-0.004
pdrb_perkapita_juta	0.454	-0.267	0.087	-0.042
umkm_per_1000	0.422	-0.318	-0.420	-0.318

load_long12 <- load12 |> tidyr::pivot_longer(-indikator, names_to="PC", values_to="loading")
ggplot2::ggplot(load_long12, ggplot2::aes(indikator, loading, fill=loading>0)) +
  ggplot2::geom_col(show.legend=FALSE) + ggplot2::facet_wrap(~PC) +
  ggplot2::coord_flip() + ggplot2::labs(title="Loading profile setiap principal component", x=NULL)

score12 <- tibble::as_tibble(pca$x[,1:2,drop=FALSE]) |> dplyr::mutate(wilayah=reg$wilayah) |>
  dplyr::select(wilayah, dplyr::everything()) |> dplyr::arrange(dplyr::desc(PC1))
knitr::kable(score12, digits=3, caption="Score PC1 dan PC2 setiap wilayah")

Table 12.4: Score PC1 dan PC2 setiap wilayah

wilayah	PC1	PC2
Wilayah_02	4.146	2.029
Wilayah_10	3.727	0.336
Wilayah_11	3.071	0.842
Wilayah_14	2.711	-0.433
Wilayah_12	2.306	-0.714
Wilayah_20	1.926	-0.475
Wilayah_22	1.851	-0.243
Wilayah_07	0.362	0.607
Wilayah_13	0.087	0.052
Wilayah_03	0.059	-0.019
Wilayah_24	-0.174	-1.209
Wilayah_16	-0.196	-1.101
Wilayah_09	-0.214	-0.485
Wilayah_26	-0.225	0.081
Wilayah_18	-0.245	-1.078
Wilayah_27	-0.268	-1.448
Wilayah_06	-0.550	0.202
Wilayah_05	-0.601	-1.098
Wilayah_04	-0.679	-1.347
Wilayah_17	-0.948	0.353
Wilayah_25	-1.483	1.228
Wilayah_23	-1.508	1.097
Wilayah_19	-1.673	0.919
Wilayah_01	-2.113	0.296
Wilayah_08	-2.237	0.790
Wilayah_15	-2.646	0.267
Wilayah_21	-4.486	0.551

12.10 Interpretasi dalam Konteks Regional

Jika PC1 memberi loading positif tinggi pada IPM, internet, pendidikan, kesehatan, dan PDRB, skor PC1 tinggi dapat dibaca sebagai kombinasi kapabilitas pembangunan. Namun PCA memaksimalkan variance, bukan relevansi kebijakan; indikator penting dengan variasi kecil dapat terabaikan.

12.11 Latihan

1. Mengapa PCA biasanya membutuhkan standardisasi?
2. Apa arti eigenvalue besar?
3. Mengapa PC1 bukan otomatis “indeks pembangunan terbaik”?
4. Analisis: tentukan jumlah PC untuk menjelaskan minimal 80% variance.
5. Analisis: gunakan PC1-PC2 sebagai input clustering dan bandingkan hasil.
6. Mini-case: pimpinan meminta satu indeks komposit. Jelaskan kapan PCA layak dan kapan pendekatan berbobot kebijakan lebih tepat.

12.11.1 Tugas 2 — Model/Interpretation Note: Segmentasi dan Dimension Reduction (5%)

Tulis model/interpretation note individual pada kasus clustering dan/atau PCA. Jelaskan pemilihan metode, scaling/standardization, jumlah cluster/komponen, evaluasi atau stability/sensitivity check, interpretasi substantif regional, uncertainty/limitation, dan reproducibility. Untuk PCA, tampilkan minimal eigenvalues, proportion of variance explained, loading, score, dan visual utama; untuk clustering, tampilkan justifikasi $K$, profil cluster, dan pemeriksaan stabilitas.

Rubrik sesuai RPS: metode 30%; evaluasi 25%; interpretasi 25%; uncertainty/limitation 10%; reproducibility 10%.

12.11.2 Latihan Formatif Pertemuan 12 (non-sumatif)

Fokus: covariance vs correlation PCA; eigenvalue/eigenvector; score/loading; PVE; reconstruction; tanda PC; keterbatasan PCA untuk indeks kebijakan.

12.12 Hubungan dengan Capstone Project

PCA dapat dipakai bila proyek memiliki banyak indikator berkorelasi atau untuk membangun visual 2D sebelum clustering. Tugas 2 menilai justifikasi metode, evaluasi/sensitivity, interpretasi substantif, uncertainty/limitation, dan reproducibility.

12.13 Kesimpulan

PCA mereduksi kompleksitas statistik, bukan kompleksitas kebijakan. Komponen harus dibaca melalui loadings, variance explained, dan konteks indikator.

12.14 Pendalaman Magister — PCA dan konstruksi indeks

12.14.1 Audit metodologis

1. Pca covariance dipakai pada unit tak sebanding.
2. Pc1 disebut indeks terbaik otomatis.
3. Loading sign disalahartikan.
4. Pve tinggi dianggap policy relevance.
5. Outlier mendominasi covariance.
6. Pca dihitung sebelum split pada predictive workflow.

12.14.2 Pertanyaan viva / diskusi kelas

1. Apa eigenvalue dan eigenvector secara substantif?
2. Mengapa scaling penting?
3. Apa beda score dan loading?
4. Mengapa tanda PC dapat dibalik?
5. Bagaimana memilih K komponen?
6. Mengapa PCA dan indeks normatif harus dibandingkan?

13 Analisis Data Spasial Areal dan Visualisasi Geospasial

13.1 Pendahuluan

Analisis regional pada tingkat kabupaten/kota secara alami merupakan data areal: setiap observasi mewakili suatu polygon administratif, bukan satu titik koordinat. Karena itu pembelajaran spasial pada bab ini menggunakan batas kabupaten/kota Jawa Barat dari berkas polygon yang disediakan bersama e-book dan menggabungkannya dengan persentase penduduk miskin tahun 2024. Dataset kemiskinan kabupaten/kota Jawa Barat dipublikasikan oleh Badan Pusat Statistik dan didiseminasikan melalui Open Data Jawa Barat; seri persentase tersedia untuk 2010–2025, sedangkan publikasi resmi BPS Jawa Barat juga mendokumentasikan kemiskinan kabupaten/kota 2019–2024. (Badan Pusat Statistik dan Pemerintah Provinsi Jawa Barat 2026a; Badan Pusat Statistik Provinsi Jawa Barat 2025)

Bab ini membahas tiga lapis analisis: (1) pemetaan choropleth, (2) pembentukan struktur ketetanggaan areal, dan (3) autocorrelation global serta lokal. Peta sendiri hanya menunjukkan lokasi nilai; statistik spasial diperlukan untuk menilai apakah wilayah dengan nilai serupa cenderung berdekatan. (Moran 1950; Anselin 1995; Bivand, Pebesma, dan Gómez-Rubio 2013; Pebesma dan Bivand 2023)

13.2 Tujuan Pembelajaran

Setelah pertemuan ini mahasiswa mampu:

1. membedakan data point, line, dan areal/polygon;
2. membaca dan memeriksa geometri polygon dengan sf;
3. menggabungkan indikator kemiskinan dengan polygon berdasarkan kode wilayah;
4. menyusun matriks bobot spasial dari hubungan antar-polygon dan kedekatan batas wilayah;
5. menghitung spatial lag dan Moran’s $I$;
6. melakukan permutation test untuk autocorrelation global;
7. menghitung Local Moran dan memetakan pola High–High, Low–Low, High–Low, dan Low–High;
8. melakukan sensitivity analysis terhadap definisi neighborhood areal; dan
9. menjelaskan MAUP serta ecological fallacy dalam rekomendasi regional.

13.3 Konsep Data Areal

Misalkan Jawa Barat dibagi menjadi $n$ wilayah administratif. Untuk setiap polygon $A_i$ diamati outcome $y_i$, misalnya persentase penduduk miskin. Dua wilayah disebut bertetangga bila polygon mereka memenuhi aturan tertentu.

Secara klasik, Queen contiguity menyatakan dua polygon bertetangga bila berbagi sisi atau titik sudut, sedangkan Rook contiguity mensyaratkan sisi bersama. Namun shapefile administratif dapat memiliki overlap, enclave, atau ketidaksempurnaan topologi. Karena itu pada contoh ini bobot utama dibangun dari hubungan intersection antar-polygon:

$$w_{ij}=\begin{cases} 1, & A_i\cap A_j\neq\varnothing,\\ 0, & \text{lainnya}, \end{cases}$$

untuk $i\neq j$. Sebagai sensitivity analysis, digunakan bobot kedua berbasis jarak minimum antar-polygon sampai 10 km. Ini tetap merupakan analisis areal karena jarak dihitung dari geometry polygon, bukan mengganti wilayah menjadi data point. Matriks bobot $\mathbf W=[w_{ij}]$ kemudian di-row-standardize:

$$w_{ij}^{*}=\frac{w_{ij}}{\sum_j w_{ij}},$$

sehingga spatial lag untuk wilayah $i$ adalah rata-rata tertimbang nilai tetangganya:

$$(Wy)_i=\sum_j w_{ij}^{*}y_j.$$

13.4 Moran’s I Global

Definisikan deviasi dari rata-rata $z_i=y_i-\bar y$. Moran’s $I$ adalah

$$I=\frac{n}{S_0} \frac{\sum_i\sum_j w_{ij}z_i z_j} {\sum_i z_i^2},$$

dengan

$$S_0=\sum_i\sum_j w_{ij}.$$

Secara umum, $I>0$ menunjukkan nilai serupa cenderung berdekatan, $I<0$ menunjukkan pola tetangga yang kontras, dan nilai dekat ekspektasi acak menunjukkan tidak ada autocorrelation yang kuat. Interpretasi tidak boleh hanya berdasarkan tanda; gunakan randomization/permutation inference. (Moran 1950)

Jika $I^{(1)},\ldots,I^{(B)}$ adalah Moran’s $I$ dari $B$ permutasi label wilayah, pseudo p-value dapat dihitung dari proporsi statistik permutasi yang sama atau lebih ekstrem daripada nilai observasi, dengan koreksi Monte Carlo.

13.5 Local Moran dan LISA

Local Moran untuk wilayah $i$ dapat ditulis

$$I_i=\frac{z_i}{m_2}\sum_j w_{ij}z_j,$$

dengan

$$m_2=\frac{1}{n}\sum_i z_i^2.$$

Gabungan tanda $z_i$ dan spatial lag menghasilkan empat pola:

• High–High (HH): nilai tinggi dikelilingi nilai tinggi;
• Low–Low (LL): nilai rendah dikelilingi nilai rendah;
• High–Low (HL): nilai tinggi di antara tetangga rendah;
• Low–High (LH): nilai rendah di antara tetangga tinggi.

LISA bersifat lokal dan melibatkan banyak pengujian. Peta LISA harus dibaca sebagai screening pola lokal, bukan bukti kausal. (Anselin 1995)

13.6 Dataset dan Provenance

Geometry. Folder data/spatial_jabar/ berasal dari ZIP batas administratif yang diberikan untuk mata kuliah. Berkas utama adalah JABAR.shp, JABAR.shx, dan JABAR.dbf. Shapefile tidak menyertakan .prj, sehingga CRS tidak tersimpan secara eksplisit. Koordinat berada pada rentang longitude–latitude Jawa Barat; dalam latihan ini CRS ditetapkan sebagai EPSG:4326 setelah pemeriksaan. Pada riset nyata, CRS wajib diverifikasi pada sumber geodata sebelum penetapan manual.

Outcome. File data/kemiskinan_jabar_2024.csv berisi persentase penduduk miskin 27 kabupaten/kota Jawa Barat tahun 2024 dan disiapkan sebagai teaching extract dari seri BPS/Open Data Jawa Barat. Portal resminya mendokumentasikan variabel kabupaten/kota, persentase penduduk miskin, satuan persen, dan tahun; publikasi BPS Jawa Barat 2019–2024 menjadi rujukan substantif tambahan untuk konteks indikator kemiskinan. (Badan Pusat Statistik dan Pemerintah Provinsi Jawa Barat 2026a; Badan Pusat Statistik Provinsi Jawa Barat 2025)

Catatan join. Geometry lama pada kode 18 masih dapat membawa label historis yang tidak konsisten. Karena itu join dilakukan dengan KABKOTNO, lalu nama tampilan diambil dari tabel kemiskinan. Ini menunjukkan mengapa kode wilayah lebih aman daripada fuzzy matching nama.

13.7 Import Polygon dan Audit Geometry

jabar13 <- sf::st_read("data/spatial_jabar/JABAR.shp", quiet = TRUE) |>
  sf::st_make_valid() |>
  dplyr::mutate(KABKOTNO = stringr::str_pad(as.character(KABKOTNO), 2, pad = "0"))

if (is.na(sf::st_crs(jabar13))) {
  sf::st_crs(jabar13) <- 4326
}

geom_audit13 <- tibble::tibble(
  n_polygon = nrow(jabar13),
  crs_epsg = sf::st_crs(jabar13)$epsg,
  geometry_valid = sum(sf::st_is_valid(jabar13)),
  geometry_invalid = sum(!sf::st_is_valid(jabar13)),
  type_polygon = sum(as.character(sf::st_geometry_type(jabar13)) == "POLYGON"),
  type_multipolygon = sum(as.character(sf::st_geometry_type(jabar13)) == "MULTIPOLYGON")
)
knitr::kable(geom_audit13, caption = "Audit awal geometri Jawa Barat")

Table 13.1: Audit awal geometri Jawa Barat

n_polygon	crs_epsg	geometry_valid	geometry_invalid	type_polygon	type_multipolygon
27	4326	27	0	23	4

poverty13 <- readr::read_csv("data/kemiskinan_jabar_2024.csv", show_col_types = FALSE) |>
  dplyr::mutate(KABKOTNO = stringr::str_pad(as.character(KABKOTNO), 2, pad = "0"))

jabar13 <- jabar13 |>
  dplyr::select(KABKOTNO, geometry) |>
  dplyr::left_join(poverty13, by = "KABKOTNO")

join_audit13 <- tibble::tibble(
  polygon = nrow(jabar13),
  outcome_non_missing = sum(!is.na(jabar13$kemiskinan_persen_2024)),
  outcome_missing = sum(is.na(jabar13$kemiskinan_persen_2024)),
  duplicate_code = sum(duplicated(jabar13$KABKOTNO))
)
knitr::kable(join_audit13, caption = "Audit spatial join geometry dan data kemiskinan")

Table 13.2: Audit spatial join geometry dan data kemiskinan

polygon	outcome_non_missing	outcome_missing	duplicate_code
27	27	0	0

Analisis dilanjutkan hanya jika seluruh 27 polygon memiliki outcome dan tidak ada duplikasi kode.

13.8 Statistik Deskriptif Kemiskinan Areal

desc13 <- jabar13 |>
  sf::st_drop_geometry() |>
  dplyr::summarise(
    n = dplyr::n(),
    mean = mean(kemiskinan_persen_2024),
    median = median(kemiskinan_persen_2024),
    sd = sd(kemiskinan_persen_2024),
    q1 = quantile(kemiskinan_persen_2024, .25),
    q3 = quantile(kemiskinan_persen_2024, .75),
    min = min(kemiskinan_persen_2024),
    max = max(kemiskinan_persen_2024),
    cv = sd / mean
  )
knitr::kable(desc13, digits = 2, caption = "Statistik deskriptif persentase penduduk miskin, 2024")

Table 13.3: Statistik deskriptif persentase penduduk miskin, 2024

n	mean	median	sd	q1	q3	min	max	cv
27	8.01	8.41	2.65	6.36	10.19	2.34	11.93	0.33

rank13 <- jabar13 |>
  sf::st_drop_geometry() |>
  dplyr::arrange(dplyr::desc(kemiskinan_persen_2024)) |>
  dplyr::mutate(rank = dplyr::row_number()) |>
  dplyr::select(rank, nama_kabupaten_kota, kemiskinan_persen_2024)
knitr::kable(rank13, digits = 2, caption = "Ranking deskriptif kemiskinan kabupaten/kota Jawa Barat, 2024")

Table 13.4: Ranking deskriptif kemiskinan kabupaten/kota Jawa Barat, 2024

rank	nama_kabupaten_kota	kemiskinan_persen_2024
1	KABUPATEN INDRAMAYU	11.93
2	KABUPATEN KUNINGAN	11.88
3	KOTA TASIKMALAYA	11.10
4	KABUPATEN CIREBON	11.00
5	KABUPATEN MAJALENGKA	10.82
6	KABUPATEN BANDUNG BARAT	10.49
7	KABUPATEN TASIKMALAYA	10.23
8	KABUPATEN CIANJUR	10.14
9	KABUPATEN GARUT	9.68
10	KABUPATEN SUBANG	9.49
11	KABUPATEN SUMEDANG	9.10
12	KOTA CIREBON	9.02
13	KABUPATEN PANGANDARAN	8.75
14	KABUPATEN PURWAKARTA	8.41
15	KABUPATEN KARAWANG	7.86
16	KABUPATEN CIAMIS	7.39
17	KOTA SUKABUMI	7.20
18	KABUPATEN BOGOR	7.05
19	KABUPATEN SUKABUMI	6.87
20	KOTA BOGOR	6.53
21	KABUPATEN BANDUNG	6.19
22	KOTA BANJAR	5.85
23	KABUPATEN BEKASI	4.80
24	KOTA CIMAHI	4.39
25	KOTA BEKASI	4.01
26	KOTA BANDUNG	3.87
27	KOTA DEPOK	2.34

Ranking hanya deskriptif. Ia belum mempertimbangkan ukuran populasi, kedalaman kemiskinan, kerentanan, atau hubungan spasial.

13.9 Distribusi dan Choropleth

ggplot2::ggplot(sf::st_drop_geometry(jabar13), ggplot2::aes(kemiskinan_persen_2024)) +
  ggplot2::geom_histogram(bins = 8, boundary = 0) +
  ggplot2::geom_vline(xintercept = mean(jabar13$kemiskinan_persen_2024), linetype = 2) +
  ggplot2::labs(title = "Distribusi persentase penduduk miskin antarkabupaten/kota", x = "Penduduk miskin (%)", y = "Jumlah wilayah")

ggplot2::ggplot(jabar13) +
  ggplot2::geom_sf(ggplot2::aes(fill = kemiskinan_persen_2024), colour = "white", linewidth = .25) +
  ggplot2::scale_fill_viridis_c(option = "C", direction = -1) +
  ggplot2::labs(title = "Persentase Penduduk Miskin Kabupaten/Kota Jawa Barat, 2024", fill = "Kemiskinan (%)", caption = "Sumber indikator: BPS/Open Data Jawa Barat; batas wilayah: berkas polygon mata kuliah") +
  ggplot2::theme_void() +
  ggplot2::theme(plot.title = ggplot2::element_text(face = "bold"), plot.caption = ggplot2::element_text(hjust = 0))

Choropleth menampilkan rate, bukan jumlah absolut. Ini penting karena polygon luas atau berpenduduk besar tidak otomatis memiliki tingkat kemiskinan tinggi.

13.10 Struktur Ketetanggaan Antar-Polygon

# Bobot utama: polygon saling beririsan/bersinggungan (intersection adjacency).
rel_inter13 <- sf::st_intersects(jabar13)
n13 <- nrow(jabar13)
W_inter13 <- matrix(0, n13, n13)
for (i in seq_len(n13)) {
  jj <- setdiff(rel_inter13[[i]], i)
  if (length(jj) > 0) W_inter13[i, jj] <- 1
}

# Bobot alternatif: jarak minimum antar-polygon <= 10 km.
jabar13_m <- sf::st_transform(jabar13, 32748)
D13 <- units::drop_units(sf::st_distance(jabar13_m))
diag(D13) <- Inf
W_10km13 <- 1L * (D13 <= 10000)
diag(W_10km13) <- 0L

neighbor_tbl13 <- tibble::tibble(
  nama_kabupaten_kota = jabar13$nama_kabupaten_kota,
  intersection_neighbors = rowSums(W_inter13),
  neighbors_within_10km = rowSums(W_10km13)
)
knitr::kable(neighbor_tbl13, caption = "Jumlah tetangga areal: intersection dan proximity 10 km")

Table 13.5: Jumlah tetangga areal: intersection dan proximity 10 km

nama_kabupaten_kota	intersection_neighbors	neighbors_within_10km
KABUPATEN BOGOR	8	8
KABUPATEN SUKABUMI	3	4
KABUPATEN CIANJUR	6	8
KABUPATEN BANDUNG	7	7
KABUPATEN GARUT	4	6
KABUPATEN TASIKMALAYA	6	7
KABUPATEN CIAMIS	6	8
KABUPATEN KUNINGAN	3	4
KABUPATEN CIREBON	4	4
KABUPATEN MAJALENGKA	6	7
KABUPATEN SUMEDANG	6	9
KABUPATEN INDRAMAYU	4	4
KABUPATEN SUBANG	6	8
KABUPATEN PURWAKARTA	5	8
KABUPATEN KARAWANG	4	5
KABUPATEN BEKASI	3	5
KABUPATEN BANDUNG BARAT	6	7
KABUPATEN PANGANDARAN	2	3
KOTA BOGOR	1	3
KOTA SUKABUMI	1	2
KOTA BANDUNG	3	6
KOTA CIREBON	1	2
KOTA BEKASI	3	3
KOTA DEPOK	2	4
KOTA CIMAHI	3	5
KOTA TASIKMALAYA	2	2
KOTA BANJAR	1	3

ggplot2::ggplot(neighbor_tbl13, ggplot2::aes(reorder(nama_kabupaten_kota, intersection_neighbors), intersection_neighbors)) +
  ggplot2::geom_col() +
  ggplot2::coord_flip() +
  ggplot2::labs(title = "Jumlah tetangga berdasarkan intersection polygon", x = NULL, y = "Jumlah tetangga")

Perbedaan degree menunjukkan bahwa setiap wilayah memiliki jumlah tetangga berbeda. Row-standardization mencegah wilayah dengan banyak tetangga secara otomatis memiliki spatial lag yang lebih besar hanya karena jumlah koneksi.

13.11 Moran’s I Global dan Permutation Test

lw_inter13 <- spdep::mat2listw(W_inter13, style = "W", zero.policy = TRUE)
y13 <- jabar13$kemiskinan_persen_2024

moran_test13 <- spdep::moran.test(y13, lw_inter13, zero.policy = TRUE, randomisation = TRUE)
set.seed(260813)
moran_mc13 <- spdep::moran.mc(y13, lw_inter13, nsim = 999, zero.policy = TRUE)

moran_out13 <- tibble::tibble(
  statistic = "Moran's I — polygon intersection",
  I_observed = unname(moran_test13$estimate[[1]]),
  expectation = unname(moran_test13$estimate[[2]]),
  variance = unname(moran_test13$estimate[[3]]),
  p_asymptotic = moran_test13$p.value,
  p_permutation = moran_mc13$p.value
)
knitr::kable(moran_out13, digits = 4, caption = "Autocorrelation global kemiskinan Jawa Barat")

Table 13.6: Autocorrelation global kemiskinan Jawa Barat

statistic	I_observed	expectation	variance	p_asymptotic	p_permutation
Moran’s I — polygon intersection	0.4776	-0.0385	0.0199	0.0001	0.001

P-value permutation lebih sesuai untuk pembelajaran karena secara eksplisit membandingkan pola observasi dengan distribusi acak hasil pengacakan label wilayah.

13.12 Moran Scatterplot

z13 <- as.numeric(scale(y13))
lag_z13 <- spdep::lag.listw(lw_inter13, z13, zero.policy = TRUE)
scatter13 <- tibble::tibble(
  wilayah = jabar13$nama_kabupaten_kota,
  z = z13,
  spatial_lag_z = lag_z13
)

ggplot2::ggplot(scatter13, ggplot2::aes(z, spatial_lag_z)) +
  ggplot2::geom_hline(yintercept = 0, linetype = 2) +
  ggplot2::geom_vline(xintercept = 0, linetype = 2) +
  ggplot2::geom_smooth(method = "lm", se = FALSE) +
  ggplot2::geom_point(size = 2.6) +
  ggplot2::labs(title = "Moran scatterplot kemiskinan 2024", x = "Kemiskinan terstandardisasi (z)", y = "Spatial lag z")

Kuadran kanan-atas dan kiri-bawah merepresentasikan kemiripan lokal (high–high dan low–low), sedangkan dua kuadran lainnya menandai kontras lokal.

13.13 Local Moran dan Peta LISA

local13 <- spdep::localmoran(y13, lw_inter13, zero.policy = TRUE)

jabar13$Ii <- local13[, "Ii"]
jabar13$Z_Ii <- local13[, "Z.Ii"]
pcol13 <- grep("^Pr", colnames(local13), value = TRUE)[1]
jabar13$p_local <- local13[, pcol13]
jabar13$z <- z13
jabar13$lag_z <- lag_z13
jabar13$quadrant <- dplyr::case_when(
  jabar13$z >= 0 & jabar13$lag_z >= 0 ~ "High–High",
  jabar13$z < 0 & jabar13$lag_z < 0 ~ "Low–Low",
  jabar13$z >= 0 & jabar13$lag_z < 0 ~ "High–Low",
  TRUE ~ "Low–High"
)
jabar13$lisa_class <- ifelse(jabar13$p_local <= .05, jabar13$quadrant, "Tidak signifikan")

local_tbl13 <- jabar13 |>
  sf::st_drop_geometry() |>
  dplyr::select(nama_kabupaten_kota, kemiskinan_persen_2024, Ii, Z_Ii, p_local, lisa_class) |>
  dplyr::arrange(p_local)
knitr::kable(local_tbl13, digits = 4, caption = "Local Moran dan klasifikasi LISA")

Table 13.7: Local Moran dan klasifikasi LISA

nama_kabupaten_kota	kemiskinan_persen_2024	Ii	Z_Ii	p_local	lisa_class
KABUPATEN CIREBON	11.00	1.2809	2.4893	0.0128	High–High
KABUPATEN MAJALENGKA	10.82	0.9306	2.4846	0.0130	High–High
KOTA BEKASI	4.01	1.9470	2.4593	0.0139	Low–Low
KABUPATEN BOGOR	7.05	0.2348	2.1219	0.0338	Low–Low
KABUPATEN INDRAMAYU	11.93	1.2103	1.8862	0.0593	Tidak signifikan
KABUPATEN SUMEDANG	9.10	0.2746	1.8163	0.0693	Tidak signifikan
KABUPATEN CIAMIS	7.39	-0.1624	-1.7941	0.0728	Tidak signifikan
KOTA DEPOK	2.34	2.0870	1.6298	0.1031	Tidak signifikan
KABUPATEN TASIKMALAYA	10.23	0.4785	1.6194	0.1054	Tidak signifikan
KABUPATEN KUNINGAN	11.88	0.9855	1.3336	0.1823	Tidak signifikan
KABUPATEN BEKASI	4.80	0.8127	1.2871	0.1981	Tidak signifikan
KOTA CIREBON	9.02	0.4444	1.1451	0.2522	Tidak signifikan
KABUPATEN SUBANG	9.49	0.2146	1.0810	0.2797	Tidak signifikan
KABUPATEN PURWAKARTA	8.41	0.0581	0.9278	0.3535	Tidak signifikan
KOTA CIMAHI	4.39	0.6248	0.9242	0.3554	Tidak signifikan
KABUPATEN BANDUNG BARAT	10.49	-0.3418	-0.8816	0.3780	Tidak signifikan
KOTA BANDUNG	3.87	0.6081	0.8258	0.4089	Tidak signifikan
KABUPATEN GARUT	9.68	0.2220	0.7827	0.4338	Tidak signifikan
KOTA TASIKMALAYA	11.10	0.3634	0.5123	0.6084	Tidak signifikan
KABUPATEN KARAWANG	7.86	0.0132	0.4692	0.6389	Tidak signifikan
KABUPATEN PANGANDARAN	8.75	0.0866	0.4497	0.6530	Tidak signifikan
KOTA SUKABUMI	7.20	0.1380	0.4448	0.6565	Tidak signifikan
KOTA BOGOR	6.53	0.2119	0.3881	0.6979	Tidak signifikan
KOTA BANJAR	5.85	0.2001	0.2708	0.7865	Tidak signifikan
KABUPATEN CIANJUR	10.14	0.0316	0.1910	0.8485	Tidak signifikan
KABUPATEN BANDUNG	6.19	-0.0409	-0.0938	0.9253	Tidak signifikan
KABUPATEN SUKABUMI	6.87	-0.0196	-0.0490	0.9610	Tidak signifikan

ggplot2::ggplot(jabar13) +
  ggplot2::geom_sf(ggplot2::aes(fill = lisa_class), colour = "white", linewidth = .25) +
  ggplot2::labs(title = "Peta Local Moran (LISA) kemiskinan Jawa Barat, 2024", fill = "LISA class", caption = "p lokal ≤ 0,05 ditampilkan sebagai pola lokal; interpretasi bersifat screening") +
  ggplot2::theme_void() +
  ggplot2::theme(plot.title = ggplot2::element_text(face = "bold"), plot.caption = ggplot2::element_text(hjust = 0))

13.14 Sensitivity Analysis: Intersection versus Proximity 10 km

lw_10km13 <- spdep::mat2listw(W_10km13, style = "W", zero.policy = TRUE)
set.seed(260813)
mc_inter13 <- spdep::moran.mc(y13, lw_inter13, nsim = 999, zero.policy = TRUE)
set.seed(260813)
mc_10km13 <- spdep::moran.mc(y13, lw_10km13, nsim = 999, zero.policy = TRUE)

sens13 <- tibble::tibble(
  neighborhood = c("Polygon intersection", "Polygon distance <= 10 km"),
  Moran_I = c(unname(mc_inter13$statistic), unname(mc_10km13$statistic)),
  p_permutation = c(mc_inter13$p.value, mc_10km13$p.value),
  mean_neighbors = c(mean(rowSums(W_inter13)), mean(rowSums(W_10km13)))
)
knitr::kable(sens13, digits = 4, caption = "Sensitivity Moran's I terhadap definisi neighborhood areal")

Table 13.8: Sensitivity Moran’s I terhadap definisi neighborhood areal

neighborhood	Moran_I	p_permutation	mean_neighbors
Polygon intersection	0.4776	0.001	3.9259
Polygon distance <= 10 km	0.4060	0.001	5.2593

Jika tanda, magnitude, atau kesimpulan inferensial berubah drastis antara intersection adjacency dan proximity 10 km, hasil harus dilaporkan sebagai sensitif terhadap definisi konektivitas. Neighborhood seharusnya mewakili mekanisme regional yang masuk akal; adjacency administratif belum tentu cocok untuk mobilitas komuter, perdagangan, DAS, atau jaringan transportasi.

13.15 Peta Interaktif Polygon

pal13 <- leaflet::colorNumeric("YlOrRd", domain = jabar13$kemiskinan_persen_2024)
leaflet::leaflet(jabar13) |>
  leaflet::addProviderTiles("CartoDB.Positron") |>
  leaflet::addPolygons(
    fillColor = ~pal13(kemiskinan_persen_2024),
    fillOpacity = .75,
    weight = .8,
    color = "white",
    popup = ~paste0(
      "<b>", nama_kabupaten_kota, "</b><br>",
      "Kemiskinan 2024: ", round(kemiskinan_persen_2024, 2), "%<br>",
      "LISA: ", lisa_class
    )
  ) |>
  leaflet::addLegend(pal = pal13, values = ~kemiskinan_persen_2024, title = "Kemiskinan (%)")

13.16 Interpretasi dalam Konteks Regional

Analisis areal mengubah pertanyaan dari “kabupaten mana paling tinggi?” menjadi “apakah kabupaten dengan kemiskinan tinggi berada dalam lingkungan regional yang juga memiliki nilai tinggi?”. Jika terdapat pola High–High, intervensi lintas batas dapat dipertimbangkan karena akses pekerjaan, transportasi, pasar, dan layanan publik tidak berhenti di garis administrasi. Sebaliknya, High–Low dapat menunjukkan wilayah yang berbeda tajam dari tetangganya dan layak ditelaah sebagai kasus khusus.

Namun spatial autocorrelation tidak menjelaskan penyebab. Pola dapat muncul karena struktur ekonomi yang mirip, topografi, aksesibilitas, urbanisasi, kebijakan historis, atau proses pengukuran. Untuk membuat klaim mekanisme diperlukan variabel tambahan dan model yang sesuai.

13.17 MAUP dan Ecological Fallacy

Modifiable Areal Unit Problem (MAUP) berarti hasil statistik dapat berubah bila batas atau tingkat agregasi wilayah diubah. Kabupaten/kota adalah satu pilihan agregasi administratif, bukan satu-satunya representasi proses sosial-ekonomi.

Ecological fallacy terjadi jika hubungan pada tingkat kabupaten langsung diterapkan kepada individu. Misalnya, kabupaten dengan kemiskinan tinggi tidak berarti setiap rumah tangga di kabupaten itu miskin, dan asosiasi antara internet dan kemiskinan antarkabupaten tidak sama dengan hubungan pada rumah tangga. (Pebesma dan Bivand 2023; Lovelace, Nowosad, dan Muenchow 2025)

13.18 Latihan

1. Jelaskan perbedaan contiguity klasik, intersection adjacency, dan proximity antar-polygon.
2. Mengapa polygon lebih tepat daripada titik centroid untuk outcome kabupaten/kota?
3. Apa arti Moran’s $I$ positif tetapi permutation p-value besar?
4. Bandingkan choropleth menggunakan quantile breaks dan continuous scale. Apakah persepsi disparitas berubah?
5. Identifikasi wilayah dengan silhouette—bukan, pada bab ini LISA—High–High dan Low–Low. Apa data tambahan yang perlu diperiksa sebelum rekomendasi dibuat?
6. Jelaskan satu contoh MAUP dan satu contoh ecological fallacy dalam analisis kemiskinan regional.

13.18.1 Project M5 — Regional Heterogeneity Module (4%)

Gunakan polygon Jawa Barat dan outcome regional dari BPS/Open Data Jabar. Tampilkan audit geometry, audit join, statistik deskriptif, ranking, choropleth, degree neighborhood, Moran’s I + permutation test, Moran scatterplot, Local Moran/LISA map, dan sensitivity intersection vs proximity polygon. Akhiri dengan memo 300–400 kata yang memisahkan temuan deskriptif, temuan spasial, hipotesis mekanisme, dan rekomendasi data lanjutan.

13.18.2 Kuis 4 — Spatial Reasoning dan Analisis Geospasial (2,5%)

1. Tuliskan rumus Moran’s $I$ dan jelaskan $S_0$.
2. Apa tujuan row-standardization pada $W$?
3. Apa beda High–High dengan High–Low?
4. Mengapa local p-values memerlukan kehati-hatian karena multiple testing?
5. Mengapa autocorrelation spasial tidak sama dengan causal spillover?

13.19 Hubungan dengan Capstone Project

Project M5 menyatukan bukti heterogenitas regional dari clustering/PCA dan/atau analisis spasial sesuai pertanyaan. Jika struktur spasial relevan, minimal lakukan audit neighborhood dan satu sensitivity analysis. Peta tidak boleh menjadi dekorasi; ia harus menjawab pertanyaan substantif.

13.20 Kesimpulan

Regional data science membutuhkan areal thinking. Untuk indikator kabupaten/kota, polygon, neighborhood, spatial lag, global Moran, dan Local Moran memberi kerangka yang lebih tepat daripada sekadar plot titik. Analisis tetap harus menjaga batas inferensi: pola spasial adalah evidence tentang struktur, bukan otomatis evidence tentang sebab.

13.21 Pendalaman Magister — Areal Spatial Reasoning

13.21.1 Audit metodologis

1. Apakah geometry dan outcome berada pada unit administratif yang sama?
2. Apakah CRS dan vintage boundary telah diverifikasi?
3. Apakah join menggunakan kode wilayah dan seluruh unmatched record diaudit?
4. Apakah definisi $W$ memiliki justifikasi substantif?
5. Apakah inference global menggunakan randomization/permutation check?
6. Apakah Local Moran dibaca sebagai screening dan bukan causal cluster?
7. Apakah MAUP serta ecological fallacy dinyatakan secara eksplisit?

13.21.2 Pertanyaan Viva

1. Mengapa data kabupaten/kota disebut areal data?
2. Apa yang berubah ketika definisi neighborhood diubah dari intersection menjadi proximity 10 km?
3. Bagaimana membaca Moran scatterplot?
4. Apa perbedaan global Moran dan Local Moran?
5. Kapan spatial autocorrelation seharusnya memengaruhi desain model prediktif?

14 Model Comparison, Uncertainty, Fairness, dan Evaluasi Kebijakan

14.1 Pendahuluan

Model terbaik bukan selalu model dengan metric agregat paling kecil. Keputusan regional membutuhkan evaluasi robustness, uncertainty, subgroup performance, fairness, dan konsekuensi operasional. Model card adalah salah satu cara mendokumentasikan intended use, metric, keterbatasan, dan kelompok kinerja. (Mitchell dkk. 2019)

14.2 Tujuan Pembelajaran

Mahasiswa mampu membandingkan model pada metric yang relevan, menganalisis residual/subgroup, melakukan sensitivity analysis sederhana, dan menyusun model card.

14.3 Definisi dan Konsep

Robustness adalah kestabilan kesimpulan terhadap perubahan data/model yang wajar. Fairness di konteks regional berarti memeriksa apakah error sistematis lebih besar pada kelompok wilayah tertentu. Hal ini bukan sekadar masalah teknis; definisi fairness terkait tujuan program.

14.4 Formulasi Matematis

Perbedaan error antargrup:

$$\Delta_{MAE}=MAE_A-MAE_B.$$

Coverage interval prediksi:

$$Coverage=\frac{1}{n}\sum_{i=1}^{n} I(L_i\le y_i\le U_i),$$

dengan $[L_i,U_i]$ interval prediksi. Coverage nominal 95% idealnya mendekati 0,95 pada data yang relevan.

14.4.1 Perbandingan model sebagai estimasi ketidakpastian

Jika $m_{bk}$ adalah nilai metrik model $k$ pada resample $b=1,\dots,B$, rata-rata dan standard error resampling: $$\bar m_k=\frac{1}{B}\sum_{b=1}^{B}m_{bk},\qquad SE(\bar m_k)=\frac{s_{m_k}}{\sqrt B}.$$ Selisih kecil dibanding variability resampling tidak layak diperlakukan sebagai bukti bahwa satu model “pasti terbaik”. Pertimbangkan kesederhanaan, interpretability, latency, fairness, dan data requirements. (Kuhn dan Silge 2022)

14.4.2 Bootstrap untuk uncertainty

Ambil $B$ bootstrap samples dan hitung statistic $\hat\theta^{*(b)}$. Bootstrap standard error: $$\widehat{SE}_{boot}(\hat\theta)=\sqrt{\frac{1}{B-1}\sum_{b=1}^{B}(\hat\theta^{*(b)}-\bar\theta^{*})^2}.$$ Bootstrap dapat diterapkan pada koefisien, ranking, atau metrik model, dengan resampling scheme yang menghormati struktur panel/spasial jika diperlukan.

14.4.3 Ranking stability

Jika $r_i^{(a)}$ dan $r_i^{(b)}$ adalah ranking wilayah di dua skenario bobot/model, Spearman rank correlation: $$\rho_s=1-\frac{6\sum_i d_i^2}{n(n^2-1)},\qquad d_i=r_i^{(a)}-r_i^{(b)}.$$ Jika daftar “10 wilayah prioritas” berubah drastis karena sedikit perubahan bobot, rekomendasi harus dilaporkan sebagai tidak stabil.

14.4.4 Fairness metrics

Untuk protected/context group $A$:

Demographic parity difference $$DP=P(\hat Y=1\mid A=a)-P(\hat Y=1\mid A=b).$$

Equal opportunity difference $$EO=P(\hat Y=1\mid Y=1,A=a)-P(\hat Y=1\mid Y=1,A=b).$$

Tidak ada satu fairness metric yang selalu tepat; kriteria dapat saling bertentangan dan konteks hukum/etik menentukan apa yang relevan. Dalam regional policy, group dapat berupa urban/rural, pulau/kawasan, atau kategori kapasitas fiskal—tetapi penggunaan kategori harus punya dasar substantif dan tidak menstigmatisasi. (Hardt, Price, dan Srebro 2016)

14.4.5 Calibration dan decision curve sederhana

Jika benefit intervensi dan cost berbeda, net benefit pada threshold $t$ dapat ditulis secara sederhana: $$NB(t)=\frac{TP(t)}{n}-\frac{FP(t)}{n}\frac{t}{1-t}.$$ Rumus berasal dari decision-analytic framing tertentu dan tidak otomatis berlaku untuk semua kebijakan; gunakan sebagai contoh bahwa threshold harus dihubungkan dengan trade-off keputusan.

14.4.6 Dari prediction ke policy evaluation: Difference-in-Differences

Jika ada treated group $D=1$ dan control $D=0$, sebelum ($t=0$) dan sesudah ($t=1$), estimand DID: $$\widehat\tau_{DID}=(\bar Y_{1,post}-\bar Y_{1,pre})-(\bar Y_{0,post}-\bar Y_{0,pre}).$$ Regresi: $$Y_{it}=\alpha+\beta D_i+\gamma Post_t+\tau(D_i\times Post_t)+\varepsilon_{it}.$$ Interpretasi kausal membutuhkan asumsi parallel trends dan desain yang kredibel. DID dimasukkan untuk menunjukkan perbedaan antara “memprediksi outcome” dan “mengevaluasi apakah kebijakan menyebabkan perubahan”. (Callaway dan Sant’Anna 2021; Hernán dan Robins 2020)

14.5 Intuisi Metode

Model yang rata-rata bagus bisa buruk untuk daerah berpenduduk kecil atau data terbatas. Jika model digunakan untuk alokasi bantuan, error tidak merata dapat memperkuat ketimpangan.

14.5.1 Worked Example — model difference relative to uncertainty

Model A RMSE fold: 2.1,2.2,2.0,2.4,2.3 → mean 2.20. Model B: 2.05,2.18,1.98,2.36,2.28 → mean 2.17. Selisih 0.03 sangat kecil dibanding variasi antar-fold. Menyebut B “jauh lebih baik” tidak didukung. Pertimbangkan paired resample differences dan simplicity.

14.5.2 Bootstrap ranking

Untuk setiap bootstrap $b$, hitung score/ranking wilayah. Untuk wilayah $i$, laporkan median rank dan interval percentile: $$CI_{rank,i}=[Q_{0.025}(r_i^*),Q_{0.975}(r_i^*)].$$ Jika wilayah ranking 8 memiliki interval 3–19, penetapan cut-off “top 10” harus hati-hati.

14.5.3 Fairness numeric

Group urban: TPR=0.90; rural: TPR=0.65. Equal opportunity difference urban–rural=0.25. Ini memberi sinyal model lebih sering melewatkan prioritas rural. Penyebab dapat berasal dari data quality, feature availability, label process, atau heterogeneity; fairness diagnostic bukan diagnosis penyebab.

14.5.4 DID numeric

Treated outcome: pre 60, post 75 → +15. Control: pre 58, post 65 → +7. $$\widehat\tau_{DID}=15-7=8.$$ Interpretasi kausal memerlukan parallel trends dan tidak adanya perubahan berbeda lain yang confound treatment timing. Uji/plot pre-trends penting, dan modern DID perlu memperhatikan staggered adoption. (Callaway dan Sant’Anna 2021)

14.5.5 Robustness matrix

Analytic choice	Base	Alternative	Result stable?
weights index	0.5/0.3/0.2	equal weights	yes/no
split	temporal	grouped region	yes/no
model	RF	ridge/logit	yes/no
W spatial	queen	kNN	yes/no
missing	complete case	imputation/sensitivity	yes/no

Capstone harus menyimpulkan bukan hanya “hasil”, tetapi set of results that survive reasonable alternatives.

14.5.6 Uncertainty hierarchy

Bedakan: 1. sampling uncertainty; 2. measurement error; 3. model uncertainty; 4. hyperparameter uncertainty; 5. scenario/weight uncertainty; 6. structural uncertainty tentang mekanisme regional.

CI koefisien hanya menangkap sebagian dari daftar tersebut. Kebijakan berbasis data harus menghindari false precision.

14.6 Contoh dengan Data Simulasi

panel <- read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE)
train <- panel |> filter(tahun <= 2023)
test <- panel |> filter(tahun >= 2024)
fit <- lm(kemiskinan_persen ~ pdrb_perkapita_juta + tpt_persen + internet_persen + ipm, data = train)
ev <- test |> mutate(pred = predict(fit, newdata = test), abs_err = abs(kemiskinan_persen-pred))

ev |>
  group_by(urban) |>
  summarise(n=n(), MAE=mean(abs_err), RMSE=sqrt(mean((kemiskinan_persen-pred)^2))) |>
  knitr::kable(digits=3, caption="Kinerja model menurut tipe wilayah - simulasi")

Table 14.1: Kinerja model menurut tipe wilayah - simulasi

urban	n	MAE	RMSE
0	22	1.343	1.611
1	32	0.927	1.259

14.6.1 Visualisasi Output: Error menurut Tipe Wilayah

ev |>
  dplyr::group_by(urban) |>
  dplyr::summarise(MAE = mean(abs_err), .groups = "drop") |>
  dplyr::mutate(tipe = ifelse(urban == 1, "Urban", "Non-urban")) |>
  ggplot2::ggplot(ggplot2::aes(tipe, MAE, fill = tipe)) +
  ggplot2::geom_col(show.legend = FALSE) +
  ggplot2::scale_fill_manual(values = c("Urban" = "#145B8C", "Non-urban" = "#C99A17")) +
  ggplot2::labs(title = "MAE menurut tipe wilayah — simulasi", x = NULL, y = "MAE")

14.7 Contoh dengan Data Nyata

Pada INDO-DAPOER atau Open Data Jabar, subgroup dapat dibentuk dari status kota/kabupaten, quantile populasi, zona geografis, atau kategori berbasis teori. Hindari menciptakan subgroup kecil yang membuat metric sangat tidak stabil.

Kartu dataset real.

• Nama: INDO-DAPOER atau Open Data Jawa Barat untuk audit subgroup dan robustness.
• Sumber dan URL: INDO-DAPOER https://datacatalog.worldbank.org/search/dataset/0041056/indonesia-database-for-policy-and-economic-research; Open Data Jabar https://opendata.jabarprov.go.id/.
• Tahun: sesuai analytic sample; semua subgroup harus berasal dari periode dan definisi yang kompatibel.
• Unit observasi: wilayah–tahun atau wilayah pada satu tahun.
• Variabel/definisi: outcome/prediction, residual/error, status kabupaten/kota atau subgroup berbasis ukuran/populasi/geografi; subgroup harus didefinisikan sebelum melihat hasil jika digunakan untuk evaluasi formal.
• Alasan digunakan: memperlihatkan bahwa average performance dapat menyembunyikan error tinggi pada jenis wilayah tertentu.
• Keterbatasan: subgroup kecil menghasilkan metric tidak stabil; fairness statistik tidak identik dengan keadilan kebijakan dan perlu interpretasi institusional. (World Bank 2026; Pemerintah Provinsi Jawa Barat 2026)

14.8 Analisis Menggunakan R

# Sensitivitas ranking prioritas terhadap bobot indikator.
latest <- panel |> filter(tahun == 2025)
rank_a <- latest |>
  mutate(score = .6*as.numeric(scale(kemiskinan_persen)) + .4*as.numeric(scale(tpt_persen))) |>
  arrange(desc(score)) |>
  mutate(rank_a = row_number())
rank_b <- latest |>
  mutate(score = .4*as.numeric(scale(kemiskinan_persen)) + .3*as.numeric(scale(tpt_persen)) - .3*as.numeric(scale(ipm))) |>
  arrange(desc(score)) |>
  mutate(rank_b = row_number())
left_join(rank_a |> select(wilayah, rank_a), rank_b |> select(wilayah, rank_b), by="wilayah") |>
  mutate(delta_rank = rank_b-rank_a) |>
  arrange(desc(abs(delta_rank))) |>
  head(10) |>
  knitr::kable()

wilayah	rank_a	rank_b	delta_rank
Wilayah_21	15	3	-12
Wilayah_14	11	22	11
Wilayah_27	17	9	-8
Wilayah_26	5	11	6
Wilayah_25	13	19	6
Wilayah_24	8	13	5
Wilayah_07	1	5	4
Wilayah_01	19	15	-4
Wilayah_10	21	25	4
Wilayah_08	24	20	-4

14.9 Paket Output Evaluasi Model Lengkap

d14 <- readr::read_csv("data/simulasi_panel_regional.csv", show_col_types=FALSE) |>
  dplyr::filter(tahun==2025)
set.seed(260814)
s14 <- rsample::initial_split(d14, prop=.8)
tr14 <- rsample::training(s14); te14 <- rsample::testing(s14)

lm14 <- stats::lm(kemiskinan_persen ~ pdrb_perkapita_juta+tpt_persen+ipm+internet_persen+umkm_per_1000, data=tr14)
rf14 <- ranger::ranger(kemiskinan_persen ~ pdrb_perkapita_juta+tpt_persen+ipm+internet_persen+umkm_per_1000, data=tr14, num.trees=500, seed=260814)

pred14 <- dplyr::bind_rows(
  tibble::tibble(actual=te14$kemiskinan_persen, pred=predict(lm14,newdata=te14), model="Linear"),
  tibble::tibble(actual=te14$kemiskinan_persen, pred=predict(rf14,data=te14)$predictions, model="Random forest")
) |> dplyr::mutate(error=pred-actual)

metric14 <- pred14 |> dplyr::group_by(model) |>
  dplyr::summarise(RMSE=sqrt(mean(error^2)), MAE=mean(abs(error)), Bias=mean(error), P90_AbsError=quantile(abs(error),.90), .groups="drop")
knitr::kable(metric14, digits=3, caption="Perbandingan metric utama dan tail error")

Table 14.2: Perbandingan metric utama dan tail error

model	RMSE	MAE	Bias	P90_AbsError
Linear	1.171	1.032	-0.993	1.626
Random forest	0.954	0.821	-0.800	1.349

ggplot2::ggplot(pred14, ggplot2::aes(error, fill=model)) +
  ggplot2::geom_density(alpha=.35) + ggplot2::geom_vline(xintercept=0,linetype=2) +
  ggplot2::labs(title="Distribusi error holdout", x="Prediction error", fill="Model")

worst14 <- pred14 |> dplyr::group_by(model) |> dplyr::slice_max(abs(error), n=5, with_ties=FALSE) |> dplyr::ungroup()
knitr::kable(worst14, digits=3, caption="Lima error absolut terbesar per model")

Table 14.3: Lima error absolut terbesar per model

actual	pred	model	error
11.637	9.856	Linear	-1.781
10.966	9.495	Linear	-1.471
10.098	8.929	Linear	-1.169
11.810	10.715	Linear	-1.095
9.444	8.887	Linear	-0.557
11.637	9.994	Random forest	-1.643
10.966	9.911	Random forest	-1.055
9.444	8.495	Random forest	-0.949
11.810	11.166	Random forest	-0.644
10.098	9.528	Random forest	-0.570

14.10 Interpretasi dalam Konteks Regional

Jika prioritas berubah drastis hanya karena bobot sedikit berubah, sistem ranking rapuh. Kebijakan sebaiknya menampilkan tier atau range, bukan ranking presisi 1-27 yang memberi kesan kepastian palsu.

14.11 Latihan

1. Apa beda robustness dan accuracy?
2. Mengapa subgroup evaluation penting untuk kebijakan regional?
3. Apa isi minimum model card?
4. Analisis: hitung MAE per kuartil kemiskinan.
5. Analisis: lakukan sensitivity ranking dengan tiga skema bobot.
6. Mini-case: model sedikit lebih akurat tetapi error meningkat besar di wilayah tertinggal. Putuskan apakah model dipakai dan jelaskan governance-nya.

14.11.1 Aktivitas Partisipasi — Robustness dan Model Card (berjalan)

Lakukan robustness audit capstone: minimal dua skenario bobot/fitur, satu alternatif resampling/model, satu fairness slice, dan satu uncertainty summary. Buat tabel “temuan yang stabil” vs “temuan yang sensitif”.

14.11.2 Latihan Formatif — Robustness, Fairness, dan Policy Evaluation (non-sumatif)

Kisi-kisi: k-means objective; silhouette; PCA; Moran’s I; spatial weights; bootstrap SE; rank stability; fairness metric; calibration; prediction vs policy evaluation; DID intuition.

14.12 Hubungan dengan Capstone Project

Milestone evaluasi: tim menyertakan tabel comparison, subgroup check, sensitivity analysis, dan model card 1 halaman.

14.13 Kesimpulan

Evaluasi model adalah evaluasi risiko keputusan. Metric agregat harus dilengkapi robustness, subgroup performance, uncertainty, dan keterbatasan penggunaan.

14.14 Pendalaman Magister — Robustness, fairness, dan policy evaluation

14.14.1 Audit metodologis

1. Model winner ditentukan dari selisih trivial.
2. Ranking uncertainty tidak dilaporkan.
3. Fairness metric dipilih tanpa konteks.
4. Subgroup kecil dinilai terlalu pasti.
5. Did dipakai tanpa parallel trends.
6. Prediction disamakan dengan evaluation.

14.14.2 Pertanyaan viva / diskusi kelas

1. Apa practical significance selisih metric?
2. Bagaimana bootstrap membantu ranking?
3. Apa konflik fairness criteria?
4. Mengapa stability penting sebelum top-k policy?
5. Apa estimand DID?
6. Bagaimana membedakan model uncertainty dan policy uncertainty?

15 Data Science for Regional Policy, Dashboard, dan Generative AI yang Bertanggung Jawab

15.1 Pendahuluan

Tahap akhir analisis adalah mengubah bukti menjadi opsi kebijakan. Rekomendasi yang baik menunjukkan evidence chain: masalah → data → hasil → ketidakpastian → opsi → konsekuensi. Generative AI dapat mempercepat coding dan dokumentasi, tetapi juga dapat menghasilkan kode salah, referensi fiktif, atau interpretasi terlalu percaya diri. (Miao dan Holmes 2023; Tabassi 2023)

15.2 Tujuan Pembelajaran

Mahasiswa mampu menyusun policy insight, membedakan temuan dan rekomendasi, membuat dashboard ringkas, menggunakan GenAI secara transparan, dan mendokumentasikan verifikasi.

15.3 Definisi dan Konsep

Evidence-based policy bukan berarti keputusan dibuat oleh model. Bukti adalah input bersama nilai publik, hukum, anggaran, political feasibility, local knowledge, dan equity. AI berperan sebagai assistant, bukan otoritas epistemik.

Penggunaan GenAI yang diperbolehkan: menjelaskan dokumentasi package, menghasilkan skeleton kode, debugging, membuat alternatif visual, merapikan dokumentasi, dan brainstorming interpretasi awal. Kewajiban mahasiswa: memeriksa kode, memvalidasi output, membaca sumber asli, menguji asumsi, menghapus data sensitif, dan mendeklarasikan penggunaan AI.

15.4 Formulasi Matematis

Untuk keputusan berbasis expected loss, secara konseptual pilih tindakan $a$ yang meminimalkan

$$a^*=\arg\min_a E[L(a,\theta)\mid D],$$

di mana $L(a,\theta)$ adalah loss dari tindakan $a$ ketika keadaan sebenarnya $\theta$, dan $D$ adalah bukti/data. Formula ini menekankan bahwa keputusan bergantung pada loss/konsekuensi, bukan hanya prediksi.

15.4.1 Dari model output ke keputusan multi-kriteria

Jika kebijakan mempertimbangkan $p$ kriteria, score sederhana: $$S_i=\sum_{j=1}^{p}w_j z_{ij},\qquad \sum_jw_j=1.$$ Tetapi jika model menghasilkan risk probability $\hat p_i$, score kebijakan dapat menggabungkan risiko dan feasibility: $$Q_i=w_r\hat p_i+w_fF_i+w_eE_i,$$ dengan $F_i$ feasibility dan $E_i$ equity score. Persamaan ini bukan resep universal; tujuannya memperlihatkan bahwa transisi model→policy memerlukan pilihan eksplisit yang dapat diaudit.

15.4.2 Expected utility dan constrained prioritization

Jika intervensi $a_i\in\{0,1\}$, benefit ekspektasian $b_i$, biaya $c_i$, anggaran $B$: $$\max_{a_i}\sum_i a_i b_i \quad \text{s.t.}\quad \sum_i a_i c_i\le B.$$ Ini adalah bentuk knapsack/optimization sederhana. Model prediksi dapat membantu memperkirakan $b_i$ atau risiko, tetapi alokasi akhir tetap constrained decision problem.

15.4.3 Dashboard metrics dan denominator discipline

Jika dashboard menampilkan KPI, setiap KPI harus memiliki definisi matematis. Misalnya coverage: $$Coverage=\frac{\text{beneficiaries reached}}{\text{target population}}\times100\%.$$

Change vs target: $$Gap_t=x_t-T_t.$$

Percent target achievement (untuk target positif): $$Achievement_t=\frac{x_t}{T_t}\times100\%.$$ Hindari persentase bila denominator nol/tidak stabil. Dashboard harus menampilkan sumber, periode, update time, dan status data.

15.4.4 Protokol validasi output Generative AI

Setiap keluaran AI yang memengaruhi analisis melewati empat lapis verifikasi:

$$V=V_{source}\times V_{code}\times V_{result}\times V_{interpretation},$$ di mana setiap $V_\cdot\in\{0,1\}$ pada checklist minimum. Jika salah satu nol, artefak belum layak dipakai. Ini bukan probabilistic score, tetapi process-control device.

• $V_{source}=1$: sumber/URL/metadata dicek langsung.
• $V_{code}=1$: kode dijalankan dan unit-tested secara minimal.
• $V_{result}=1$: hasil dibandingkan dengan sanity check/baseline.
• $V_{interpretation}=1$: klaim substantif diperiksa terhadap definisi data dan teori.

UNESCO menekankan pendekatan human-centred dan validasi etis-pedagogis untuk GenAI; NIST AI RMF mendorong governance, mapping, measurement, dan management risiko AI. (Miao dan Holmes 2023; Tabassi 2023; Autio dkk. 2024)

15.4.5 AI-use declaration minimum

Untuk setiap project, simpan tabel:

Elemen	Isi minimum
Tool/model	nama layanan/model bila diketahui
Tanggal	kapan digunakan
Tujuan	dokumentasi, debugging, ide visualisasi, dsb.
Prompt category	ringkasan, bukan data sensitif mentah
Output used	bagian apa yang benar-benar digunakan
Verification	bagaimana kode/sumber/hasil diverifikasi
Human revision	perubahan substansial yang dilakukan mahasiswa

Data personal, data rahasia, atau data dengan pembatasan lisensi tidak boleh ditempelkan ke layanan AI publik tanpa dasar dan izin yang sesuai.

15.4.6 Reproducibility sebagai kontrak ilmiah

Analisis yang reproducible dapat dipandang sebagai fungsi $$Output=F(Data,Code,Parameters,Environment).$$ Jika salah satu komponen tidak tersedia atau berubah tanpa dokumentasi, output tidak dapat diaudit. Catat sessionInfo(), seed, package versions, sumber data, dan semua parameter preprocessing/model.

15.5 Intuisi Metode

Model dapat memberi probabilitas desa rentan 0,72. Kebijakan tetap harus menjawab: kapasitas verifikasi berapa, biaya salah sasaran berapa, data apa yang sensitif, siapa yang dapat mengajukan koreksi, dan kapan model ditinjau ulang.

15.5.1 Worked Example — constrained allocation

Empat wilayah memiliki expected benefit $(50,40,35,30)$ dan cost $(30,20,20,10)$ juta; budget 50. Memilih dua benefit terbesar A+B membutuhkan 50 dan benefit 90. Kombinasi A+D cost 40 benefit 80; B+C cost 40 benefit 75; B+C+D cost 50 benefit 105. Maka ranking benefit individual tidak cukup; constraint menghasilkan portfolio berbeda.

Ini memperjelas transisi dari risk prediction ke decision optimization. Model dapat menghasilkan risk/benefit estimate, tetapi resource allocation membutuhkan fungsi objective dan constraints.

15.5.2 Policy recommendation ladder

Gunakan lima tingkat klaim:

1. Observed: “TPT lebih tinggi di kelompok X pada data ini.”
2. Associated: “TPT berasosiasi dengan Y setelah conditioning model.”
3. Predicted: “Model memprediksi risiko tinggi pada wilayah Z.”
4. Causal: “Intervensi A menyebabkan perubahan B”—butuh design causal.
5. Recommended: “Lakukan A”—butuh evidence + feasibility + value judgment.

Jangan melompat dari tingkat 1–3 langsung ke 5 tanpa penjelasan tambahan.

15.5.3 Dashboard minimum viable architecture

Dashboard kebijakan sebaiknya memiliki empat layer: overview → comparison → drill-down → methodology. Overview menampilkan 3–5 KPI; comparison memungkinkan lintas wilayah/waktu; drill-down menampilkan profile; methodology menjelaskan source, formula, update, dan limitation.

15.5.4 Data freshness

Jika data terakhir tahun $t_d$ dan dashboard dibuka tahun $t_c$, lag: $$Lag=t_c-t_d.$$ KPI dengan lag besar harus diberi badge “historical”/“latest available”, bukan ditampilkan seolah real-time. INDO-DAPOER berhenti 2018 sehingga cocok untuk latihan historis dan bukan kondisi terkini. (World Bank 2026)

15.5.5 AI verification example

AI menyarankan scale() sebelum split. Mahasiswa harus mengoreksi karena leakage. AI mengutip dataset “BPS Innovation Index 2025” yang tidak ditemukan: source verification gagal. AI menulis interpretasi “internet menurunkan kemiskinan”: interpretation verification gagal karena model hanya asosiasional. Contoh ini menunjukkan kode yang syntactically plausible tetap dapat salah secara ilmiah.

15.5.6 R log untuk AI use

ai_log <- tibble::tribble(
 ~tanggal, ~tool, ~tujuan, ~output_used, ~verification,
 "2026-09-15", "Generative AI", "debug join", "saran anti_join", "dicek pada toy data dan dokumentasi dplyr",
 "2026-10-01", "Generative AI", "draft caption", "struktur caption", "angka dan klaim diverifikasi dari output sendiri"
)
knitr::kable(ai_log, caption="Contoh AI-use log")

Table 15.1: Contoh AI-use log

tanggal	tool	tujuan	output_used	verification
2026-09-15	Generative AI	debug join	saran anti_join	dicek pada toy data dan dokumentasi dplyr
2026-10-01	Generative AI	draft caption	struktur caption	angka dan klaim diverifikasi dari output sendiri

15.5.7 Policy memo quality test

Setiap recommendation harus bisa ditelusuri ke evidence. Gunakan format: Temuan → interpretasi → opsi → rekomendasi → indikator monitoring → caveat. Jika satu rekomendasi tidak memiliki evidence chain, hapus atau ubah menjadi hipotesis untuk penelitian berikutnya.

15.6 Contoh dengan Data Simulasi

latest <- read_csv("data/simulasi_panel_regional.csv", show_col_types = FALSE) |>
  filter(tahun == 2025) |>
  mutate(
    prioritas = case_when(
      kemiskinan_persen >= quantile(kemiskinan_persen,.75) & internet_persen < median(internet_persen) ~ "Inklusi digital + perlindungan sosial",
      tpt_persen >= quantile(tpt_persen,.75) & pdrb_perkapita_juta > median(pdrb_perkapita_juta) ~ "Matching tenaga kerja-industri",
      TRUE ~ "Monitoring / intervensi sektoral"
    )
  )
latest |> count(prioritas) |> knitr::kable(caption="Contoh penerjemahan pola menjadi opsi intervensi - simulasi")

Table 15.2: Contoh penerjemahan pola menjadi opsi intervensi - simulasi

prioritas	n
Inklusi digital + perlindungan sosial	7
Matching tenaga kerja-industri	5
Monitoring / intervensi sektoral	15

15.6.1 Visualisasi Output: Portofolio Strategi Regional

latest |>
  dplyr::count(prioritas) |>
  ggplot2::ggplot(ggplot2::aes(reorder(prioritas, n), n)) +
  ggplot2::geom_col(fill = "#145B8C") +
  ggplot2::coord_flip() +
  ggplot2::labs(title = "Distribusi opsi intervensi — simulasi", x = NULL, y = "Jumlah wilayah")

15.7 Contoh dengan Data Nyata

Untuk dashboard Jawa Barat, sumber data dapat berasal dari Open Data Jabar/BPS; dashboard harus menampilkan tahun data, sumber, status angka, dan definisi indikator pada tooltip/metadata. Jangan mencampur indikator 2025 dan 2022 dalam satu “snapshot 2025” tanpa label.

Kartu dataset real.

• Nama: Open Data Jawa Barat—contoh TPT, kemiskinan, populasi, dan UMKM untuk policy dashboard.
• Sumber dan URL: portal Open Data Jawa Barat https://opendata.jabarprov.go.id/; halaman dataset spesifik dicatat pada data/katalog_data_real.csv.
• Tahun: berbeda antarindikator (mis. TPT 2007–2024; kemiskinan 2002–2025; populasi 2010–2025; UMKM 2016–2023).
• Unit observasi: kabupaten/kota–tahun.
• Variabel/definisi: kode/nama wilayah, nilai indikator, satuan, tahun; setiap tooltip/dashboard wajib menampilkan definisi dan tahun sumber.
• Alasan digunakan: data terbaru relatif mudah diakses dan relevan untuk stakeholder regional Jawa Barat.
• Keterbatasan: vintage tidak seragam dan status angka dapat berbeda (observasi/proyeksi); dashboard tidak boleh menyamarkan perbedaan tersebut sebagai satu snapshot yang seragam. (Pemerintah Provinsi Jawa Barat 2026)

15.8 Analisis Menggunakan R

map_policy <- latest
leaflet::leaflet(map_policy) |>
  leaflet::addProviderTiles("CartoDB.Positron") |>
  leaflet::addCircleMarkers(~longitude, ~latitude, radius = 6,
    popup = ~paste0("<b>", wilayah, "</b><br>", prioritas))

15.8.1 Protokol penggunaan Generative AI

Gunakan tabel log berikut untuk project:

Elemen	Contoh isi
Tool/model	Nama layanan/model yang digunakan
Tanggal	YYYY-MM-DD
Tujuan	Debugging pivot_longer() / ide visualisasi / dokumentasi
Ringkasan prompt	Bukan data rahasia; cukup ringkas tujuan
Output yang dipakai	Fungsi/kode/paragraf apa yang diadaptasi
Verifikasi	Dibandingkan dokumentasi resmi, unit test, cek hasil manual
Modifikasi manusia	Perubahan yang dilakukan mahasiswa

Tidak diperbolehkan: membuat sumber/referensi fiktif, mengunggah data individual rahasia tanpa izin, menyalin interpretasi AI tanpa pemeriksaan, atau menyembunyikan penggunaan AI ketika berkontribusi substantif pada produk akhir.

15.9 Interpretasi dalam Konteks Regional

Policy recommendation perlu memiliki tingkat kepastian yang sebanding dengan bukti. Gunakan bahasa “data menunjukkan asosiasi/pola”, “model memprediksi”, atau “hasil mendukung prioritas eksplorasi”, bukan klaim sebab-akibat yang tidak didukung desain.

15.10 Latihan

1. Apa beda evidence-based dan model-based policy?
2. Mengapa AI output harus diverifikasi ke dokumentasi resmi?
3. Apa yang harus dilaporkan dalam AI-use declaration?
4. Analisis: ubah tiga temuan statistik menjadi rekomendasi SMART yang masih menyebut keterbatasan.
5. Analisis: buat prototype dashboard dengan 3 KPI dan 2 filter.
6. Mini-case: AI menyarankan bahwa korelasi -0,7 membuktikan dampak program. Tulis koreksi metodologis dan cara mengecek klaim tersebut.

15.10.1 Project M6 — Policy & Dashboard Beta (4%)

Buat policy translation memo maksimum 2 halaman: tiga temuan, dua opsi kebijakan, satu rekomendasi, stakeholder, implementation risk, data limitation, dan indikator monitoring. Lampirkan screenshot/dashboard beta. Isi AI-use log bila AI digunakan.

15.10.2 Latihan Formatif Pertemuan 15 (non-sumatif)

1. Mengapa ranking model tidak otomatis menjadi ranking kebijakan?
   
2. Apa fungsi constraint anggaran dalam prioritization?
   
3. Apa empat lapis validasi output AI?
   
4. Informasi apa yang wajib muncul pada KPI dashboard?
   
5. Sebutkan data yang tidak layak ditempelkan ke layanan AI publik.

15.10.3 Partisipasi Checkpoint II — Policy Studio dan Peer Review (5%)

Checkpoint II menilai kualitas kontribusi pada policy studio, kemampuan memberi dan menindaklanjuti peer review, serta kemampuan mempertahankan keterlacakan evidence → recommendation.

15.11 Hubungan dengan Capstone Project

Minggu 15 adalah policy and communication gate: kelompok menyerahkan Project M6 berupa dashboard beta, policy memo 2 halaman, model card/monitoring KPI, dan AI-use log sementara.

15.12 Kesimpulan

Nilai sains data muncul ketika bukti diterjemahkan menjadi keputusan secara transparan. AI dapat mempercepat kerja, tetapi tanggung jawab ilmiah tetap berada pada analis manusia.

15.13 Pendalaman Magister — Policy translation dan responsible AI

15.13.1 Audit metodologis

1. Dashboard tanpa definisi kpi.
2. Data historical ditampilkan sebagai current.
3. Ai source tidak diverifikasi.
4. Kode ai berjalan tapi salah konsep.
5. Recommendation melampaui evidence.
6. Data sensitif dikirim ke layanan publik.

15.13.2 Pertanyaan viva / diskusi kelas

1. Apa perbedaan model score dan policy score?
2. Bagaimana budget constraint mengubah ranking?
3. Apa empat lapis AI verification?
4. Apa yang harus ada pada AI-use declaration?
5. Bagaimana data freshness ditampilkan?
6. Apa evidence chain untuk satu recommendation?

16 Final Project Presentation, UAS, dan Reproducibility Audit

16.1 Pendahuluan

Pertemuan akhir menguji dua hal berbeda: produk tim melalui presentasi capstone dan penguasaan individu melalui UAS/defense. Pemisahan ini mencegah keberhasilan kelompok menutupi ketidaksiapan individu.

16.2 Tujuan Pembelajaran

Mahasiswa mampu mempertahankan keputusan analitik, menjawab kritik, menunjukkan reproducibility, membedakan evidence dari asumsi, dan menyusun rekomendasi regional yang proporsional.

16.3 Definisi dan Konsep

Reproducibility audit memeriksa apakah data, kode, seed, dependency, dan output dapat ditelusuri. Replicability lebih luas dan berkaitan dengan apakah temuan serupa diperoleh dengan data/prosedur baru. Untuk mata kuliah ini, fokus minimum adalah reproducibility.

16.4 Formulasi Matematis

Tidak ada formula baru. Mahasiswa harus mampu menjelaskan kembali metric/model yang digunakan pada project, termasuk unit outcome dan arti koefisien/probabilitas/cluster/metric.

16.4.1 Rubrik UAS sesuai RPS

Project adalah kerja kelompok, sedangkan UAS 20% mengukur penguasaan individual terhadap capstone melalui defense/synthesis. Penilaian mengikuti lima dimensi RPS berikut.

Dimensi	Bobot di dalam UAS
Analytical reasoning & ownership	30%
Justifikasi model dan validasi	25%
Interpretasi substantif & policy linkage	25%
Limitations, ethics, fairness, AI transparency	10%
Komunikasi dan respons terhadap pertanyaan	10%
Total	100% dari UAS = 20% MK

16.4.2 Reproducibility audit score

Gunakan checklist dengan komponen $c_j\in\{0,1\}$ dan bobot $w_j$: $$R=100\sum_{j=1}^{m}w_jc_j,\qquad \sum_jw_j=1.$$ Komponen minimum: data provenance, raw/processed separation, executable script, fixed seed, environment information, model object/parameter, generated tables/figures, AI declaration, dan README.

16.4.3 Contoh Bentuk Analytical Synthesis

Mahasiswa menerima satu mini-case atau cuplikan hasil analisis yang belum sempurna dan harus:

1. mengidentifikasi problem framing;
2. memilih/menilai metode;
3. membaca output/metric;
4. menemukan potensi leakage/bias;
5. menginterpretasikan secara regional;
6. mengusulkan satu perbaikan model dan satu perbaikan kebijakan.

Cakupan kasus dapat mengintegrasikan: problem→data→model→decision; ML/classification; clustering/PCA/spatial; validation dan uncertainty; policy linkage; serta responsible AI. Bobot tetap mengikuti rubrik UAS RPS di atas dan tidak dibuat menjadi skema penilaian baru.

16.4.4 Pertanyaan oral defense contoh

• “Mengapa Anda menggunakan kabupaten-tahun sebagai unit observasi?”
• “Apa yang terjadi pada hasil jika data tahun pandemi dikeluarkan?”
• “Mengapa threshold klasifikasi Anda 0,35 dan bukan 0,5?”
• “Apa baseline yang Anda kalahkan dan seberapa besar perbaikannya?”
• “Apakah feature importance dapat ditafsirkan sebagai pengaruh kausal? Mengapa?”
• “Bagaimana hasil berubah jika matriks tetangga memakai k-nearest neighbors?”
• “Bagian mana dari analisis yang dibantu Generative AI dan bagaimana diverifikasi?”

16.4.5 Standar final project package

Folder minimum:

capstone/
  README.md
  data_raw/            # bila lisensi mengizinkan
  data_processed/
  R/
    01_import.R
    02_clean.R
    03_eda.R
    04_model.R
    05_validate.R
    06_visualize.R
  report/
    final_report.Rmd
  dashboard/
  output/
  metadata/
    data_dictionary.csv
    provenance.csv
    ai_use_log.csv
  sessionInfo.txt

Final package dianggap berhasil jika dosen dapat mengikuti README dan meregenerasi tabel/grafik utama tanpa menebak langkah tersembunyi.

16.5 Intuisi Metode

Jika sebuah angka pada slide tidak dapat ditelusuri ke kode atau tabel sumber, angka tersebut belum siap menjadi bukti kebijakan. Audit trail adalah perlindungan terhadap kesalahan analitik dan ketergantungan berlebihan pada AI.

16.5.1 Contoh perhitungan nilai akhir

Mahasiswa memperoleh Project=84, Partisipasi=90, Kuis=80, Tugas=88, UTS=76, UAS=82. Nilai numerik: $$NA=0.30(84)+0.10(90)+0.10(80)+0.10(88)+0.20(76)+0.20(82).$$ $$NA=25.2+9+8+8.8+15.2+16.4=82.6.$$ Konversi ke huruf mengikuti ketentuan akademik program/universitas yang berlaku; e-book tidak menetapkan boundary huruf bila belum diberikan secara resmi.

16.5.2 Oral defense diagnostic

Oral defense bertujuan membedakan team product dan individual understanding. Dosen dapat memilih satu grafik, satu formula, satu code chunk, dan satu recommendation secara acak. Mahasiswa harus menjelaskan: - apa input dan output; - mengapa metode dipilih; - apa asumsi; - apa alternative; - apa keterbatasan; - bagaimana hasil memengaruhi keputusan.

16.5.3 Reproducibility audit practical test

Dosen/peer reviewer menjalankan project dari clean session. Failure modes umum:

1. absolute path lokal;
2. package tidak disebut;
3. data processed diedit manual;
4. seed tidak ditetapkan;
5. object dibuat interaktif tetapi tidak ada pada script;
6. dashboard membaca file di folder pribadi;
7. source URL hilang;
8. AI-generated function tidak terdokumentasi.

16.5.4 Final policy-defense question matrix

Pertanyaan	Bukti yang diharapkan
“Apa masalahnya?”	decision question dan stakeholder
“Mengapa data ini?”	metadata, representativeness, period
“Mengapa model ini?”	baseline comparison + validation
“Seberapa pasti?”	CV/bootstrap/sensitivity/calibration
“Apakah adil?”	subgroup analysis bila relevan
“Apakah spasial?”	map + W sensitivity jika dipakai
“Apa tindakan?”	recommendation traceable to findings
“Apa peran AI?”	AI-use log + verification

16.5.5 Final report architecture

1. Executive summary (1 halaman)
2. Problem and decision context
3. Data and provenance
4. Methods dengan formula/asumsi
5. EDA and regional evidence
6. Models and validation
7. Robustness/uncertainty/fairness
8. Spatial/segmentation evidence bila relevan
9. Policy options and recommendation
10. Limitations
11. Reproducibility and AI declaration
12. References + appendices

16.5.6 Kriteria “master-level”

Pekerjaan magister tidak ditentukan oleh jumlah algoritma. Standar yang diharapkan adalah argumentasi: mahasiswa mampu menjelaskan mengapa satu pilihan analitik lebih defensible daripada alternatif, mengukur uncertainty, mengenali asumsi yang rapuh, serta menahan diri dari klaim yang tidak didukung. Project dengan model sederhana tetapi argumentasi, validasi, dan policy translation kuat dapat lebih unggul daripada model kompleks yang tidak dipahami.

16.6 Contoh dengan Data Simulasi

# Contoh artefak audit sederhana.
files_needed <- c(
  "Sains_Data_Inovasi_Regional.Rmd",
  "references.bib",
  "data/simulasi_panel_regional.csv",
  "R/00_setup.R"
)
tibble(file = files_needed, tersedia = file.exists(files_needed)) |>
  knitr::kable(caption = "Contoh reproducibility checklist")

Table 16.1: Contoh reproducibility checklist

file	tersedia
Sains_Data_Inovasi_Regional.Rmd	TRUE
references.bib	TRUE
data/simulasi_panel_regional.csv	TRUE
R/00_setup.R	TRUE

16.6.1 Visualisasi Output: Reproducibility Status

audit_plot <- tibble::tibble(file = files_needed, tersedia = file.exists(files_needed))
ggplot2::ggplot(audit_plot, ggplot2::aes(reorder(file, tersedia), as.integer(tersedia), fill = tersedia)) +
  ggplot2::geom_col(show.legend = FALSE) +
  ggplot2::coord_flip() +
  ggplot2::scale_y_continuous(breaks = c(0,1), labels = c("Tidak", "Ya")) +
  ggplot2::scale_fill_manual(values = c("TRUE" = "#145B8C", "FALSE" = "#C99A17")) +
  ggplot2::labs(title = "Status artefak reproducibility", x = NULL, y = "Tersedia")

16.7 Contoh dengan Data Nyata

Untuk data open data, tim menyimpan URL sumber dan metadata, bukan mengklaim kepemilikan data. Bila lisensi membatasi redistribusi, repository menyimpan script download dan checksum/versi, bukan file mentah.

Kartu dataset real untuk final project.

• Nama: ditentukan tim dari BPS/Open Data Jawa Barat/data.go.id/World Bank/WHO/UNData; contoh minimum yang dapat direplikasi adalah TPT kabupaten/kota Jawa Barat.
• Sumber dan URL contoh: Open Data Jawa Barat/BPS, https://opendata.jabarprov.go.id/id/dataset/tingkat-pengangguran-terbuka-berdasarkan-kabupatenkota-di-jawa-barat.
• Tahun contoh: 2007–2024.
• Unit observasi contoh: kabupaten/kota–tahun.
• Variabel/definisi contoh: identitas wilayah, TPT (%), satuan, tahun. Untuk dataset tim, semua variabel harus ditulis dalam data dictionary beserta unit/denominator.
• Alasan digunakan: audit final menilai kemampuan mendokumentasikan dan mereplikasi data nyata, bukan sekadar menampilkan output yang sudah jadi.
• Keterbatasan: keterbatasan mengikuti dataset pilihan; tim wajib menyertakan lisensi, tanggal akses, checksum/versi bila relevan, dan instruksi download bila raw data tidak boleh didistribusikan. (Pemerintah Provinsi Jawa Barat 2026)

16.8 Analisis Menggunakan R

sessionInfo()

#> R version 4.5.1 (2025-06-13)
#> Platform: aarch64-apple-darwin20
#> Running under: macOS Sonoma 14.5
#> 
#> Matrix products: default
#> BLAS:   /Library/Frameworks/R.framework/Versions/4.5-arm64/Resources/lib/libRblas.0.dylib 
#> LAPACK: /Library/Frameworks/R.framework/Versions/4.5-arm64/Resources/lib/libRlapack.dylib;  LAPACK version 3.12.1
#> 
#> locale:
#> [1] en_US.UTF-8/en_US.UTF-8/en_US.UTF-8/C/en_US.UTF-8/en_US.UTF-8
#> 
#> time zone: Asia/Jakarta
#> tzcode source: internal
#> 
#> attached base packages:
#> [1] stats     graphics  grDevices utils     datasets  methods   base     
#> 
#> other attached packages:
#>  [1] httr2_1.2.3        jsonlite_2.0.0     leaflet_2.2.2      tmap_4.1          
#>  [5] spdep_1.3-13       spData_2.3.4       sf_1.0-21          factoextra_1.0.7  
#>  [9] cluster_2.1.8.1    ranger_0.17.0      yardstick_1.3.2    workflowsets_1.1.1
#> [13] workflows_1.3.0    tune_2.0.1         tailor_0.1.0       rsample_1.3.1     
#> [17] recipes_1.3.1      parsnip_1.4.1      modeldata_1.5.1    infer_1.1.0       
#> [21] dials_1.4.2        scales_1.4.0       tidymodels_1.4.1   broom_1.0.12      
#> [25] knitr_1.50         skimr_2.2.2        janitor_2.2.1      lubridate_1.9.5   
#> [29] forcats_1.0.1      stringr_1.6.0      dplyr_1.2.1        purrr_1.2.0       
#> [33] readr_2.2.0        tidyr_1.3.1        tibble_3.3.1       ggplot2_4.0.1     
#> [37] tidyverse_2.0.0   
#> 
#> loaded via a namespace (and not attached):
#>   [1] splines_4.5.1           leaflegend_1.2.1        hardhat_1.4.2          
#>   [4] XML_3.99-0.18           rpart_4.1.24            sparsevctrs_0.3.4      
#>   [7] lifecycle_1.0.5         rstatix_0.7.2           globals_0.18.0         
#>  [10] lattice_0.22-7          vroom_1.7.1             MASS_7.3-65            
#>  [13] crosstalk_1.2.1         backports_1.5.0         magrittr_2.0.4         
#>  [16] sass_0.4.10             rmarkdown_2.30          jquerylib_0.1.4        
#>  [19] yaml_2.3.10             otel_0.2.0              sp_2.2-0               
#>  [22] DBI_1.2.3               RColorBrewer_1.1-3      multcomp_1.4-28        
#>  [25] abind_1.4-8             spatialreg_1.3-6        nnet_7.3-20            
#>  [28] TH.data_1.1-3           rappdirs_0.3.3          sandwich_3.1-1         
#>  [31] ipred_0.9-15            lava_1.8.1              ggrepel_0.9.6          
#>  [34] listenv_0.10.0          terra_1.8-54            units_0.8-7            
#>  [37] parallelly_1.45.0       codetools_0.2-20        tidyselect_1.2.1       
#>  [40] raster_3.6-32           farver_2.1.2            base64enc_0.1-3        
#>  [43] cols4all_0.9            e1071_1.7-16            Formula_1.2-5          
#>  [46] survival_3.8-3          tools_4.5.1             Rcpp_1.1.0             
#>  [49] glue_1.8.0              prodlim_2025.04.28      xfun_0.54              
#>  [52] leaflet.providers_2.0.0 mgcv_1.9-3              withr_3.0.2            
#>  [55] fastmap_1.2.0           boot_1.3-31             digest_0.6.38          
#>  [58] timechange_0.4.0        R6_2.6.1                microbenchmark_1.5.0   
#>  [61] colorspace_2.1-2        wk_0.9.4                spacesXYZ_1.6-0        
#>  [64] LearnBayes_2.15.1       dichromat_2.0-0.1       utf8_1.2.6             
#>  [67] generics_0.1.4          data.table_1.18.2.1     class_7.3-23           
#>  [70] htmlwidgets_1.6.4       tmaptools_3.2           pkgconfig_2.0.3        
#>  [73] gtable_0.3.6            timeDate_4051.111       GPfit_1.0-9            
#>  [76] S7_0.2.1                furrr_0.3.1             htmltools_0.5.8.1      
#>  [79] carData_3.0-5           bookdown_0.43           png_0.1-8              
#>  [82] gower_1.0.2             snakecase_0.11.1        rstudioapi_0.17.1      
#>  [85] tzdb_0.5.0              coda_0.19-4.1           nlme_3.1-168           
#>  [88] repr_1.1.7              proxy_0.4-27            cachem_1.1.0           
#>  [91] zoo_1.8-15              KernSmooth_2.23-26      parallel_4.5.1         
#>  [94] s2_1.1.9                leafsync_0.1.0          pillar_1.11.1          
#>  [97] grid_4.5.1              logger_0.4.0            vctrs_0.7.3            
#> [100] ggpubr_0.6.1            car_3.1-3               lhs_1.2.0              
#> [103] evaluate_1.0.5          mvtnorm_1.3-3           cli_3.6.5              
#> [106] compiler_4.5.1          rlang_1.3.0             crayon_1.5.3           
#> [109] maptiles_0.10.0         future.apply_1.20.0     ggsignif_0.6.4         
#> [112] labeling_0.4.3          classInt_0.4-11         stringi_1.8.7          
#> [115] modelenv_0.2.0          viridisLite_0.4.2       deldir_2.0-4           
#> [118] stars_0.6-8             Matrix_1.7-3            hms_1.1.4              
#> [121] bit64_4.6.0-1           leafem_0.2.4            future_1.58.0          
#> [124] igraph_2.1.4            bslib_0.11.0            lwgeom_0.2-14          
#> [127] bit_4.6.0               DiceDesign_1.10

Checklist akhir repository:

1. README menjelaskan pertanyaan, data, cara menjalankan project.
2. data/raw tidak berisi data sensitif.
3. script cleaning terpisah dari analisis atau jelas urutannya.
4. seed dicatat pada proses acak.
5. output utama dapat dibuat ulang.
6. model metric dihitung pada holdout/resampling yang benar.
7. AI-use declaration tersedia.
8. keterbatasan dan risiko misuse ditulis.

16.9 Interpretasi dalam Konteks Regional

Presentasi final harus berakhir dengan opsi tindakan dan batas bukti, bukan dengan “akurasi model 87%”. Contoh penutup yang lebih substantif: “Model membantu menyaring 20% wilayah dengan risiko tertinggi, tetapi error lebih besar pada wilayah berdata jarang; karena itu rekomendasi kami adalah menggunakan model sebagai tahap screening yang diikuti verifikasi lapangan, bukan keputusan otomatis.”

16.10 Latihan

1. Bedakan reproducibility dan replicability.
2. Apa yang harus dilakukan jika hasil slide tidak cocok dengan output script terbaru?
3. Mengapa repository perlu mencatat versi package?
4. Analisis: minta rekan menjalankan ulang satu analisis tanpa instruksi verbal; catat titik yang gagal.
5. Analisis: buat model card final satu halaman.
6. Mini-case: setelah presentasi, stakeholder meminta ranking individu warga. Jelaskan apakah model level kabupaten dapat digunakan dan mengapa.

16.10.1 Project M7 — Final Reproducible Package (5%)

Serahkan paket final yang dapat direproduksi: Rmd/report, kode, instruksi data, tabel/figur utama, dashboard bila relevan, executive policy brief, deklarasi penggunaan AI, dan bahan presentasi.

16.10.2 Pelaksanaan UAS — Individual Analytical Synthesis & Defense (20%)

UAS terdiri dari analytical synthesis individual dan oral defense. Mahasiswa tidak dinilai dari hafalan syntax R, tetapi dari kemampuan menjelaskan keputusan analitik, membaca output, menemukan risiko validitas, dan menghubungkan hasil dengan keputusan regional.

16.10.3 Checklist Final Project Presentation

• masalah dan stakeholder jelas dalam ≤90 detik;
• sumber data dan periode disebutkan;
• satu diagram workflow;
• EDA menunjukkan disparitas yang relevan;
• baseline dan model utama dibandingkan;
• metrik dipilih sesuai target;
• uncertainty/sensitivity ditampilkan;
• rekomendasi tidak melampaui bukti;
• dashboard hanya menampilkan indikator yang terdefinisi;
• repository/package dapat direproduksi;
• penggunaan AI dideklarasikan.

16.11 Hubungan dengan Capstone Project

Milestone akhir: repository reproducible, dashboard/visual, policy memo, presentasi, dan defense. UAS individual menguji kemampuan menjelaskan metode serta mengkritik keterbatasan proyek.

16.12 Kesimpulan

Capstone yang baik dapat diaudit, direproduksi, dan dipertahankan secara substantif. Tujuan akhir bukan memamerkan algoritma, tetapi meningkatkan kualitas keputusan regional dengan bukti yang transparan.

Pendalaman Akhir: Synthesis, Reproducibility, dan Defense

Audit metodologis

1. Team product menutupi pemahaman individu.
2. File hanya berjalan di laptop pembuat.
3. Ai use tidak dideklarasikan.
4. Hasil utama tidak dapat diregenerasi.
5. Limitation disembunyikan.
6. Presentasi terlalu teknis tanpa decision implication.

Pertanyaan Viva / Diskusi Kelas

1. Bagaimana membuktikan project reproducible?
2. Apa keputusan analitik paling sulit?
3. Bagaimana hasil berubah pada skenario alternatif?
4. Apa satu klaim yang harus diturunkan karena bukti terbatas?
5. Bagaimana kontribusi AI diverifikasi?
6. Apa tindakan stakeholder besok pagi setelah membaca laporan?

Daftar Rumus Inti

Bagian ini berfungsi sebagai indeks cepat. Penjelasan, asumsi, dan contoh terdapat pada bab terkait.

Topik	Rumus inti
Weighted index	$S_i=\sum_jw_jz_{ij}$
Rate	$r=(a/b)k$
Growth	$g_t=(x_t-x_{t-1})/x_{t-1}$
Z-score	$z=(x-\bar x)/s$
Mean/variance	$\bar x=n^{-1}\sum x_i$, $s^2=(n-1)^{-1}\sum(x_i-\bar x)^2$
Correlation	$r=Cov(X,Y)/(s_Xs_Y)$
Gini	$G=2\sum i x_{(i)}/(n\sum x_i)-(n+1)/n$
OLS	$\hat\beta=(X'X)^{-1}X'y$
$R^2$	$1-SSE/SST$
VIF	$1/(1-R_j^2)$
RMSE	$\sqrt{n^{-1}\sum(y-\hat y)^2}$
MAE	$n^{-1}\sum|y-\hat y|$
Ridge	$SSE+\lambda\sum\beta_j^2$
Lasso	$SSE+\lambda\sum|\beta_j|$
Gini impurity	$1-\sum_kp_k^2$
RF regression	$B^{-1}\sum_b\hat f_b(x)$
Logistic	$p=e^\eta/(1+e^\eta)$
Sensitivity	$TP/(TP+FN)$
Precision	$TP/(TP+FP)$
F1	$2PR/(P+R)$
K-means	$\sum_k\sum_{i\in C_k}\|x_i-\mu_k\|^2$
Silhouette	$(b-a)/\max(a,b)$
PCA eigen	$Sv_k=\lambda_kv_k$
PVE	$\lambda_k/\sum_j\lambda_j$
Moran’s I	$\frac{n}{S_0}\frac{\sum_{ij}w_{ij}z_iz_j}{\sum_i z_i^2}$
Bootstrap SE	$\sqrt{(B-1)^{-1}\sum_b(\theta_b^*-\bar\theta^*)^2}$
DID	$(\bar Y_{T,post}-\bar Y_{T,pre})-(\bar Y_{C,post}-\bar Y_{C,pre})$

Glosarium Sains Data Regional

Istilah	Definisi operasional dalam mata kuliah
Analytical question	pertanyaan yang dapat dijawab dengan data/metode dan diturunkan dari masalah keputusan
Outcome	variabel target yang dijelaskan, diprediksi, atau dievaluasi
Feature/predictor	informasi yang digunakan untuk menjelaskan/memprediksi outcome
Unit observasi	entitas satu baris data, misalnya kabupaten–tahun
Unit analisis	unit yang menjadi dasar inferensi/interpretasi; sering sama tetapi tidak selalu dengan unit observasi
Denominator	populasi dasar suatu rate/proportion
Provenance	jejak asal data, versi, transformasi, lisensi, dan tanggal akses
Metadata	informasi tentang definisi, satuan, periode, metode produksi, dan struktur data
Tidy data	struktur satu variabel per kolom, satu observasi per baris, satu jenis unit per tabel
Missingness	keadaan nilai tidak teramati; mekanismenya dapat memengaruhi bias
Outlier	observasi ekstrem; dapat berupa error atau fenomena substantif valid
Feature engineering	konstruksi fitur baru dari data mentah untuk merepresentasikan konsep yang lebih relevan
Leakage	informasi yang tidak seharusnya tersedia saat prediksi masuk ke training/preprocessing
EDA	exploratory data analysis: iterasi pertanyaan–visualisasi–pola–pertanyaan baru
Association	hubungan statistik, tidak otomatis kausal
Prediction	estimasi outcome pada observasi/waktu baru
Causal effect	perubahan outcome akibat intervensi/perlakuan di bawah definisi estimand dan asumsi identifikasi
Baseline model	model/rule sederhana sebagai pembanding wajib
Loss function	fungsi yang mengukur biaya kesalahan prediksi
Empirical risk	rata-rata loss pada sample training
Generalization	kemampuan perform pada data baru dari target deployment
Cross-validation	resampling untuk estimasi perform/tuning menggunakan training data
RMSE	akar mean squared error; menekankan error besar
MAE	mean absolute error; error absolut rata-rata
Calibration	kesesuaian predicted probability dengan observed frequency
Discrimination	kemampuan model membedakan/ranking kelas positif vs negatif
Threshold	batas probabilitas/score untuk mengubah prediksi menjadi tindakan/kelas
Random forest	ensemble randomized decision trees dengan agregasi prediksi
Boosting	ensemble sequential yang menambah weak learners untuk mengurangi loss
Regularization	penalti kompleksitas untuk mengontrol variance/overfitting
Clustering	pengelompokan unsupervised berdasarkan similarity yang didefinisikan
Centroid	pusat rata-rata cluster dalam K-means
Silhouette	ukuran compactness dan separation per observasi
PCA	rotasi linear yang mencari arah variance maksimum
Loading	coefficient/eigenvector yang membentuk principal component
Score PCA	koordinat observasi pada principal component
PVE	proportion of variance explained oleh komponen
CRS	coordinate reference system untuk menginterpretasi koordinat spasial
Spatial weights $W$	definisi matematis siapa bertetangga/berinteraksi dengan siapa
Spatial lag	weighted combination nilai pada tetangga
Moran’s I	ukuran global spatial autocorrelation
LISA	local indicators of spatial association
MAUP	perubahan hasil akibat skala/zoning unit areal
Ecological fallacy	kesalahan menerapkan hubungan agregat kepada individu
Bootstrap	resampling dengan replacement untuk mengestimasi sampling variability
Robustness	kestabilan kesimpulan terhadap reasonable analytic alternatives
Sensitivity analysis	evaluasi bagaimana hasil berubah saat asumsi/parameter diubah
Fairness	evaluasi distribusi perform/keputusan di kelompok relevan; definisinya kontekstual
DID	difference-in-differences untuk evaluasi perubahan treated vs control dengan asumsi tertentu
Policy brief	dokumen ringkas yang menghubungkan bukti, opsi, rekomendasi, dan caveat
Dashboard	antarmuka monitoring/exploration; bukan pengganti analisis metodologis
Reproducibility	kemampuan pihak lain meregenerasi hasil dari data, kode, parameter, dan environment
AI-use declaration	catatan transparan tentang tujuan, bagian yang dibantu AI, dan metode verifikasi
Model card	dokumentasi intended use, data, metrics, limitations, dan risiko model
Datasheet	dokumentasi asal, komposisi, collection, preprocessing, penggunaan, limitations dataset

Derivasi Ringkas Rumus-Rumus Kunci

16.13 Derivasi OLS Normal Equations

Mulai dari objective $$S(\beta)=(y-X\beta)'(y-X\beta).$$ Ekspansi: $$S=y'y-2\beta'X'y+\beta'X'X\beta.$$ Turunkan terhadap $\beta$: $$\frac{\partial S}{\partial\beta}=-2X'y+2X'X\beta.$$ Set sama dengan nol: $$X'X\hat\beta=X'y.$$ Jika $X'X$ invertibel: $$\boxed{\hat\beta=(X'X)^{-1}X'y}.$$ Ini menunjukkan OLS berasal langsung dari minimisasi SSE, bukan formula yang muncul tanpa alasan.

16.14 Mengapa mean meminimalkan squared error

Untuk konstanta $c$, minimalkan $$Q(c)=\sum_i(y_i-c)^2.$$ Turunan: $$Q'(c)=-2\sum_i(y_i-c)=-2\left(\sum_i y_i-nc\right).$$ Set nol memberi $c=\bar y$. Inilah alasan leaf prediction regression tree adalah mean pada node bila loss squared error.

16.15 Mengapa median meminimalkan absolute error

Untuk $$Q(c)=\sum_i|y_i-c|,$$ fungsi tidak differentiable di data points, tetapi subgradient berubah tanda ketika jumlah observasi di bawah dan di atas $c$ seimbang. Solusi berada pada median. Ini menjelaskan hubungan natural MAE dengan median-type prediction.

16.16 Logistic inverse link

Dari $$\log\frac{p}{1-p}=\eta,$$ exponentiate: $$\frac{p}{1-p}=e^\eta.$$ Maka $$p=e^\eta(1-p)=e^\eta-e^\eta p,$$ $$p(1+e^\eta)=e^\eta,$$ sehingga $$\boxed{p=\frac{e^\eta}{1+e^\eta}=\frac{1}{1+e^{-\eta}}}.$$

16.17 PCA sebagai constrained maximization

Variance projection $X_cv$ adalah $$Var(X_cv)=v'Sv.$$ Cari $v$ dengan $v'v=1$. Lagrangian: $$\mathcal L(v,\lambda)=v'Sv-\lambda(v'v-1).$$ Turunan terhadap $v$: $$2Sv-2\lambda v=0\Rightarrow Sv=\lambda v.$$ Jadi arah principal component adalah eigenvector covariance/correlation matrix.

16.18 Bias–variance decomposition ringkas

Misalkan $Y=f(x)+\varepsilon$, $E(\varepsilon)=0$, $Var(\varepsilon)=\sigma^2$. Untuk estimator $\hat f$: $$E[(Y-\hat f)^2]=E[(f+\varepsilon-\hat f)^2].$$ Cross-term dengan $\varepsilon$ hilang karena mean nol dan independensi yang diasumsikan. Tambah-kurang $E\hat f$ menghasilkan $$\sigma^2+[E\hat f-f]^2+E[(\hat f-E\hat f)^2].$$ Tiga komponen adalah irreducible noise, squared bias, dan variance.

16.19 K-means centroid update

Untuk satu cluster $C$, minimalkan $$Q(\mu)=\sum_{i\in C}\|x_i-\mu\|^2.$$ Turunan vector: $$\frac{\partial Q}{\partial\mu}=-2\sum_{i\in C}(x_i-\mu)=0,$$ sehingga $$\boxed{\mu=|C|^{-1}\sum_{i\in C}x_i}.$$ Karena itu update centroid adalah mean anggota cluster.

16.20 Standard error mean

Jika $X_i$ independen dengan variance $\sigma^2$: $$Var(\bar X)=Var\left(n^{-1}\sum_iX_i\right)=n^{-2}\sum_iVar(X_i)=\frac{\sigma^2}{n}.$$ Maka $SE(\bar X)=\sigma/\sqrt n$, diestimasi dengan $s/\sqrt n$.

16.21 Hubungan odds dan probability

Odds $o=p/(1-p)$. Sebaliknya $$p=\frac{o}{1+o}.$$ Jika odds dikalikan OR, probability baru adalah $$p' = \frac{OR\cdot p/(1-p)}{1+OR\cdot p/(1-p)}.$$ Rumus ini menunjukkan perubahan probability bergantung pada baseline $p$.

16.22 Moran’s I sebagai cross-product tetangga

Pembilang $$\sum_i\sum_jw_{ij}z_iz_j$$ besar positif jika neighbors memiliki deviasi dengan tanda sama; negatif jika tanda berlawanan. Penyebut $\sum_i z_i^2$ menormalisasi overall variance dan $n/S_0$ menyesuaikan total bobot. Karena nilai ekspektasi null bergantung struktur W dan n, inference sebaiknya menggunakan teori/permutation yang tepat, bukan membandingkan sekadar dengan nol.

Checklist Akhir untuk Mahasiswa

Sebelum menyerahkan tugas/project, pastikan:

• Pertanyaan kebijakan dan analytical question tidak rancu.
• Unit observasi dan outcome tertulis.
• Semua sumber data memiliki URL dan access date.
• Definisi denominator dan satuan diverifikasi.
• Raw data tidak ditimpa hasil cleaning.
• Duplicate, missing, outlier, join mismatch diaudit.
• Feature tidak menggunakan informasi masa depan.
• Baseline model tersedia.
• Split/resampling sesuai deployment.
• Test set tidak digunakan untuk tuning.
• Metrik diterjemahkan ke unit substantif.
• Model complexity memiliki alasan.
• Uncertainty/sensitivity dibahas.
• Spatial W/CRS dijelaskan bila dipakai.
• Recommendation tidak melampaui evidence.
• Dashboard memiliki source, period, definition.
• Semua kode dapat dijalankan dari clean session.
• set.seed() digunakan untuk operasi acak.
• AI-use declaration lengkap bila AI digunakan.
• Sitasi akademik dan sumber data diperiksa.

Daftar Pustaka dan Sumber Data

Daftar pustaka berikut dihasilkan dari references.bib. URL sumber data dipertahankan agar mahasiswa dapat memeriksa metadata, tahun cakupan, versi, dan tanggal akses. Untuk dataset yang terus diperbarui, status data harus diverifikasi kembali pada saat project dikerjakan.

Anselin, Luc. 1995. “Local Indicators of Spatial Association—LISA.” Geographical Analysis 27 (2): 93–115. https://doi.org/10.1111/j.1538-4632.1995.tb00338.x.

Autio, Chloe, Reva Schwartz, Jesse Dunietz, Shomik Jain, Martin Stanley, Elham Tabassi, Patrick Hall, dan Kamie Roberts. 2024. “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile.” NIST AI 600-1. National Institute of Standards; Technology. https://doi.org/10.6028/NIST.AI.600-1.

Badan Pusat Statistik Provinsi Jawa Barat. 2025. Kemiskinan Kabupaten/Kota di Provinsi Jawa Barat 2019–2024. 32000.25002. Badan Pusat Statistik Provinsi Jawa Barat. https://jabar.bps.go.id/id/publication/2025/02/28/fe91e8d4537a17cb53916883/kemiskinan-kabupaten-kota-di-provinsi-jawa-barat-2019-2024.html.

Badan Pusat Statistik, dan Pemerintah Provinsi Jawa Barat. 2026a. “Persentase Penduduk Miskin Berdasarkan Kabupaten/Kota di Jawa Barat.” https://opendata.jabarprov.go.id/en/dataset/persentase-penduduk-miskin-berdasarkan-kabupatenkota-di-jawa-barat.

———. 2026b. “Tingkat Pengangguran Terbuka Berdasarkan Kabupaten/Kota di Jawa Barat.” https://opendata.jabarprov.go.id/id/dataset/tingkat-pengangguran-terbuka-berdasarkan-kabupatenkota-di-jawa-barat.

Bivand, Roger S., Edzer Pebesma, dan Virgilio Gómez-Rubio. 2013. Applied Spatial Data Analysis with R. 2 ed. New York: Springer. https://doi.org/10.1007/978-1-4614-7618-4.

Breiman, Leo. 2001. “Random Forests.” Machine Learning 45: 5–32. https://doi.org/10.1023/A:1010933404324.

Callaway, Brantly, dan Pedro H. C. Sant’Anna. 2021. “Difference-in-Differences with Multiple Time Periods.” Journal of Econometrics 225 (2): 200–230. https://doi.org/10.1016/j.jeconom.2020.12.001.

Chen, Tianqi, dan Carlos Guestrin. 2016. “XGBoost: A Scalable Tree Boosting System.” Dalam Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 785–94. ACM. https://doi.org/10.1145/2939672.2939785.

Fawcett, Tom. 2006. “An Introduction to ROC Analysis.” Pattern Recognition Letters 27 (8): 861–74. https://doi.org/10.1016/j.patrec.2005.10.010.

Friedman, Jerome H. 2001. “Greedy Function Approximation: A Gradient Boosting Machine.” The Annals of Statistics 29 (5): 1189–1232. https://doi.org/10.1214/aos/1013203451.

Gebru, Timnit, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, dan Kate Crawford. 2021. “Datasheets for Datasets.” Communications of the ACM 64 (12): 86–92. https://doi.org/10.1145/3458723.

Hardt, Moritz, Eric Price, dan Nathan Srebro. 2016. “Equality of Opportunity in Supervised Learning.” Advances in Neural Information Processing Systems 29. https://proceedings.neurips.cc/paper/2016/hash/9d2682367c3935defcb1f9e247a97c0d-Abstract.html.

Harrell, Frank E. Jr. 2015. Regression Modeling Strategies: With Applications to Linear Models, Logistic and Ordinal Regression, and Survival Analysis. 2 ed. Cham: Springer. https://doi.org/10.1007/978-3-319-19425-7.

Hastie, Trevor, Robert Tibshirani, dan Jerome Friedman. 2009. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2 ed. New York: Springer. https://doi.org/10.1007/978-0-387-84858-7.

Hernán, Miguel A., dan James M. Robins. 2020. Causal Inference: What If. Boca Raton, FL: Chapman; Hall/CRC. https://www.hsph.harvard.edu/miguel-hernan/causal-inference-book/.

Hoerl, Arthur E., dan Robert W. Kennard. 1970. “Ridge Regression: Biased Estimation for Nonorthogonal Problems.” Technometrics 12 (1): 55–67. https://doi.org/10.1080/00401706.1970.10488634.

James, Gareth, Daniela Witten, Trevor Hastie, dan Robert Tibshirani. 2021. An Introduction to Statistical Learning: with Applications in R. 2 ed. New York: Springer. https://doi.org/10.1007/978-1-0716-1418-1.

Jolliffe, Ian T., dan Jorge Cadima. 2016. “Principal Component Analysis: A Review and Recent Developments.” Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences 374 (2065): 20150202. https://doi.org/10.1098/rsta.2015.0202.

Kaufman, Leonard, dan Peter J. Rousseeuw. 1990. Finding Groups in Data: An Introduction to Cluster Analysis. New York: Wiley. https://doi.org/10.1002/9780470316801.

Kuhn, Max, dan Julia Silge. 2022. Tidy Modeling with R: A Framework for Modeling in the Tidyverse. Sebastopol, CA: O’Reilly Media. https://www.tmwr.org/.

Little, Roderick J. A., dan Donald B. Rubin. 2019. Statistical Analysis with Missing Data. 3 ed. Hoboken, NJ: Wiley. https://doi.org/10.1002/9781119482260.

Lovelace, Robin, Jakub Nowosad, dan Jannes Muenchow. 2025. Geocomputation with R. 2 ed. Boca Raton, FL: Chapman; Hall/CRC. https://r.geocompx.org/.

Miao, Fengchun, dan Wayne Holmes. 2023. Guidance for Generative AI in Education and Research. Paris: UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000386693.

Mitchell, Margaret, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, dan Timnit Gebru. 2019. “Model Cards for Model Reporting.” Dalam Proceedings of the Conference on Fairness, Accountability, and Transparency, 220–29. ACM. https://doi.org/10.1145/3287560.3287596.

Moran, P. A. P. 1950. “Notes on Continuous Stochastic Phenomena.” Biometrika 37 (1/2): 17–23. https://doi.org/10.2307/2332142.

OECD, dan Joint Research Centre, European Commission. 2008. Handbook on Constructing Composite Indicators: Methodology and User Guide. Paris: OECD Publishing. https://doi.org/10.1787/9789264043466-en.

Pebesma, Edzer, dan Roger Bivand. 2023. Spatial Data Science: With Applications in R. Boca Raton, FL: Chapman; Hall/CRC. https://r-spatial.org/book/.

Pemerintah Provinsi Jawa Barat. 2026. “Open Data Jawa Barat.” https://opendata.jabarprov.go.id/.

Provost, Foster, dan Tom Fawcett. 2013. Data Science for Business: What You Need to Know about Data Mining and Data-Analytic Thinking. Sebastopol, CA: O’Reilly Media.

Rousseeuw, Peter J. 1987. “Silhouettes: A Graphical Aid to the Interpretation and Validation of Cluster Analysis.” Journal of Computational and Applied Mathematics 20: 53–65. https://doi.org/10.1016/0377-0427(87)90125-7.

Tabassi, Elham. 2023. “Artificial Intelligence Risk Management Framework (AI RMF 1.0).” NIST AI 100-1. National Institute of Standards; Technology. https://doi.org/10.6028/NIST.AI.100-1.

Tibshirani, Robert. 1996. “Regression Shrinkage and Selection via the Lasso.” Journal of the Royal Statistical Society: Series B (Methodological) 58 (1): 267–88. https://doi.org/10.1111/j.2517-6161.1996.tb02080.x.

Tufte, Edward R. 2001. The Visual Display of Quantitative Information. 2 ed. Cheshire, CT: Graphics Press.

Tukey, John W. 1977. Exploratory Data Analysis. Reading, MA: Addison-Wesley.

Wickham, Hadley. 2014. “Tidy Data.” Journal of Statistical Software 59 (10): 1–23. https://doi.org/10.18637/jss.v059.i10.

Wickham, Hadley, Mine Çetinkaya-Rundel, dan Garrett Grolemund. 2023. R for Data Science: Import, Tidy, Transform, Visualize, and Model Data. 2 ed. Sebastopol, CA: O’Reilly Media. https://r4ds.hadley.nz/.

Wilkinson, Leland. 2005. The Grammar of Graphics. 2 ed. New York: Springer. https://doi.org/10.1007/0-387-28695-0.

World Bank. 2026. “Indonesia Database for Policy and Economic Research (INDO-DAPOER).” https://datacatalog.worldbank.org/search/dataset/0041056/indonesia-database-for-policy-and-economic-research.