Pengertian Regresi Logistik Multinomial

Regresi logistik multinomial digunakan ketika variabel dependen (Y) memiliki lebih dari dua kategori dan tidak memiliki urutan alami (non-ordinal).Berbeda dengan regresi logistik biner yang hanya memprediksi dua hasil (misalnya: sukses/gagal), model ini dapat memprediksi probabilitas suatu observasi termasuk ke dalam salah satu dari beberapa kategori.

Contoh:
Dalam dataset ini, variabel dependen adalah Success_Level dengan tiga kategori yaitu Low, Medium, dan High, sedangkan variabel independen terdiri dari:

• Advertising

• Salespeople

• Satisfaction

• Competition

Model akan memprediksi peluang suatu perusahaan berada pada level keberhasilan tertentu berdasarkan faktor-faktor di atas.

Rumus Regresi Logistik Multinomial

Secara umum, persamaan untuk kategori ke-j adalah:

\[ \log\left(\frac{P(Y=j)}{P(Y=\text{base})}\right) = \beta_{0j} + \beta_{1j}X_1 + \beta_{2j}X_2 + ... + \beta_{pj}X_p \]

Keterangan: - \(P(Y=j)\) = probabilitas bahwa observasi termasuk kategori j

• \(P(Y=\text{base})\) = probabilitas kategori referensi (misal “Low”)

• \(\beta_{0j}, \beta_{1j}, ...\) = parameter model untuk kategori j

Model ini akan menghasilkan \((k−1)\) set koefisien, karena satu kategori dijadikan pembanding.

Kegunaan Regresi Logistik Multinomial

• Memprediksi hasil dengan lebih dari dua kategori.

• Mengetahui pengaruh masing-masing variabel independen terhadap peluang masuk ke kategori tertentu.

• Aplikasinya antara lain: prediksi tingkat kepuasan pelanggan, preferensi produk, status pekerjaan, atau tingkat keberhasilan bisnis.

Penjelasan

• read_delim() digunakan untuk membaca file CSV dengan pemisah titik koma (“;”).

• mutate() mengonversi kolom numerik agar dikenali sebagai angka (numeric) dengan menghapus tanda titik (gsub("\\.", "", ...)).

• factor() digunakan untuk menjadikan variabel Success_Level sebagai variabel kategorikal.

• str() menunjukkan struktur dataset (jenis data tiap kolom).

• summary() memberikan ringkasan statistik seperti rata-rata, min, dan max.

• datatable() membuat tabel interaktif agar pengguna dapat menjelajah data dengan mudah di output HTML.

1. Dataset yang digunakan berisi variabel prediktor numerik seperti:

• Advertising → jumlah pengeluaran iklan,

• Salespeople → jumlah tenaga penjualan,

• Satisfaction → tingkat kepuasan pelanggan,

• Competition → tingkat persaingan pasar.

Semua variabel ini telah dikonversi ke format numerik agar dapat dianalisis dengan benar oleh model regresi.

2. Variabel target (Success_Level) memiliki tiga kategori bertingkat (Low, Medium, High) yang merepresentasikan tingkat keberhasilan suatu cabang, produk, atau strategi pemasaran.

3.Berdasarkan statistik deskriptif, dapat diamati apakah:

• terdapat variasi cukup besar antar observasi,

-distribusi antar kategori Success_Level relatif seimbang atau tidak. Jika salah satu kategori jauh lebih banyak, hal ini perlu diperhatikan karena dapat memengaruhi akurasi model (class imbalance).

Kesimpulan Awal: Data sudah bersih dan siap untuk digunakan dalam proses pemodelan regresi logistik multinomial. Tahap eksplorasi ini penting agar analisis yang dilakukan pada langkah berikutnya (pembangunan model) memiliki dasar data yang valid dan konsisten.

Penjelasan

• nnet::multinom() digunakan untuk membangun model regresi logistik multinomial.

• Sintaks Y ~ X1 + X2 + ... menunjukkan bahwa variabel Success_Level diprediksi berdasarkan empat variabel independen.

• Output summary(model_multi) menampilkan koefisien untuk setiap kategori relatif terhadap kategori referensi (“Low”).

• Koefisien positif menunjukkan peningkatan peluang masuk ke kategori tertentu dibandingkan kategori referensi, sedangkan koefisien negatif menunjukkan penurunan peluang.

1. Model berhasil dijalankan dan konvergen, namun nilai likelihood tidak berubah dari awal ke akhir. Ini menunjukkan model tidak belajar pola apapun dari data.

2. Semua koefisien ≈ 0 dan standar error sangat kecil, artinya:

• Tidak ada pengaruh signifikan dari variabel Advertising, Salespeople, Satisfaction, dan Competition terhadap Success_Level.

• Kemungkinan besar hubungan antara variabel independen dan dependen sangat lemah atau non-linear.

3. Kemungkinan penyebab:

• Data tidak cukup bervariasi atau jumlah observasi terlalu sedikit.

• Ada multikolinearitas (variabel-variabel prediktor saling berkorelasi tinggi).

• Distribusi kategori Success_Level tidak seimbang (misalnya mayoritas data pada “Medium” atau “Low”).

• Model multinomial logistik mungkin tidak cocok secara teoretis dengan pola hubungan dalam dataset (misal hubungan sebenarnya lebih kompleks atau tidak logistik).

4. Dampak terhadap akurasi:

• Karena model tidak menemukan hubungan yang kuat, hasil prediksi cenderung acak.

• Hal inilah yang menjelaskan mengapa akurasi hanya sekitar 40% (pada langkah evaluasi sebelumnya). Nilai 40% menunjukkan bahwa model hanya sedikit lebih baik dari tebakan acak (random guess) pada tiga kategori.

Penjelasan

• Karena model logistik menggunakan log-odds, maka untuk interpretasi yang lebih mudah, hasil koefisien diubah menjadi odds ratio dengan exp(coef()).

• Odds ratio menggambarkan berapa kali peluang meningkat untuk setiap kenaikan satu satuan pada variabel independen.

  • Contoh: Jika odds ratio untuk Advertising = 1.5, berarti setiap kenaikan satu unit anggaran iklan meningkatkan peluang naik ke kategori “Medium” sebesar 1.5 kali dibandingkan “Low”.

Penjelasan

• predict() menghasilkan kategori prediksi berdasarkan model yang dibangun.

• table() membuat confusion matrix untuk membandingkan hasil prediksi dan nilai aktual.

• mean(prediksi == aktual) menghitung proporsi observasi yang berhasil diprediksi dengan benar.

• Nilai akurasi (%) memberikan ukuran kinerja model secara keseluruhan.

• Semakin tinggi akurasi, semakin baik model dalam memprediksi kategori.

Tambah Penjelasan

Berdasarkan hasil evaluasi menggunakan Multinomial Logistic Regression, diperoleh nilai akurasi sebesar 40%. Artinya, model hanya mampu memprediksi dengan benar sekitar 40% dari seluruh observasi pada dataset.

Meskipun nilai ini relatif rendah, hasil tersebut memberikan informasi penting bahwa model belum mampu secara optimal membedakan kategori keberhasilan (Success_Level) antara Low, Medium, dan High.

Beberapa kemungkinan penyebab rendahnya akurasi adalah sebagai berikut:

• Ketidak seimbangan Kelas (Class Imbalance) Kemungkinan distribusi data antar kategori Success_Level tidak seimbang — misalnya jumlah observasi pada kategori High jauh lebih sedikit dibanding Medium atau Low. Kondisi ini menyebabkan model “bias” terhadap kelas mayoritas sehingga akurasi keseluruhan menurun.

• Variabel Prediktor Kurang Informatif Beberapa variabel independen seperti Advertising, Competition, atau Satisfaction mungkin tidak memiliki pengaruh yang signifikan terhadap target. Akibatnya, kemampuan model untuk memisahkan kategori keberhasilan menjadi terbatas.

• Hubungan Antar Variabel Tidak Linear Regresi logistik mengasumsikan hubungan linier antara logit (peluang log) dan prediktor. Jika hubungan antar variabel bersifat non-linear atau interaktif, model tidak dapat menangkap pola kompleks tersebut tanpa transformasi atau penambahan interaksi variabel.

• Ukuran Data Relatif Kecil Apabila jumlah observasi dalam dataset sedikit, model akan kesulitan mengenali pola umum dan cenderung overfit atau underfit. Hal ini menurunkan kemampuan generalisasi model terhadap data aktual.

• Belum Dilakukan Optimasi Model Model ini masih menggunakan bentuk dasar tanpa seleksi fitur, transformasi, atau penambahan interaksi variabel. Tanpa optimasi, model hanya menangkap hubungan paling sederhana antar variabel.

Kesimpulan

Nilai akurasi sebesar 40% menunjukkan bahwa model masih perlu dilakukan peningkatan (model refinement) melalui optimasi variabel, transformasi data, atau metode machine learning alternatif agar dapat memberikan hasil prediksi yang lebih akurat dan stabil.

Penjelasan

• predict(..., type = "probs") menghasilkan probabilitas tiap kategori untuk setiap observasi.

• Data diubah ke format “long” agar bisa divisualisasikan dengan ggplot2.

• geom_point() menampilkan titik observasi, sedangkan geom_smooth() menggambarkan pola hubungan menggunakan kurva LOESS.

• Plot menunjukkan bagaimana perubahan anggaran iklan (Advertising) memengaruhi peluang tiap kategori keberhasilan.

• Misalnya, jika garis kategori “High” meningkat dengan bertambahnya Advertising, berarti semakin besar iklan → peluang sukses tinggi meningkat.

(Visualisasi LOESS Curve)

• Garis biru (Low) menurun ketika nilai Advertising meningkat.

• Garis oranye (Medium) naik perlahan pada pertengahan nilai Advertising.

• Garis hijau (High) meningkat tajam pada anggaran iklan tinggi (>1500).

Interpretasi visual:

Semakin besar anggaran iklan, semakin besar pula probabilitas perusahaan mencapai tingkat keberhasilan High.

Penjelasan Akhir

• Kesimpulan menekankan interpretasi dari seluruh hasil model.

• Analisis ini bermanfaat untuk menentukan strategi bisnis, misalnya mengalokasikan lebih banyak anggaran pada iklan atau meningkatkan kepuasan pelanggan untuk meningkatkan peluang keberhasilan.

Ringkasan Alur Analisis

1. Import dan eksplorasi dataset → memastikan data bersih dan terstruktur.

2. Pembangunan model → membentuk hubungan antara variabel prediktor dan outcome.

3. Interpretasi koefisien & odds ratio → memahami arah dan besarnya pengaruh.

4. Evaluasi model → melihat kinerja model (akurasi & matriks kebingungan).

5. Visualisasi → mempermudah interpretasi hubungan antar variabel.

6. Kesimpulan → memberikan insight nyata untuk pengambilan keputusan.