Analisis Dataset Teks Mining

R Markdown

Analisis dataset dalam bidang text mining atau penambangan teks melibatkan ekstraksi informasi yang berharga dari teks atau dokumen, dengan tujuan untuk memahami pola, hubungan, atau tren yang terkandung dalam data teks tersebut.

Langkah-langkah dalam membuat teks mining dari data yang telah disediakan adalah sebagai berikut:

Memuat berbagai packages yang diperlukan untuk melakukan analisis teks. Pustaka-pustaka tersebut mencakup alat untuk pembersihan teks, pemrosesan kata, analisis sentimen, dan visualisasi.

library(wordcloud)
library(tm)
library(textclean)
library(tidytext)
library(ggplot2)
library(parallel)
library(tokenizers)
library(tau)
library(NLP)
library(stringr)
library(devtools)
library(quanteda)
library(kayadata)
library(syuzhet)
library(e1071)
library(sentimentr)
library(SentimentAnalysis)
library(dplyr)
library(pacman)

Bagian ini memuat berbagai pustaka R yang diperlukan untuk pemrosesan teks, analisis sentimen, dan visualisasi data.

pacman::p_load_gh("trinker/textstem")

pacman::p_load(textstem, dplyr)

Membaca file CSV bernama “olimpiade.csv” dan menyimpannya dalam dataframe olimpiade.

olimpiade <- read.csv("C:/Users/acer/OneDrive/Dokumen/MIRA/olimpiade.csv", sep=";")

Mengganti kontraksi dan perpanjangan kata. Mengambil kolom “full_text” dan menyimpannya dalam variabel rev.

#mengambil kolom full_text
rev <- olimpiade$full_text
head(rev)

## [1] "[Ads]  NEMO FEM IPB UNIVERSITY PRESENT:  💫National Economics Olympiad💫  Hai guys! NEMO lagi ngadain Olimpiade Ekonomi nih! kamu bisa dapat hadiah total 10 juta dan sertifikat Olimpiade untuk masuk IPB! (S&amp K Berlaku)  Informasi terdapat pada link berikut: https://t.co/rV70NozajB https://t.co/PPoaci2zIV"
## [2] "Rangkuman informasi terkait jenis tes pada olimpiade sains tiap tingkatan, dan juga informasi bermanfaat lainnya, bisa kamu dapatkan pada link berikut https://t.co/D1uOUs1hKk https://t.co/gcNreWEr2F"                                                                                                            
## [3] "[PERPANJANGAN PENDAFTARAN OLIMPIADE AKUNTANSI DAN PERPAJAKAN XXIV]  Program Studi Diploma III Fakultas Ekonomi dan Bisnis Universitas Udayana  ❗️PRESENT❗️  OLIMPIADE AKUNTANSI DAN PERPAJAKAN XXIV  Untuk informasi selengkapnya dapat mengakses link berikut⬇️ https://t.co/P5Q0PnqiBE https://t.co/pCTm34WJ29"   
## [4] "Sebagai informasi, cabor angkat besi terancam tidak dimainkan di Olimpiade Los Angeles 2028 karena masalah doping &amp  tata kelola yang signifikan.  Untuk tetap dimainkan, IWF wajib membuktikan bahwa angkat besi adalah olahraga bersih tanpa doping.  https://t.co/aV22gj3GyL"                                
## [5] "#BOSABerprestasi Selamat kepada Kenneth Laurence E.H. - XII MIPA 2 Peraih Medali Emas Olimpiade Sains Pancasila Nasional (OSPN) 2023 bidang Teknologi dan Informasi. Raih dan ukir prestasi bersama SMA BOSA! - PCPDB 2024-2025 sudah dibuka! #smabosa #smafavorit #smaberprestasi https://t.co/wtWsjJDm8V"        
## [6] "@K_TFirdausi Iya...ini lebih ke tragedi Munchen,padahal waktu itu Mosad sudah kasih data dan informasi,dan bahkan berencana ga mau ikut olimpiade,namun internal birokrasi dan politik mengabaikan demi image"

Sintaks rev <- tolower(rev) digunakan untuk mengubah semua karakter dalam variabel rev menjadi huruf kecil.

# lower case = mengubah huruf kapital menjadi huruf kecil
rev <- tolower(rev)
head(rev)

## [1] "[ads]  nemo fem ipb university present:  💫national economics olympiad💫  hai guys! nemo lagi ngadain olimpiade ekonomi nih! kamu bisa dapat hadiah total 10 juta dan sertifikat olimpiade untuk masuk ipb! (s&amp k berlaku)  informasi terdapat pada link berikut: https://t.co/rv70nozajb https://t.co/ppoaci2ziv"
## [2] "rangkuman informasi terkait jenis tes pada olimpiade sains tiap tingkatan, dan juga informasi bermanfaat lainnya, bisa kamu dapatkan pada link berikut https://t.co/d1uous1hkk https://t.co/gcnrewer2f"                                                                                                            
## [3] "[perpanjangan pendaftaran olimpiade akuntansi dan perpajakan xxiv]  program studi diploma iii fakultas ekonomi dan bisnis universitas udayana  ❗️present❗️  olimpiade akuntansi dan perpajakan xxiv  untuk informasi selengkapnya dapat mengakses link berikut⬇️ https://t.co/p5q0pnqibe https://t.co/pctm34wj29"   
## [4] "sebagai informasi, cabor angkat besi terancam tidak dimainkan di olimpiade los angeles 2028 karena masalah doping &amp  tata kelola yang signifikan.  untuk tetap dimainkan, iwf wajib membuktikan bahwa angkat besi adalah olahraga bersih tanpa doping.  https://t.co/av22gj3gyl"                                
## [5] "#bosaberprestasi selamat kepada kenneth laurence e.h. - xii mipa 2 peraih medali emas olimpiade sains pancasila nasional (ospn) 2023 bidang teknologi dan informasi. raih dan ukir prestasi bersama sma bosa! - pcpdb 2024-2025 sudah dibuka! #smabosa #smafavorit #smaberprestasi https://t.co/wtwsjjdm8v"        
## [6] "@k_tfirdausi iya...ini lebih ke tragedi munchen,padahal waktu itu mosad sudah kasih data dan informasi,dan bahkan berencana ga mau ikut olimpiade,namun internal birokrasi dan politik mengabaikan demi image"

Operasi ini membantu dalam mengstandarisasi teks dan membuatnya lebih mudah untuk pemrosesan lanjutan, terutama jika analisis lebih lanjut memerlukan kata-kata penuh daripada kontraksi.

#Mengembalikan Kata yang disingkat Menjadi Kata Aslinya
rev <- replace_contraction(rev)
head(rev)

## [1] "[ads]  nemo fem ipb university present:  💫national economics olympiad💫  hai guys! nemo lagi ngadain olimpiade ekonomi nih! kamu bisa dapat hadiah total 10 juta dan sertifikat olimpiade untuk masuk ipb! (s&amp k berlaku)  informasi terdapat pada link berikut: https://t.co/rv70nozajb https://t.co/ppoaci2ziv"
## [2] "rangkuman informasi terkait jenis tes pada olimpiade sains tiap tingkatan, dan juga informasi bermanfaat lainnya, bisa kamu dapatkan pada link berikut https://t.co/d1uous1hkk https://t.co/gcnrewer2f"                                                                                                            
## [3] "[perpanjangan pendaftaran olimpiade akuntansi dan perpajakan xxiv]  program studi diploma iii fakultas ekonomi dan bisnis universitas udayana  ❗️present❗️  olimpiade akuntansi dan perpajakan xxiv  untuk informasi selengkapnya dapat mengakses link berikut⬇️ https://t.co/p5q0pnqibe https://t.co/pctm34wj29"   
## [4] "sebagai informasi, cabor angkat besi terancam tidak dimainkan di olimpiade los angeles 2028 karena masalah doping &amp  tata kelola yang signifikan.  untuk tetap dimainkan, iwf wajib membuktikan bahwa angkat besi adalah olahraga bersih tanpa doping.  https://t.co/av22gj3gyl"                                
## [5] "#bosaberprestasi selamat kepada kenneth laurence e.h. - xii mipa 2 peraih medali emas olimpiade sains pancasila nasional (ospn) 2023 bidang teknologi dan informasi. raih dan ukir prestasi bersama sma bosa! - pcpdb 2024-2025 sudah dibuka! #smabosa #smafavorit #smaberprestasi https://t.co/wtwsjjdm8v"        
## [6] "@k_tfirdausi iya...ini lebih ke tragedi munchen,padahal waktu itu mosad sudah kasih data dan informasi,dan bahkan berencana ga mau ikut olimpiade,namun internal birokrasi dan politik mengabaikan demi image"

Operasi ini membantu dalam mengurangi variasi yang tidak perlu dalam kata-kata, sehingga memudahkan analisis dan memastikan konsistensi dalam pemrosesan teks.

#Mengembalikan Kata yang Mengalami Perpanjangan Menjadi Kata Aslinya
rev <- replace_word_elongation(rev)
head(rev)

## [1] "[ads]  nemo fem ipb university present:  💫national economics olympiad💫  hai guys! nemo lagi ngadain olimpiade ekonomi nih! kamu bisa dapat hadiah total 10 juta dan sertifikat olimpiade untuk masuk ipb! (s&amp k berlaku)  informasi terdapat pada link berikut: https://t.co/rv70nozajb https://t.co/ppoaci2ziv"
## [2] "rangkuman informasi terkait jenis tes pada olimpiade sains tiap tingkatan, dan juga informasi bermanfaat lainnya, bisa kamu dapatkan pada link berikut https://t.co/d1uous1hkk https://t.co/gcnrewer2f"                                                                                                            
## [3] "[perpanjangan pendaftaran olimpiade akuntansi dan perpajakan xxiv]  program studi diploma i fakultas ekonomi dan bisnis universitas udayana  ❗️present❗️  olimpiade akuntansi dan perpajakan xxiv  untuk informasi selengkapnya dapat mengakses link berikut⬇️ https://t.co/p5q0pnqibe https://t.co/pctm34wj29"     
## [4] "sebagai informasi, cabor angkat besi terancam tidak dimainkan di olimpiade los angeles 2028 karena masalah doping &amp  tata kelola yang signifikan.  untuk tetap dimainkan, iwf wajib membuktikan bahwa angkat besi adalah olahraga bersih tanpa doping.  https://t.co/av22gj3gyl"                                
## [5] "#bosaberprestasi selamat kepada kenneth laurence e.h. - xii mipa 2 peraih medali emas olimpiade sains pancasila nasional (ospn) 2023 bidang teknologi dan informasi. raih dan ukir prestasi bersama sma bosa! - pcpdb 2024-2025 sudah dibuka! #smabosa #smafavorit #smaberprestasi https://t.co/wtwsjjdm8v"        
## [6] "@k_tfirdausi iya...ini lebih ke tragedi munchen,padahal waktu itu mosad sudah kasih data dan informasi,dan bahkan berencana ga mau ikut olimpiade,namun internal birokrasi dan politik mengabaikan demi image"

Membersihkan teks dari karakter yang tidak diperlukan dan memastikan bahwa hanya karakter huruf dan angka yang tetap, sehingga mempermudah analisis dan pengolahan teks lebih lanjut.

#Menghapus simbol
rev <- strip(rev)
head(rev)

## [1] "ads nemo fem ipb university present 🔳national economics olympiad🔳 hai guys nemo lagi ngadain olimpiade ekonomi nih kamu bisa dapat hadiah total juta dan sertifikat olimpiade untuk masuk ipb samp k berlaku informasi terdapat pada link berikut httpstcorv nozajb httpstcoppoaci ziv"
## [2] "rangkuman informasi terkait jenis tes pada olimpiade sains tiap tingkatan dan juga informasi bermanfaat lainnya bisa kamu dapatkan pada link berikut httpstcod uous hkk httpstcogcnrewer f"                                                                                              
## [3] "perpanjangan pendaftaran olimpiade akuntansi dan perpajakan xxiv program studi diploma i fakultas ekonomi dan bisnis universitas udayana present olimpiade akuntansi dan perpajakan xxiv untuk informasi selengkapnya dapat mengakses link berikut httpstcop q pnqibe httpstcopctm wj"   
## [4] "sebagai informasi cabor angkat besi terancam tidak dimainkan di olimpiade los angeles karena masalah doping amp tata kelola yang signifikan untuk tetap dimainkan iwf wajib membuktikan bahwa angkat besi adalah olahraga bersih tanpa doping httpstcoav gj gyl"                         
## [5] "bosaberprestasi selamat kepada kenneth laurence eh xii mipa peraih medali emas olimpiade sains pancasila nasional ospn bidang teknologi dan informasi raih dan ukir prestasi bersama sma bosa pcpdb sudah dibuka smabosa smafavorit smaberprestasi httpstcowtwsjjdm v"                   
## [6] "ktfirdausi iyaini lebih ke tragedi munchenpadahal waktu itu mosad sudah kasih data dan informasidan bahkan berencana ga mau ikut olimpiadenamun internal birokrasi dan politik mengabaikan demi image"

Mengurangi variasi kata-kata dalam teks ke bentuk dasarnya, memudahkan analisis dan meningkatkan konsistensi dalam pemrosesan teks.

#stemming/lemmatizing = kata dasar
rev <- stem_strings(rev)
head(rev)

## [1] "ad nemo fem ipb univers present 🔳nation econom olympiad🔳 hai gui nemo lagi ngadain olimpiad ekonomi nih kamu bisa dapat hadiah total juta dan sertifikat olimpiad untuk masuk ipb samp k berlaku informasi terdapat pada link berikut httpstcorv nozajb httpstcoppoaci ziv"  
## [2] "rangkuman informasi terkait jeni te pada olimpiad sain tiap tingkatan dan juga informasi bermanfaat lainnya bisa kamu dapatkan pada link berikut httpstcod uou hkk httpstcogcnrew f"                                                                                           
## [3] "perpanjangan pendaftaran olimpiad akuntansi dan perpajakan xxiv program studi diploma i fakulta ekonomi dan bisni universita udayana present olimpiad akuntansi dan perpajakan xxiv untuk informasi selengkapnya dapat mengaks link berikut httpstcop q pnqibe httpstcopctm wj"
## [4] "sebagai informasi cabor angkat besi terancam tidak dimainkan di olimpiad lo angel karena masalah dope amp tata kelola yang signifikan untuk tetap dimainkan iwf wajib membuktikan bahwa angkat besi adalah olahraga bersih tanpa dope httpstcoav gj gyl"                       
## [5] "bosaberprestasi selamat kepada kenneth laurenc eh xii mipa peraih medali ema olimpiad sain pancasila nasion ospn bidang teknologi dan informasi raih dan ukir prestasi bersama sma bosa pcpdb sudah dibuka smabosa smafavorit smaberprestasi httpstcowtwsjjdm v"               
## [6] "ktfirdausi iyaini lebih ke tragedi munchenpadah waktu itu mosad sudah kasih data dan informasidan bahkan berencana ga mau ikut olimpiadenamun intern birokrasi dan politik mengabaikan demi imag"

rev <- lemmatize_strings(rev)
head(rev)

## [1] "ad nemo fem ipb univers present 🔳nation econom olympiad🔳 hai gui nemo lagi ngadain olimpiad ekonomi nih kamu bisa dapat hadiah total juta dan sertifikat olimpiad untuk masuk ipb samp k berlaku informasi terdapat pada link berikut httpstcorv nozajb httpstcoppoaci ziv"  
## [2] "rangkuman informasi terkait jeni te pada olimpiad sain tiap tingkatan dan juga informasi bermanfaat lainnya bisa kamu dapatkan pada link berikut httpstcod uou hkk httpstcogcnrew f"                                                                                           
## [3] "perpanjangan pendaftaran olimpiad akuntansi dan perpajakan xxiv program studi diploma i fakulta ekonomi dan bisni universita udayana present olimpiad akuntansi dan perpajakan xxiv untuk informasi selengkapnya dapat mengaks link berikut httpstcop q pnqibe httpstcopctm wj"
## [4] "sebagai informasi cabor angkat besi terancam tidak dimainkan di olimpiad lo angel karena masalah dope amp tata kelola yang signifikan untuk tetap dimainkan iwf wajib membuktikan bahwa angkat besi adalah olahraga bersih tanpa dope httpstcoav gj gyl"                       
## [5] "bosaberprestasi selamat kepada kenneth laurenc eh xii mipa peraih medali ema olimpiad sain pancasila nasion ospn bidang teknologi dan informasi raih dan ukir prestasi bersama sma bosa pcpdb sudah dibuka smabosa smafavorit smaberprestasi httpstcowtwsjjdm v"               
## [6] "ktfirdausi iyaini lebih ke tragedi munchenpadah waktu itu mosad sudah kasih datum dan informasidan bahkan berencana ga mau ikut olimpiadenamun intern birokrasi dan politik mengabaikan demi imag"

Operator ini memungkinkan eksekusi fungsi atau operasi berurutan pada suatu objek. Dalam hal ini, fungsi atau operasi tersebut adalah rev().

#tokenisasi = metode untuk melakukan pemisahan kata dalam suatu kalimat dengan
rev <- rev %>%
  rev()
head(rev)

## [1] "what i bsl hello metazen apa kalian tau apa itu bionix student level yuk simak penjelasannya bionix student level adalah olimpiad bisni dan teknologi informasi untuk para pelajar tingkat smasmksederajat di indonesia httpstcoqx wwogoer"                       
## [2] "olimpiad kimia nasion halo generasi muda sebentar lagi akan dibuka pendaftaran okn yuk kepoin mulai dari penyelenggara hingga hadiahnya informasi terbaru melaui web httpstco v aagch line pqitz tiktok olimpiadekimiaugm ig httpstco jvkz okt httpstconprr kdhdy"
## [3] "informasi lomba olimpiad guru nasion ogn untuk guru pendidikan menengah httpstco qqgh ti w"                                                                                                                                                                       
## [4] "halo sobatprestasi jenjang sd dan smp 🜯🜯 ini dia jadwal terbaru pendaftaran olimpiad olahraga siswa nasion o sn jenjang sd dan smp tingkat provinsi 🬯 🜯 sobatprestasi dapat simak poster untuk informasi pentingnya 🜯🜯 httpstcobwfgtj tra"                        
## [5] "begitupun dengan bem polimedia yang memanfaatkan sosial medium untuk menyebarluaskan informasi secara kreatif dan informatif berikut beberapa kanal medium bem polimedia olimpiad polimedia httpstconmhpa yapx psp polimedia httpstcoi i v have n"                
## [6] "penantian panjang citra febrianti untuk mendapatkan medali perak olimpiad london segera berakhir selama empat tahun tanpa kejelasan informasi dia berjuang mengupayakan medali itu menjadi miliknya olahraga adadikompa httpstcossbggrnwyx"

Menghilangkan kata-kata yang umumnya tidak memberikan informasi substansial dalam analisis teks, sehingga memfokuskan perhatian pada kata-kata yang lebih penting dalam pemrosesan dan analisis lebih lanjut.

#menghapus kata penghubung
rev <-removeWords(rev, c("di","dan","yang","akan","agar","seperti","yaitu","kami","kami",
                         "mari","pada","jelang","dimana","dengan","sudah","ini","seluruh",
                         "diminta","tak","itu","hai","bisa","wib","oleh","mai","jam",
                         "masa","berikut","kalau","klik","ibodwq","terd","httpstconvv",
                         "httpstcoxu","yzmrlyx","tahapan","refaabdi","kota","kpu","kpuid","rt","hingga","saat",
                         "belum","apa","sih","suara","pesta","dindap","http","httpstco","asn","bakal","karena",
                         "knp","hanya","ttg","nggak","saja","dia","juga","lagi","tsb","begitu","kali","sama","ada",
                         "boleh","beliau","bagaimana","belajar","tuh","malah","terjadi","samapai","sedang","gue",
                         "dibuat","tolong","tau","tue","dalam","masuk","gara","liat","lalu","kalian","wed","tiap",
                         "thu","nama","pernah","kalo","hal","the","klo","pls","katanya","daerah","and","harus",
                         "rame","judi","gausah","atau","buat","amp","pinjol","biar","ikut","iri","tiktok","kaya",
                         "cara","yaa","kayak","para","cek","sun","bikin","jangan","paling","marak","loh","gays",
                         "dulu","kata","jadi","orang","dari","untuk","bener","apakah","lebih","lemah","sedikit",
                         "jateng","dibilang","sebagian","adakami","kecil","blitar","cuma","mon","bundir","namun",
                         "org","yg","oct","banyak","in","ga","aja","anak","udah","tidak","sekarang","sebagai","hari",
                         "secara","tinggi","ya","sekali","masih","mau","mereka","aku","tapi","sampe","bukan","salah",
                         "ke","tahun","tentang","🕮","dapat","lanjut"))
head(rev)

## [1] "what i bsl hello metazen      bionix student level yuk simak penjelasannya bionix student level adalah olimpiad bisni  teknologi informasi   pelajar tingkat smasmksederajat  indonesia httpstcoqx wwogoer"                
## [2] "olimpiad kimia nasion halo generasi muda sebentar   dibuka pendaftaran okn yuk kepoin mulai  penyelenggara  hadiahnya informasi terbaru melaui web  v aagch line pqitz  olimpiadekimiaugm ig  jvkz okt httpstconprr kdhdy" 
## [3] "informasi lomba olimpiad guru nasion ogn  guru pendidikan menengah  qqgh ti w"                                                                                                                                             
## [4] "halo sobatprestasi jenjang sd  smp 🜯🜯   jadwal terbaru pendaftaran olimpiad olahraga siswa nasion o sn jenjang sd  smp tingkat provinsi 🬯 🜯 sobatprestasi  simak poster  informasi pentingnya 🜯🜯 httpstcobwfgtj tra"       
## [5] "begitupun  bem polimedia  memanfaatkan sosial medium  menyebarluaskan informasi  kreatif  informatif  beberapa kanal medium bem polimedia olimpiad polimedia httpstconmhpa yapx psp polimedia httpstcoi i v have n"        
## [6] "penantian panjang citra febrianti  mendapatkan medali perak olimpiad london segera berakhir selama empat  tanpa kejelasan informasi  berjuang mengupayakan medali  menjadi miliknya olahraga adadikompa httpstcossbggrnwyx"

Membantu menyimpan hasil pemrosesan teks ke dalam file yang dapat dengan mudah diakses untuk analisis lebih lanjut atau untuk berbagi data.

write.csv(rev,file = "C:/Users/acer/OneDrive/Dokumen/MIRA.csv", row.names = F)

Word cloud memberikan representasi visual dari frekuensi kata-kata dalam teks, di mana kata-kata yang lebih sering muncul akan ditampilkan lebih besar dan lebih mencolok. Dalam konteks ini, word cloud akan memberikan gambaran visual tentang kata-kata yang paling umum dalam teks yang telah diproses sebelumnya.

##Membuat Word Cloud
#Mengubah Data Frame Menjadi Data Faktor
tdm <- TermDocumentMatrix(rev)
m <- as.matrix(tdm)
v <- sort(rowSums(m),decreasing = TRUE)

Memberikan representasi visual dari frekuensi kata-kata dalam teks dan menghasilkan matriks term-dokumen dengan mempertimbangkan batasan panjang kata tertentu.

#Mengubah Data Faktor Menjadi Data Frame
d <- data.frame(word = names(v), freq = v)

wordcloud(d$word, d$freq,
          random.order = FALSE,
          max.words = 300,
          colors = brewer.pal(name = "Dark2",8 ))

tdm <- TermDocumentMatrix(rev,
                          control = list(wordLengths = c(1, Inf)))
tdm

## <<TermDocumentMatrix (terms: 1755, documents: 172)>>
## Non-/sparse entries: 3849/298011
## Sparsity           : 99%
## Maximal term length: 27
## Weighting          : term frequency (tf)

Memvisualisasikan frekuensi kata-kata yang sering muncul dalam teks dengan menggunakan bar plot.

# inspect frequent words
(freq.terms <- findFreqTerms(tdm, lowfreq = 20))

##  [1] "informasi"    "olimpiad"     "nasion"       "pendaftaran"  "lomba"       
##  [6] "you"          "selengkapnya" "🕮"            "link"         "mengenai"

term.freq <- rowSums(as.matrix(tdm))
term.freq <- subset(term.freq, term.freq >= 20)
df <- data.frame(term = names(term.freq), freq = term.freq)
ggplot(df, aes(x = term, y = freq)) + geom_bar(stat = "identity") +
  xlab("Terms") + ylab("Count") + coord_flip()

Mencari kata-kata yang memiliki korelasi tinggi dengan kata kunci “olimpiade” dalam matriks term-dokumen (tdm)

# which words are associated with 'r'?
findAssocs(tdm, "olimpiade", 0.2)

## $olimpiade
## numeric(0)

Menghapus kata-kata yang jarang muncul (sparse) dalam matriks term-dokumen (tdm)

# remove sparse terms
tdm2 <- removeSparseTerms(tdm, sparse = 0.95)
m2 <- as.matrix(tdm2)

Melakukan pengelompokan (clustering) pada kata-kata dalam analisis term-dokumen.Pembagian kata-kata atau dokumen menjadi kelompok-kelompok berdasarkan pola kemiripan atau jarak di antara mereka. Hierarchical clustering memberikan pemahaman struktur hirarki di antara kata-kata, sementara K-means clustering memberikan pengelompokan yang lebih klasik dan tanpa hirarki.

# cluster terms
distMatrix <- dist(scale(m2))
fit <- hclust(distMatrix, method = "ward.D")

plot(fit)
rect.hclust(fit, k = 6) # cut tree into 6 clusters

m3 <- t(m2) # transpose the matrix to cluster documents (tweets)
set.seed(122) # set a fixed random seed
k <- 4 # number of clusters
kmeansResult <- kmeans(m3, k)
round(kmeansResult$centers, digits = 3) # cluster centers

##   adalah bisni     i indonesia informasi olimpiad tingkat   yuk dibuka  halo
## 1  0.095 0.095 0.117     0.073     1.022    1.051   0.124 0.080  0.066 0.131
## 2  0.000 0.000 0.000     0.000     1.000    1.000   0.000 0.000  0.000 0.000
## 3  0.000 0.000 0.111     0.000     1.000    0.889   0.000 0.000  0.000 0.000
## 4  0.000 0.000 0.000     0.071     0.786    0.929   0.071 0.214  0.143 0.071
##   kimia nasion pendaftaran lomba olahraga medium sosial menjadi matematika
## 1 0.029  0.241       0.073 0.131    0.102  0.022  0.015   0.073      0.044
## 2 1.000  0.000       1.000 0.000    0.000  0.000  0.000   0.000      0.000
## 3 0.000  0.000       0.000 0.222    0.000  1.222  0.889   0.111      0.556
## 4 0.071  0.071       1.357 0.714    0.000  0.000  0.000   0.000      0.071
##     you selengkapnya ingin tanggal ketinggalan     🕮 akuntansi diaks dibawah
## 1 0.088        0.175 0.073   0.058       0.044 0.007     0.102 0.058   0.051
## 2 0.000        0.000 0.000   0.000       0.000 3.333     0.000 0.000   0.000
## 3 1.556        0.000 0.000   0.111       0.444 0.000     0.000 0.000   0.000
## 4 0.286        0.000 0.000   0.071       0.071 0.000     0.071 0.429   0.214
##   diploma ekonomi fakulta  link perpajakan present program studi udayana
## 1    0.08   0.102   0.102 0.139      0.102   0.066   0.102 0.095   0.073
## 2    0.00   0.000   0.000 0.000      0.000   0.000   0.000 0.000   0.000
## 3    0.00   0.000   0.000 0.000      0.000   0.000   0.000 0.000   0.000
## 4    0.00   0.000   0.000 1.000      0.000   0.000   0.000 0.000   0.000
##   universita mengenai  sain sampai melalui bawah  lupa terkait telah temanteman
## 1      0.117    0.029 0.109  0.080   0.058 0.022 0.058   0.066 0.058      0.080
## 2      0.000    1.000 0.000  0.000   0.000 1.000 0.000   0.000 0.000      0.000
## 3      0.111    0.111 0.000  0.000   0.000 0.000 0.556   0.000 0.000      0.444
## 4      0.000    0.429 0.000  0.071   0.214 0.000 0.000   0.000 0.143      0.000
##     sma     y achiryani amei hubungi lia narahubung nelda putri rachmawati
## 1 0.066 0.022         0    0   0.015   0      0.015     0     0          0
## 2 0.000 1.000         1    1   1.000   1      1.000     1     1          1
## 3 0.111 0.000         0    0   0.000   0      0.000     0     0          0
## 4 0.000 0.000         0    0   0.000   0      0.000     0     0          0
##   ramadhanti septia syahri waruwu yakobu
## 1      0.000      0      0      0      0
## 2      0.833      1      1      1      1
## 3      0.000      0      0      0      0
## 4      0.000      0      0      0      0

Mencetak informasi mengenai setiap kelompok hasil dari algoritma K-means clustering

for (i in 1:k) {
  cat(paste("cluster ", i, ": ", sep = ""))
  s <- sort(kmeansResult$centers[i, ], decreasing = T)
  cat(names(s)[1:5], "\n")
  # print the tweets of every cluster
  # print(tweets[which(kmeansResult£cluster==i)])
}

## cluster 1: olimpiad informasi nasion selengkapnya link 
## cluster 2: 🕮 informasi olimpiad kimia pendaftaran 
## cluster 3: you medium informasi olimpiad sosial 
## cluster 4: pendaftaran link olimpiad informasi lomba

Pada dasarnya, loop tersebut mencetak informasi tentang setiap kelompok, termasuk nomor kelompok, kata-kata yang paling berkontribusi, dan pada bagian yang dikomentari, dapat digunakan untuk mencetak tweet/tulisan yang termasuk dalam setiap kelompok tersebut.

Analisis Dataset Teks Mining

Mira Arwini

2023-12-10

R Markdown