Teksmining Al Quran Menggunakan R Studio

Magister Informatika UIN Maulana Malik Ibrahim Malang

---

Untuk memuat bahasa Arab, jika tidak bisa muncul teks Bahasa Arab, bisa menggunakan kode Sys.setlocale("LC_ALL","Arabic") agar bisa menghasilkan output teks Bahasa Arab.

Sys.setlocale("LC_ALL","Arabic")

[1] "LC_COLLATE=Arabic_Saudi Arabia.1256;LC_CTYPE=Arabic_Saudi Arabia.1256;LC_MONETARY=Arabic_Saudi Arabia.1256;LC_NUMERIC=C;LC_TIME=Arabic_Saudi Arabia.1256"

Dapatkan teks Al-Qur’an.

Buka http://tanzil.net/download/ dan pilih file yang diinginkan. Dalam tutorial ini, saya menggunakan Quran Text Type “Simple (Clean)” tanpa tanda jeda atau opsi lain, dan memilih “Text (with aya numbers)”, dan menyimpannya di folder F:/uun/UIN/KNOWLEDGE DISCOVERY AND DATA MINING/PROJECT/.

q = read.csv("F:/uun/UIN/KNOWLEDGE DISCOVERY AND DATA MINING/PROJECT/quran-simple-clean.txt", header=F, stringsAsFactor=F, encoding="UTF-8", sep="|")
head(q)

Dibagian akhir dari data quran yang sudah didownload terdapat copyright didalamnya, maka perlu di edit manual untuk menghapus bagian yang tidak perlu. Caranya buka file quran-simple-clean.txt, bisa membukanya dengan Notepad, setelah itu langsung menuju ke bagian terakhir teks, hapus teks selain teks Bahasa Arab.

tail(q)

Merapikan Beberapa Hal

Untuk melihat struktur dari Al Quran di R. Bisa melakukan perintah berikut.

str(q)

'data.frame':   6236 obs. of  3 variables:
 $ V1: int  1 1 1 1 1 1 1 2 2 2 ...
 $ V2: int  1 2 3 4 5 6 7 1 2 3 ...
 $ V3: chr  "بسم الله الرحمن الرحيم" "الحمد لله رب العالمين" "الرحمن الرحيم" "مالك يوم الدين" ...

Kita tambahkan Heading, untuk menggantikan inisial yang sudah diberikan oleh R.

colnames(q) = c("sura", "aya", "text")

Menampilkan Ayat Pertama dalam 10 Surat Pertama

q$text[q$aya==1 & q$sura<=10]

 [1] "بسم الله الرحمن الرحيم"                                                                                                                                                          
 [2] "بسم الله الرحمن الرحيم الم"                                                                                                                                                      
 [3] "بسم الله الرحمن الرحيم الم"                                                                                                                                                      
 [4] "بسم الله الرحمن الرحيم يا أيها الناس اتقوا ربكم الذي خلقكم من نفس واحدة وخلق منها زوجها وبث منهما رجالا كثيرا ونساء واتقوا الله الذي تساءلون به والأرحام إن الله كان عليكم رقيبا"
 [5] "بسم الله الرحمن الرحيم يا أيها الذين آمنوا أوفوا بالعقود أحلت لكم بهيمة الأنعام إلا ما يتلى عليكم غير محلي الصيد وأنتم حرم إن الله يحكم ما يريد"                                 
 [6] "بسم الله الرحمن الرحيم الحمد لله الذي خلق السماوات والأرض وجعل الظلمات والنور ثم الذين كفروا بربهم يعدلون"                                                                       
 [7] "بسم الله الرحمن الرحيم المص"                                                                                                                                                     
 [8] "بسم الله الرحمن الرحيم يسألونك عن الأنفال قل الأنفال لله والرسول فاتقوا الله وأصلحوا ذات بينكم وأطيعوا الله ورسوله إن كنتم مؤمنين"                                               
 [9] "براءة من الله ورسوله إلى الذين عاهدتم من المشركين"                                                                                                                               
[10] "بسم الله الرحمن الرحيم الر تلك آيات الكتاب الحكيم"                                                                                                                               

Dari hasil yang didapatkan, kita tahu bahwa Tanzil menganggap “بسم الله الرحمن الرحيم” sebagai versi bagian pertama disemua surat, kecuali surat ke 9. Untuk itu mari kita mengecualikan “بسم الله الرحمن الرحيم” kecuali surat no 1 dan 9

q$text = gsub("^بسم الله الرحمن الرحيم ","",q$text)

Menamampilkan Surah

kali ini kita akan menampilkan Surah No.100

q[q$sura==100,]

Mencari Kata

Selanjutnya kita akan mencari Kata Muhammad (محمد) dan mengetahui berapa kali disebutkan dalam Al Quran.

q[which(grepl("محمد", q$text)),]

Text Mining

Kita masuk pada Text Mining dimana nantinya kita dapat berwksperimen dengan data menggunakan Text Mining. sebelumnya Install terbelih dahulu Packages tm dengan cara klik pada Console R Studio kemudian Ketikkan install.packages(“tm) kemudian tekan”enter", tunggu beberapa saat hingga proses instalasi selesai.

str(q)

'data.frame':   6236 obs. of  3 variables:
 $ sura: int  1 1 1 1 1 1 1 2 2 2 ...
 $ aya : int  1 2 3 4 5 6 7 1 2 3 ...
 $ text: chr  "بسم الله الرحمن الرحيم" "الحمد لله رب العالمين" "الرحمن الرحيم" "مالك يوم الدين" ...

library(tm)

Langkah pertama adalah membuat corpus yang terdiri dari Versi Text Arabic Mentah sebagai VectorSource

qCorpus = Corpus(VectorSource(q$text))

Mari kita bedah konten dari Corpus

inspect(qCorpus[1:5])

<<SimpleCorpus>>
Metadata:  corpus specific: 1, document level (indexed): 0
Content:  documents: 5

[1] بسم الله الرحمن الرحيم الحمد لله رب العالمين  الرحمن الرحيم          مالك يوم الدين         إياك نعبد وإياك نستعين

Sekarang mari kita membuat Matriks Dokumen

qTerms = DocumentTermMatrix(qCorpus)
qTerms

<<DocumentTermMatrix (documents: 6236, terms: 14865)>>
Non-/sparse entries: 73563/92624577
Sparsity           : 100%
Maximal term length: 11
Weighting          : term frequency (tf)

Ini menghasilkan matriks dokumen yang panjang (yaitu, ayat-ayat) terhadap istilah-istilah Al-Qur’an. Mari kita misalnya melihat sebagian dari matriks ini dengan melihat ke dalam dokumen 1 sampai 7 (yaitu, sura Fateha) dan istilah mengatakan 1000 sampai 1005

inspect(qTerms[1:7,1000:1005])

<<DocumentTermMatrix (documents: 7, terms: 6)>>
Non-/sparse entries: 0/42
Sparsity           : 100%
Maximal term length: 6
Weighting          : term frequency (tf)
Sample             :
    Terms
Docs وجه ولله اتخذ سبحانه قانتون ولدا
   1   0    0    0      0      0    0
   2   0    0    0      0      0    0
   3   0    0    0      0      0    0
   4   0    0    0      0      0    0
   5   0    0    0      0      0    0
   6   0    0    0      0      0    0
   7   0    0    0      0      0    0

Ini memberitahu kita bahwa tidak ada satu pun dari lima istilah yang muncul di salah satu dari 7 dokumen pertama. Sparsity adalah masalah yang dikenal dalam matriks istilah dokumen.

Beberapa Operasi dari Istilah Dokumen Matriks

Mari kita temukan beberapa istilah umum dalam Quran. Istilah apa yang digunakan 100 kali atau lebih dalam Quran?

findFreqTerms(qTerms,100)

 [1] "الله"     "رب"       "لله"      "يوم"      "الذين"    "عليهم"    "ولا"      "الكتاب"   "ذلك"      "فيه"     
[11] "لا"       "بما"      "من"       "هم"       "والذين"   "وما"      "أولئك"    "ربهم"     "على"      "أم"      
[21] "إن"       "كفروا"    "لم"       "عذاب"     "الناس"    "بالله"    "ومن"      "آمنوا"    "إلا"      "في"      
[31] "كانوا"    "إنما"     "الأرض"    "قالوا"    "لهم"      "وإذا"     "ولكن"     "إلى"      "إنا"      "الذي"    
[41] "فلما"     "ما"       "أو"       "السماء"   "والله"    "شيء"      "كل"       "ولو"      "أيها"     "ربكم"    
[51] "يا"       "به"       "فلا"      "لكم"      "كنتم"     "مما"      "وإن"      "النار"    "فإن"      "أن"      
[61] "فيها"     "قبل"      "هذا"      "وهم"      "الحق"     "بعد"      "ثم"       "عليم"     "هو"       "وهو"     
[71] "إني"      "ربك"      "قال"      "السماوات" "والأرض"   "إنه"      "عليه"     "عليكم"    "عن"       "موسى"    
[81] "خير"      "عند"      "قوم"      "حتى"      "قد"       "منكم"     "ولقد"     "كان"      "منهم"     "قل"      
[91] "الدنيا"   "بل"       "يشاء"     "له"       "ربنا"     "إذ"       "إذا"     

Bahkan kita dapat membuat daftar istilah yang paling sering muncul dan menyimpannya dalam data frame.

freq = sort(colSums(as.matrix(qTerms)),decreasing = T)
head(freq, 10)

   من  الله    في    ما    إن    لا الذين   على   إلا   ولا 
 2763  2153  1185  1013   966   812   810   670   664   658 

wf = data.frame(word=names(freq), freq=freq)

Selanjutnya kita akan menggunakan paket ggplot2, untuk memvisualisasikan dalam bentuk plot. Pertama kita harus memproses lirary ggplot2

library(ggplot2)

ambil frekuensi paling banyak dalam data frame terpisah

wfplot = subset(wf,freq>300)
ggplot(wfplot, aes(word, freq)) +
  geom_bar(stat="identity")+
  theme(axis.text.x=element_text(angle=45, hjust = 1))

barplot(wf[1:10,]$freq, las = 2, names.arg = wf[1:10,]$word,
col ="lightblue", main ="Most frequent words",
ylab = "Word frequencies")

library(wordcloud)

set.seed(114)
wordcloud(names(freq), freq, min.freq=50, scale=c(5,.5),colors=brewer.pal(6,"Dark2"), rot.per=0.2)

Panjang Kata

Kita ingin tahu lebih banyak tentang panjang kata dalam Quran.

Pertama mari kita dapatkan semua kata dalam data frame words dan panjang kata di wLen

words = as.matrix(colnames(qTerms))

wLen = data.frame(nletters=nchar(words))

Mari kita menghasilkan beberapa visualisasi dari ini.

ggplot(wLen, aes(x=nletters))+
  geom_histogram(binwidth=1) +
  geom_vline(xintercept=mean(nchar(words)),
             colour="green", size=1, alpha=.5)+
  labs(x="Number of Letters", y="Number of Words")

Hal ini menunjukkan bahwa rata-rata ukuran kata mendekati 5 huruf. Ingat kita tidak berbicara di sini tentang kata dasar, melainkan kata mentah dengan semua awalan dan akhiran.

Daftar Pustaka

http://tanzil.net/download/

http://textminingthequran.com/tutorial/tm.html