Data607 Project 4
Ritesh Lohiya
April 13, 2018
Task:
It can be useful to be able to classify new “test” documents using already classified “training” documents. A common example is using a corpus of labeled spam and ham (non-spam) e-mails to predict whether or not a new document is spam.
For this project, you can start with a spam/ham dataset, then predict the class of new documents (either withheld from the training dataset or from another source such as your own spam folder). One example corpus: https://spamassassin.apache.org/publiccorpus/
The data is present at : http://spamassassin.apache.org/old/publiccorpus/
Libraries:
install.packages(“wordcloud”)
install.packages(“tidytext”)
install.packages(“tm”,dependencies=TRUE)
install.packages(“RTextTools”, type=“source”)
install.packages(“kableExtra”)
library(dplyr)##
## Attaching package: 'dplyr'## The following objects are masked from 'package:stats':
##
## filter, lag## The following objects are masked from 'package:base':
##
## intersect, setdiff, setequal, unionlibrary(tidyr)
library(stringr)
library(ggplot2)
library(wordcloud)## Warning: package 'wordcloud' was built under R version 3.4.4## Loading required package: RColorBrewerlibrary(tidytext)## Warning: package 'tidytext' was built under R version 3.4.4library(tm)## Warning: package 'tm' was built under R version 3.4.4## Loading required package: NLP##
## Attaching package: 'NLP'## The following object is masked from 'package:ggplot2':
##
## annotatelibrary(RTextTools)## Loading required package: SparseM##
## Attaching package: 'SparseM'## The following object is masked from 'package:base':
##
## backsolvelibrary(knitr)
library(tidyverse)## -- Attaching packages ---------------------------------------------------------------- tidyverse 1.2.1 --## v tibble 1.4.2 v purrr 0.2.4
## v readr 1.1.1 v forcats 0.2.0## -- Conflicts ------------------------------------------------------------------- tidyverse_conflicts() --
## x NLP::annotate() masks ggplot2::annotate()
## x dplyr::filter() masks stats::filter()
## x dplyr::lag() masks stats::lag()library(kableExtra)## Warning: package 'kableExtra' was built under R version 3.4.4Getting the data:
ham_file <- "C:/Users/Arnav/Desktop/CUNY/Data607/Data607_Project4/easy_ham/easy_ham/"
ham_names <- list.files(ham_file)
head(ham_names)## [1] "00001.7c53336b37003a9286aba55d2945844c"
## [2] "00002.9c4069e25e1ef370c078db7ee85ff9ac"
## [3] "00003.860e3c3cee1b42ead714c5c874fe25f7"
## [4] "00004.864220c5b6930b209cc287c361c99af1"
## [5] "00005.bf27cdeaf0b8c4647ecd61b1d09da613"
## [6] "00006.253ea2f9a9cc36fa0b1129b04b806608"spam_file <- "C:/Users/Arnav/Desktop/CUNY/Data607/Data607_Project4/spam_2/spam_2/"
spam_names <- list.files(spam_file)
head(spam_names)## [1] "00001.317e78fa8ee2f54cd4890fdc09ba8176"
## [2] "00002.9438920e9a55591b18e60d1ed37d992b"
## [3] "00003.590eff932f8704d8b0fcbe69d023b54d"
## [4] "00004.bdcc075fa4beb5157b5dd6cd41d8887b"
## [5] "00005.ed0aba4d386c5e62bc737cf3f0ed9589"
## [6] "00006.3ca1f399ccda5d897fecb8c57669a283"Creating a corpus:
ham <- VCorpus(DirSource("C:/Users/Arnav/Desktop/CUNY/Data607/Data607_Project4/easy_ham/easy_ham/"))
spam <- VCorpus(DirSource("C:/Users/Arnav/Desktop/CUNY/Data607/Data607_Project4/spam_2/spam_2/"))Cleaning the data as we do not require spaces, punctuation and numbers for out model.
data1 <- tm_map(data1, content_transformer(function(x) iconv(x, "UTF-8", sub="byte")))
data1 <- tm_map(data1, content_transformer(tolower))
data1 <- tm_map(data1, removeNumbers)
data1 <- tm_map(data1, removeWords, stopwords("english"))
data1 <- tm_map(data1, removePunctuation)
data1 <- tm_map(data1, stripWhitespace)Wordcloud:
wordcloud(data1, min.freq=1000)
Arranging the text in matrix form where the rows represent individual terms and columns contain the texts:
dtm <- DocumentTermMatrix(data1)
dtm## <<DocumentTermMatrix (documents: 3898, terms: 98953)>>
## Non-/sparse entries: 645347/385073447
## Sparsity : 100%
## Maximal term length: 868
## Weighting : term frequency (tf)Removing sparse words:
dtm <- removeSparseTerms(dtm, 1-(10/length(data1)))
dtm## <<DocumentTermMatrix (documents: 3898, terms: 6819)>>
## Non-/sparse entries: 489383/26091079
## Sparsity : 98%
## Maximal term length: 73
## Weighting : term frequency (tf)Word counts:
dtm2 <- as.matrix(dtm)
word_count <- colSums(dtm2)
word_count <- sort(word_count, decreasing=T)
words <- head(word_count, 15)
words## received esmtp sep localhost mon aug
## 20338 11544 9793 9246 6008 5764
## postfix oct jmlocalhost thu wed date
## 5627 5256 5227 5194 5178 4845
## ist subject tue
## 4840 4696 4536Number of ham and spam emails:
data2 <- as.vector(unlist(meta(data1)))
data3 <- data.frame(type = unlist(data2))
table(data3)## data3
## ham spam
## 2501 1397Using create_container() function from RTextTools we will be splitting the data into train and test:
container <- create_container(dtm,labels = data2,trainSize = 1:2728,testSize = 2729:3898,virgin = FALSE)
slotNames(container)## [1] "training_matrix" "classification_matrix" "training_codes"
## [4] "testing_codes" "column_names" "virgin"We can use the train_model() function for training our data:
models <- train_models(container, algorithms=c("MAXENT","SVM", "RF", "TREE"))
results <- classify_models(container, models)
head(results)## MAXENTROPY_LABEL MAXENTROPY_PROB SVM_LABEL SVM_PROB FORESTS_LABEL
## 1 ham 0.9999943 ham 0.9999889 ham
## 2 spam 0.8197913 ham 0.8922602 spam
## 3 spam 0.6707272 ham 0.8200943 spam
## 4 ham 0.9257968 spam 0.5000000 spam
## 5 ham 0.9318892 ham 0.6321333 spam
## 6 ham 0.9913639 ham 0.9853707 ham
## FORESTS_PROB TREE_LABEL TREE_PROB
## 1 0.980 ham 0.9982964
## 2 0.655 spam 0.9961360
## 3 0.655 spam 0.9961360
## 4 0.670 spam 0.9961360
## 5 0.685 spam 0.9961360
## 6 0.500 spam 0.9961360Adding the correct email type to the data:
out_data <- data.frame(
correct_type = data2[2729:3898],
maxent_type = as.character(results$MAXENTROPY_LABEL),
svm_type = as.character(results$SVM_LABEL),
rf_type = as.character(results$FORESTS_LABEL),
tree_type = as.character(results$TREE_LABEL),
stringsAsFactors = F)
out_data## correct_type maxent_type svm_type rf_type tree_type
## 1 ham ham ham ham ham
## 2 ham spam ham spam spam
## 3 ham spam ham spam spam
## 4 ham ham spam spam spam
## 5 ham ham ham spam spam
## 6 ham ham ham ham spam
## 7 ham spam ham spam spam
## 8 ham ham ham spam spam
## 9 ham ham ham ham ham
## 10 ham ham ham ham ham
## 11 ham ham ham ham ham
## 12 ham ham ham ham ham
## 13 ham ham ham ham ham
## 14 ham ham ham ham ham
## 15 ham ham ham ham ham
## 16 ham ham ham ham ham
## 17 ham ham ham ham ham
## 18 ham ham ham spam spam
## 19 ham ham ham ham ham
## 20 ham ham ham ham ham
## 21 ham ham ham ham ham
## 22 ham ham ham ham ham
## 23 ham ham ham ham ham
## 24 ham ham ham ham ham
## 25 ham ham ham ham ham
## 26 ham ham ham ham ham
## 27 ham ham ham ham ham
## 28 ham ham ham ham ham
## 29 ham ham ham ham ham
## 30 ham ham ham ham ham
## 31 ham ham ham ham ham
## 32 ham ham ham ham ham
## 33 ham ham ham ham ham
## 34 ham ham ham ham ham
## 35 ham ham ham ham ham
## 36 ham ham ham ham ham
## 37 ham ham ham ham ham
## 38 ham ham ham ham ham
## 39 ham ham ham ham ham
## 40 ham ham spam ham ham
## 41 ham ham ham ham ham
## 42 ham ham ham ham ham
## 43 ham ham ham ham ham
## 44 ham ham ham ham ham
## 45 ham ham ham ham ham
## 46 ham ham ham ham ham
## 47 ham ham ham ham ham
## 48 ham ham ham ham ham
## 49 ham ham ham ham ham
## 50 ham ham ham ham ham
## 51 ham ham ham ham ham
## 52 ham ham ham ham ham
## 53 ham ham ham ham ham
## 54 ham ham ham ham ham
## 55 ham ham ham ham ham
## 56 ham ham ham ham ham
## 57 ham ham ham ham ham
## 58 ham ham ham ham ham
## 59 ham ham ham ham ham
## 60 ham ham ham ham ham
## 61 ham ham ham ham ham
## 62 ham ham ham spam spam
## 63 ham ham ham ham spam
## 64 ham ham ham spam spam
## 65 ham ham ham ham ham
## 66 ham ham ham spam spam
## 67 ham ham spam ham ham
## 68 ham ham spam ham ham
## 69 ham ham ham ham ham
## 70 ham ham ham ham ham
## 71 ham ham ham ham ham
## 72 ham ham ham ham ham
## 73 ham ham ham ham ham
## 74 ham ham ham ham ham
## 75 ham ham ham ham ham
## 76 ham ham ham ham ham
## 77 ham ham ham ham ham
## 78 ham ham ham ham ham
## 79 ham ham ham ham ham
## 80 ham ham ham ham ham
## 81 ham ham ham ham ham
## 82 ham ham ham ham ham
## 83 ham ham ham ham ham
## 84 ham ham ham ham ham
## 85 ham spam spam spam spam
## 86 ham ham spam spam spam
## 87 ham ham spam spam spam
## 88 ham ham spam spam spam
## 89 ham ham spam spam spam
## 90 ham ham spam spam spam
## 91 ham spam spam spam spam
## 92 ham spam spam spam spam
## 93 ham ham spam spam spam
## 94 ham ham ham ham spam
## 95 ham ham ham ham ham
## 96 ham ham ham ham ham
## 97 ham ham ham ham ham
## 98 ham ham ham ham ham
## 99 ham ham ham ham ham
## 100 ham ham ham ham spam
## 101 ham ham ham spam spam
## 102 ham ham ham ham ham
## 103 ham ham ham ham ham
## 104 ham ham ham ham ham
## 105 ham ham ham ham ham
## 106 ham ham ham ham ham
## 107 ham ham ham ham ham
## 108 ham ham ham ham ham
## 109 ham ham ham ham ham
## 110 ham ham ham ham ham
## 111 ham ham ham ham ham
## 112 ham ham ham ham ham
## 113 ham ham ham ham ham
## 114 ham ham ham ham ham
## 115 ham ham ham ham ham
## 116 ham ham ham ham ham
## 117 ham ham ham ham ham
## 118 ham ham ham ham ham
## 119 ham ham ham ham ham
## 120 ham ham ham ham ham
## 121 ham ham ham ham ham
## 122 ham ham ham ham ham
## 123 ham ham ham ham ham
## 124 ham ham ham ham ham
## 125 ham ham ham ham spam
## 126 ham ham ham ham ham
## 127 ham ham ham ham ham
## 128 ham ham ham ham ham
## 129 ham ham ham ham ham
## 130 ham ham ham ham ham
## 131 ham ham ham ham ham
## 132 ham ham ham ham ham
## 133 ham ham ham ham ham
## 134 ham ham ham ham ham
## 135 ham ham ham ham ham
## 136 ham ham ham ham ham
## 137 ham ham ham ham ham
## 138 ham ham ham ham ham
## 139 ham ham ham ham ham
## 140 ham ham ham ham ham
## 141 ham ham ham ham ham
## 142 ham ham ham ham ham
## 143 ham ham ham ham ham
## 144 ham ham ham ham ham
## 145 ham ham ham ham ham
## 146 ham ham ham ham ham
## 147 ham ham ham ham ham
## 148 ham ham ham ham ham
## 149 ham ham ham ham ham
## 150 ham ham ham ham ham
## 151 ham ham ham ham ham
## 152 ham ham ham ham ham
## 153 ham ham ham ham ham
## 154 ham ham ham spam spam
## 155 ham ham ham spam spam
## 156 ham ham ham spam spam
## 157 ham ham ham spam spam
## 158 ham ham ham spam spam
## 159 ham ham ham spam spam
## 160 ham ham ham ham ham
## 161 ham ham ham ham ham
## 162 ham ham ham spam spam
## 163 ham ham ham spam spam
## 164 ham ham ham spam spam
## 165 ham ham ham ham ham
## 166 ham ham ham ham ham
## 167 ham ham ham ham ham
## 168 ham ham ham ham ham
## 169 ham ham ham ham ham
## 170 ham ham ham ham ham
## 171 ham ham ham ham ham
## 172 ham ham ham ham ham
## 173 ham ham ham ham spam
## 174 ham ham ham ham ham
## 175 ham ham ham spam spam
## 176 ham ham ham ham ham
## 177 ham ham ham ham ham
## 178 ham ham ham spam spam
## 179 ham ham ham spam spam
## 180 ham ham ham spam spam
## 181 ham ham ham ham ham
## 182 ham ham ham ham ham
## 183 ham ham ham ham ham
## 184 ham ham ham ham ham
## 185 ham ham ham ham ham
## 186 ham ham ham ham ham
## 187 ham ham ham ham ham
## 188 ham ham ham ham ham
## 189 ham ham ham ham ham
## 190 ham ham ham ham ham
## 191 ham ham ham ham ham
## 192 ham ham ham ham ham
## 193 ham ham ham ham ham
## 194 ham ham ham ham ham
## 195 ham ham ham ham ham
## 196 ham ham ham ham ham
## 197 ham ham ham ham ham
## 198 ham ham ham ham ham
## 199 ham ham ham ham ham
## 200 ham ham ham ham ham
## 201 ham ham ham spam spam
## 202 ham ham ham spam spam
## 203 ham ham ham ham ham
## 204 ham ham ham ham ham
## 205 ham ham ham ham ham
## 206 ham ham ham ham spam
## 207 ham ham ham ham ham
## 208 ham ham ham ham ham
## 209 ham ham ham ham ham
## 210 ham ham ham ham ham
## 211 ham ham ham ham ham
## 212 ham ham ham ham ham
## 213 ham ham ham ham ham
## 214 ham ham ham spam spam
## 215 ham ham ham spam spam
## 216 ham ham ham ham ham
## 217 ham ham ham ham ham
## 218 ham ham ham ham ham
## 219 ham ham ham ham ham
## 220 ham ham ham ham ham
## 221 ham ham ham ham ham
## 222 ham ham ham ham ham
## 223 ham ham ham spam ham
## 224 ham ham spam ham ham
## 225 ham ham ham ham ham
## 226 ham ham ham ham ham
## 227 ham ham ham ham ham
## 228 ham ham ham ham ham
## 229 ham ham ham ham ham
## 230 ham ham ham ham ham
## 231 ham ham ham ham ham
## 232 ham ham ham ham ham
## 233 ham ham ham ham ham
## 234 ham ham ham ham ham
## 235 ham ham ham ham ham
## 236 ham ham ham ham ham
## 237 ham ham ham ham ham
## 238 ham ham ham ham ham
## 239 ham ham ham ham ham
## 240 ham ham ham ham ham
## 241 ham ham ham ham ham
## 242 ham ham ham ham ham
## 243 ham ham ham ham ham
## 244 ham ham ham ham ham
## 245 ham ham ham ham ham
## 246 ham ham ham ham ham
## 247 ham ham ham ham ham
## 248 ham ham ham ham ham
## 249 ham ham ham ham ham
## 250 ham ham ham ham ham
## 251 ham ham ham ham ham
## 252 ham ham ham ham ham
## 253 ham ham ham ham ham
## 254 ham ham ham ham ham
## 255 ham ham ham ham ham
## 256 ham ham ham ham ham
## 257 ham ham ham ham ham
## 258 ham ham ham ham ham
## 259 ham ham ham spam spam
## 260 ham ham ham ham ham
## 261 ham ham ham ham ham
## 262 ham ham ham ham ham
## 263 ham ham ham ham ham
## 264 ham ham ham ham ham
## 265 ham ham ham ham ham
## 266 ham ham ham ham ham
## 267 ham ham ham ham ham
## 268 ham ham ham ham ham
## 269 ham ham ham ham ham
## 270 ham ham ham ham ham
## 271 ham ham ham ham ham
## 272 ham ham ham ham ham
## 273 ham ham ham ham ham
## 274 ham ham ham ham ham
## 275 ham ham ham ham ham
## 276 ham ham ham ham ham
## 277 ham ham ham ham ham
## 278 ham ham ham ham ham
## 279 ham ham ham ham ham
## 280 ham ham ham ham ham
## 281 ham ham ham ham ham
## 282 ham ham ham ham ham
## 283 ham ham ham ham ham
## 284 ham ham ham ham ham
## 285 ham ham ham ham ham
## 286 ham ham ham ham ham
## 287 ham ham ham ham ham
## 288 ham ham ham ham ham
## 289 ham ham ham ham ham
## 290 ham ham ham ham ham
## 291 ham ham ham ham ham
## 292 ham ham ham ham ham
## 293 ham ham ham ham ham
## 294 ham ham ham ham ham
## 295 ham ham ham ham ham
## 296 ham ham ham ham ham
## 297 ham ham ham ham ham
## 298 ham ham ham ham ham
## 299 ham ham ham ham ham
## 300 ham ham ham ham ham
## 301 ham ham ham ham ham
## 302 ham ham ham ham ham
## 303 ham ham ham ham ham
## 304 ham ham spam spam spam
## 305 ham ham spam spam spam
## 306 ham ham spam spam spam
## 307 ham ham spam spam spam
## 308 ham ham spam spam spam
## 309 ham ham spam spam spam
## 310 ham ham spam spam spam
## 311 ham ham spam spam spam
## 312 ham ham spam spam spam
## 313 ham ham spam spam spam
## 314 ham ham spam spam spam
## 315 ham ham spam spam spam
## 316 ham ham ham spam spam
## 317 ham ham ham spam spam
## 318 ham ham spam spam spam
## 319 ham ham ham spam spam
## 320 ham ham spam spam spam
## 321 ham ham spam spam spam
## 322 ham ham spam spam spam
## 323 ham ham spam spam spam
## 324 ham ham spam spam spam
## 325 ham ham spam spam spam
## 326 ham ham spam spam spam
## 327 ham ham ham spam spam
## 328 ham spam spam spam spam
## 329 ham ham spam spam spam
## 330 ham ham ham spam spam
## 331 ham ham spam spam spam
## 332 ham ham spam spam spam
## 333 ham ham spam spam spam
## 334 ham ham spam spam spam
## 335 ham ham spam spam spam
## 336 ham ham spam spam spam
## 337 ham spam spam spam spam
## 338 ham ham spam spam spam
## 339 ham ham spam spam spam
## 340 ham ham spam spam spam
## 341 ham ham spam spam spam
## 342 ham ham spam spam spam
## 343 ham spam spam spam spam
## 344 ham ham spam spam spam
## 345 ham spam spam spam spam
## 346 ham spam spam spam spam
## 347 ham spam spam spam spam
## 348 ham ham spam spam spam
## 349 ham ham spam spam spam
## 350 ham spam spam spam spam
## 351 ham spam spam spam spam
## 352 ham spam spam spam spam
## 353 ham ham spam spam spam
## 354 ham ham spam spam spam
## 355 ham ham spam spam spam
## 356 ham spam spam spam spam
## 357 ham ham spam spam spam
## 358 ham ham spam spam spam
## 359 ham ham spam spam spam
## 360 ham ham spam spam spam
## 361 ham spam spam spam spam
## 362 ham ham spam spam spam
## 363 ham ham spam spam spam
## 364 ham ham spam spam spam
## 365 ham ham spam spam spam
## 366 ham ham spam spam spam
## 367 ham spam spam spam spam
## 368 ham ham spam spam spam
## 369 ham spam spam spam spam
## 370 ham ham spam spam spam
## 371 ham ham spam spam spam
## 372 ham ham spam spam spam
## 373 ham ham spam spam spam
## 374 ham spam spam spam spam
## 375 ham ham spam spam spam
## 376 ham spam spam spam spam
## 377 ham ham spam spam spam
## 378 ham spam spam spam spam
## 379 ham spam spam spam spam
## 380 ham ham spam spam spam
## 381 ham ham spam spam spam
## 382 ham spam spam spam spam
## 383 ham ham spam spam spam
## 384 ham ham ham spam spam
## 385 ham spam spam spam spam
## 386 ham ham spam spam spam
## 387 ham ham spam spam spam
## 388 ham ham spam spam spam
## 389 ham ham spam spam spam
## 390 ham spam spam spam spam
## 391 ham spam spam spam spam
## 392 ham ham spam spam spam
## 393 ham ham spam spam spam
## 394 ham spam spam spam spam
## 395 ham spam spam spam spam
## 396 ham ham spam spam spam
## 397 ham spam spam spam spam
## 398 ham ham spam spam spam
## 399 ham ham spam spam spam
## 400 ham ham spam spam spam
## 401 ham spam spam spam spam
## 402 ham ham spam spam spam
## 403 ham ham spam spam spam
## 404 ham ham spam spam spam
## 405 ham ham spam spam spam
## 406 ham ham spam spam spam
## 407 ham ham spam spam spam
## 408 ham ham spam spam spam
## 409 ham ham spam spam spam
## 410 ham ham spam spam spam
## 411 ham ham spam spam spam
## 412 ham ham ham spam spam
## 413 ham ham spam spam spam
## 414 ham ham spam spam spam
## 415 ham ham spam spam spam
## 416 ham ham spam spam spam
## 417 ham spam spam spam spam
## 418 ham ham spam spam spam
## 419 ham ham ham spam spam
## 420 ham ham spam spam spam
## 421 ham ham spam spam spam
## 422 ham ham spam spam spam
## 423 ham ham spam spam spam
## 424 ham ham spam spam spam
## 425 ham ham spam spam spam
## 426 ham ham spam spam spam
## 427 ham ham spam spam spam
## 428 ham ham spam spam spam
## 429 ham ham spam spam spam
## 430 ham ham ham ham spam
## 431 ham ham ham ham spam
## 432 ham ham ham spam ham
## 433 ham ham ham spam ham
## 434 ham ham ham ham spam
## 435 ham ham spam ham spam
## 436 ham ham ham spam ham
## 437 ham ham spam ham spam
## 438 ham ham ham spam spam
## 439 ham ham ham ham spam
## 440 ham ham ham ham spam
## 441 ham ham ham ham spam
## 442 ham ham ham ham spam
## 443 ham ham ham ham spam
## 444 ham ham ham ham spam
## 445 ham ham ham ham spam
## 446 ham ham ham ham spam
## 447 ham ham ham ham spam
## 448 ham ham ham ham spam
## 449 ham ham ham ham ham
## 450 ham ham ham ham spam
## 451 ham ham ham ham spam
## 452 ham ham ham ham spam
## 453 ham ham ham ham spam
## 454 ham ham ham ham spam
## 455 ham ham ham ham spam
## 456 ham ham ham ham spam
## 457 ham ham ham ham spam
## 458 ham ham ham ham spam
## 459 ham ham ham ham spam
## 460 ham ham ham ham ham
## 461 ham ham ham ham spam
## 462 ham ham ham ham spam
## 463 ham ham ham ham ham
## 464 ham ham ham ham ham
## 465 ham ham ham ham spam
## 466 ham ham ham ham spam
## 467 ham ham ham ham spam
## 468 ham ham ham ham spam
## 469 ham ham ham ham spam
## 470 ham ham ham ham spam
## 471 ham ham ham ham spam
## 472 ham ham ham ham spam
## 473 ham ham ham ham spam
## 474 ham ham ham ham spam
## 475 ham ham ham ham spam
## 476 ham ham ham ham spam
## 477 ham ham ham ham spam
## 478 ham ham ham ham spam
## 479 ham ham ham ham ham
## 480 ham ham ham ham spam
## 481 ham ham ham ham spam
## 482 ham ham ham ham ham
## 483 ham ham ham ham ham
## 484 ham ham ham ham ham
## 485 ham ham ham ham spam
## 486 ham ham ham ham spam
## 487 ham ham ham ham ham
## 488 ham ham ham ham ham
## 489 ham ham ham ham ham
## 490 ham ham ham ham spam
## 491 ham ham ham ham spam
## 492 ham ham ham ham spam
## 493 ham ham ham spam spam
## 494 ham ham ham ham spam
## 495 ham ham ham spam spam
## 496 ham ham ham spam spam
## 497 ham ham ham spam spam
## 498 ham ham ham spam spam
## 499 ham ham ham spam spam
## 500 ham ham ham ham spam
## 501 ham ham ham spam spam
## 502 ham ham ham ham spam
## 503 ham ham ham ham spam
## 504 ham ham ham ham spam
## 505 ham ham ham ham spam
## 506 ham ham ham ham spam
## 507 ham ham ham ham spam
## 508 ham ham ham ham spam
## 509 ham ham ham spam spam
## 510 ham ham ham spam spam
## 511 ham ham ham spam spam
## 512 ham ham ham spam spam
## 513 ham ham ham ham spam
## 514 ham ham ham spam spam
## 515 ham ham ham ham spam
## 516 ham ham ham spam spam
## 517 ham ham ham ham spam
## 518 ham ham ham spam spam
## 519 ham ham ham spam spam
## 520 ham ham ham ham spam
## 521 ham ham ham ham spam
## 522 ham ham ham ham spam
## 523 ham ham ham ham spam
## 524 ham ham ham spam spam
## 525 ham ham ham spam spam
## 526 ham ham ham ham spam
## 527 ham ham ham spam spam
## 528 ham ham ham ham spam
## 529 ham ham ham ham spam
## 530 ham ham ham spam spam
## 531 ham ham ham spam spam
## 532 ham ham ham spam spam
## 533 ham ham ham spam spam
## 534 ham ham ham spam spam
## 535 ham ham ham spam spam
## 536 ham ham ham spam spam
## 537 ham ham ham spam spam
## 538 ham ham ham spam spam
## 539 ham ham ham spam spam
## 540 ham ham ham spam spam
## 541 ham ham ham spam spam
## 542 ham ham ham spam spam
## 543 ham ham ham spam spam
## 544 ham ham ham spam spam
## 545 ham ham ham spam spam
## 546 ham ham ham spam spam
## 547 ham ham ham spam spam
## 548 ham ham ham spam spam
## 549 ham ham ham spam spam
## 550 ham ham ham spam spam
## 551 ham ham ham spam spam
## 552 ham ham ham spam spam
## 553 ham ham ham spam spam
## 554 ham ham ham ham spam
## 555 ham ham ham ham spam
## 556 ham ham ham spam spam
## 557 ham ham ham ham spam
## 558 ham ham ham ham spam
## 559 ham ham ham spam spam
## 560 ham ham ham ham spam
## 561 ham ham ham ham spam
## 562 ham ham ham ham spam
## 563 ham ham ham ham spam
## 564 ham ham ham spam spam
## 565 ham ham ham ham spam
## 566 ham ham ham spam spam
## 567 ham ham ham ham spam
## 568 ham ham ham spam spam
## 569 ham ham ham spam spam
## 570 ham ham ham spam spam
## 571 ham ham ham spam spam
## 572 ham ham ham spam spam
## 573 ham ham ham spam spam
## 574 ham ham ham spam spam
## 575 ham ham ham ham spam
## 576 ham spam ham spam spam
## 577 ham ham ham ham spam
## 578 ham ham ham spam spam
## 579 ham ham ham ham spam
## 580 ham ham ham spam spam
## 581 ham ham ham ham spam
## 582 ham ham ham spam spam
## 583 ham ham ham spam spam
## 584 ham ham ham spam spam
## 585 ham ham ham spam spam
## 586 ham ham ham spam spam
## 587 ham ham ham spam spam
## 588 ham ham ham spam spam
## 589 ham ham ham spam spam
## 590 ham ham ham spam spam
## 591 ham ham ham spam spam
## 592 ham ham ham spam spam
## 593 ham ham ham spam spam
## 594 ham ham ham spam spam
## 595 ham ham ham ham spam
## 596 ham ham ham ham spam
## 597 ham ham ham spam spam
## 598 ham ham ham spam spam
## 599 ham ham ham ham spam
## 600 ham ham ham ham spam
## 601 ham ham ham spam spam
## 602 ham ham ham ham spam
## 603 ham ham ham spam spam
## 604 ham ham ham spam spam
## 605 ham ham ham spam spam
## 606 ham ham ham spam spam
## 607 ham ham ham spam spam
## 608 ham ham ham spam spam
## 609 ham ham ham spam spam
## 610 ham ham ham spam spam
## 611 ham ham ham spam spam
## 612 ham ham ham spam spam
## 613 ham ham ham spam spam
## 614 ham ham ham spam spam
## 615 ham ham ham spam spam
## 616 ham ham ham ham spam
## 617 ham ham ham spam spam
## 618 ham ham ham ham spam
## 619 ham ham ham spam spam
## 620 ham ham ham ham spam
## 621 ham ham ham spam spam
## 622 ham ham ham spam spam
## 623 ham ham ham spam spam
## 624 ham ham ham spam spam
## 625 ham ham ham spam spam
## 626 ham ham ham spam spam
## 627 ham ham ham spam spam
## 628 ham ham ham spam spam
## 629 ham ham ham spam spam
## 630 ham ham ham spam spam
## 631 ham ham ham spam spam
## 632 ham ham ham ham spam
## 633 ham ham ham spam spam
## 634 ham ham ham ham spam
## 635 ham ham ham ham spam
## 636 ham ham ham ham spam
## 637 ham ham ham ham spam
## 638 ham ham ham ham spam
## 639 ham ham ham spam spam
## 640 ham ham ham ham spam
## 641 ham ham ham ham spam
## 642 ham ham ham ham spam
## 643 ham ham ham spam spam
## 644 ham ham ham ham spam
## 645 ham ham ham ham spam
## 646 ham ham ham ham spam
## 647 ham ham ham ham spam
## 648 ham ham ham ham spam
## 649 ham ham ham ham spam
## 650 ham ham ham ham spam
## 651 ham ham ham ham spam
## 652 ham ham ham spam spam
## 653 ham ham ham ham spam
## 654 ham ham ham ham spam
## 655 ham ham ham ham spam
## 656 ham ham ham ham spam
## 657 ham ham ham ham spam
## 658 ham ham ham ham spam
## 659 ham ham ham spam spam
## 660 ham ham ham spam spam
## 661 ham ham ham ham spam
## 662 ham ham ham spam spam
## 663 ham ham ham spam spam
## 664 ham ham ham spam spam
## 665 ham ham ham spam spam
## 666 ham ham ham spam spam
## 667 ham ham ham spam spam
## 668 ham ham ham spam spam
## 669 ham ham ham spam spam
## 670 ham ham ham spam spam
## 671 ham ham ham spam spam
## 672 ham ham ham spam spam
## 673 ham ham ham ham spam
## 674 ham ham ham spam spam
## 675 ham ham ham spam spam
## 676 ham ham ham spam spam
## 677 ham ham ham spam spam
## 678 ham ham ham spam spam
## 679 ham ham ham spam spam
## 680 ham ham ham spam spam
## 681 ham ham ham spam spam
## 682 ham ham ham spam spam
## 683 ham ham ham spam spam
## 684 ham ham ham ham spam
## 685 ham ham ham ham spam
## 686 ham ham ham ham spam
## 687 ham ham ham spam spam
## 688 ham ham ham ham spam
## 689 ham ham ham spam spam
## 690 ham ham ham spam spam
## 691 ham ham ham spam spam
## 692 ham ham ham spam spam
## 693 ham ham ham ham spam
## 694 ham ham ham ham spam
## 695 ham ham ham ham spam
## 696 ham ham ham spam spam
## 697 ham ham ham spam spam
## 698 ham ham ham ham spam
## 699 ham ham ham spam spam
## 700 ham ham ham spam spam
## 701 ham ham ham ham spam
## 702 ham ham ham spam spam
## 703 ham ham ham spam spam
## 704 ham ham ham spam spam
## 705 ham ham ham spam spam
## 706 ham ham ham spam spam
## 707 ham ham ham spam spam
## 708 ham ham ham spam spam
## 709 ham ham ham spam spam
## 710 ham ham ham spam spam
## 711 ham ham ham spam spam
## 712 ham ham ham spam spam
## 713 ham ham ham spam spam
## 714 ham ham ham spam spam
## 715 ham ham ham spam spam
## 716 ham ham ham spam spam
## 717 ham ham ham ham spam
## 718 ham ham ham spam spam
## 719 ham ham ham ham spam
## 720 ham ham ham spam spam
## 721 ham ham ham spam spam
## 722 ham ham ham spam spam
## 723 ham ham ham spam spam
## 724 ham ham ham spam spam
## 725 ham ham ham ham spam
## 726 ham ham ham spam spam
## 727 ham ham ham spam spam
## 728 ham ham ham ham spam
## 729 ham ham ham spam spam
## 730 ham ham ham ham spam
## 731 ham ham ham spam spam
## 732 ham ham ham spam spam
## 733 ham ham ham spam spam
## 734 ham ham ham spam spam
## 735 ham ham ham spam spam
## 736 ham ham ham spam spam
## 737 ham ham ham spam spam
## 738 ham ham ham spam spam
## 739 ham ham ham spam spam
## 740 ham ham ham ham spam
## 741 ham ham ham spam spam
## 742 ham ham ham spam spam
## 743 ham ham ham spam spam
## 744 ham ham ham spam spam
## 745 ham ham ham spam spam
## 746 ham ham ham spam spam
## 747 ham ham ham spam spam
## 748 ham ham ham spam spam
## 749 ham ham ham spam spam
## 750 ham ham ham spam spam
## 751 ham ham ham spam spam
## 752 ham ham ham spam spam
## 753 ham ham ham ham spam
## 754 ham ham ham ham spam
## 755 ham ham ham ham spam
## 756 ham ham ham ham spam
## 757 ham ham ham ham spam
## 758 ham ham ham spam spam
## 759 ham ham ham ham spam
## 760 ham ham ham ham spam
## 761 ham ham ham ham spam
## 762 ham ham ham ham spam
## 763 ham ham ham ham spam
## 764 ham ham ham ham spam
## 765 ham ham ham ham spam
## 766 ham ham ham ham spam
## 767 ham ham ham ham spam
## 768 ham ham ham ham spam
## 769 ham ham ham ham spam
## 770 ham ham ham ham spam
## 771 ham ham ham ham spam
## 772 ham ham ham ham spam
## 773 ham ham ham ham spam
## 774 ham ham ham ham spam
## 775 ham ham ham ham spam
## 776 ham ham ham ham spam
## 777 ham ham ham ham spam
## 778 ham ham ham ham spam
## 779 ham ham ham ham spam
## 780 ham ham ham ham spam
## 781 ham ham ham ham spam
## 782 ham ham ham ham spam
## 783 ham ham ham ham spam
## 784 ham ham ham ham spam
## 785 ham ham ham ham spam
## 786 ham ham ham spam spam
## 787 ham ham ham ham spam
## 788 ham ham ham ham spam
## 789 ham ham ham ham spam
## 790 ham ham ham ham spam
## 791 ham ham ham ham spam
## 792 ham ham ham ham spam
## 793 ham ham ham ham spam
## 794 ham ham ham ham spam
## 795 ham ham ham ham spam
## 796 ham ham ham ham spam
## 797 ham ham ham ham spam
## 798 ham ham ham ham spam
## 799 ham ham ham ham spam
## 800 ham ham ham ham spam
## 801 ham ham ham ham spam
## 802 ham ham ham spam spam
## 803 ham ham ham ham spam
## 804 ham ham ham spam spam
## 805 ham ham ham ham spam
## 806 ham ham ham spam spam
## 807 ham ham ham ham spam
## 808 ham ham ham ham spam
## 809 ham ham ham ham spam
## 810 ham ham ham ham spam
## 811 ham ham ham ham spam
## 812 ham ham spam ham spam
## 813 ham ham ham ham spam
## 814 ham ham ham ham spam
## 815 ham ham ham ham spam
## 816 ham ham ham ham spam
## 817 ham ham ham ham spam
## 818 ham ham ham ham spam
## 819 ham ham ham ham spam
## 820 ham ham ham spam spam
## 821 ham ham ham spam spam
## 822 ham ham spam spam spam
## 823 ham ham ham ham spam
## 824 ham ham ham ham spam
## 825 ham ham ham ham spam
## 826 ham ham ham ham spam
## 827 ham ham ham ham spam
## 828 ham ham ham ham spam
## 829 ham ham ham spam spam
## 830 ham ham ham ham spam
## 831 ham ham ham ham spam
## 832 ham ham ham ham spam
## 833 ham ham ham ham spam
## 834 ham ham ham ham spam
## 835 ham ham ham ham spam
## 836 ham ham spam spam spam
## 837 ham ham ham ham spam
## 838 ham ham ham ham spam
## 839 ham ham ham spam spam
## 840 ham ham ham spam spam
## 841 ham ham ham ham spam
## 842 ham ham ham ham spam
## 843 ham ham ham spam spam
## 844 ham ham ham spam spam
## 845 ham ham ham ham spam
## 846 ham ham ham spam spam
## 847 ham ham ham ham spam
## 848 ham ham ham spam spam
## 849 ham ham ham ham spam
## 850 ham ham ham ham spam
## 851 ham ham ham ham spam
## 852 ham ham ham spam spam
## 853 ham ham ham ham spam
## 854 ham ham ham ham spam
## 855 ham ham ham spam spam
## 856 ham ham ham spam spam
## 857 ham ham ham ham spam
## 858 ham ham ham ham spam
## 859 ham ham ham spam spam
## 860 ham ham ham spam spam
## 861 ham ham ham ham spam
## 862 ham ham ham spam spam
## 863 ham ham ham spam spam
## 864 ham ham ham ham spam
## 865 ham ham ham spam spam
## 866 ham ham ham spam spam
## 867 ham ham ham spam spam
## 868 ham ham ham spam spam
## 869 ham ham ham ham spam
## 870 ham ham ham spam spam
## 871 ham ham ham ham spam
## 872 ham ham ham ham spam
## 873 ham ham ham ham spam
## 874 ham ham ham spam spam
## 875 ham ham ham spam spam
## 876 ham ham ham spam spam
## 877 ham ham ham ham spam
## 878 ham ham ham ham spam
## 879 ham ham ham spam spam
## 880 ham ham ham spam spam
## 881 ham ham ham ham spam
## 882 ham ham ham spam spam
## 883 ham ham ham ham spam
## 884 ham ham ham spam spam
## 885 ham ham ham ham spam
## 886 ham ham ham spam spam
## 887 ham ham ham ham spam
## 888 ham ham ham spam spam
## 889 ham ham ham ham spam
## 890 ham ham ham spam spam
## 891 ham ham ham spam spam
## 892 ham ham ham spam spam
## 893 ham ham ham spam spam
## 894 ham ham ham spam spam
## 895 ham ham ham ham spam
## 896 ham ham ham ham spam
## 897 ham ham ham spam spam
## 898 ham ham ham spam spam
## 899 ham ham ham spam spam
## 900 ham ham ham ham spam
## 901 ham ham ham ham spam
## 902 ham ham ham spam spam
## 903 ham ham ham ham spam
## 904 ham ham ham ham spam
## 905 ham ham ham spam spam
## 906 ham ham ham spam spam
## 907 ham ham ham spam spam
## 908 ham ham ham spam spam
## 909 ham ham ham spam spam
## 910 ham ham ham spam spam
## 911 ham ham ham spam spam
## 912 ham ham ham spam spam
## 913 ham ham ham spam spam
## 914 ham ham ham spam spam
## 915 ham ham ham spam spam
## 916 ham ham ham ham spam
## 917 ham ham ham ham spam
## 918 ham ham ham ham spam
## 919 ham ham ham ham spam
## 920 ham ham ham ham spam
## 921 ham ham ham spam spam
## 922 ham ham ham ham spam
## 923 ham ham ham spam spam
## 924 ham ham ham spam spam
## 925 ham ham ham spam spam
## 926 ham ham ham ham spam
## 927 ham ham ham ham spam
## 928 ham ham spam spam spam
## 929 ham ham ham ham spam
## 930 ham ham ham ham spam
## 931 ham ham ham ham spam
## 932 ham ham ham ham spam
## 933 ham ham ham ham spam
## 934 ham ham ham ham spam
## 935 ham ham ham ham spam
## 936 ham ham ham ham spam
## 937 ham ham ham spam spam
## 938 ham ham ham ham spam
## 939 ham ham ham ham spam
## 940 ham ham ham ham spam
## 941 ham ham ham ham spam
## 942 ham ham ham ham spam
## 943 ham ham ham spam spam
## 944 ham ham ham ham spam
## 945 ham ham ham spam spam
## 946 ham ham ham ham spam
## 947 ham ham ham ham spam
## 948 ham ham ham ham spam
## 949 ham ham ham ham spam
## 950 ham ham ham ham spam
## 951 ham ham ham ham spam
## 952 ham ham ham ham spam
## 953 ham ham ham ham spam
## 954 ham ham ham spam spam
## 955 ham ham ham spam spam
## 956 ham ham ham ham spam
## 957 ham ham ham ham spam
## 958 ham ham ham spam spam
## 959 ham ham ham spam spam
## 960 ham ham ham ham spam
## 961 ham ham ham ham spam
## 962 ham ham ham spam spam
## 963 ham ham spam spam spam
## 964 ham ham spam spam spam
## 965 ham ham spam spam spam
## 966 ham ham spam ham spam
## 967 ham ham spam ham spam
## 968 ham ham ham ham spam
## 969 ham ham spam spam spam
## 970 ham ham spam spam spam
## 971 ham ham ham ham spam
## 972 ham ham ham spam spam
## 973 ham ham spam ham spam
## 974 ham ham spam spam spam
## 975 ham ham spam ham spam
## 976 ham ham spam spam spam
## 977 ham ham ham spam spam
## 978 ham ham ham spam spam
## 979 ham ham ham spam spam
## 980 ham ham ham spam spam
## 981 ham ham ham spam spam
## 982 ham ham ham spam spam
## 983 ham ham ham spam spam
## 984 ham ham ham spam spam
## 985 ham ham ham ham spam
## 986 ham ham ham spam spam
## 987 ham ham ham ham spam
## 988 ham ham ham ham spam
## 989 ham ham ham spam spam
## 990 ham ham ham spam spam
## 991 ham ham ham ham spam
## 992 ham ham ham spam spam
## 993 ham ham ham spam spam
## 994 ham ham ham spam spam
## 995 ham ham ham spam spam
## 996 ham ham ham spam spam
## 997 ham ham ham ham spam
## 998 ham ham ham spam spam
## 999 ham ham ham spam spam
## 1000 ham ham ham ham spam
## 1001 ham ham ham spam spam
## 1002 ham ham ham spam spam
## 1003 ham ham ham spam spam
## 1004 ham ham ham spam spam
## 1005 ham ham ham spam spam
## 1006 ham ham ham spam spam
## 1007 ham ham ham spam spam
## 1008 ham ham ham spam spam
## 1009 ham ham ham spam spam
## 1010 ham ham ham spam spam
## 1011 ham ham ham spam spam
## 1012 ham ham ham spam spam
## 1013 ham ham ham spam spam
## 1014 ham ham ham spam spam
## 1015 ham ham ham spam spam
## 1016 ham ham ham spam spam
## 1017 ham ham ham spam spam
## 1018 ham ham ham spam spam
## 1019 ham ham ham ham spam
## 1020 ham ham ham ham spam
## 1021 ham ham ham ham spam
## 1022 ham ham ham spam spam
## 1023 ham ham ham spam spam
## 1024 ham ham ham ham spam
## 1025 ham ham ham ham spam
## 1026 ham ham ham ham spam
## 1027 ham ham spam ham spam
## 1028 ham ham ham spam spam
## 1029 ham ham ham ham spam
## 1030 ham ham ham ham spam
## 1031 ham ham spam ham spam
## 1032 ham ham ham ham spam
## 1033 ham ham ham ham spam
## 1034 ham ham ham ham spam
## 1035 ham ham ham ham spam
## 1036 ham ham ham spam spam
## 1037 ham ham ham ham spam
## 1038 ham ham ham ham spam
## 1039 ham ham ham ham spam
## 1040 ham ham ham spam spam
## 1041 ham ham ham ham spam
## 1042 ham ham ham ham spam
## 1043 ham ham ham ham spam
## 1044 ham ham ham spam spam
## 1045 ham ham ham spam spam
## 1046 ham ham ham spam spam
## 1047 ham ham ham spam spam
## 1048 ham ham ham ham spam
## 1049 ham ham ham ham spam
## 1050 ham ham ham spam spam
## 1051 ham ham ham ham spam
## 1052 ham ham ham ham spam
## 1053 ham ham ham ham spam
## 1054 ham ham ham spam spam
## 1055 ham ham ham spam spam
## 1056 ham ham ham ham spam
## 1057 ham ham ham spam spam
## 1058 ham ham ham ham spam
## 1059 ham ham ham ham spam
## 1060 ham ham ham ham spam
## 1061 ham ham ham ham spam
## 1062 ham ham ham ham spam
## 1063 ham ham ham ham spam
## 1064 ham ham ham ham spam
## 1065 ham ham ham ham spam
## 1066 ham ham ham ham spam
## 1067 ham ham ham ham spam
## 1068 ham ham ham spam spam
## 1069 ham ham ham ham spam
## 1070 ham ham ham ham spam
## 1071 ham ham ham ham spam
## 1072 ham ham ham ham spam
## 1073 ham ham ham spam spam
## 1074 ham ham ham spam spam
## 1075 ham ham ham spam spam
## 1076 ham ham ham spam spam
## 1077 ham ham ham spam spam
## 1078 ham ham ham ham spam
## 1079 ham ham ham ham spam
## 1080 ham ham ham spam spam
## 1081 ham ham ham spam spam
## 1082 ham ham ham spam spam
## 1083 ham ham ham ham spam
## 1084 ham ham ham ham spam
## 1085 ham ham ham spam spam
## 1086 ham ham ham ham spam
## 1087 ham ham ham spam spam
## 1088 ham ham ham ham spam
## 1089 ham ham ham spam spam
## 1090 ham ham ham ham spam
## 1091 ham ham ham ham spam
## 1092 ham ham ham ham spam
## 1093 ham ham ham ham spam
## 1094 ham ham ham spam spam
## 1095 ham ham ham ham spam
## 1096 ham ham ham spam spam
## 1097 ham ham ham ham spam
## 1098 ham ham ham spam spam
## 1099 ham ham ham ham spam
## 1100 ham ham ham spam spam
## 1101 ham ham ham ham spam
## 1102 ham ham spam ham spam
## 1103 ham spam spam ham spam
## 1104 ham spam spam ham spam
## 1105 ham spam spam ham spam
## 1106 ham spam spam ham spam
## 1107 ham spam spam ham spam
## 1108 ham ham ham ham spam
## 1109 ham ham ham ham spam
## 1110 ham spam spam ham spam
## 1111 ham spam spam ham spam
## 1112 ham ham spam ham spam
## 1113 ham spam spam ham spam
## 1114 ham spam spam ham spam
## 1115 ham spam spam ham spam
## 1116 ham spam spam ham spam
## 1117 ham spam spam ham spam
## 1118 ham spam spam spam spam
## 1119 ham spam spam ham spam
## 1120 ham spam spam ham spam
## 1121 ham ham ham ham spam
## 1122 ham spam spam ham spam
## 1123 ham spam spam ham spam
## 1124 ham spam spam ham spam
## 1125 ham spam spam ham spam
## 1126 ham spam ham spam spam
## 1127 ham spam spam ham spam
## 1128 ham spam spam ham spam
## 1129 ham spam spam ham spam
## 1130 ham spam spam ham spam
## 1131 ham spam spam ham spam
## 1132 ham spam spam ham spam
## 1133 ham ham ham ham spam
## 1134 ham spam spam ham spam
## 1135 ham spam spam spam spam
## 1136 ham spam spam ham spam
## 1137 ham spam spam ham spam
## 1138 ham ham ham ham spam
## 1139 ham spam ham ham spam
## 1140 ham ham ham ham spam
## 1141 ham ham ham ham spam
## 1142 ham spam spam ham spam
## 1143 ham spam spam ham spam
## 1144 ham spam ham ham spam
## 1145 ham spam ham ham spam
## 1146 ham ham ham ham spam
## 1147 ham ham ham ham spam
## 1148 ham ham ham ham spam
## 1149 ham ham ham ham spam
## 1150 ham ham ham ham spam
## 1151 ham ham ham ham spam
## 1152 ham ham spam ham spam
## 1153 ham spam spam ham spam
## 1154 ham spam spam ham spam
## 1155 ham spam spam ham spam
## 1156 ham spam spam ham spam
## 1157 ham spam spam ham spam
## 1158 ham spam spam ham spam
## 1159 ham spam spam ham spam
## 1160 ham spam spam ham spam
## 1161 ham spam spam ham spam
## 1162 ham spam spam ham spam
## 1163 ham spam spam ham spam
## 1164 ham spam spam ham spam
## 1165 ham spam spam ham spam
## 1166 ham spam spam ham spam
## 1167 ham spam spam ham spam
## 1168 ham spam spam ham spam
## 1169 ham ham spam ham spam
## 1170 ham spam spam spam spamMaximum entropy performance:
maxent_table <- prop.table(table(out_data$correct_type == out_data$maxent_type))
maxent_table##
## FALSE TRUE
## 0.07264957 0.92735043SVM performance:
svm_table <- prop.table(table(out_data$correct_type == out_data$svm_type))
svm_table##
## FALSE TRUE
## 0.1735043 0.8264957Random Forest performance:
rf_table <- prop.table(table(out_data$correct_type == out_data$rf_type))
rf_table##
## FALSE TRUE
## 0.4230769 0.5769231Decision Tree performance:
tree_table <- prop.table(table(out_data$correct_type == out_data$tree_type))
tree_table##
## FALSE TRUE
## 0.7675214 0.2324786Conclusions:
we can see that the Maximum Entropy is best classifier followed by SVM and Random Forest for this model. Decision Tree is the worst classifier for this model.