Sentiment Analysis
Dave Greer and Kristin Lussi
2023-11-11
library(tidyr)
library(tidytext)## Warning: package 'tidytext' was built under R version 4.3.2library(textdata)## Warning: package 'textdata' was built under R version 4.3.2library(janeaustenr)## Warning: package 'janeaustenr' was built under R version 4.3.2library(dplyr)##
## Attaching package: 'dplyr'## The following objects are masked from 'package:stats':
##
## filter, lag## The following objects are masked from 'package:base':
##
## intersect, setdiff, setequal, unionlibrary(ggplot2)
library(stringr)
library(wordcloud)## Warning: package 'wordcloud' was built under R version 4.3.2## Loading required package: RColorBrewerlibrary(reshape2)##
## Attaching package: 'reshape2'## The following object is masked from 'package:tidyr':
##
## smithslibrary(tidyverse)## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ forcats 1.0.0 ✔ readr 2.1.4
## ✔ lubridate 1.9.3 ✔ tibble 3.2.1
## ✔ purrr 1.0.2## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ dplyr::filter() masks stats::filter()
## ✖ dplyr::lag() masks stats::lag()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errorslibrary(httr)##
## Attaching package: 'httr'
##
## The following object is masked from 'package:textdata':
##
## cache_infolibrary(jsonlite)##
## Attaching package: 'jsonlite'
##
## The following object is masked from 'package:purrr':
##
## flattenlibrary(SentimentAnalysis)## Warning: package 'SentimentAnalysis' was built under R version 4.3.2##
## Attaching package: 'SentimentAnalysis'
##
## The following object is masked from 'package:base':
##
## writeGet Sentiments for AFINN
get_sentiments("afinn")Get Sentiments for Bing
get_sentiments("bing")Get Sentiments for NRC
get_sentiments("nrc")Creating A tibble of books
Creating a tibble of positive sentiments using NRC and the book Emma
nrc_joy <- get_sentiments("nrc") %>%
filter(sentiment == "joy")
tidy_books %>%
filter(book == "Emma") %>%
inner_join(nrc_joy) %>%
count(word, sort = TRUE)## Joining with `by = join_by(word)`Creating a tibble of sentiments using Bing
jane_austen_sentiment <- tidy_books %>%
inner_join(get_sentiments("bing")) %>%
count(book, index = linenumber %/% 80, sentiment) %>%
pivot_wider(names_from = sentiment, values_from = n, values_fill = 0) %>%
mutate(sentiment = positive - negative)## Joining with `by = join_by(word)`## Warning in inner_join(., get_sentiments("bing")): Detected an unexpected many-to-many relationship between `x` and `y`.
## ℹ Row 435434 of `x` matches multiple rows in `y`.
## ℹ Row 5051 of `y` matches multiple rows in `x`.
## ℹ If a many-to-many relationship is expected, set `relationship =
## "many-to-many"` to silence this warning.Creating a chart of all the sentiments across several Austen books
ggplot(jane_austen_sentiment, aes(index, sentiment, fill = book)) +
geom_col(show.legend = FALSE) +
facet_wrap(~book, ncol = 2, scales = "free_x")
### Creating a tibble of words in “Pride & Prejudice”
pride_prejudice <- tidy_books %>%
filter(book == "Pride & Prejudice")
pride_prejudiceCreating a sentiment analysis of Austen books across NRC, AFINN and Bing
afinn <- pride_prejudice %>%
inner_join(get_sentiments("afinn")) %>%
group_by(index = linenumber %/% 80) %>%
summarise(sentiment = sum(value)) %>%
mutate(method = "AFINN")## Joining with `by = join_by(word)`bing_and_nrc <- bind_rows(
pride_prejudice %>%
inner_join(get_sentiments("bing")) %>%
mutate(method = "Bing et al."),
pride_prejudice %>%
inner_join(get_sentiments("nrc") %>%
filter(sentiment %in% c("positive",
"negative"))
) %>%
mutate(method = "NRC")) %>%
count(method, index = linenumber %/% 80, sentiment) %>%
pivot_wider(names_from = sentiment,
values_from = n,
values_fill = 0) %>%
mutate(sentiment = positive - negative)## Joining with `by = join_by(word)`
## Joining with `by = join_by(word)`## Warning in inner_join(., get_sentiments("nrc") %>% filter(sentiment %in% : Detected an unexpected many-to-many relationship between `x` and `y`.
## ℹ Row 215 of `x` matches multiple rows in `y`.
## ℹ Row 5178 of `y` matches multiple rows in `x`.
## ℹ If a many-to-many relationship is expected, set `relationship =
## "many-to-many"` to silence this warning.bind_rows(afinn,
bing_and_nrc) %>%
ggplot(aes(index, sentiment, fill = method)) +
geom_col(show.legend = FALSE) +
facet_wrap(~method, ncol = 1, scales = "free_y")
### Creating a count of NRC positive and negative sentiment
get_sentiments("nrc") %>%
filter(sentiment %in% c("positive", "negative")) %>%
count(sentiment)Creating a count of Bing positive and negative sentiment
get_sentiments("bing") %>%
count(sentiment)Getting Counts of Bing words with their sentimentsnt
bing_word_counts <- tidy_books %>%
inner_join(get_sentiments("bing")) %>%
count(word, sentiment, sort = TRUE) %>%
ungroup()## Joining with `by = join_by(word)`## Warning in inner_join(., get_sentiments("bing")): Detected an unexpected many-to-many relationship between `x` and `y`.
## ℹ Row 435434 of `x` matches multiple rows in `y`.
## ℹ Row 5051 of `y` matches multiple rows in `x`.
## ℹ If a many-to-many relationship is expected, set `relationship =
## "many-to-many"` to silence this warning.Chart of the most common word separted by sentiment
bing_word_counts %>%
group_by(sentiment) %>%
slice_max(n, n = 10) %>%
ungroup() %>%
mutate(word = reorder(word, n)) %>%
ggplot(aes(n, word, fill = sentiment)) +
geom_col(show.legend = FALSE) +
facet_wrap(~sentiment, scales = "free_y") +
labs(x = "Contribution to sentiment",
y = NULL)
### Example of creating a custom dictionary
custom_stop_words <- bind_rows(tibble(word = c("miss"),
lexicon = c("custom")),
stop_words)
custom_stop_wordsCreating a word cloud
tidy_books %>%
anti_join(stop_words) %>%
count(word) %>%
with(wordcloud(word, n, max.words = 100))## Joining with `by = join_by(word)`
### A word cloud divded by Positive and Negative sentiment
tidy_books %>%
inner_join(get_sentiments("bing")) %>%
count(word, sentiment, sort = TRUE) %>%
acast(word ~ sentiment, value.var = "n", fill = 0) %>%
comparison.cloud(colors = c("gray20", "gray80"),
max.words = 100)## Joining with `by = join_by(word)`## Warning in inner_join(., get_sentiments("bing")): Detected an unexpected many-to-many relationship between `x` and `y`.
## ℹ Row 435434 of `x` matches multiple rows in `y`.
## ℹ Row 5051 of `y` matches multiple rows in `x`.
## ℹ If a many-to-many relationship is expected, set `relationship =
## "many-to-many"` to silence this warning.
### Creating a tibble of sentences
p_and_p_sentences <- tibble(text = prideprejudice) %>%
unnest_tokens(sentence, text, token = "sentences")p_and_p_sentences$sentence[2]## [1] "by jane austen"Splitting into tokens using a regex pattern. We could use this, for example, to split the text of Jane Austen’s novels into a data frame by chapter.
austen_chapters <- austen_books() %>%
group_by(book) %>%
unnest_tokens(chapter, text, token = "regex",
pattern = "Chapter|CHAPTER [\\dIVXLC]") %>%
ungroup()
austen_chapters %>%
group_by(book) %>%
summarise(chapters = n())Creating a Bing list of negative sentiments
bingnegative <- get_sentiments("bing") %>%
filter(sentiment == "negative")Summarizing the tibble by each chapter
wordcounts <- tidy_books %>%
group_by(book, chapter) %>%
summarize(words = n())## `summarise()` has grouped output by 'book'. You can override using the
## `.groups` argument.Finding the number of negative words in each chapter and divide by the total words in each chapter
tidy_books %>%
semi_join(bingnegative) %>%
group_by(book, chapter) %>%
summarize(negativewords = n()) %>%
left_join(wordcounts, by = c("book", "chapter")) %>%
mutate(ratio = negativewords/words) %>%
filter(chapter != 0) %>%
slice_max(ratio, n = 1) %>%
ungroup()## Joining with `by = join_by(word)`
## `summarise()` has grouped output by 'book'. You can override using the
## `.groups` argument.Creating a Sentiment analysis of State of the Republic Speach by Nelson Mandela in 1996 using the SentimentAnalysis R package
url<-"https://raw.githubusercontent.com/greerda/Data607/main/1996_Mandela.txt"
file_content <- readLines(url)## Warning in readLines(url): incomplete final line found on
## 'https://raw.githubusercontent.com/greerda/Data607/main/1996_Mandela.txt'tokens <- tibble(text = file_content)
cleaned_tibble <- tokens %>% filter(!is.na(text) & text != "")
wordvector<- cleaned_tibble$text
sentiment <- analyzeSentiment(wordvector)
direction_sentiment <- convertToDirection(sentiment$SentimentQDAP)
sentiment_mapping <- c("negative" = -1, "neutral" = 0, "positive" = 1)
response <- sapply(direction_sentiment, function(category) sentiment_mapping[category])
compareToResponse(sentiment, response)## WordCount SentimentGI NegativityGI PositivityGI
## cor 3.266516e-01 5.301613e-01 -0.21183506 4.849478e-01
## cor.t.statistic 4.089314e+00 7.398250e+00 -2.56467032 6.561117e+00
## cor.p.value 7.263234e-05 1.159342e-11 0.01138079 9.601456e-10
## lm.t.value 4.089314e+00 7.398250e+00 -2.56467032 6.561117e+00
## r.squared 1.067013e-01 2.810710e-01 0.04487409 2.351743e-01
## RMSE 2.622224e+01 7.168043e-01 0.82856864 6.561314e-01
## MAE 2.228169e+01 6.371069e-01 0.74811097 5.913016e-01
## Accuracy 9.436620e-01 9.507042e-01 0.94366197 9.436620e-01
## Precision NaN 5.454545e-01 NaN NaN
## Sensitivity 0.000000e+00 7.500000e-01 0.00000000 0.000000e+00
## Specificity 1.000000e+00 9.626866e-01 1.00000000 1.000000e+00
## F1 NaN 6.315789e-01 NaN NaN
## BalancedAccuracy 5.000000e-01 8.563433e-01 0.50000000 5.000000e-01
## avg.sentiment.pos.response 2.313433e+01 1.826839e-01 0.10026548 2.829494e-01
## avg.sentiment.neg.response 2.000000e+01 -1.101190e-01 0.22696886 1.168498e-01
## SentimentHE NegativityHE PositivityHE SentimentLM
## cor 0.18841266 -0.147047461 0.155787296 3.211034e-01
## cor.t.statistic 2.26998421 -1.759010458 1.866083862 4.011795e+00
## cor.p.value 0.02473591 0.080760438 0.064121859 9.768854e-05
## lm.t.value 2.26998421 -1.759010458 1.866083862 4.011795e+00
## r.squared 0.03549933 0.021622956 0.024269682 1.031074e-01
## RMSE 0.85498039 0.885388517 0.851442544 8.795722e-01
## MAE 0.76496108 0.787570905 0.760623669 7.862002e-01
## Accuracy 0.90140845 0.943661972 0.943661972 6.197183e-01
## Precision 0.25000000 NaN NaN 1.034483e-01
## Sensitivity 0.37500000 0.000000000 0.000000000 7.500000e-01
## Specificity 0.93283582 1.000000000 1.000000000 6.119403e-01
## F1 0.30000000 NaN NaN 1.818182e-01
## BalancedAccuracy 0.65391791 0.500000000 0.500000000 6.809701e-01
## avg.sentiment.pos.response 0.03902070 0.006115547 0.045136247 -2.705874e-03
## avg.sentiment.neg.response -0.02023810 0.025446429 0.005208333 -1.152701e-01
## NegativityLM PositivityLM RatioUncertaintyLM
## cor -0.18210924 0.2919075095 0.125940456
## cor.t.statistic -2.19138937 3.6111753717 1.502107652
## cor.p.value 0.03007715 0.0004237644 0.135321514
## lm.t.value -2.19138937 3.6111753717 1.502107652
## r.squared 0.03316378 0.0852099941 0.015860999
## RMSE 0.85287454 0.8376151459 0.884357792
## MAE 0.76546814 0.7437403994 0.785633538
## Accuracy 0.94366197 0.9436619718 0.943661972
## Precision NaN NaN NaN
## Sensitivity 0.00000000 0.0000000000 0.000000000
## Specificity 1.00000000 1.0000000000 1.000000000
## F1 NaN NaN NaN
## BalancedAccuracy 0.50000000 0.5000000000 0.500000000
## avg.sentiment.pos.response 0.05700280 0.0542969282 0.003932792
## avg.sentiment.neg.response 0.13610348 0.0208333333 0.000000000
## SentimentQDAP NegativityQDAP PositivityQDAP
## cor 6.469917e-01 -4.046316e-01 5.262882e-01
## cor.t.statistic 1.003979e+01 -5.235398e+00 7.323393e+00
## cor.p.value 3.360427e-18 5.901769e-07 1.736908e-11
## lm.t.value 1.003979e+01 -5.235398e+00 7.323393e+00
## r.squared 4.185983e-01 1.637267e-01 2.769793e-01
## RMSE 7.310812e-01 8.635782e-01 7.053114e-01
## MAE 6.404012e-01 7.769550e-01 6.286239e-01
## Accuracy 1.000000e+00 9.436620e-01 9.436620e-01
## Precision 1.000000e+00 NaN NaN
## Sensitivity 1.000000e+00 0.000000e+00 0.000000e+00
## Specificity 1.000000e+00 1.000000e+00 1.000000e+00
## F1 1.000000e+00 NaN NaN
## BalancedAccuracy 1.000000e+00 5.000000e-01 5.000000e-01
## avg.sentiment.pos.response 1.488152e-01 5.497149e-02 2.037867e-01
## avg.sentiment.neg.response -1.402244e-01 2.040522e-01 6.382784e-02Creating a chart of positive and negative word count
sentiment_categories <- data.frame(category = direction_sentiment)
ggplot(data = sentiment_categories) +
geom_bar(aes(x = category, fill = category)) +
ggtitle("Sentiment Category Counts") +
xlab("Category") +
ylab("Count") +
theme(
plot.title = element_text(hjust=0.5),
legend.position = "none"
) +
coord_flip()
Creating a word cloud of of positive and negative words from Nelson Mandela speach.
wwordvector<- cleaned_tibble$text
words_list <- unlist(strsplit(wordvector, " "))
sentiment <- analyzeSentiment(words_list)
sentiment$SentimentQDAP## [1] NaN 0 NaN 0 0 NaN 0 0 NaN NaN 0 0 0 NaN 0 0 NaN NaN
## [19] 0 0 0 NaN 0 0 NaN NaN 0 0 0 0 0 NaN 0 0 0 1
## [37] 0 0 0 NaN NaN 0 1 0 NaN NaN 1 0 0 NaN 0 NaN NaN 0
## [55] 0 0 0 NaN 0 1 0 0 NaN 0 0 NaN NaN 0 NaN 0 NaN 0
## [73] 1 NaN NaN 0 0 NaN NaN 0 NaN NaN 0 NaN NaN 0 0 NaN 1 NaN
## [91] NaN 1 NaN NaN 0 0 NaN NaN 0 0 0 NaN NaN 0 NaN 0 NaN NaN
## [109] NaN 0 NaN NaN NaN 0 1 NaN NaN 0 0 1 NaN 0 NaN 0 0 NaN
## [127] 0 0 0 NaN NaN NaN NaN 0 NaN NaN 0 NaN 0 1 0 NaN NaN NaN
## [145] 0 NaN NaN NaN 1 NaN NaN 0 NaN NaN NaN 0 0 NaN 0 0 NaN NaN
## [163] 0 NaN 0 0 NaN 1 1 NaN NaN NaN 1 NaN 1 NaN NaN -1 NaN 0
## [181] NaN NaN 0 NaN NaN 1 NaN NaN 0 NaN 0 NaN 0 NaN 1 NaN 0 0
## [199] 0 1 -1 0 NaN 0 NaN 0 0 NaN NaN -1 NaN 0 NaN 1 0 NaN
## [217] 0 NaN 0 0 NaN NaN NaN 0 0 0 NaN 1 0 NaN 0 0 NaN NaN
## [235] 1 NaN NaN NaN NaN NaN 1 NaN 0 0 1 0 NaN 0 NaN 0 NaN 0
## [253] 0 NaN 1 NaN 0 NaN 0 NaN NaN NaN 0 NaN 0 NaN 1 NaN NaN 0
## [271] 1 1 NaN NaN 0 NaN NaN NaN -1 -1 NaN NaN 0 0 NaN -1 NaN 1
## [289] 0 NaN 0 NaN 0 NaN 0 -1 NaN 0 0 NaN NaN 0 0 NaN NaN 0
## [307] NaN 0 NaN NaN 0 1 0 NaN NaN NaN 0 NaN -1 NaN NaN 1 NaN NaN
## [325] NaN NaN 0 NaN NaN 0 0 0 NaN 1 1 NaN 1 NaN 0 NaN 0 0
## [343] 0 0 NaN 0 0 NaN 1 NaN 0 NaN 0 NaN 1 0 NaN 0 0 NaN
## [361] 0 NaN 0 NaN 1 NaN NaN 1 NaN NaN NaN NaN 0 0 0 NaN NaN NaN
## [379] 0 NaN NaN 1 0 0 NaN 0 NaN NaN 0 -1 NaN NaN 0 NaN 0 NaN
## [397] 0 NaN 1 NaN 1 NaN 1 0 0 NaN 1 NaN 0 NaN NaN 0 0 NaN
## [415] NaN NaN 0 NaN NaN NaN 0 NaN 0 NaN NaN 0 NaN 0 0 NaN NaN 0
## [433] NaN 0 NaN 1 NaN NaN 0 0 0 1 0 0 NaN 1 NaN 0 1 NaN
## [451] NaN NaN NaN 0 0 1 NaN NaN 0 1 1 NaN NaN 0 NaN NaN NaN 0
## [469] NaN 0 NaN NaN 0 0 NaN NaN 0 1 0 NaN 0 0 NaN 0 NaN 0
## [487] 1 0 NaN 0 NaN 0 NaN 0 0 1 NaN NaN 0 NaN 0 NaN 0 0
## [505] NaN NaN NaN NaN 0 NaN NaN NaN 0 1 NaN 1 NaN NaN 0 1 0 NaN
## [523] 0 NaN 0 0 NaN 0 0 NaN NaN NaN 1 NaN NaN 0 0 0 0 NaN
## [541] 1 NaN NaN 0 1 NaN NaN NaN NaN 0 0 NaN 1 1 NaN NaN NaN 0
## [559] NaN 1 0 NaN NaN NaN 0 0 NaN 0 0 NaN NaN 0 0 NaN 0 0
## [577] 0 0 NaN NaN 0 -1 NaN 0 NaN 0 1 NaN 1 0 NaN 1 0 NaN
## [595] NaN NaN 1 0 NaN 0 NaN 1 NaN NaN 0 0 1 0 NaN 0 0 NaN
## [613] 0 0 0 0 NaN NaN 1 NaN NaN 1 1 NaN NaN 0 NaN NaN 1 1
## [631] 0 NaN 0 NaN NaN NaN -1 NaN NaN 0 NaN NaN 0 NaN 0 0 NaN NaN
## [649] 0 NaN 1 NaN NaN 0 NaN NaN 0 0 NaN NaN 0 NaN NaN 0 0 0
## [667] NaN NaN NaN 1 NaN 0 0 NaN 0 0 1 NaN NaN NaN 1 1 0 NaN
## [685] 0 0 NaN NaN 0 NaN NaN 0 0 NaN NaN 0 NaN 0 1 NaN NaN NaN
## [703] 0 0 NaN 0 0 0 NaN NaN NaN 0 1 NaN 0 0 0 NaN NaN 0
## [721] NaN 0 0 0 1 NaN 0 NaN NaN 0 NaN 0 NaN 0 0 NaN 1 0
## [739] 1 NaN 0 0 NaN -1 -1 NaN 0 0 NaN 1 NaN NaN 0 0 NaN 0
## [757] NaN NaN 0 NaN 1 0 NaN NaN 0 NaN 0 0 0 NaN NaN NaN 0 0
## [775] NaN 0 NaN 0 NaN 0 NaN 0 NaN NaN 0 NaN 0 0 NaN NaN 0 0
## [793] NaN 0 NaN NaN NaN 0 0 NaN 0 NaN NaN 0 0 NaN 0 NaN 0 NaN
## [811] NaN NaN 0 NaN 0 NaN 0 0 NaN 1 0 NaN NaN NaN 0 NaN 0 NaN
## [829] NaN 1 0 0 0 0 NaN NaN NaN NaN NaN 1 0 NaN NaN 1 NaN NaN
## [847] 0 NaN 0 NaN NaN 0 NaN NaN 0 NaN 0 NaN 0 NaN 1 NaN 0 0
## [865] NaN NaN 0 NaN 0 0 NaN NaN 1 NaN NaN 0 NaN 1 NaN NaN 1 0
## [883] NaN NaN 0 NaN NaN NaN NaN 1 NaN 0 0 0 NaN NaN 0 NaN NaN 0
## [901] NaN NaN 0 NaN NaN NaN 0 1 NaN NaN NaN 1 0 NaN NaN 0 0 0
## [919] NaN NaN 1 NaN 0 NaN NaN 1 NaN NaN NaN NaN NaN NaN 0 NaN 0 NaN
## [937] 0 NaN 0 0 NaN NaN -1 NaN NaN 0 NaN NaN NaN NaN NaN NaN 0 NaN
## [955] NaN -1 0 NaN 0 NaN NaN 0 NaN 0 NaN NaN -1 0 NaN NaN 0 NaN
## [973] NaN -1 NaN -1 NaN 0 NaN NaN NaN NaN 0 NaN NaN 0 0 0 NaN 1
## [991] 1 NaN NaN NaN NaN 0 NaN 0 NaN 1 NaN 1 NaN 0 0 NaN 0 NaN
## [1009] 0 NaN NaN -1 NaN NaN 1 0 NaN 0 NaN NaN NaN NaN NaN 0 0 NaN
## [1027] 0 0 NaN 0 0 NaN 0 NaN NaN NaN NaN 1 NaN 1 NaN 0 NaN 0
## [1045] NaN NaN 1 NaN -1 0 NaN 0 0 1 NaN 0 NaN NaN 1 NaN 0 NaN
## [1063] 0 NaN 0 0 NaN NaN -1 NaN 0 -1 0 NaN NaN 1 0 0 NaN 1
## [1081] 1 NaN 0 0 NaN NaN 1 NaN -1 NaN NaN 0 NaN 0 0 1 NaN 0
## [1099] NaN NaN NaN 0 0 NaN 1 NaN NaN 0 0 NaN -1 NaN -1 NaN -1 NaN
## [1117] NaN NaN NaN NaN 0 NaN -1 0 0 0 0 NaN NaN NaN 0 0 1 NaN
## [1135] NaN 1 NaN NaN 0 0 NaN 0 NaN 1 NaN NaN 1 NaN NaN NaN 0 0
## [1153] 1 NaN 0 NaN NaN 1 NaN NaN 0 NaN 1 NaN 0 NaN 1 NaN NaN 1
## [1171] 0 0 0 NaN 1 0 0 1 NaN NaN 0 NaN 0 NaN NaN NaN NaN 0
## [1189] -1 NaN NaN 0 NaN NaN NaN 0 NaN 1 NaN -1 -1 NaN 0 -1 NaN NaN
## [1207] 0 NaN 0 0 NaN 1 NaN 0 NaN NaN NaN 0 0 NaN NaN 0 NaN 0
## [1225] 1 1 NaN 0 NaN 1 0 NaN 0 0 NaN 1 NaN NaN 0 NaN NaN 0
## [1243] NaN 1 NaN 0 NaN NaN NaN NaN 0 NaN 0 0 NaN NaN 0 NaN 0 NaN
## [1261] NaN 0 0 NaN NaN NaN 0 NaN 0 NaN -1 NaN 0 -1 NaN NaN 1 NaN
## [1279] 0 NaN 0 -1 NaN 0 NaN NaN 0 0 NaN NaN 0 NaN NaN NaN NaN 0
## [1297] 0 NaN 0 NaN 0 0 NaN 0 NaN 1 NaN 0 NaN 0 NaN NaN 0 NaN
## [1315] 0 NaN NaN NaN NaN NaN 0 0 NaN 0 0 NaN 0 NaN -1 0 NaN NaN
## [1333] 0 NaN -1 0 NaN 1 NaN NaN -1 NaN 0 0 NaN 0 0 NaN NaN 0
## [1351] NaN NaN 0 0 NaN 0 NaN 0 NaN NaN 0 NaN 0 0 NaN 0 NaN 0
## [1369] NaN NaN 1 NaN 1 -1 0 0 NaN NaN 0 NaN 1 NaN 0 NaN 1 0
## [1387] 0 NaN 1 NaN NaN 0 NaN NaN 0 NaN 1 0 NaN NaN 1 1 NaN NaN
## [1405] NaN 0 NaN -1 NaN 0 0 0 NaN 0 NaN NaN NaN 0 0 NaN 0 NaN
## [1423] 1 NaN 0 0 NaN NaN 0 1 NaN 1 NaN 0 NaN 0 NaN 0 0 0
## [1441] 0 NaN 0 NaN 1 0 NaN 0 NaN 1 NaN NaN 0 -1 NaN 0 NaN NaN
## [1459] -1 0 0 NaN 1 0 NaN 0 NaN NaN 0 NaN NaN 0 NaN 0 NaN NaN
## [1477] 0 NaN 0 0 NaN NaN 0 0 NaN NaN NaN NaN 0 NaN 0 NaN 0 NaN
## [1495] 0 0 NaN 0 NaN NaN NaN NaN 0 NaN NaN NaN NaN 0 1 NaN NaN 0
## [1513] NaN 0 0 NaN 0 NaN 0 NaN NaN 0 0 0 NaN -1 NaN NaN 1 NaN
## [1531] 1 0 NaN NaN 0 1 0 NaN NaN NaN 0 NaN NaN NaN 0 NaN NaN -1
## [1549] NaN -1 0 1 -1 1 NaN 0 NaN NaN 0 0 NaN 0 0 NaN NaN 0
## [1567] -1 NaN 0 -1 0 NaN NaN NaN 0 NaN 0 0 NaN 1 0 NaN NaN 0
## [1585] NaN 0 NaN 0 0 NaN NaN 0 1 0 NaN -1 NaN NaN 0 NaN 1 NaN
## [1603] 0 NaN 0 1 NaN 0 0 NaN 0 1 NaN 1 0 0 NaN 1 NaN -1
## [1621] NaN 1 NaN 0 0 NaN 0 0 1 0 -1 NaN 0 -1 0 NaN NaN NaN
## [1639] NaN 0 0 NaN 0 0 0 NaN 0 0 NaN 0 NaN 0 0 0 NaN 1
## [1657] NaN 0 NaN 1 NaN 0 0 NaN NaN NaN 1 NaN NaN 1 0 NaN NaN 0
## [1675] NaN NaN 0 NaN 0 NaN NaN 1 0 NaN -1 1 0 NaN NaN NaN NaN 0
## [1693] NaN 0 0 NaN -1 NaN NaN 0 1 NaN NaN NaN 0 NaN NaN 0 0 NaN
## [1711] 0 0 NaN 1 NaN 0 NaN NaN 1 NaN NaN 0 0 NaN 0 NaN NaN -1
## [1729] NaN 0 NaN 0 0 0 0 NaN NaN NaN 0 NaN NaN -1 0 NaN 0 1
## [1747] NaN NaN NaN 0 NaN NaN 0 1 0 NaN -1 0 0 0 0 NaN NaN 1
## [1765] -1 NaN 1 NaN 0 NaN 0 0 0 0 NaN 0 NaN 0 NaN NaN -1 NaN
## [1783] 1 0 0 1 NaN NaN 0 NaN NaN 0 1 0 NaN 1 NaN 1 NaN NaN
## [1801] 0 NaN NaN 1 0 NaN 0 0 NaN NaN -1 NaN 0 NaN 1 0 NaN NaN
## [1819] 0 NaN 0 NaN NaN 0 NaN -1 1 1 NaN 0 0 0 NaN NaN 0 NaN
## [1837] 0 0 NaN 1 0 NaN 1 NaN NaN 0 NaN 0 0 NaN NaN 1 NaN NaN
## [1855] NaN NaN 0 1 1 NaN NaN NaN 0 NaN 0 NaN 0 NaN NaN NaN -1 NaN
## [1873] NaN 0 0 0 1 NaN NaN NaN 0 NaN NaN 0 0 NaN NaN NaN 1 NaN
## [1891] 1 NaN NaN NaN NaN 0 NaN NaN 0 NaN NaN NaN -1 NaN NaN NaN 0 0
## [1909] NaN 0 0 NaN 1 NaN 1 NaN NaN NaN 0 NaN 0 NaN 0 0 NaN -1
## [1927] 0 NaN NaN 0 NaN 1 NaN 0 NaN 0 NaN 0 NaN 0 NaN 0 NaN 0
## [1945] NaN NaN NaN 0 0 0 NaN 0 NaN NaN 0 0 NaN 0 NaN NaN 0 NaN
## [1963] NaN 0 NaN NaN 0 NaN NaN 0 1 NaN NaN NaN 1 NaN 1 NaN 0 NaN
## [1981] 0 -1 NaN NaN 0 0 1 NaN 0 NaN 0 0 0 NaN 0 1 0 0
## [1999] NaN 0 0 0 NaN NaN 0 NaN 0 NaN 0 NaN 0 0 NaN NaN 0 0
## [2017] 0 NaN 0 NaN NaN NaN 1 0 NaN 0 NaN NaN NaN 0 1 NaN 0 0
## [2035] NaN 0 1 0 NaN 1 0 NaN 0 0 0 NaN NaN NaN 0 NaN 0 0
## [2053] 0 NaN NaN 1 0 NaN 1 NaN 1 NaN 0 0 NaN 0 0 NaN 0 NaN
## [2071] NaN 0 0 NaN 1 NaN 0 NaN 0 0 0 0 NaN NaN NaN NaN NaN NaN
## [2089] 0 NaN 0 NaN NaN NaN NaN 0 1 NaN 0 NaN NaN NaN -1 NaN NaN NaN
## [2107] NaN 1 1 0 NaN NaN 0 NaN 0 NaN NaN NaN NaN NaN 0 NaN 0 0
## [2125] 0 0 0 NaN NaN 0 NaN 0 NaN NaN 0 0 NaN 1 1 1 0 0
## [2143] 0 1 0 NaN 0 NaN 0 1 NaN 0 0 NaN NaN 1 0 NaN NaN 1
## [2161] 0 NaN NaN 0 NaN 0 NaN 0 0 0 0 NaN NaN -1 NaN 1 NaN NaN
## [2179] -1 -1 NaN 1 0 NaN NaN 0 NaN 1 NaN 0 NaN NaN 0 NaN NaN 0
## [2197] NaN NaN 1 NaN NaN 0 0 NaN NaN 0 NaN -1 -1 -1 NaN 0 NaN 0
## [2215] NaN NaN 1 0 NaN NaN 0 1 NaN 1 0 NaN NaN 0 0 0 NaN 0
## [2233] 0 NaN 1 NaN NaN 0 NaN 0 0 NaN 0 1 NaN -1 NaN NaN 0 NaN
## [2251] NaN 1 NaN NaN 0 0 NaN NaN 0 NaN NaN 0 NaN NaN 1 NaN 0 0
## [2269] NaN 1 NaN 1 NaN NaN 0 0 NaN 0 1 NaN NaN 1 0 NaN 0 0
## [2287] NaN NaN 0 0 NaN NaN 0 NaN 0 NaN NaN 0 NaN NaN 0 NaN 0 0
## [2305] NaN NaN NaN NaN 0 NaN NaN NaN 0 0 NaN 0 0 -1 0 NaN 0 NaN
## [2323] NaN 1 0 NaN 0 NaN NaN 1 0 NaN NaN NaN NaN NaN -1 NaN 0 NaN
## [2341] -1 -1 -1 NaN NaN -1 NaN NaN 1 NaN 1 NaN NaN 1 0 NaN NaN 1
## [2359] NaN NaN 0 0 0 0 NaN 0 NaN NaN 0 0 NaN 0 NaN 0 0 0
## [2377] 0 0 NaN 0 0 NaN 0 NaN NaN 0 NaN NaN 0 NaN NaN 0 NaN NaN
## [2395] 0 NaN NaN 1 NaN 0 1 0 NaN 0 NaN NaN 0 0 NaN 0 1 0
## [2413] NaN -1 0 NaN NaN 1 NaN NaN 1 0 1 NaN 0 NaN NaN 0 0 NaN
## [2431] NaN 0 NaN NaN NaN 0 NaN 0 NaN 1 NaN 0 0 0 NaN 0 0 NaN
## [2449] NaN NaN 0 0 NaN NaN 0 NaN 0 1 NaN NaN 0 NaN 0 0 NaN NaN
## [2467] 0 NaN NaN 1 0 NaN NaN NaN 0 NaN NaN 0 NaN 0 NaN NaN NaN 0
## [2485] 1 NaN 0 NaN 0 NaN NaN -1 0 1 NaN NaN 0 NaN NaN 0 0 0
## [2503] NaN NaN NaN 0 0 0 0 NaN 0 NaN 1 NaN 1 NaN 1 1 0 1
## [2521] 0 0 NaN NaN 0 0 NaN 0 0 NaN 1 NaN NaN NaN NaN 0 NaN NaN
## [2539] 0 -1 NaN NaN 0 0 NaN 1 NaN 0 NaN 0 NaN -1 0 NaN 0 0
## [2557] -1 0 0 0 0 NaN NaN 0 NaN 0 NaN NaN 1 0 0 NaN -1 NaN
## [2575] 0 NaN NaN NaN 0 NaN 1 0 0 NaN 0 NaN NaN NaN 0 0 NaN 0
## [2593] NaN 0 NaN 0 1 NaN 0 0 NaN 0 0 NaN 1 1 0 NaN 0 NaN
## [2611] 0 0 0 0 NaN NaN 0 NaN 0 NaN NaN 0 0 NaN 0 0 0 NaN
## [2629] NaN 0 NaN -1 NaN NaN 0 0 NaN 0 NaN NaN -1 0 NaN NaN 0 NaN
## [2647] 0 NaN NaN NaN 0 1 1 NaN -1 1 0 0 NaN NaN -1 1 0 0
## [2665] NaN 0 NaN 1 0 0 1 0 1 NaN 0 NaN NaN 0 NaN 0 NaN 0
## [2683] 0 NaN NaN NaN 1 NaN 0 NaN 0 NaN 1 NaN NaN 1 NaN NaN 0 NaN
## [2701] NaN 1 NaN NaN 0 NaN NaN NaN 0 NaN 0 0 0 0 0 0 NaN 0
## [2719] 0 NaN 1 NaN 0 NaN NaN 1 NaN NaN NaN 0 NaN NaN 0 0 0 0
## [2737] 1 NaN NaN 0 0 0 0 NaN 0 NaN NaN 0 NaN NaN 0 0 0 0
## [2755] 0 NaN 0 NaN 0 0 NaN 0 NaN 0 0 NaN NaN NaN 1 NaN NaN 0
## [2773] NaN NaN 0 NaN 0 0 0 0 1 NaN 0 NaN 0 NaN 0 0 NaN NaN
## [2791] 0 NaN NaN -1 NaN 0 0 NaN 1 NaN NaN 0 0 NaN NaN 0 1 0
## [2809] -1 NaN 0 NaN 1 0 NaN 0 0 NaN NaN 1 NaN 0 NaN 0 NaN NaN
## [2827] 0 NaN 0 0 NaN NaN 0 NaN NaN 1 NaN NaN 0 NaN NaN 0 0 NaN
## [2845] NaN 0 0 1 0 NaN 0 NaN 0 NaN 0 NaN 0 NaN 0 NaN NaN NaN
## [2863] 0 0 NaN NaN 1 NaN -1 0 0 NaN NaN NaN 0 NaN 1 0 NaN NaN
## [2881] 0 NaN 1 NaN 0 0 NaN 0 0 NaN NaN 0 NaN NaN 0 0 0 NaN
## [2899] 0 NaN 0 0 NaN NaN 0 NaN 0 NaN 1 NaN NaN -1 NaN 0 0 NaN
## [2917] NaN NaN -1 0 1 NaN 0 NaN 0 NaN 0 NaN 1 NaN NaN 0 1 0
## [2935] 1 0 NaN 0 NaN NaN 0 NaN 1 1 1 0 NaN 1 0 1 -1 NaN
## [2953] NaN NaN 0 NaN NaN 0 NaN 0 NaN 0 NaN NaN -1 0 0 NaN 0 0
## [2971] NaN NaN 0 1 0 NaN 1 NaN 0 0 NaN NaN NaN 0 0 NaN NaN 0
## [2989] 0 0 NaN 0 NaN 1 0 NaN 0 1 NaN 0 1 0 NaN 1 0 0
## [3007] 0 NaN NaN 0 NaN 0 NaN 0 1 0 0 0 NaN 1 0 NaN 0 1
## [3025] 0 0 NaN 0 0 0 0 0 -1 NaN NaN 0 NaN NaN NaN NaN 1 NaN
## [3043] 1 NaN NaN NaN 0 0 NaN 0 0 0 NaN NaN NaN 0 0 NaN 0 NaN
## [3061] -1 NaN NaN 0 NaN 1 1 NaN NaN NaN 0 NaN NaN 0 0 NaN 0 0
## [3079] NaN NaN 0 NaN 0 0 0 -1 0 0 0 NaN 0 NaN NaN 0 NaN -1
## [3097] 0 NaN NaN 1 0 0 0 NaN 0 NaN 0 NaN 0 0 NaN NaN NaN NaN
## [3115] 0 0 NaN 0 NaN NaN 1 -1 NaN NaN NaN NaN 0 NaN 0 1 NaN -1
## [3133] 0 NaN NaN NaN 1 0 NaN 0 NaN 0 0 0 NaN 1 0 0 NaN 0
## [3151] 0 1 NaN NaN NaN 0 NaN 0 NaN 0 NaN 0 NaN 0 NaN NaN 1 0
## [3169] NaN NaN 0 NaN NaN 1 NaN 0 NaN 1 NaN NaN NaN NaN 0 NaN 0 NaN
## [3187] NaN 0 1 0 NaN NaN 0 -1 NaN 1 NaN 0 0 NaN NaN 1 NaN NaN
## [3205] NaN NaN NaN 1 NaN 1 0 NaN 0 NaN NaN NaN -1 NaN 0 NaN 1 NaN
## [3223] NaN 0 0 NaN 0 NaN NaN 0 -1 NaN NaN 0 NaN 0 0 NaN 0 NaN
## [3241] NaN NaN 0 NaN 0 1 NaN -1 0 NaN NaN 0 0 NaN NaN 0 0 NaN
## [3259] 0 NaN 1 0 NaN NaN 0 NaN NaN 0 1 NaN NaN 0 0 NaN NaN 0
## [3277] NaN 0 -1 NaN 1 NaN 1 NaN NaN NaN NaN 0 NaN NaN 0 NaN 0 NaN
## [3295] NaN NaN -1 NaN 1 0 NaN -1 NaN 0 1 0 NaN NaN 1 NaN NaN 1
## [3313] NaN NaN NaN 0 NaN 0 NaN 0 1 0 NaN 0 NaN NaN 0 -1 NaN 0
## [3331] 0 1 NaN NaN 0 NaN 0 0 NaN 0 1 NaN -1 0 NaN 0 0 NaN
## [3349] 0 NaN NaN 0 NaN 0 -1 NaN NaN NaN 1 NaN 0 1 NaN NaN 0 NaN
## [3367] NaN NaN NaN -1 NaN NaN NaN 0 NaN 0 0 NaN 0 0 NaN NaN 0 0
## [3385] NaN 0 NaN 0 NaN 0 0 NaN 0 0 NaN 0 NaN 0 -1 NaN NaN 1
## [3403] NaN NaN 0 NaN 0 NaN NaN 0 0 0 NaN 0 0 NaN 0 0 0 0
## [3421] NaN NaN NaN -1 NaN 0 NaN 0 NaN -1 NaN 1 0 0 NaN 0 NaN 1
## [3439] 0 NaN 1 0 0 0 NaN NaN -1 NaN 0 0 NaN 1 0 1 NaN 0
## [3457] 0 -1 0 NaN 0 NaN 0 0 NaN 0 0 0 NaN 0 1 NaN NaN 0
## [3475] NaN NaN NaN NaN 1 NaN -1 NaN NaN 0 NaN 1 NaN 0 NaN NaN 0 0
## [3493] 0 NaN NaN 0 0 NaN 0 1 NaN 0 NaN 0 0 1 0 NaN 1 0
## [3511] NaN NaN 0 0 0 NaN NaN 0 1 NaN 0 0 0 NaN -1 0 NaN NaN
## [3529] 0 NaN NaN 0 0 0 NaN 0 1 0 NaN 0 0 1 1 0 NaN 1
## [3547] NaN NaN NaN 1 NaN NaN 1 0 NaN NaN -1 -1 NaN NaN 0 NaN 0 0
## [3565] NaN 1 NaN 0 1 NaN NaN 0 NaN 0 NaN 1 NaN -1 NaN 0 NaN 0
## [3583] NaN NaN 0 NaN NaN -1 NaN NaN 0 0 NaN NaN 0 0 NaN 0 NaN NaN
## [3601] 0 NaN NaN 0 0 NaN 0 0 0 NaN NaN 0 0 0 NaN NaN 0 NaN
## [3619] NaN 0 1 NaN NaN 0 0 NaN 0 NaN 0 NaN 0 0 0 NaN 1 0
## [3637] NaN 0 NaN NaN 0 NaN 0 0 0 NaN -1 0 NaN NaN 0 0 NaN NaN
## [3655] 0 NaN NaN 1 0 1 NaN 0 NaN -1 NaN 0 NaN 0 NaN NaN 0 NaN
## [3673] NaN 1 NaN 0 NaN 0 0 0 NaN 0 NaN 0 1 NaN NaN 0 NaN NaN
## [3691] -1 0 0 0 1 NaN NaN 0 NaN 0 NaN 0 0 0 0 NaN 0 NaN
## [3709] NaN 0 NaN NaN 0 0 1 0 NaN NaN NaN 0 NaN 0 NaN NaN 0 0
## [3727] 0 NaN NaN 1 1 0 NaN NaN NaN 0 1 NaN 0 0 0 NaN 0 NaN
## [3745] NaN 0 NaN 0 0 NaN 0 0 NaN 0 0 NaN NaN 0 NaN 0 0 -1
## [3763] 0 0 0 NaN 1 1 NaN NaN 0 0 1 NaN 0 NaN 1 NaN 0 NaN
## [3781] 1 NaN 0 NaN 0 NaN NaN NaN 1 NaN NaN 0 NaN 0 0 NaN 0 1
## [3799] 1 NaN 1 NaN 0 NaN 1 0 NaN NaN NaN 1 NaN 0 0 NaN NaN 0
## [3817] 0 NaN NaN NaN NaN 0 NaN NaN NaN -1 NaN 0 -1 0 NaN NaN 0 0
## [3835] 0 NaN 0 NaN NaN NaN 0 0 NaN NaN NaN 0 NaN 0 1 1 NaN 1
## [3853] 0 0 NaN NaN 0 NaN 0 1 NaN 0 0 0 NaN NaN 0 NaN 0 NaN
## [3871] NaN 0 0 NaN NaN 0 NaN NaN NaN NaN NaN 0 NaN NaN NaN NaN 0 0
## [3889] NaN 0 NaN -1 NaN -1 1 NaN NaN NaN 1 1 NaN 0 NaN NaN -1 NaN
## [3907] 0 1 0 NaN 0 0 NaN 0 0 NaN -1 0 NaN 0 0 NaN 1 0
## [3925] 0 NaN 1 1 1 1 0 NaN 0 0 1 NaN NaN -1 0 1 NaN NaN
## [3943] 0 NaN NaN NaN -1 0 0 NaN 1 1 NaN 0 NaN 0 0 NaN 1 1
## [3961] NaN NaN 0 0 NaN 0 NaN NaN 0 0 0 NaN 1 0 NaN 0 0 NaN
## [3979] 0 NaN NaN 0 0 NaN 0 0 0 NaN 0 0 0 NaN 1 -1 NaN NaN
## [3997] NaN NaN NaN 0 NaN 0 NaN 0 NaN 0 0 0 NaN NaN 0 NaN NaN NaN
## [4015] 0 0 NaN 0 0 NaN NaN 0 0 NaN 0 NaN NaN 0 NaN NaN 0 NaN
## [4033] 0 NaN NaN 0 0 NaN NaN 0 1 NaN NaN 0 NaN 0 0 0 NaN NaN
## [4051] 0 0 NaN NaN 0 0 0 0 NaN 0 NaN 0 0 NaN NaN NaN 0 0
## [4069] NaN 0 1 NaN 1 0 NaN NaN -1 NaN 0 NaN 0 NaN 0 NaN 0 0
## [4087] 0 NaN NaN 0 NaN 0 -1 NaN 0 0 NaN 0 NaN NaN NaN 0 0 0
## [4105] 0 NaN 1 1 0 NaN 0 1 1 0 NaN NaN 0 NaN 0 0 0 0
## [4123] NaN NaN -1 NaN 0 0 NaN 1 NaN NaN 0 0 NaN 1 NaN 0 NaN NaN
## [4141] 0 NaN 0 0 NaN NaN 0 0 NaN 0 NaN NaN 0 NaN NaN 0 NaN 1
## [4159] NaN 1 NaN 0 NaN NaN 1 1 NaN NaN 1 NaN NaN 0 NaN 0 NaN NaN
## [4177] 0 NaN NaN 0 NaN 0 NaN NaN NaN 1 0 0 NaN 0 NaN NaN 0 0
## [4195] NaN 0 0 1 0 0 NaN 0 NaN 0 NaN NaN 0 0 NaN 0 0 1
## [4213] 0 0 NaN 0 NaN 0 NaN NaN 1 NaN 0 NaN NaN 1 NaN 0 NaN -1
## [4231] 0 NaN 1 1 NaN NaN 0 NaN 1 NaN NaN NaN 0 0 0 NaN 0 1
## [4249] 1 1 NaN NaN NaN 0 NaN 1 NaN 1 0 0 0 NaN 0 0 NaN 1
## [4267] NaN 0 NaN 0 NaN NaN 0 -1 0 NaN NaN 0 NaN NaN 0 NaN 1 1
## [4285] NaN NaN 0 NaN 1 NaN NaN NaN 0 NaN 1 NaN NaN NaN 0 1 NaN NaN
## [4303] 0 NaN NaN 0 NaN -1 NaN 0 0 NaN 1 0 NaN -1 1 0 NaN 1
## [4321] 0 NaN 0 0 NaN NaN 1 NaN 0 NaN 0 1 0 0 NaN 0 -1 0
## [4339] 0 NaN 0 0 NaN 0 0 1 NaN 0 0 NaN NaN 0 0 NaN -1 0
## [4357] NaN NaN 1 -1 0 0 NaN 0 NaN NaN NaN NaN 1 NaN 0 NaN 0 NaN
## [4375] 0 -1 NaN 0 -1 NaN NaN NaN 0 NaN 0 NaN NaN NaN 0 NaN NaN NaN
## [4393] 0 0 NaN NaN 1 NaN 1 0 NaN 1 NaN 0 0 NaN NaN 0 NaN NaN
## [4411] 0 NaN -1 NaN -1 NaN NaN NaN 0 0 NaN NaN NaN 0 NaN 0 NaN 0
## [4429] 1 NaN NaN 0 0 NaN NaN 0 1 0 0 NaN NaN 0 NaN NaN 0 NaN
## [4447] 0 0 1 NaN NaN 0 NaN 1 NaN NaN 0 NaN 1 0 NaN 0 0 -1
## [4465] NaN 1 NaN NaN 0 0 0 0 NaN 0 NaN -1 NaN NaN 0 0 NaN NaN
## [4483] NaN 0 0 NaN 1 NaN -1 NaN NaN 0 NaN NaN 0 1 1 NaN NaN 0
## [4501] NaN 0 NaN 0 1 NaN 0 0 0 0 -1 NaN 0 0 NaN NaN 0 NaN
## [4519] 1 NaN NaN NaN 0 NaN NaN 0 NaN 0 NaN 0 NaN -1 NaN 0 NaN 0
## [4537] NaN NaN 0 NaN NaN -1 NaN NaN 1 NaN NaN 0 0 NaN NaN 1 NaN NaN
## [4555] NaN 0 NaN NaN 1 NaN NaN 1 NaN 0 NaN 1 0 NaN NaN 0 0 NaN
## [4573] NaN NaN NaN NaN NaN -1 0 NaN NaN 1 0 0 NaN 0 0 NaN 0 NaN
## [4591] 0 NaN 0 0 0 0 NaN NaN 0 0 0 NaN NaN -1 0 NaN NaN -1
## [4609] 1 NaN 0 NaN 0 NaN NaN 0 NaN NaN NaN NaN 0 NaN NaN -1 0 NaN
## [4627] NaN 0 1 NaN 0 NaN 0 0 NaN 0 0 NaN -1 NaN NaN -1 -1 NaN
## [4645] NaN 0 NaN NaN 0 NaN 0 0 NaN -1 NaN NaN 0 NaN NaN 0 -1 0
## [4663] NaN 0 1 NaN 1 NaN -1 0 NaN 0 0 NaN NaN -1 NaN NaN 0 NaN
## [4681] NaN NaN 0 NaN NaN -1 0 NaN NaN NaN NaN 0 NaN NaN NaN 0 NaN NaN
## [4699] 0 0 0 NaN 1 NaN 0 NaN NaN -1 0 NaN 0 0 NaN NaN -1 NaN
## [4717] 0 0 NaN NaN 0 0 0 NaN NaN 0 NaN 0 NaN NaN 0 NaN 0 NaN
## [4735] NaN 0 0 NaN NaN 0 0 NaN -1 NaN 0 0 0 NaN NaN 0 -1 NaN
## [4753] 1 -1 NaN NaN 0 NaN NaN NaN NaN 0 NaN 1 NaN 1 NaN 1 NaN NaN
## [4771] 0 NaN 0 0 NaN 0 NaN 0 NaN 0 NaN 1 0 NaN -1 -1 NaN -1
## [4789] NaN NaN 0 NaN 0 NaN NaN 0 NaN NaN 0 NaN NaN 0 0 NaN NaN NaN
## [4807] 1 NaN NaN 1 0 1 NaN 0 NaN 0 NaN NaN NaN 0 NaN 0 0 NaN
## [4825] 0 NaN NaN 0 NaN 0 0 NaN 1 -1 NaN 0 NaN -1 0 NaN 0 0
## [4843] NaN 0 0 NaN 0 NaN NaN NaN 0 0 1 NaN 0 NaN NaN 0 0 NaN
## [4861] -1 0 NaN -1 0 NaN 0 1 NaN NaN 0 0 0 NaN 0 NaN 0 1
## [4879] 0 0 NaN 0 NaN 0 0 NaN NaN 1 0 NaN NaN NaN NaN NaN 0 NaN
## [4897] NaN 0 NaN 0 NaN NaN 0 0 NaN NaN 1 NaN -1 NaN NaN 0 0 0
## [4915] NaN 0 NaN -1 NaN 0 NaN NaN 0 NaN -1 1 0 NaN NaN 1 0 NaN
## [4933] NaN 1 0 NaN NaN 0 NaN NaN 1 0 NaN 1 NaN NaN 0 NaN NaN NaN
## [4951] 0 0 NaN NaN 0 1 NaN NaN 1 0 NaN NaN 1 1 NaN NaN 1 NaN
## [4969] NaN 1 NaN 0 0 NaN 0 NaN 0 1 NaN 1 NaN 1 NaN 0 NaN 0
## [4987] NaN 1 NaN NaN 1 NaN 0 0 NaN 1 NaN NaN 0 NaN NaN NaN 0 NaN
## [5005] 0 NaN 0 NaN NaN 1 0 0 NaN 0 NaN -1 0 -1 NaN NaN 1 NaN
## [5023] 0 0 NaN 0 NaN NaN 0 NaN 0 1 1 NaN 1 -1 NaN 0 NaN NaN
## [5041] NaN NaN 1 NaN -1 NaN 0 -1 0 0 0 1 1 NaN NaN NaN 1 0
## [5059] NaN 0 NaN 0 NaN -1 NaN 0 -1 NaN NaN 1 NaN 1 0 NaN 1 NaN
## [5077] 0 NaN 0 NaN NaN 0 NaN 0 NaN NaN NaN NaN NaN 0 0 NaN NaN 0
## [5095] 0 NaN NaN -1 NaN NaN 0 0 NaN NaN 0 NaN -1 NaN NaN 0 NaN -1
## [5113] NaN 0 0 NaN 1 0 1 NaN 0 NaN NaN 0 0 0 0 NaN NaN 0
## [5131] 0 0 0 -1 NaN NaN 1 NaN NaN NaN 1 0 NaN NaN 1 NaN 0 NaN
## [5149] NaN 0 NaN NaN 0 NaN NaN 0 0 NaN NaN 0 NaN 0 0 NaN 0 NaN
## [5167] -1 NaN 0 NaN NaN NaN 0 NaN 0 1 0 NaN -1 NaN NaN 0 NaN NaN
## [5185] 1 0 NaN NaN 0 -1 NaN NaN NaN -1 NaN -1 0 0 NaN NaN 0 NaN
## [5203] 0 NaN NaN 0 NaN 1 NaN NaN NaN 0 NaN 0 NaN NaN 1 0 NaN NaN
## [5221] -1 NaN 1 0 1 NaN NaN 0 0 NaN NaN 0 -1 0 NaN 1 0 NaN
## [5239] 1 0 NaN 1 NaN 0 NaN -1 NaN NaN -1 NaN 0 0 1 0 NaN NaN
## [5257] 0 0 NaN 0 0 0 NaN NaN 0 0 0 NaN 0 NaN NaN 0 NaN NaN
## [5275] 0 NaN NaN 0 NaN NaN NaN 0 1 0 NaN NaN 0 0 NaN NaN NaN NaN
## [5293] NaN 0 0 0 0 0 NaN NaN NaN 0 NaN NaN 0 0 0 0 1 NaN
## [5311] 0 0 1 NaN NaN 1 1 0 NaN 0 NaN 0 NaN 0 0 NaN NaN NaN
## [5329] 0 1 0 NaN NaN 0 NaN NaN 0 NaN NaN 1 0 NaN NaN NaN NaN 0
## [5347] NaN NaN 0 0 NaN 0 NaN NaN 1 NaN 1 0 -1 0 NaN NaN 0 NaN
## [5365] 1 NaN NaN NaN NaN 0 NaN 1 NaN NaN 0 NaN NaN 0 0 NaN 0 NaN
## [5383] NaN NaN NaN 0 0 -1 NaN NaN 0 NaN 0 NaN NaN 0 NaN NaN 0 NaN
## [5401] 0 NaN NaN 0 0 NaN NaN NaN 0 1 NaN NaN 0 0 NaN 1 NaN 1
## [5419] 0 1 1 0 0 NaN 0 0 NaN NaN NaN 0 NaN 0 NaN 0 NaN 1
## [5437] 0 0 NaN 1 -1 NaN 0 0 NaN NaN NaN 1 NaN NaN NaN NaN -1 NaN
## [5455] 0 0 0 1 NaN NaN NaN NaN 0 NaN 1 NaN 1 0 1 1 NaN NaN
## [5473] NaN 0 NaN 1 NaN NaN NaN NaN NaN 0 NaN NaN 0 0 NaN 1 NaN 0
## [5491] 0 NaN 1 NaN 1 NaN 1 1 NaN 0 NaN NaN 0 NaN NaN 0 0 0
## [5509] NaN NaN 0 NaN NaN 1 NaN 0 NaN 1 NaN -1 NaN 0 NaN NaN 1 NaN
## [5527] 0 NaN 0 NaN 0 0 NaN NaN 0 0 1 NaN NaN 0 1 NaN 0 NaN
## [5545] NaN 0 0 NaN NaN 0 0 NaN NaN 0 0 NaN NaN 0 0 -1 NaN NaN
## [5563] -1 NaN 0 0 NaN 0 NaN 0 NaN 1 0 0 1 0 0 NaN NaN 0
## [5581] NaN NaN 0 0 NaN NaN 0 0 0 NaN NaN NaN NaN NaN NaN 0 NaN NaN
## [5599] 0 0 0 -1 -1 0 NaN NaN 0 -1 NaN 0 0 0 1 0 0 0
## [5617] 1 1 NaN 0 0 NaN NaN NaN NaN NaN NaN NaN NaN 0 NaN 0 0 NaN
## [5635] NaN 0 NaN 1 0 NaN NaN 1 NaN 0 NaN 0 NaN 0 0 0 NaN 0
## [5653] NaN 0 1 NaN NaN 0 NaN NaN NaN 0 NaN 0 0 0 0 NaN 0 NaN
## [5671] 0 NaN 0 NaN NaN 0 0 NaN 0 0 0 NaN NaN 1 NaN NaN 0 NaN
## [5689] 1 NaN 0 NaN NaN 1 NaN NaN NaN 0 NaN NaN NaN 0 NaN NaN 0 NaN
## [5707] 0 NaN 0 NaN 0 0 NaN 0 0 NaN 0 0 NaN 0 NaN NaN 0 NaN
## [5725] NaN NaN 1 NaN NaN 0 0 NaN NaN 1 NaN 1 0 NaN NaN 0 NaN NaN
## [5743] -1 -1 0 NaN 0 0 NaN 1 NaN 0 0 0 1 0 NaN NaN NaN NaN
## [5761] NaN 0 0 NaN 0 NaN NaN 0 NaN NaN 0 NaN 0 NaN NaN 1 NaN 0
## [5779] 0 0 NaN 0 NaN 0 NaN NaN 0 NaN 0 1 1 0 NaN 1 0 NaN
## [5797] 0 0 0 0 0 0 NaN NaN -1 0 NaN NaN 0 0 0 1 NaN NaN
## [5815] 0 NaN NaN 0 0 NaN NaN 0 NaN 0 0 NaN 0 NaN 0 NaN NaN 1
## [5833] NaN NaN 0 0 NaN 0 NaN NaN NaN 0 NaN NaN 0 NaN 0 NaN 0 NaN
## [5851] NaN 0 0 NaN 0 NaN 1 NaN 0 NaN 0 NaN 1 NaN 0 1 NaN 0
## [5869] 0 NaN 1 0 NaN NaN -1 0 0 NaN 0 0 NaN NaN 0 NaN 0 NaN
## [5887] 0 1 NaN NaN 0 0 NaN NaN NaN NaN 0 NaN 0 0 1 NaN 0 0
## [5905] NaN 0 NaN NaN 0 0 NaN NaN NaN 0 0 0 NaN NaN 0 1 NaN 1
## [5923] NaN NaN NaN NaN 1 NaN NaN NaN 0 NaN 1 NaN 0 NaN NaN NaN 1 NaN
## [5941] NaN 0 0 0 NaN 0 0 NaN 0 NaN 0 1 1 NaN NaN 0 0 0
## [5959] 0 0 NaN -1 0 -1 0 NaN 0 NaN 1 NaN 0 0 NaN NaN 0 NaN
## [5977] 1 NaN 1 0 NaN 1 NaN 1 NaN NaN 0 NaN NaN 0 0 NaN NaN 0
## [5995] 0 NaN 0 NaN -1 NaN NaN 0 NaN 0 NaN NaN NaN 0 1 NaN NaN 0
## [6013] 0 1 0 NaN 0 NaN NaN NaN NaN 1 NaN NaN 0 NaN NaN 0 NaN NaN
## [6031] 0 0 NaN NaN 1 NaN 0 0 1 NaN 0 0 NaN NaN 0 NaN NaN 0
## [6049] 0 0 NaN 0 NaN 0 NaN NaN 0 NaN NaN 0 0 NaN NaN NaN -1 NaN
## [6067] 1 NaN 1 0 NaN NaN 0 NaN NaN 1 0 NaN NaN NaN NaN NaN 0 NaN
## [6085] NaN NaN 1 1 NaN 0 0 NaN 1 0 NaN NaN 0 NaN 0 NaN NaN -1
## [6103] NaN NaN NaN NaN 0 NaN 1 NaN NaN 0 NaN NaN 0 0 NaN NaN NaN 0
## [6121] NaN NaN NaN 1 NaN NaN NaN 0 NaN NaN 0 1 1 NaN 0 NaN NaN 0
## [6139] NaN 0 NaN NaN 0 0 0 0 NaN 0 0 NaN NaN 0 NaN 0 NaN 1
## [6157] 1 NaN NaN NaN 0 0 NaN 0 0 NaN 0 NaN 0 NaN 0 1 NaN 0
## [6175] 1 NaN NaN 0 NaN 0 NaN NaN 0 NaN 0 NaN 0 NaN NaN 0 NaN NaN
## [6193] NaN NaN 0 NaN 0 1 NaN NaN 0 1 NaN 0 0 NaN NaN 0 1 NaN
## [6211] 0 0 NaN 0 NaN NaN 0 0 0 0 NaN NaN 0 0 NaN NaN 0 NaN
## [6229] NaN NaN NaN 1 0 1 NaN 0 1 0 NaN NaN 0 NaN NaN 0 NaN 0
## [6247] 0 1 NaN NaN 0 1 NaN NaN NaN NaN NaN NaN NaN 0 NaN 0 0 NaN
## [6265] 1 NaN NaN 0 0 NaN 0 NaN NaN 0 0 1 0 0 0 -1 NaN NaN
## [6283] 0 0 NaN 1 NaN 0 NaN 0 NaN NaN 0 NaN 1 NaN 0 1 0 0
## [6301] NaN NaN NaN 0 1 0 NaN NaN 0 0 NaN 0 0 NaN 0 NaN 0 NaN
## [6319] 1 NaN 0 0 NaN 0 NaN 0 NaN 1 1 NaN 0 NaN 0 NaN 1 0
## [6337] NaN 0 NaN NaN 0 NaN 0 NaN NaN 0 -1 NaN 0 NaN 0 0 NaN 1
## [6355] 0 NaN 1 NaN NaN NaN 0 NaN NaN 0 1 NaN NaN NaN 0 NaN NaN 0
## [6373] 0 0 NaN NaN 1 NaN NaN 0 NaN 0 1 0 NaN NaN NaN -1 NaN NaN
## [6391] 1 NaN 1 NaNconvertToBinaryResponse(sentiment)$SentimentGI## [1] <NA> positive <NA> positive positive <NA> positive positive
## [9] <NA> <NA> positive positive positive <NA> positive positive
## [17] <NA> <NA> positive positive positive <NA> positive positive
## [25] <NA> <NA> positive positive positive positive positive <NA>
## [33] positive positive positive positive positive positive positive <NA>
## [41] <NA> positive positive positive <NA> <NA> positive negative
## [49] positive <NA> positive <NA> <NA> positive negative positive
## [57] positive <NA> positive positive positive positive <NA> positive
## [65] positive <NA> <NA> positive <NA> positive <NA> positive
## [73] positive <NA> <NA> positive positive <NA> <NA> positive
## [81] <NA> <NA> positive <NA> <NA> positive positive <NA>
## [89] positive <NA> <NA> positive <NA> <NA> positive positive
## [97] <NA> <NA> positive positive positive <NA> <NA> negative
## [105] <NA> positive <NA> <NA> <NA> positive <NA> <NA>
## [113] <NA> positive positive <NA> <NA> positive positive positive
## [121] <NA> positive <NA> positive positive <NA> positive positive
## [129] positive <NA> <NA> <NA> <NA> positive <NA> <NA>
## [137] positive <NA> positive positive positive <NA> <NA> <NA>
## [145] positive <NA> <NA> <NA> positive <NA> <NA> positive
## [153] <NA> <NA> <NA> positive positive <NA> positive positive
## [161] <NA> <NA> positive <NA> positive positive <NA> positive
## [169] positive <NA> <NA> <NA> positive <NA> positive <NA>
## [177] <NA> negative <NA> positive <NA> <NA> positive <NA>
## [185] <NA> positive <NA> <NA> negative <NA> positive <NA>
## [193] positive <NA> positive <NA> positive positive positive positive
## [201] negative positive <NA> positive <NA> positive positive <NA>
## [209] <NA> negative <NA> positive <NA> positive positive <NA>
## [217] negative <NA> positive positive <NA> <NA> <NA> positive
## [225] positive positive <NA> positive positive <NA> positive positive
## [233] <NA> <NA> positive <NA> <NA> <NA> <NA> <NA>
## [241] positive <NA> positive positive positive positive <NA> positive
## [249] <NA> positive <NA> positive positive <NA> positive <NA>
## [257] positive <NA> positive <NA> <NA> <NA> positive <NA>
## [265] positive <NA> positive <NA> <NA> positive positive positive
## [273] <NA> <NA> positive <NA> <NA> <NA> negative negative
## [281] <NA> <NA> positive positive <NA> negative <NA> positive
## [289] positive <NA> positive <NA> positive <NA> positive positive
## [297] <NA> positive positive <NA> <NA> positive positive <NA>
## [305] <NA> negative <NA> positive <NA> <NA> positive positive
## [313] positive <NA> <NA> <NA> positive <NA> negative <NA>
## [321] <NA> positive <NA> <NA> <NA> <NA> positive <NA>
## [329] <NA> positive positive positive <NA> positive positive <NA>
## [337] positive <NA> positive <NA> positive positive positive positive
## [345] <NA> positive positive <NA> positive <NA> positive <NA>
## [353] positive <NA> positive positive <NA> positive positive <NA>
## [361] positive <NA> positive <NA> positive <NA> <NA> positive
## [369] <NA> <NA> <NA> <NA> positive positive positive <NA>
## [377] <NA> <NA> positive <NA> <NA> positive positive positive
## [385] <NA> positive <NA> <NA> positive negative <NA> <NA>
## [393] positive <NA> positive <NA> positive <NA> positive <NA>
## [401] positive <NA> positive positive positive <NA> positive <NA>
## [409] positive <NA> <NA> positive positive <NA> <NA> <NA>
## [417] positive <NA> <NA> <NA> positive <NA> positive <NA>
## [425] <NA> positive <NA> positive positive <NA> <NA> positive
## [433] <NA> positive <NA> positive <NA> <NA> positive positive
## [441] negative positive positive positive <NA> positive <NA> positive
## [449] positive <NA> <NA> <NA> <NA> positive positive positive
## [457] <NA> <NA> positive positive positive <NA> <NA> positive
## [465] <NA> <NA> <NA> positive <NA> positive <NA> <NA>
## [473] positive positive <NA> <NA> positive positive positive <NA>
## [481] positive negative <NA> positive <NA> positive positive positive
## [489] <NA> positive <NA> positive <NA> positive positive positive
## [497] <NA> <NA> negative <NA> positive <NA> positive positive
## [505] <NA> <NA> <NA> <NA> positive <NA> <NA> <NA>
## [513] positive positive <NA> positive <NA> <NA> positive positive
## [521] positive <NA> positive <NA> positive positive <NA> positive
## [529] positive <NA> <NA> <NA> positive <NA> <NA> positive
## [537] positive positive positive <NA> positive <NA> <NA> positive
## [545] positive <NA> <NA> <NA> <NA> positive positive <NA>
## [553] positive positive <NA> <NA> <NA> positive <NA> positive
## [561] positive <NA> <NA> <NA> positive positive <NA> positive
## [569] positive <NA> <NA> positive positive <NA> positive positive
## [577] positive positive <NA> <NA> positive negative <NA> positive
## [585] <NA> positive positive <NA> positive positive <NA> positive
## [593] positive <NA> <NA> <NA> positive positive <NA> positive
## [601] <NA> positive <NA> <NA> positive positive positive positive
## [609] <NA> negative positive <NA> positive positive positive positive
## [617] <NA> <NA> positive <NA> <NA> positive positive <NA>
## [625] <NA> positive <NA> <NA> positive positive positive <NA>
## [633] positive <NA> <NA> <NA> positive <NA> <NA> positive
## [641] <NA> <NA> positive <NA> positive negative <NA> <NA>
## [649] positive <NA> positive <NA> <NA> positive <NA> <NA>
## [657] positive positive <NA> <NA> positive <NA> <NA> positive
## [665] positive positive <NA> <NA> <NA> positive <NA> positive
## [673] negative <NA> positive positive positive <NA> <NA> <NA>
## [681] positive positive positive <NA> positive positive <NA> <NA>
## [689] positive <NA> <NA> positive positive <NA> <NA> positive
## [697] <NA> positive positive <NA> <NA> <NA> positive positive
## [705] <NA> positive positive positive <NA> <NA> <NA> positive
## [713] positive <NA> positive positive positive <NA> <NA> positive
## [721] <NA> positive positive positive positive <NA> positive <NA>
## [729] <NA> positive <NA> positive <NA> positive positive <NA>
## [737] positive positive positive <NA> positive positive <NA> negative
## [745] negative <NA> positive negative <NA> positive <NA> <NA>
## [753] positive positive <NA> positive <NA> <NA> positive <NA>
## [761] positive positive <NA> <NA> negative <NA> positive positive
## [769] positive <NA> <NA> <NA> positive positive <NA> positive
## [777] <NA> positive <NA> positive <NA> positive <NA> <NA>
## [785] positive <NA> positive positive <NA> <NA> positive positive
## [793] <NA> positive <NA> <NA> <NA> positive positive <NA>
## [801] positive <NA> <NA> positive positive <NA> positive <NA>
## [809] positive <NA> <NA> <NA> positive <NA> positive <NA>
## [817] positive positive <NA> positive positive <NA> <NA> <NA>
## [825] positive <NA> negative <NA> <NA> positive positive positive
## [833] positive positive <NA> <NA> <NA> <NA> <NA> positive
## [841] positive <NA> <NA> positive <NA> <NA> positive <NA>
## [849] positive <NA> <NA> positive <NA> <NA> positive <NA>
## [857] positive <NA> positive <NA> positive <NA> positive positive
## [865] <NA> <NA> positive <NA> positive positive <NA> <NA>
## [873] positive <NA> <NA> positive <NA> positive <NA> <NA>
## [881] positive positive <NA> <NA> positive <NA> <NA> <NA>
## [889] <NA> positive <NA> positive positive positive <NA> <NA>
## [897] positive <NA> <NA> positive <NA> <NA> positive <NA>
## [905] <NA> <NA> positive positive <NA> <NA> <NA> positive
## [913] positive <NA> <NA> positive positive positive <NA> <NA>
## [921] positive <NA> positive <NA> <NA> positive <NA> <NA>
## [929] <NA> <NA> <NA> <NA> negative <NA> positive <NA>
## [937] positive <NA> positive positive <NA> <NA> negative <NA>
## [945] <NA> positive <NA> <NA> <NA> <NA> <NA> <NA>
## [953] positive <NA> <NA> positive positive <NA> positive <NA>
## [961] <NA> positive <NA> positive <NA> <NA> positive positive
## [969] <NA> <NA> positive <NA> <NA> positive <NA> negative
## [977] <NA> positive <NA> <NA> <NA> <NA> positive <NA>
## [985] <NA> positive positive positive <NA> positive positive <NA>
## [993] <NA> <NA> <NA> positive <NA> positive <NA> positive
## [1001] <NA> positive <NA> positive negative <NA> positive <NA>
## [1009] positive <NA> <NA> negative <NA> <NA> positive positive
## [1017] <NA> positive <NA> <NA> <NA> <NA> <NA> positive
## [1025] positive <NA> positive positive <NA> positive positive <NA>
## [1033] positive <NA> <NA> <NA> <NA> positive <NA> positive
## [1041] <NA> positive <NA> positive <NA> <NA> positive <NA>
## [1049] negative positive <NA> positive positive positive <NA> positive
## [1057] <NA> <NA> positive <NA> positive <NA> positive <NA>
## [1065] positive positive <NA> <NA> positive <NA> positive positive
## [1073] positive <NA> <NA> positive positive positive <NA> positive
## [1081] positive <NA> positive positive <NA> <NA> positive <NA>
## [1089] negative <NA> <NA> positive <NA> positive positive positive
## [1097] <NA> positive <NA> <NA> <NA> positive positive <NA>
## [1105] positive <NA> <NA> positive positive <NA> negative <NA>
## [1113] negative <NA> negative <NA> <NA> <NA> <NA> <NA>
## [1121] positive <NA> negative positive positive positive positive <NA>
## [1129] <NA> <NA> positive positive positive <NA> <NA> positive
## [1137] <NA> <NA> positive positive <NA> positive <NA> positive
## [1145] <NA> <NA> positive <NA> <NA> <NA> positive positive
## [1153] positive <NA> positive <NA> <NA> positive <NA> <NA>
## [1161] positive <NA> positive <NA> positive <NA> positive <NA>
## [1169] <NA> positive positive positive negative <NA> positive positive
## [1177] positive positive <NA> <NA> positive <NA> positive <NA>
## [1185] <NA> <NA> <NA> positive negative <NA> <NA> positive
## [1193] <NA> <NA> <NA> positive <NA> positive <NA> negative
## [1201] negative <NA> positive positive <NA> <NA> positive <NA>
## [1209] positive positive <NA> positive <NA> positive <NA> <NA>
## [1217] <NA> positive positive <NA> <NA> positive <NA> positive
## [1225] positive positive <NA> positive <NA> positive positive <NA>
## [1233] positive positive <NA> positive <NA> <NA> positive <NA>
## [1241] <NA> positive <NA> positive <NA> positive <NA> <NA>
## [1249] <NA> <NA> positive <NA> positive positive <NA> <NA>
## [1257] positive <NA> positive <NA> <NA> positive positive <NA>
## [1265] <NA> <NA> positive <NA> positive <NA> negative <NA>
## [1273] positive positive <NA> <NA> positive <NA> positive <NA>
## [1281] positive negative <NA> positive <NA> <NA> positive positive
## [1289] <NA> <NA> positive <NA> <NA> <NA> <NA> positive
## [1297] positive <NA> positive <NA> positive positive <NA> positive
## [1305] <NA> positive <NA> positive <NA> positive <NA> <NA>
## [1313] negative <NA> positive <NA> <NA> <NA> <NA> <NA>
## [1321] positive positive <NA> positive positive <NA> positive <NA>
## [1329] positive positive <NA> <NA> positive <NA> positive positive
## [1337] <NA> positive <NA> <NA> positive <NA> positive positive
## [1345] <NA> positive positive <NA> <NA> positive <NA> <NA>
## [1353] positive positive <NA> positive <NA> positive <NA> <NA>
## [1361] positive <NA> positive positive <NA> positive <NA> positive
## [1369] <NA> <NA> positive <NA> positive negative negative negative
## [1377] <NA> <NA> positive <NA> positive <NA> negative <NA>
## [1385] positive positive positive <NA> positive <NA> <NA> positive
## [1393] <NA> <NA> positive <NA> positive positive <NA> <NA>
## [1401] positive positive <NA> <NA> <NA> positive <NA> negative
## [1409] <NA> positive positive positive <NA> positive <NA> <NA>
## [1417] <NA> positive positive <NA> positive <NA> positive <NA>
## [1425] positive positive <NA> <NA> positive positive <NA> positive
## [1433] <NA> positive <NA> positive <NA> positive positive positive
## [1441] positive <NA> positive <NA> positive positive <NA> positive
## [1449] <NA> positive <NA> <NA> positive negative <NA> negative
## [1457] <NA> <NA> negative positive positive <NA> positive positive
## [1465] <NA> positive <NA> <NA> positive <NA> <NA> positive
## [1473] <NA> positive <NA> <NA> positive <NA> positive positive
## [1481] <NA> <NA> positive positive <NA> <NA> <NA> <NA>
## [1489] positive <NA> positive <NA> negative <NA> positive positive
## [1497] <NA> positive <NA> <NA> <NA> <NA> positive <NA>
## [1505] <NA> <NA> <NA> positive positive <NA> <NA> positive
## [1513] <NA> positive positive <NA> positive <NA> positive <NA>
## [1521] <NA> positive positive positive <NA> negative <NA> <NA>
## [1529] positive <NA> positive positive <NA> <NA> positive positive
## [1537] positive <NA> <NA> <NA> positive <NA> <NA> <NA>
## [1545] positive <NA> <NA> negative <NA> negative positive positive
## [1553] negative positive <NA> positive <NA> <NA> negative positive
## [1561] <NA> positive positive <NA> <NA> positive negative <NA>
## [1569] positive negative positive <NA> <NA> <NA> positive <NA>
## [1577] positive positive <NA> positive positive <NA> <NA> positive
## [1585] <NA> positive <NA> positive positive <NA> <NA> positive
## [1593] positive positive <NA> negative <NA> <NA> positive <NA>
## [1601] positive <NA> positive <NA> positive positive <NA> positive
## [1609] positive <NA> positive positive <NA> positive positive positive
## [1617] <NA> positive <NA> negative <NA> positive <NA> positive
## [1625] negative <NA> positive positive positive positive negative <NA>
## [1633] positive negative positive <NA> <NA> <NA> <NA> positive
## [1641] positive <NA> positive positive positive <NA> positive positive
## [1649] <NA> positive <NA> positive negative positive <NA> positive
## [1657] <NA> positive <NA> positive <NA> positive positive <NA>
## [1665] <NA> <NA> positive <NA> <NA> positive negative <NA>
## [1673] <NA> positive <NA> <NA> positive <NA> positive <NA>
## [1681] <NA> positive positive <NA> negative positive positive <NA>
## [1689] <NA> <NA> <NA> positive <NA> positive positive <NA>
## [1697] positive <NA> <NA> positive positive <NA> <NA> <NA>
## [1705] positive <NA> <NA> positive positive <NA> negative positive
## [1713] <NA> positive <NA> positive <NA> <NA> positive <NA>
## [1721] <NA> positive positive <NA> negative <NA> <NA> negative
## [1729] <NA> positive <NA> negative positive positive positive <NA>
## [1737] <NA> <NA> positive <NA> <NA> negative positive <NA>
## [1745] positive positive <NA> <NA> <NA> positive <NA> <NA>
## [1753] positive positive positive <NA> negative positive positive positive
## [1761] positive <NA> <NA> positive positive <NA> positive <NA>
## [1769] positive <NA> positive positive positive positive <NA> positive
## [1777] <NA> positive <NA> <NA> negative <NA> positive positive
## [1785] positive positive <NA> <NA> positive <NA> <NA> positive
## [1793] positive positive <NA> positive <NA> positive <NA> <NA>
## [1801] negative <NA> <NA> positive positive <NA> positive positive
## [1809] <NA> <NA> negative <NA> positive <NA> positive positive
## [1817] <NA> <NA> positive <NA> positive <NA> <NA> positive
## [1825] <NA> negative positive positive <NA> positive positive positive
## [1833] <NA> <NA> positive <NA> positive positive <NA> positive
## [1841] positive <NA> positive <NA> <NA> positive <NA> positive
## [1849] positive <NA> <NA> positive <NA> <NA> <NA> <NA>
## [1857] positive positive positive <NA> <NA> <NA> positive <NA>
## [1865] positive <NA> positive <NA> <NA> <NA> negative <NA>
## [1873] <NA> positive positive positive positive <NA> <NA> <NA>
## [1881] positive <NA> <NA> positive positive <NA> <NA> <NA>
## [1889] positive <NA> positive <NA> <NA> <NA> <NA> positive
## [1897] <NA> <NA> positive <NA> <NA> <NA> negative <NA>
## [1905] <NA> <NA> positive positive <NA> positive positive <NA>
## [1913] positive <NA> positive <NA> <NA> <NA> positive <NA>
## [1921] positive <NA> positive positive <NA> negative positive <NA>
## [1929] <NA> negative <NA> positive <NA> positive <NA> positive
## [1937] <NA> positive <NA> positive <NA> positive <NA> positive
## [1945] <NA> <NA> <NA> positive positive positive <NA> positive
## [1953] <NA> <NA> positive positive <NA> positive <NA> <NA>
## [1961] positive <NA> <NA> positive <NA> <NA> positive <NA>
## [1969] <NA> negative positive <NA> <NA> <NA> positive <NA>
## [1977] positive <NA> positive <NA> positive positive <NA> <NA>
## [1985] positive positive positive <NA> positive <NA> positive positive
## [1993] positive <NA> positive positive positive positive <NA> positive
## [2001] positive positive <NA> <NA> positive <NA> positive <NA>
## [2009] positive <NA> positive positive <NA> <NA> positive positive
## [2017] positive <NA> negative <NA> <NA> <NA> positive positive
## [2025] <NA> positive <NA> <NA> <NA> positive positive <NA>
## [2033] positive positive <NA> positive positive positive <NA> positive
## [2041] positive <NA> positive positive positive <NA> <NA> <NA>
## [2049] positive <NA> positive positive positive <NA> <NA> positive
## [2057] positive <NA> positive <NA> positive <NA> positive positive
## [2065] <NA> positive positive <NA> positive <NA> <NA> positive
## [2073] positive <NA> positive <NA> positive <NA> positive positive
## [2081] positive positive <NA> <NA> <NA> <NA> <NA> <NA>
## [2089] positive <NA> positive <NA> <NA> <NA> <NA> positive
## [2097] positive <NA> positive <NA> <NA> <NA> negative <NA>
## [2105] <NA> <NA> <NA> positive negative positive <NA> <NA>
## [2113] positive <NA> positive <NA> <NA> <NA> <NA> <NA>
## [2121] positive <NA> positive positive positive positive positive <NA>
## [2129] <NA> positive <NA> positive <NA> <NA> positive positive
## [2137] <NA> positive positive positive positive positive positive positive
## [2145] positive <NA> positive <NA> positive positive <NA> positive
## [2153] positive <NA> <NA> positive positive <NA> <NA> positive
## [2161] positive <NA> <NA> positive <NA> positive <NA> positive
## [2169] positive positive positive <NA> <NA> positive <NA> positive
## [2177] <NA> <NA> negative negative <NA> negative positive <NA>
## [2185] <NA> positive <NA> positive <NA> positive <NA> <NA>
## [2193] positive <NA> <NA> positive <NA> <NA> positive <NA>
## [2201] <NA> positive positive <NA> <NA> positive <NA> positive
## [2209] positive negative <NA> negative <NA> positive <NA> <NA>
## [2217] negative positive <NA> <NA> positive positive <NA> positive
## [2225] positive <NA> <NA> positive positive positive <NA> positive
## [2233] positive <NA> positive <NA> <NA> positive <NA> positive
## [2241] positive <NA> positive positive <NA> positive <NA> <NA>
## [2249] positive <NA> <NA> positive <NA> <NA> positive positive
## [2257] <NA> <NA> positive <NA> <NA> positive <NA> <NA>
## [2265] positive <NA> positive positive <NA> positive <NA> positive
## [2273] <NA> <NA> positive positive <NA> positive positive <NA>
## [2281] <NA> positive positive <NA> positive positive <NA> <NA>
## [2289] positive negative <NA> <NA> positive <NA> positive <NA>
## [2297] <NA> positive <NA> <NA> positive <NA> positive positive
## [2305] <NA> <NA> <NA> <NA> positive <NA> <NA> <NA>
## [2313] positive positive <NA> positive positive negative positive <NA>
## [2321] positive <NA> <NA> positive positive <NA> positive <NA>
## [2329] <NA> positive positive <NA> <NA> <NA> <NA> <NA>
## [2337] negative <NA> positive <NA> negative negative negative <NA>
## [2345] <NA> positive <NA> <NA> positive <NA> positive <NA>
## [2353] <NA> positive positive <NA> <NA> positive <NA> <NA>
## [2361] positive positive positive positive <NA> positive <NA> <NA>
## [2369] positive positive <NA> positive <NA> positive positive positive
## [2377] positive positive <NA> positive positive <NA> positive <NA>
## [2385] <NA> positive <NA> <NA> negative <NA> <NA> positive
## [2393] <NA> <NA> positive <NA> <NA> positive <NA> positive
## [2401] positive positive <NA> positive <NA> <NA> positive positive
## [2409] <NA> positive positive positive <NA> negative positive <NA>
## [2417] <NA> positive <NA> <NA> positive positive positive <NA>
## [2425] positive <NA> <NA> positive positive <NA> <NA> positive
## [2433] <NA> <NA> <NA> positive <NA> negative <NA> positive
## [2441] <NA> positive positive positive <NA> positive positive <NA>
## [2449] <NA> <NA> positive positive <NA> <NA> positive <NA>
## [2457] positive positive <NA> <NA> positive <NA> positive positive
## [2465] <NA> <NA> positive <NA> <NA> positive positive <NA>
## [2473] <NA> <NA> positive <NA> <NA> positive <NA> positive
## [2481] <NA> <NA> <NA> positive positive <NA> positive <NA>
## [2489] positive <NA> <NA> positive positive positive <NA> <NA>
## [2497] positive <NA> <NA> positive positive positive <NA> <NA>
## [2505] <NA> positive positive positive positive <NA> positive <NA>
## [2513] positive <NA> positive <NA> positive positive positive positive
## [2521] positive positive <NA> <NA> positive positive <NA> positive
## [2529] positive <NA> positive <NA> <NA> <NA> <NA> positive
## [2537] <NA> <NA> positive negative <NA> <NA> positive positive
## [2545] <NA> positive <NA> positive <NA> positive <NA> negative
## [2553] positive <NA> positive positive negative positive positive positive
## [2561] positive <NA> <NA> positive <NA> positive <NA> <NA>
## [2569] positive positive positive <NA> negative <NA> negative <NA>
## [2577] <NA> <NA> positive <NA> positive positive positive <NA>
## [2585] positive <NA> <NA> <NA> positive positive <NA> positive
## [2593] <NA> positive <NA> positive positive <NA> positive positive
## [2601] <NA> positive positive <NA> positive positive positive <NA>
## [2609] positive <NA> positive positive positive positive <NA> <NA>
## [2617] positive <NA> positive <NA> <NA> positive positive <NA>
## [2625] positive positive positive <NA> <NA> positive <NA> positive
## [2633] <NA> <NA> positive positive <NA> positive <NA> <NA>
## [2641] negative positive <NA> <NA> positive <NA> positive <NA>
## [2649] <NA> <NA> positive positive positive <NA> positive positive
## [2657] positive positive <NA> <NA> negative positive positive negative
## [2665] <NA> positive <NA> positive positive positive positive positive
## [2673] positive <NA> positive <NA> <NA> positive <NA> positive
## [2681] <NA> positive positive <NA> <NA> <NA> positive <NA>
## [2689] positive <NA> positive <NA> positive <NA> <NA> positive
## [2697] <NA> <NA> positive <NA> <NA> positive <NA> <NA>
## [2705] positive <NA> <NA> <NA> positive <NA> positive positive
## [2713] positive positive positive positive <NA> positive positive <NA>
## [2721] positive <NA> positive <NA> <NA> positive <NA> <NA>
## [2729] <NA> positive <NA> <NA> positive positive positive positive
## [2737] positive <NA> <NA> positive positive positive positive <NA>
## [2745] positive <NA> <NA> negative <NA> <NA> positive positive
## [2753] negative positive positive <NA> positive <NA> positive positive
## [2761] <NA> positive <NA> positive negative <NA> <NA> <NA>
## [2769] positive <NA> <NA> negative <NA> <NA> positive <NA>
## [2777] positive negative positive positive positive <NA> positive <NA>
## [2785] positive <NA> positive positive <NA> <NA> positive <NA>
## [2793] <NA> negative <NA> positive positive <NA> positive <NA>
## [2801] <NA> positive positive <NA> <NA> positive positive positive
## [2809] negative <NA> positive <NA> positive positive <NA> positive
## [2817] positive <NA> <NA> positive <NA> positive <NA> positive
## [2825] <NA> <NA> positive <NA> positive positive <NA> <NA>
## [2833] positive <NA> <NA> positive <NA> <NA> positive <NA>
## [2841] <NA> positive positive <NA> <NA> positive positive positive
## [2849] negative <NA> positive <NA> positive <NA> positive <NA>
## [2857] positive <NA> positive <NA> <NA> <NA> positive positive
## [2865] <NA> <NA> positive <NA> negative positive positive <NA>
## [2873] <NA> <NA> positive <NA> positive positive <NA> <NA>
## [2881] positive <NA> positive <NA> positive positive <NA> positive
## [2889] positive <NA> <NA> positive <NA> <NA> positive positive
## [2897] positive <NA> negative <NA> positive positive <NA> <NA>
## [2905] positive <NA> positive <NA> positive <NA> <NA> negative
## [2913] <NA> positive positive <NA> <NA> <NA> positive positive
## [2921] positive <NA> positive <NA> positive <NA> positive <NA>
## [2929] positive <NA> <NA> positive positive positive positive positive
## [2937] <NA> positive <NA> <NA> positive <NA> positive positive
## [2945] positive positive <NA> positive positive positive negative <NA>
## [2953] <NA> <NA> positive <NA> <NA> positive <NA> negative
## [2961] <NA> positive <NA> <NA> negative positive positive <NA>
## [2969] positive positive <NA> <NA> positive positive positive <NA>
## [2977] positive <NA> positive positive <NA> <NA> <NA> positive
## [2985] positive <NA> <NA> positive positive positive <NA> positive
## [2993] <NA> positive positive <NA> positive positive <NA> positive
## [3001] positive positive <NA> positive positive positive positive <NA>
## [3009] <NA> positive <NA> positive <NA> positive positive positive
## [3017] positive positive <NA> positive positive <NA> positive positive
## [3025] positive positive <NA> positive positive positive positive positive
## [3033] negative <NA> <NA> positive <NA> <NA> <NA> <NA>
## [3041] positive <NA> positive <NA> <NA> <NA> positive positive
## [3049] <NA> positive positive positive <NA> <NA> <NA> positive
## [3057] positive <NA> positive <NA> negative <NA> <NA> positive
## [3065] <NA> positive positive <NA> <NA> <NA> positive <NA>
## [3073] <NA> positive positive <NA> positive positive <NA> <NA>
## [3081] positive <NA> positive positive positive negative positive positive
## [3089] positive <NA> positive <NA> <NA> positive <NA> negative
## [3097] positive <NA> <NA> positive positive positive negative <NA>
## [3105] positive <NA> positive <NA> positive positive <NA> <NA>
## [3113] <NA> <NA> positive negative <NA> positive <NA> <NA>
## [3121] positive negative <NA> <NA> <NA> <NA> positive <NA>
## [3129] positive positive <NA> negative positive <NA> <NA> <NA>
## [3137] positive positive <NA> positive <NA> positive positive positive
## [3145] <NA> positive positive positive <NA> positive positive positive
## [3153] <NA> <NA> <NA> positive <NA> positive <NA> positive
## [3161] <NA> negative <NA> positive <NA> <NA> positive positive
## [3169] <NA> <NA> positive <NA> <NA> positive <NA> positive
## [3177] <NA> positive <NA> <NA> <NA> <NA> positive <NA>
## [3185] negative <NA> <NA> positive positive positive <NA> <NA>
## [3193] positive negative <NA> positive <NA> positive positive <NA>
## [3201] <NA> positive <NA> <NA> <NA> <NA> <NA> positive
## [3209] <NA> positive positive <NA> positive <NA> <NA> <NA>
## [3217] positive <NA> positive <NA> positive <NA> <NA> positive
## [3225] positive <NA> positive <NA> <NA> positive negative <NA>
## [3233] <NA> positive <NA> positive positive <NA> positive <NA>
## [3241] <NA> <NA> positive <NA> positive positive <NA> negative
## [3249] positive <NA> <NA> positive positive <NA> <NA> positive
## [3257] negative <NA> positive <NA> positive positive <NA> <NA>
## [3265] positive <NA> <NA> positive positive <NA> <NA> positive
## [3273] positive <NA> <NA> positive <NA> positive positive <NA>
## [3281] positive <NA> positive <NA> <NA> <NA> <NA> positive
## [3289] <NA> <NA> positive <NA> positive <NA> <NA> <NA>
## [3297] negative <NA> positive positive <NA> negative <NA> positive
## [3305] positive positive <NA> <NA> positive <NA> <NA> positive
## [3313] <NA> <NA> <NA> negative <NA> positive <NA> positive
## [3321] positive positive <NA> positive <NA> <NA> positive negative
## [3329] <NA> positive positive positive <NA> <NA> positive <NA>
## [3337] positive positive <NA> positive positive <NA> negative positive
## [3345] <NA> positive positive <NA> positive <NA> <NA> positive
## [3353] <NA> negative positive <NA> <NA> <NA> positive <NA>
## [3361] positive positive <NA> <NA> positive <NA> <NA> <NA>
## [3369] <NA> positive <NA> <NA> <NA> positive <NA> positive
## [3377] positive <NA> positive positive <NA> <NA> positive positive
## [3385] <NA> positive <NA> positive <NA> positive positive <NA>
## [3393] positive negative <NA> positive <NA> positive negative <NA>
## [3401] <NA> positive <NA> <NA> positive <NA> positive <NA>
## [3409] <NA> positive positive positive <NA> positive positive <NA>
## [3417] positive positive positive positive <NA> <NA> <NA> negative
## [3425] <NA> positive <NA> positive <NA> negative <NA> positive
## [3433] positive positive <NA> positive <NA> positive positive <NA>
## [3441] positive positive positive positive <NA> <NA> negative <NA>
## [3449] positive positive <NA> positive positive positive <NA> positive
## [3457] positive negative positive <NA> positive <NA> positive positive
## [3465] <NA> positive positive positive <NA> positive positive <NA>
## [3473] <NA> positive <NA> <NA> <NA> <NA> positive <NA>
## [3481] positive <NA> <NA> positive <NA> positive <NA> positive
## [3489] <NA> <NA> positive positive positive <NA> <NA> positive
## [3497] positive <NA> positive positive <NA> positive <NA> positive
## [3505] positive positive positive <NA> positive positive <NA> <NA>
## [3513] positive positive positive <NA> <NA> positive positive <NA>
## [3521] positive positive negative <NA> negative positive <NA> <NA>
## [3529] positive <NA> <NA> positive positive positive <NA> positive
## [3537] positive positive <NA> positive positive positive positive positive
## [3545] <NA> positive <NA> <NA> <NA> positive <NA> <NA>
## [3553] positive positive <NA> <NA> negative negative <NA> <NA>
## [3561] positive <NA> positive positive <NA> positive <NA> positive
## [3569] positive <NA> <NA> positive <NA> positive <NA> positive
## [3577] <NA> negative <NA> positive <NA> positive <NA> <NA>
## [3585] positive <NA> <NA> negative <NA> <NA> positive positive
## [3593] <NA> <NA> positive positive <NA> positive <NA> <NA>
## [3601] positive <NA> <NA> positive positive <NA> positive positive
## [3609] positive <NA> <NA> positive positive positive <NA> <NA>
## [3617] positive <NA> <NA> positive positive <NA> <NA> positive
## [3625] positive <NA> positive <NA> positive <NA> positive positive
## [3633] positive <NA> positive positive <NA> positive <NA> <NA>
## [3641] positive <NA> positive positive positive <NA> negative negative
## [3649] <NA> <NA> positive positive <NA> <NA> positive <NA>
## [3657] <NA> positive positive positive <NA> positive <NA> positive
## [3665] <NA> positive <NA> positive <NA> <NA> positive <NA>
## [3673] <NA> positive <NA> positive <NA> positive negative positive
## [3681] <NA> positive <NA> positive positive <NA> <NA> positive
## [3689] <NA> <NA> negative positive positive positive positive <NA>
## [3697] <NA> positive <NA> positive <NA> positive negative positive
## [3705] positive <NA> positive <NA> <NA> positive <NA> <NA>
## [3713] positive positive positive positive <NA> <NA> <NA> positive
## [3721] <NA> positive <NA> <NA> positive positive positive <NA>
## [3729] <NA> positive positive positive <NA> <NA> <NA> positive
## [3737] positive <NA> positive negative positive <NA> positive <NA>
## [3745] <NA> positive <NA> positive positive <NA> positive positive
## [3753] <NA> positive positive <NA> <NA> positive <NA> positive
## [3761] positive negative positive positive positive <NA> positive positive
## [3769] <NA> <NA> negative positive positive <NA> positive <NA>
## [3777] positive <NA> positive <NA> positive <NA> positive <NA>
## [3785] positive <NA> <NA> <NA> positive <NA> <NA> positive
## [3793] <NA> positive positive <NA> positive positive positive <NA>
## [3801] positive <NA> positive <NA> positive positive <NA> <NA>
## [3809] <NA> positive <NA> positive positive <NA> <NA> positive
## [3817] positive <NA> <NA> <NA> <NA> positive <NA> <NA>
## [3825] <NA> negative <NA> positive negative positive <NA> <NA>
## [3833] positive positive negative <NA> positive <NA> <NA> <NA>
## [3841] positive positive <NA> <NA> <NA> positive <NA> positive
## [3849] positive positive <NA> positive positive negative <NA> <NA>
## [3857] positive <NA> positive positive <NA> positive positive negative
## [3865] <NA> <NA> positive <NA> positive <NA> <NA> positive
## [3873] negative <NA> <NA> positive <NA> <NA> <NA> <NA>
## [3881] <NA> positive <NA> <NA> <NA> <NA> positive positive
## [3889] <NA> positive <NA> negative <NA> negative positive <NA>
## [3897] <NA> <NA> positive positive <NA> positive <NA> <NA>
## [3905] negative <NA> negative positive positive <NA> positive positive
## [3913] <NA> positive positive <NA> negative positive <NA> positive
## [3921] positive <NA> positive positive positive <NA> positive positive
## [3929] positive positive positive <NA> positive positive positive <NA>
## [3937] <NA> positive positive positive <NA> <NA> positive <NA>
## [3945] <NA> <NA> negative positive positive <NA> positive positive
## [3953] <NA> negative <NA> positive positive <NA> positive positive
## [3961] <NA> <NA> positive positive <NA> positive <NA> <NA>
## [3969] positive positive positive <NA> positive positive <NA> positive
## [3977] positive <NA> positive <NA> <NA> positive negative <NA>
## [3985] positive positive positive <NA> positive positive positive <NA>
## [3993] positive negative <NA> <NA> <NA> <NA> <NA> positive
## [4001] <NA> positive <NA> positive <NA> negative positive positive
## [4009] <NA> <NA> negative <NA> <NA> <NA> positive positive
## [4017] <NA> positive positive <NA> <NA> positive positive <NA>
## [4025] positive <NA> <NA> positive <NA> <NA> positive <NA>
## [4033] positive <NA> <NA> positive positive <NA> <NA> positive
## [4041] positive <NA> <NA> positive <NA> positive positive positive
## [4049] <NA> <NA> positive positive <NA> <NA> positive positive
## [4057] positive positive <NA> positive <NA> positive positive <NA>
## [4065] <NA> <NA> positive positive <NA> positive positive <NA>
## [4073] positive negative <NA> <NA> negative <NA> positive <NA>
## [4081] positive <NA> positive <NA> positive positive positive <NA>
## [4089] <NA> positive <NA> positive positive <NA> positive positive
## [4097] <NA> positive <NA> <NA> <NA> positive positive positive
## [4105] positive <NA> positive positive positive <NA> positive positive
## [4113] positive positive <NA> <NA> positive <NA> positive positive
## [4121] positive positive <NA> <NA> negative <NA> positive negative
## [4129] <NA> positive <NA> <NA> positive positive <NA> positive
## [4137] <NA> positive <NA> <NA> positive <NA> positive positive
## [4145] <NA> <NA> positive positive <NA> positive <NA> <NA>
## [4153] positive <NA> <NA> positive <NA> positive <NA> positive
## [4161] <NA> positive <NA> <NA> positive positive <NA> <NA>
## [4169] positive <NA> <NA> positive <NA> positive <NA> <NA>
## [4177] positive <NA> <NA> positive <NA> positive <NA> <NA>
## [4185] <NA> positive positive positive <NA> positive <NA> <NA>
## [4193] positive positive <NA> positive positive positive positive positive
## [4201] <NA> positive <NA> positive <NA> <NA> positive positive
## [4209] <NA> positive positive positive positive positive <NA> positive
## [4217] <NA> positive <NA> <NA> positive <NA> positive <NA>
## [4225] <NA> positive <NA> negative <NA> negative positive <NA>
## [4233] positive positive <NA> <NA> negative <NA> positive <NA>
## [4241] <NA> <NA> positive positive positive <NA> positive positive
## [4249] positive positive <NA> <NA> <NA> positive <NA> positive
## [4257] <NA> positive positive positive positive <NA> positive positive
## [4265] <NA> positive <NA> positive <NA> positive <NA> <NA>
## [4273] positive negative positive <NA> <NA> positive <NA> <NA>
## [4281] positive <NA> positive positive <NA> <NA> positive <NA>
## [4289] positive <NA> <NA> <NA> positive <NA> positive <NA>
## [4297] <NA> <NA> positive positive <NA> <NA> positive <NA>
## [4305] <NA> positive <NA> negative <NA> negative positive <NA>
## [4313] positive positive <NA> negative positive positive <NA> positive
## [4321] negative <NA> positive positive <NA> <NA> positive <NA>
## [4329] positive <NA> positive positive positive positive <NA> positive
## [4337] negative positive positive <NA> positive positive <NA> positive
## [4345] positive positive <NA> positive positive <NA> <NA> positive
## [4353] positive <NA> negative positive <NA> <NA> positive negative
## [4361] positive positive <NA> positive <NA> <NA> <NA> <NA>
## [4369] positive <NA> positive <NA> positive <NA> positive negative
## [4377] <NA> positive negative <NA> <NA> <NA> positive <NA>
## [4385] positive <NA> <NA> <NA> positive <NA> <NA> <NA>
## [4393] positive positive <NA> <NA> positive <NA> positive positive
## [4401] <NA> positive <NA> positive positive <NA> <NA> positive
## [4409] <NA> <NA> positive <NA> negative <NA> negative <NA>
## [4417] <NA> <NA> positive positive <NA> <NA> <NA> positive
## [4425] <NA> positive <NA> positive positive <NA> <NA> positive
## [4433] positive <NA> <NA> positive positive positive positive <NA>
## [4441] <NA> positive <NA> <NA> positive <NA> positive positive
## [4449] positive <NA> <NA> positive <NA> positive <NA> <NA>
## [4457] positive <NA> positive positive <NA> positive positive negative
## [4465] <NA> positive <NA> <NA> positive positive positive negative
## [4473] <NA> positive <NA> negative <NA> <NA> positive positive
## [4481] <NA> <NA> <NA> positive positive <NA> positive <NA>
## [4489] negative <NA> <NA> negative <NA> <NA> positive positive
## [4497] positive <NA> <NA> positive <NA> positive <NA> positive
## [4505] positive <NA> positive negative positive positive negative <NA>
## [4513] positive positive <NA> <NA> positive <NA> positive <NA>
## [4521] <NA> <NA> positive <NA> <NA> negative <NA> positive
## [4529] <NA> negative <NA> negative <NA> positive <NA> negative
## [4537] <NA> <NA> positive <NA> <NA> negative <NA> <NA>
## [4545] positive <NA> <NA> positive positive <NA> <NA> positive
## [4553] <NA> <NA> <NA> positive <NA> <NA> positive <NA>
## [4561] <NA> positive <NA> positive <NA> positive positive <NA>
## [4569] <NA> positive positive <NA> <NA> <NA> <NA> <NA>
## [4577] <NA> negative positive <NA> <NA> positive positive positive
## [4585] <NA> positive positive <NA> positive <NA> positive <NA>
## [4593] positive positive positive positive <NA> <NA> positive positive
## [4601] positive <NA> <NA> negative positive <NA> <NA> negative
## [4609] positive <NA> positive <NA> positive <NA> <NA> positive
## [4617] <NA> <NA> <NA> <NA> positive <NA> <NA> negative
## [4625] negative <NA> <NA> positive positive <NA> positive <NA>
## [4633] positive positive <NA> positive positive <NA> negative <NA>
## [4641] <NA> negative positive <NA> <NA> positive <NA> <NA>
## [4649] positive <NA> positive positive <NA> negative <NA> <NA>
## [4657] positive <NA> <NA> negative negative positive <NA> positive
## [4665] positive <NA> positive <NA> negative positive <NA> positive
## [4673] negative <NA> <NA> negative <NA> <NA> positive <NA>
## [4681] <NA> <NA> negative <NA> <NA> negative positive <NA>
## [4689] <NA> <NA> <NA> positive <NA> <NA> <NA> positive
## [4697] <NA> <NA> positive positive positive <NA> positive <NA>
## [4705] positive <NA> <NA> negative positive <NA> positive positive
## [4713] <NA> <NA> negative <NA> positive positive <NA> <NA>
## [4721] positive positive positive <NA> <NA> positive <NA> positive
## [4729] <NA> <NA> positive <NA> positive <NA> <NA> positive
## [4737] positive <NA> <NA> positive positive <NA> negative <NA>
## [4745] positive positive positive <NA> <NA> positive positive <NA>
## [4753] positive positive <NA> <NA> positive <NA> <NA> <NA>
## [4761] <NA> positive <NA> positive <NA> positive <NA> positive
## [4769] <NA> <NA> positive <NA> positive positive <NA> positive
## [4777] <NA> positive <NA> positive <NA> positive positive <NA>
## [4785] negative positive <NA> negative <NA> <NA> positive <NA>
## [4793] positive <NA> <NA> positive <NA> <NA> positive <NA>
## [4801] <NA> positive negative <NA> <NA> <NA> positive <NA>
## [4809] <NA> positive positive positive <NA> positive <NA> positive
## [4817] <NA> <NA> <NA> positive <NA> positive positive <NA>
## [4825] positive <NA> <NA> positive <NA> positive positive <NA>
## [4833] positive negative <NA> positive <NA> negative positive <NA>
## [4841] positive positive <NA> positive positive <NA> positive <NA>
## [4849] <NA> <NA> positive positive positive <NA> negative <NA>
## [4857] <NA> positive positive <NA> negative negative <NA> negative
## [4865] positive <NA> positive positive <NA> <NA> positive positive
## [4873] positive <NA> positive <NA> positive positive positive positive
## [4881] <NA> positive <NA> positive positive <NA> <NA> positive
## [4889] negative <NA> <NA> <NA> <NA> <NA> positive <NA>
## [4897] <NA> positive <NA> positive <NA> <NA> positive positive
## [4905] <NA> <NA> positive <NA> negative <NA> <NA> positive
## [4913] positive positive <NA> negative <NA> negative <NA> positive
## [4921] <NA> <NA> positive <NA> negative positive positive <NA>
## [4929] <NA> positive positive <NA> <NA> positive negative <NA>
## [4937] <NA> positive <NA> <NA> positive positive <NA> positive
## [4945] <NA> <NA> positive <NA> <NA> <NA> positive positive
## [4953] <NA> <NA> positive positive <NA> <NA> positive positive
## [4961] <NA> <NA> positive positive <NA> <NA> positive <NA>
## [4969] <NA> positive <NA> positive positive <NA> positive <NA>
## [4977] positive positive <NA> positive <NA> positive <NA> positive
## [4985] <NA> positive <NA> positive <NA> <NA> positive <NA>
## [4993] positive negative <NA> positive <NA> <NA> positive <NA>
## [5001] <NA> <NA> positive <NA> positive <NA> positive <NA>
## [5009] <NA> positive negative positive <NA> positive <NA> negative
## [5017] positive negative <NA> <NA> positive <NA> positive positive
## [5025] <NA> positive <NA> <NA> positive <NA> positive positive
## [5033] positive <NA> positive negative <NA> positive <NA> <NA>
## [5041] <NA> <NA> positive <NA> negative <NA> positive negative
## [5049] positive positive positive positive positive <NA> <NA> <NA>
## [5057] positive positive <NA> positive <NA> positive <NA> negative
## [5065] <NA> positive positive <NA> <NA> positive <NA> positive
## [5073] negative <NA> positive <NA> positive <NA> positive <NA>
## [5081] <NA> positive <NA> positive <NA> <NA> <NA> <NA>
## [5089] <NA> positive positive <NA> <NA> positive positive <NA>
## [5097] <NA> negative <NA> <NA> positive positive <NA> <NA>
## [5105] positive <NA> negative <NA> <NA> positive <NA> positive
## [5113] <NA> positive positive <NA> positive negative positive <NA>
## [5121] positive <NA> <NA> positive positive positive positive <NA>
## [5129] <NA> positive positive positive positive negative <NA> <NA>
## [5137] positive <NA> <NA> <NA> positive positive <NA> <NA>
## [5145] positive <NA> positive <NA> <NA> positive <NA> <NA>
## [5153] positive <NA> <NA> positive positive <NA> <NA> positive
## [5161] <NA> positive negative <NA> positive <NA> negative <NA>
## [5169] negative <NA> <NA> <NA> positive <NA> positive positive
## [5177] positive <NA> negative <NA> <NA> positive <NA> <NA>
## [5185] positive positive <NA> <NA> positive negative <NA> <NA>
## [5193] <NA> negative <NA> negative positive positive <NA> <NA>
## [5201] positive <NA> positive <NA> <NA> positive <NA> positive
## [5209] <NA> <NA> <NA> positive <NA> positive <NA> <NA>
## [5217] positive positive <NA> <NA> negative <NA> positive positive
## [5225] positive <NA> <NA> positive positive <NA> <NA> positive
## [5233] negative positive <NA> positive positive <NA> positive positive
## [5241] <NA> positive <NA> positive <NA> negative <NA> <NA>
## [5249] positive <NA> positive positive positive positive <NA> <NA>
## [5257] positive positive <NA> positive positive positive <NA> <NA>
## [5265] positive positive positive <NA> positive <NA> <NA> positive
## [5273] <NA> <NA> positive <NA> <NA> positive <NA> <NA>
## [5281] <NA> positive positive positive <NA> <NA> positive positive
## [5289] <NA> <NA> <NA> <NA> <NA> positive positive positive
## [5297] positive positive <NA> <NA> <NA> positive <NA> <NA>
## [5305] positive positive positive positive positive <NA> positive positive
## [5313] positive <NA> <NA> positive positive positive <NA> positive
## [5321] <NA> negative <NA> positive positive <NA> <NA> <NA>
## [5329] positive positive positive <NA> <NA> positive <NA> <NA>
## [5337] positive <NA> <NA> positive positive <NA> <NA> <NA>
## [5345] <NA> positive <NA> <NA> positive positive <NA> positive
## [5353] <NA> <NA> positive <NA> positive positive negative positive
## [5361] <NA> <NA> positive <NA> positive <NA> <NA> <NA>
## [5369] <NA> positive <NA> positive <NA> <NA> negative <NA>
## [5377] <NA> positive positive <NA> positive <NA> <NA> <NA>
## [5385] <NA> positive positive negative <NA> <NA> positive <NA>
## [5393] positive <NA> <NA> positive <NA> <NA> positive <NA>
## [5401] positive <NA> <NA> positive positive <NA> <NA> <NA>
## [5409] positive positive <NA> <NA> positive positive <NA> positive
## [5417] <NA> positive positive positive positive positive positive <NA>
## [5425] negative positive <NA> <NA> <NA> positive <NA> positive
## [5433] <NA> positive <NA> positive positive positive <NA> positive
## [5441] positive <NA> positive positive <NA> <NA> <NA> positive
## [5449] <NA> <NA> <NA> <NA> negative <NA> positive positive
## [5457] positive positive <NA> <NA> <NA> <NA> positive <NA>
## [5465] positive <NA> positive positive positive positive <NA> <NA>
## [5473] <NA> negative <NA> positive <NA> <NA> <NA> <NA>
## [5481] <NA> positive <NA> <NA> positive positive <NA> positive
## [5489] <NA> positive positive <NA> positive <NA> positive <NA>
## [5497] positive positive <NA> positive <NA> <NA> positive <NA>
## [5505] <NA> positive positive positive <NA> <NA> positive <NA>
## [5513] <NA> positive <NA> positive <NA> positive <NA> negative
## [5521] <NA> positive <NA> <NA> positive <NA> negative <NA>
## [5529] positive <NA> positive positive <NA> <NA> positive positive
## [5537] positive <NA> <NA> positive positive <NA> positive <NA>
## [5545] <NA> positive positive <NA> <NA> positive positive <NA>
## [5553] <NA> positive positive <NA> <NA> positive positive positive
## [5561] <NA> <NA> negative <NA> positive positive <NA> positive
## [5569] <NA> positive <NA> positive positive positive positive positive
## [5577] positive <NA> <NA> positive <NA> <NA> positive positive
## [5585] <NA> <NA> positive positive positive <NA> <NA> <NA>
## [5593] <NA> <NA> <NA> positive <NA> <NA> positive positive
## [5601] positive negative positive negative <NA> <NA> positive negative
## [5609] <NA> positive positive positive positive positive positive positive
## [5617] positive positive <NA> positive positive <NA> <NA> <NA>
## [5625] <NA> <NA> <NA> <NA> <NA> positive <NA> positive
## [5633] positive <NA> <NA> positive <NA> positive positive <NA>
## [5641] <NA> positive <NA> positive <NA> positive <NA> positive
## [5649] positive positive <NA> positive <NA> positive positive <NA>
## [5657] <NA> positive <NA> <NA> <NA> positive <NA> positive
## [5665] positive positive positive <NA> positive <NA> positive <NA>
## [5673] positive <NA> <NA> positive positive <NA> positive positive
## [5681] positive <NA> <NA> positive <NA> <NA> positive <NA>
## [5689] positive <NA> positive <NA> <NA> positive <NA> <NA>
## [5697] <NA> positive <NA> <NA> <NA> positive <NA> <NA>
## [5705] positive <NA> positive <NA> positive <NA> positive positive
## [5713] <NA> positive positive <NA> positive positive <NA> positive
## [5721] <NA> <NA> negative <NA> <NA> <NA> positive <NA>
## [5729] <NA> positive positive <NA> <NA> positive <NA> positive
## [5737] positive <NA> <NA> positive <NA> <NA> negative negative
## [5745] positive <NA> positive positive <NA> positive <NA> positive
## [5753] positive positive positive positive <NA> <NA> <NA> <NA>
## [5761] <NA> positive positive <NA> positive <NA> <NA> positive
## [5769] <NA> <NA> positive <NA> positive <NA> <NA> positive
## [5777] <NA> positive positive positive <NA> positive <NA> negative
## [5785] <NA> <NA> positive <NA> positive positive positive positive
## [5793] <NA> positive positive <NA> positive positive positive positive
## [5801] positive positive <NA> <NA> negative positive <NA> <NA>
## [5809] positive positive positive positive <NA> <NA> positive <NA>
## [5817] <NA> positive positive <NA> <NA> positive <NA> positive
## [5825] positive <NA> positive <NA> positive <NA> <NA> positive
## [5833] <NA> <NA> positive positive <NA> positive <NA> <NA>
## [5841] <NA> positive <NA> <NA> positive <NA> positive <NA>
## [5849] positive <NA> <NA> positive positive <NA> positive <NA>
## [5857] positive <NA> positive <NA> positive <NA> positive <NA>
## [5865] positive positive <NA> positive positive <NA> positive positive
## [5873] <NA> <NA> negative positive positive <NA> positive positive
## [5881] <NA> <NA> positive <NA> positive <NA> positive positive
## [5889] <NA> <NA> positive positive <NA> <NA> <NA> <NA>
## [5897] positive <NA> positive positive positive <NA> positive positive
## [5905] <NA> positive <NA> <NA> positive positive <NA> <NA>
## [5913] <NA> positive positive positive <NA> <NA> positive positive
## [5921] <NA> positive <NA> <NA> <NA> <NA> positive <NA>
## [5929] <NA> <NA> positive <NA> positive <NA> positive <NA>
## [5937] <NA> <NA> positive <NA> <NA> positive positive positive
## [5945] <NA> positive positive <NA> positive <NA> positive positive
## [5953] positive <NA> <NA> positive positive positive positive positive
## [5961] <NA> negative positive negative positive <NA> positive <NA>
## [5969] positive <NA> positive positive <NA> <NA> positive <NA>
## [5977] positive <NA> positive positive <NA> positive <NA> positive
## [5985] <NA> <NA> positive <NA> <NA> positive positive <NA>
## [5993] <NA> positive positive <NA> positive <NA> negative <NA>
## [6001] <NA> positive <NA> positive <NA> <NA> <NA> positive
## [6009] positive <NA> <NA> positive positive positive positive <NA>
## [6017] positive <NA> <NA> <NA> <NA> positive <NA> <NA>
## [6025] positive <NA> <NA> positive <NA> <NA> positive positive
## [6033] <NA> <NA> positive <NA> positive positive positive <NA>
## [6041] positive positive <NA> <NA> positive <NA> <NA> positive
## [6049] positive positive <NA> positive <NA> positive <NA> <NA>
## [6057] positive <NA> <NA> positive positive <NA> <NA> <NA>
## [6065] negative <NA> positive <NA> positive positive <NA> <NA>
## [6073] positive <NA> <NA> positive positive <NA> <NA> <NA>
## [6081] <NA> <NA> positive <NA> <NA> <NA> positive positive
## [6089] <NA> positive positive <NA> positive positive <NA> <NA>
## [6097] positive <NA> positive <NA> <NA> negative <NA> <NA>
## [6105] <NA> <NA> positive <NA> positive <NA> <NA> negative
## [6113] <NA> <NA> positive positive <NA> <NA> <NA> positive
## [6121] <NA> <NA> <NA> positive <NA> <NA> <NA> positive
## [6129] <NA> <NA> positive positive positive <NA> positive <NA>
## [6137] <NA> positive <NA> positive <NA> <NA> positive positive
## [6145] positive positive <NA> positive positive <NA> <NA> positive
## [6153] <NA> positive <NA> positive positive <NA> <NA> <NA>
## [6161] positive negative <NA> positive positive <NA> positive <NA>
## [6169] positive <NA> positive positive <NA> positive positive <NA>
## [6177] <NA> positive <NA> positive <NA> <NA> positive <NA>
## [6185] positive <NA> positive <NA> <NA> positive <NA> <NA>
## [6193] <NA> <NA> positive <NA> positive positive <NA> <NA>
## [6201] positive positive <NA> positive positive <NA> <NA> positive
## [6209] positive <NA> positive positive <NA> positive <NA> <NA>
## [6217] positive positive positive positive <NA> <NA> positive positive
## [6225] <NA> <NA> positive <NA> <NA> <NA> <NA> positive
## [6233] positive positive <NA> positive positive positive <NA> <NA>
## [6241] positive <NA> <NA> positive <NA> positive positive positive
## [6249] <NA> <NA> positive positive <NA> <NA> <NA> <NA>
## [6257] <NA> <NA> <NA> positive <NA> positive positive <NA>
## [6265] positive <NA> <NA> positive positive <NA> positive <NA>
## [6273] <NA> negative positive positive positive positive positive negative
## [6281] <NA> <NA> positive positive <NA> positive <NA> positive
## [6289] <NA> positive <NA> <NA> positive <NA> positive <NA>
## [6297] positive positive positive positive <NA> <NA> <NA> positive
## [6305] positive positive <NA> <NA> positive positive <NA> positive
## [6313] positive <NA> positive <NA> positive <NA> positive <NA>
## [6321] positive positive <NA> negative <NA> positive <NA> positive
## [6329] positive <NA> positive <NA> positive <NA> positive positive
## [6337] <NA> positive <NA> <NA> positive <NA> positive <NA>
## [6345] <NA> positive negative <NA> positive <NA> positive positive
## [6353] <NA> positive positive <NA> positive <NA> <NA> <NA>
## [6361] positive <NA> <NA> positive positive <NA> <NA> <NA>
## [6369] positive <NA> <NA> positive positive positive <NA> <NA>
## [6377] positive <NA> <NA> positive <NA> positive positive positive
## [6385] <NA> <NA> <NA> negative <NA> <NA> positive <NA>
## [6393] positive <NA>
## Levels: negative positivedirection_sentiment <- convertToDirection(sentiment$SentimentQDAP)
sentiment_mapping <- c("negative" = -1, "neutral" = 0, "positive" = 1)
response <- sapply(direction_sentiment, function(category) sentiment_mapping[category])
compareToResponse(sentiment, response) ## Warning in cor(x, y): the standard deviation is zero
## Warning in cor(x, y): the standard deviation is zero## WordCount SentimentGI NegativityGI PositivityGI
## cor NA NA NA NA
## cor.t.statistic NA 54.7091144 -2.469462e+01 4.131709e+01
## cor.p.value NA 0.0000000 1.445098e-123 2.029437e-300
## lm.t.value NA 54.7091144 -2.469462e+01 4.131709e+01
## r.squared NA NA NA NA
## RMSE NA NaN NaN NaN
## MAE NA NaN NaN NaN
## Accuracy 0.9309816 0.9518405 9.309816e-01 9.309816e-01
## Precision NaN 0.6140940 NaN NaN
## Sensitivity 0.0000000 0.8133333 0.000000e+00 0.000000e+00
## Specificity 1.0000000 0.9621087 1.000000e+00 1.000000e+00
## F1 NaN 0.6998088 NaN NaN
## BalancedAccuracy 0.5000000 0.8877210 5.000000e-01 5.000000e-01
## avg.sentiment.pos.response NA NA NA NA
## avg.sentiment.neg.response NA NA NA NA
## SentimentHE NegativityHE PositivityHE
## cor NA NA NA
## cor.t.statistic 1.338106e+01 -8.876177e+00 1.068633e+01
## cor.p.value 8.602606e-40 1.119012e-18 3.190411e-26
## lm.t.value 1.338106e+01 -8.876177e+00 1.068633e+01
## r.squared NA NA NA
## RMSE NaN NaN NaN
## MAE NaN NaN NaN
## Accuracy 9.352761e-01 9.309816e-01 9.309816e-01
## Precision 8.500000e-01 NaN NaN
## Sensitivity 7.555556e-02 0.000000e+00 0.000000e+00
## Specificity 9.990115e-01 1.000000e+00 1.000000e+00
## F1 1.387755e-01 NaN NaN
## BalancedAccuracy 5.372835e-01 5.000000e-01 5.000000e-01
## avg.sentiment.pos.response NA NA NA
## avg.sentiment.neg.response NA NA NA
## SentimentLM NegativityLM PositivityLM
## cor NA NA NA
## cor.t.statistic 2.211972e+01 -1.297171e+01 1.891142e+01
## cor.p.value 3.980711e-101 1.483386e-37 9.118417e-76
## lm.t.value 2.211972e+01 -1.297171e+01 1.891142e+01
## r.squared NA NA NA
## RMSE NaN NaN NaN
## MAE NaN NaN NaN
## Accuracy 9.398773e-01 9.309816e-01 9.309816e-01
## Precision 5.622318e-01 NaN NaN
## Sensitivity 5.822222e-01 0.000000e+00 0.000000e+00
## Specificity 9.663921e-01 1.000000e+00 1.000000e+00
## F1 5.720524e-01 NaN NaN
## BalancedAccuracy 7.743072e-01 5.000000e-01 5.000000e-01
## avg.sentiment.pos.response NA NA NA
## avg.sentiment.neg.response NA NA NA
## RatioUncertaintyLM SentimentQDAP NegativityQDAP
## cor NA NA NA
## cor.t.statistic 0.9623371 Inf -44.2967488
## cor.p.value 0.3359517 0.000000e+00 0.0000000
## lm.t.value 0.9623371 9.792886e+14 -44.2967488
## r.squared NA NA NA
## RMSE NaN NaN NaN
## MAE NaN NaN NaN
## Accuracy 0.9309816 1.000000e+00 0.9309816
## Precision NaN 1.000000e+00 NaN
## Sensitivity 0.0000000 1.000000e+00 0.0000000
## Specificity 1.0000000 1.000000e+00 1.0000000
## F1 NaN 1.000000e+00 NaN
## BalancedAccuracy 0.5000000 1.000000e+00 0.5000000
## avg.sentiment.pos.response NA NA NA
## avg.sentiment.neg.response NA NA NA
## PositivityQDAP
## cor NA
## cor.t.statistic 98.1974897
## cor.p.value 0.0000000
## lm.t.value 98.1974897
## r.squared NA
## RMSE NaN
## MAE NaN
## Accuracy 0.9309816
## Precision NaN
## Sensitivity 0.0000000
## Specificity 1.0000000
## F1 NaN
## BalancedAccuracy 0.5000000
## avg.sentiment.pos.response NA
## avg.sentiment.neg.response NAword_labels <- sapply(direction_sentiment, function(category) {
sentiment_mapping[category]
})
word_data <- data.frame(Word = words_list, Sentiment = word_labels) %>%
mutate(Sentiment = ifelse(Sentiment == 0, "negative", "positive")) %>%na.omit(Sentiment)
word_data %>%
count(Word, Sentiment, sort = TRUE) %>%
acast(Word ~ Sentiment, value.var = "n", fill = 0) %>%
comparison.cloud(colors = c("gray20", "gray80"),
max.words = 100)
```