#Packages
library(psych)
library(ggplot2)
##
## Attaching package: 'ggplot2'
## The following objects are masked from 'package:psych':
##
## %+%, alpha
library(tidyr)
library(tidyverse)
## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr 1.1.4 ✔ readr 2.1.5
## ✔ forcats 1.0.0 ✔ stringr 1.5.1
## ✔ lubridate 1.9.4 ✔ tibble 3.2.1
## ✔ purrr 1.0.4
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ ggplot2::%+%() masks psych::%+%()
## ✖ ggplot2::alpha() masks psych::alpha()
## ✖ dplyr::filter() masks stats::filter()
## ✖ dplyr::lag() masks stats::lag()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errors
library(jmv)
##
## Attaching package: 'jmv'
##
## The following objects are masked from 'package:psych':
##
## pca, reliability
#Get rid of scientific notation.
options(scipen=999)
setwd("~/Library/CloudStorage/GoogleDrive-aknoblic@charlotte.edu/My Drive/Master's Thesis/SEANCE")
DM <- read.csv("DM_DocLev_VADER_Five_COMP.csv") #read in Document Level Diversity-Oriented Manuscript Reviews Vader/SEANCE Output
str(DM)
## 'data.frame': 119 obs. of 12 variables:
## $ Reviewer : int 1 2 3 4 5 6 7 8 9 10 ...
## $ filename : chr "DM_1.txt" "DM_2.txt" "DM_3.txt" "DM_4.txt" ...
## $ nwords : int 824 665 830 749 554 1090 596 1147 861 276 ...
## $ vader_negative : num 0.051 0.095 0.031 0.063 0.021 0.029 0.041 0.068 0.05 0.04 ...
## $ vader_neutral : num 0.884 0.821 0.879 0.864 0.844 0.89 0.843 0.822 0.837 0.87 ...
## $ vader_positive : num 0.064 0.084 0.09 0.073 0.135 0.081 0.116 0.109 0.113 0.09 ...
## $ vader_compound : num 0.907 -0.935 0.994 -0.416 0.996 ...
## $ negative_adjectives_component: num -0.503 0.243 -0.597 0.126 -0.786 ...
## $ positive_adjectives_component: num -0.1504 -0.1226 -0.1032 -0.0877 0.271 ...
## $ fear_and_digust_component : num 0.0623 0.2089 0.0402 0.0856 0.0246 ...
## $ politeness_component : num 0.1619 0.1643 0.1611 0.1526 0.0605 ...
## $ trust_verbs_component : num 0.289 0.297 0.225 0.195 0.204 ...
NDM <- read.csv("NDM_DocLev_VADER_Five_COMP.csv") #read in Document Level Nondiversity-Oriented Manuscript Reviews Vader/SEANCE Output
paired_df <- data.frame(
Reviewer = DM$Reviewer,
DM_compound = DM$vader_compound,
NDM_compound = NDM$vader_compound,
DM_neg = DM$vader_negative,
NDM_neg = NDM$vader_negative,
DM_pos = DM$vader_positive,
NDM_pos = NDM$vader_positive,
DM_neu = DM$vader_neutral,
NDM_neu = NDM$vader_neutral,
DM_neg_adj = DM$negative_adjectives_component,
NDM_neg_adj = NDM$negative_adjectives_component,
DM_pos_adj = DM$positive_adjectives_component,
NDM_pos_adj = NDM$positive_adjectives_component,
DM_fear = DM$fear_and_digust_component,
NDM_fear = NDM$fear_and_digust_component,
DM_polite = DM$politeness_component,
NDM_polite = NDM$politeness_component,
DM_trust = DM$trust_verbs_component,
NDM_trust = NDM$trust_verbs_component
)
Compound Score - VADER
jmv::ttestPS(
data = paired_df,
pairs = list(list(i1 = "DM_compound", i2 = "NDM_compound")),
wilcoxon = TRUE,
hypothesis = "different",
norm = TRUE,
qq = TRUE,
meanDiff = TRUE,
ci = TRUE,
effectSize = TRUE,
ciES = TRUE,
desc = TRUE,
plots = TRUE
)
##
## PAIRED SAMPLES T-TEST
##
## Paired Samples T-Test
## ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## statistic df p Mean difference SE difference Lower Upper Effect Size Lower Upper
## ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## DM_compound NDM_compound Student's t 0.2000768 118.0000 0.8417649 0.01812941 0.09061226 -0.1613075 0.1975663 Cohen's d 0.01834101 -0.1613827 0.1979873
## Wilcoxon W 3848.000 0.4618034 0.003225421 0.09061226 -0.004414087 0.01689459 Rank biserial correlation 0.07787115
## ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## Note. Hₐ μ <sub>Measure 1 - Measure 2</sub> ≠ 0
##
##
## Normality Test (Shapiro-Wilk)
## ───────────────────────────────────────────────────────────────
## W p
## ───────────────────────────────────────────────────────────────
## DM_compound - NDM_compound 0.8104827 < .0000001
## ───────────────────────────────────────────────────────────────
## Note. A low p-value suggests a violation of the
## assumption of normality
##
##
## Descriptives
## ────────────────────────────────────────────────────────────────────────────
## N Mean Median SD SE
## ────────────────────────────────────────────────────────────────────────────
## DM_compound 119 0.6783941 0.9916000 0.6632482 0.06079986
## NDM_compound 119 0.6602647 0.9847000 0.6808437 0.06241284
## ────────────────────────────────────────────────────────────────────────────
Negative sentiment - VADER
jmv::ttestPS(
data = paired_df,
pairs = list(list(i1 = "DM_neg", i2 = "NDM_neg")),
wilcoxon = TRUE,
hypothesis = "different",
norm = TRUE,
qq = TRUE,
meanDiff = TRUE,
ci = TRUE,
effectSize = TRUE,
ciES = TRUE,
desc = TRUE,
plots = TRUE
)
##
## PAIRED SAMPLES T-TEST
##
## Paired Samples T-Test
## ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## statistic df p Mean difference SE difference Lower Upper Effect Size Lower Upper
## ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## DM_neg NDM_neg Student's t -2.139170 118.0000 0.0344824 -0.007714286 0.003606206 -0.01485556 -5.730164e-4 Cohen's d -0.1960974 -0.3770895 -0.01429037
## Wilcoxon W 2856.500 0.0586532 -0.006982307 0.003606206 -0.01404343 4.707614e-4 Rank biserial correlation -0.1998599
## ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## Note. Hₐ μ <sub>Measure 1 - Measure 2</sub> ≠ 0
##
##
## Normality Test (Shapiro-Wilk)
## ────────────────────────────────────────────────────
## W p
## ────────────────────────────────────────────────────
## DM_neg - NDM_neg 0.9898963 0.5314244
## ────────────────────────────────────────────────────
## Note. A low p-value suggests a violation of
## the assumption of normality
##
##
## Descriptives
## ───────────────────────────────────────────────────────────────────────────
## N Mean Median SD SE
## ───────────────────────────────────────────────────────────────────────────
## DM_neg 119 0.04554622 0.04000000 0.02355511 0.002159293
## NDM_neg 119 0.05326050 0.04800000 0.02999392 0.002749538
## ───────────────────────────────────────────────────────────────────────────
Positive sentiment - VADER
jmv::ttestPS(
data = paired_df,
pairs = list(list(i1 = "DM_pos", i2 = "NDM_pos")),
wilcoxon = TRUE,
hypothesis = "different",
norm = TRUE,
qq = TRUE,
meanDiff = TRUE,
ci = TRUE,
effectSize = TRUE,
ciES = TRUE,
desc = TRUE,
plots = TRUE
)
##
## PAIRED SAMPLES T-TEST
##
## Paired Samples T-Test
## ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## statistic df p Mean difference SE difference Lower Upper Effect Size Lower Upper
## ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## DM_pos NDM_pos Student's t -2.334305 118.0000 0.0212707 -0.009319328 0.003992336 -0.01722524 -0.001413416 Cohen's d -0.2139853 -0.3952703 -0.03181275
## Wilcoxon W 2712.000 0.0321087 -0.008001666 0.003992336 -0.01606365 -5.392227e-4 Rank biserial correlation -0.2274605
## ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## Note. Hₐ μ <sub>Measure 1 - Measure 2</sub> ≠ 0
##
##
## Normality Test (Shapiro-Wilk)
## ────────────────────────────────────────────────────
## W p
## ────────────────────────────────────────────────────
## DM_pos - NDM_pos 0.9755852 0.0289172
## ────────────────────────────────────────────────────
## Note. A low p-value suggests a violation of
## the assumption of normality
##
##
## Descriptives
## ───────────────────────────────────────────────────────────────────────────
## N Mean Median SD SE
## ───────────────────────────────────────────────────────────────────────────
## DM_pos 119 0.09543697 0.09400000 0.02979752 0.002731534
## NDM_pos 119 0.10475630 0.10200000 0.03457220 0.003169228
## ───────────────────────────────────────────────────────────────────────────
Neutral sentiment - VADER
jmv::ttestPS(
data = paired_df,
pairs = list(list(i1 = "DM_neu", i2 = "NDM_neu")),
wilcoxon = TRUE,
hypothesis = "different",
norm = TRUE,
qq = TRUE,
meanDiff = TRUE,
ci = TRUE,
effectSize = TRUE,
ciES = TRUE,
desc = TRUE,
plots = TRUE
)
##
## PAIRED SAMPLES T-TEST
##
## Paired Samples T-Test
## ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## statistic df p Mean difference SE difference Lower Upper Effect Size Lower Upper
## ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## DM_neu NDM_neu Student's t 3.744183 118.0000 0.0002813 0.01705042 0.004553842 0.008032573 0.02606827 Cohen's d 0.3432287 0.1576206 0.5274567
## Wilcoxon W 4861.000 0.0006207 0.01705327 0.004553842 0.007455820 0.02643739 Rank biserial correlation 0.3616246
## ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## Note. Hₐ μ <sub>Measure 1 - Measure 2</sub> ≠ 0
##
##
## Normality Test (Shapiro-Wilk)
## ────────────────────────────────────────────────────
## W p
## ────────────────────────────────────────────────────
## DM_neu - NDM_neu 0.9929363 0.8106764
## ────────────────────────────────────────────────────
## Note. A low p-value suggests a violation of
## the assumption of normality
##
##
## Descriptives
## ─────────────────────────────────────────────────────────────────────────
## N Mean Median SD SE
## ─────────────────────────────────────────────────────────────────────────
## DM_neu 119 0.8590000 0.8610000 0.03312432 0.003036501
## NDM_neu 119 0.8419496 0.8410000 0.03786122 0.003470732
## ─────────────────────────────────────────────────────────────────────────
Negative adjectives - SEANCE
jmv::ttestPS(
data = paired_df,
pairs = list(list(i1 = "DM_neg_adj", i2 = "NDM_neg_adj")),
wilcoxon = TRUE,
hypothesis = "different",
norm = TRUE,
qq = TRUE,
meanDiff = TRUE,
ci = TRUE,
effectSize = TRUE,
ciES = TRUE,
desc = TRUE,
plots = TRUE
)
##
## PAIRED SAMPLES T-TEST
##
## Paired Samples T-Test
## ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## statistic df p Mean difference SE difference Lower Upper Effect Size Lower Upper
## ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## DM_neg_adj NDM_neg_adj Student's t 0.04963736 118.0000 0.9604953 0.003588328 0.07229087 -0.1395673 0.1467439 Cohen's d 0.004550249 -0.1751300 0.1842112
## Wilcoxon W 3853.000 0.4537749 0.05141971 0.07229087 -0.09561027 0.1822803 Rank biserial correlation 0.07927171
## ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## Note. Hₐ μ <sub>Measure 1 - Measure 2</sub> ≠ 0
##
##
## Normality Test (Shapiro-Wilk)
## ────────────────────────────────────────────────────────────
## W p
## ────────────────────────────────────────────────────────────
## DM_neg_adj - NDM_neg_adj 0.9769381 0.0384235
## ────────────────────────────────────────────────────────────
## Note. A low p-value suggests a violation of the
## assumption of normality
##
##
## Descriptives
## ─────────────────────────────────────────────────────────────────────────────
## N Mean Median SD SE
## ─────────────────────────────────────────────────────────────────────────────
## DM_neg_adj 119 -0.5311444 -0.6033741 0.5137514 0.04709551
## NDM_neg_adj 119 -0.5347328 -0.7048796 0.6011982 0.05511175
## ─────────────────────────────────────────────────────────────────────────────
Postive adjectives - SEANCE
jmv::ttestPS(
data = paired_df,
pairs = list(list(i1 = "DM_pos_adj", i2 = "NDM_pos_adj")),
wilcoxon = TRUE,
hypothesis = "different",
norm = TRUE,
qq = TRUE,
meanDiff = TRUE,
ci = TRUE,
effectSize = TRUE,
ciES = TRUE,
desc = TRUE,
plots = TRUE
)
##
## PAIRED SAMPLES T-TEST
##
## Paired Samples T-Test
## ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## statistic df p Mean difference SE difference Lower Upper Effect Size Lower Upper
## ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## DM_pos_adj NDM_pos_adj Student's t -4.303737 118.0000 0.0000349 -0.06153254 0.01429747 -0.08984542 -0.03321966 Cohen's d -0.3945229 -0.5803209 -0.2071731
## Wilcoxon W 2018.000 0.0000388 -0.06417880 0.01429747 -0.09203459 -0.03532101 Rank biserial correlation -0.4347339
## ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## Note. Hₐ μ <sub>Measure 1 - Measure 2</sub> ≠ 0
##
##
## Normality Test (Shapiro-Wilk)
## ────────────────────────────────────────────────────────────
## W p
## ────────────────────────────────────────────────────────────
## DM_pos_adj - NDM_pos_adj 0.9963002 0.9900595
## ────────────────────────────────────────────────────────────
## Note. A low p-value suggests a violation of the
## assumption of normality
##
##
## Descriptives
## ───────────────────────────────────────────────────────────────────────────────
## N Mean Median SD SE
## ───────────────────────────────────────────────────────────────────────────────
## DM_pos_adj 119 -0.02538372 -0.04024587 0.1209598 0.01108836
## NDM_pos_adj 119 0.03614883 0.02874227 0.1263244 0.01158014
## ───────────────────────────────────────────────────────────────────────────────
Fear and disgust - SEANCE
jmv::ttestPS(
data = paired_df,
pairs = list(list(i1 = "DM_fear", i2 = "NDM_fear")),
wilcoxon = TRUE,
hypothesis = "different",
norm = TRUE,
qq = TRUE,
meanDiff = TRUE,
ci = TRUE,
effectSize = TRUE,
ciES = TRUE,
desc = TRUE,
plots = TRUE
)
##
## PAIRED SAMPLES T-TEST
##
## Paired Samples T-Test
## ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## statistic df p Mean difference SE difference Lower Upper Effect Size Lower Upper
## ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## DM_fear NDM_fear Student's t 1.758807 118.0000 0.0812026 0.01131474 0.006433192 -0.001424731 0.02405421 Cohen's d 0.1612295 -0.01994903 0.3417332
## Wilcoxon W 4333.000 0.0431757 0.01157147 0.006433192 4.052505e-4 0.02298669 Rank biserial correlation 0.2137255
## ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## Note. Hₐ μ <sub>Measure 1 - Measure 2</sub> ≠ 0
##
##
## Normality Test (Shapiro-Wilk)
## ──────────────────────────────────────────────────────
## W p
## ──────────────────────────────────────────────────────
## DM_fear - NDM_fear 0.9854069 0.2283007
## ──────────────────────────────────────────────────────
## Note. A low p-value suggests a violation of the
## assumption of normality
##
##
## Descriptives
## ────────────────────────────────────────────────────────────────────────────
## N Mean Median SD SE
## ────────────────────────────────────────────────────────────────────────────
## DM_fear 119 0.09917393 0.08528655 0.05233952 0.004797956
## NDM_fear 119 0.08785919 0.08074291 0.04681311 0.004291351
## ────────────────────────────────────────────────────────────────────────────
Politeness - SEANCE
jmv::ttestPS(
data = paired_df,
pairs = list(list(i1 = "DM_polite", i2 = "NDM_polite")),
wilcoxon = TRUE,
hypothesis = "different",
norm = TRUE,
qq = TRUE,
meanDiff = TRUE,
ci = TRUE,
effectSize = TRUE,
ciES = TRUE,
desc = TRUE,
plots = TRUE
)
##
## PAIRED SAMPLES T-TEST
##
## Paired Samples T-Test
## ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## statistic df p Mean difference SE difference Lower Upper Effect Size Lower Upper
## ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## DM_polite NDM_polite Student's t 6.482472 118.0000 < .0000001 0.04099679 0.006324253 0.02847305 0.05352054 Cohen's d 0.5942473 0.3981905 0.7881469
## Wilcoxon W 5853.000 < .0000001 0.03683246 0.006324253 0.02576764 0.05023249 Rank biserial correlation 0.6394958
## ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## Note. Hₐ μ <sub>Measure 1 - Measure 2</sub> ≠ 0
##
##
## Normality Test (Shapiro-Wilk)
## ──────────────────────────────────────────────────────────
## W p
## ──────────────────────────────────────────────────────────
## DM_polite - NDM_polite 0.9745964 0.0235246
## ──────────────────────────────────────────────────────────
## Note. A low p-value suggests a violation of the
## assumption of normality
##
##
## Descriptives
## ─────────────────────────────────────────────────────────────────────────────
## N Mean Median SD SE
## ─────────────────────────────────────────────────────────────────────────────
## DM_polite 119 0.1416008 0.13368760 0.05818571 0.005333875
## NDM_polite 119 0.1006040 0.09082925 0.04584871 0.004202944
## ─────────────────────────────────────────────────────────────────────────────
Trust verbs - SEANCE
jmv::ttestPS(
data = paired_df,
pairs = list(list(i1 = "DM_trust", i2 = "NDM_trust")),
wilcoxon = TRUE,
hypothesis = "different",
norm = TRUE,
qq = TRUE,
meanDiff = TRUE,
ci = TRUE,
effectSize = TRUE,
ciES = TRUE,
desc = TRUE,
plots = TRUE
)
##
## PAIRED SAMPLES T-TEST
##
## Paired Samples T-Test
## ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## statistic df p Mean difference SE difference Lower Upper Effect Size Lower Upper
## ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## DM_trust NDM_trust Student's t -0.7222339 118.0000 0.4715796 -0.005753632 0.007966438 -0.02152935 0.01002208 Cohen's d -0.06620707 -0.2459355 0.1138016
## Wilcoxon W 3251.000 0.3983332 -0.005839476 0.007966438 -0.02182259 0.009876913 Rank biserial correlation -0.08935574
## ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
## Note. Hₐ μ <sub>Measure 1 - Measure 2</sub> ≠ 0
##
##
## Normality Test (Shapiro-Wilk)
## ────────────────────────────────────────────────────────
## W p
## ────────────────────────────────────────────────────────
## DM_trust - NDM_trust 0.9896673 0.5114275
## ────────────────────────────────────────────────────────
## Note. A low p-value suggests a violation of the
## assumption of normality
##
##
## Descriptives
## ───────────────────────────────────────────────────────────────────────────
## N Mean Median SD SE
## ───────────────────────────────────────────────────────────────────────────
## DM_trust 119 0.2752841 0.2728998 0.08230066 0.007544489
## NDM_trust 119 0.2810378 0.2809600 0.07110631 0.006518304
## ───────────────────────────────────────────────────────────────────────────
