date()
## [1] "Thu Jan 10 18:42:17 2019"
sessionInfo()
## R version 3.5.1 (2018-07-02)
## Platform: x86_64-apple-darwin15.6.0 (64-bit)
## Running under: macOS  10.14.2
## 
## Matrix products: default
## BLAS: /Library/Frameworks/R.framework/Versions/3.5/Resources/lib/libRblas.0.dylib
## LAPACK: /Library/Frameworks/R.framework/Versions/3.5/Resources/lib/libRlapack.dylib
## 
## locale:
## [1] en_US.UTF-8/en_US.UTF-8/en_US.UTF-8/C/en_US.UTF-8/en_US.UTF-8
## 
## attached base packages:
## [1] stats     graphics  grDevices utils     datasets  methods   base     
## 
## loaded via a namespace (and not attached):
##  [1] compiler_3.5.1  backports_1.1.2 magrittr_1.5    rprojroot_1.3-2
##  [5] tools_3.5.1     htmltools_0.3.6 yaml_2.2.0      Rcpp_1.0.0     
##  [9] stringi_1.2.4   rmarkdown_1.10  knitr_1.20      stringr_1.3.1  
## [13] digest_0.6.15   evaluate_0.11

Исходные файлы с текстами в формате MS Word были переведены в формат TXT (редактор Sublime Text2, кодировкf UTF-8) Файлы сложены в папку AllTexts

Требуемые библиотеки:

library(tm)
## Loading required package: NLP
library(wordcloud)
## Loading required package: RColorBrewer
library(magrittr) #provides a new “pipe”-like operator, %>%, with which you may pipe a value forward into an expression or function call; something along the lines of x %>% f,

Импорт данных

Создание корпуса

Txt <- VCorpus(DirSource("../AllTexts", encoding = "UTF-8"), readerControl = list(language = "ru")) 
#inspect(Txt)

Очищаю фамилии из имен файлов

for (i in 1:length(Txt)) {
        names(Txt)[i] <- paste0("text_", i)
}
names(Txt)
##  [1] "text_1"  "text_2"  "text_3"  "text_4"  "text_5"  "text_6"  "text_7" 
##  [8] "text_8"  "text_9"  "text_10" "text_11" "text_12" "text_13" "text_14"
## [15] "text_15" "text_16" "text_17" "text_18" "text_19" "text_20" "text_21"
## [22] "text_22" "text_23" "text_24" "text_25" "text_26" "text_27" "text_28"
## [29] "text_29" "text_30" "text_31" "text_32" "text_33" "text_34" "text_35"
## [36] "text_36" "text_37" "text_38" "text_39" "text_40" "text_41" "text_42"
## [43] "text_43" "text_44" "text_45" "text_46" "text_47" "text_48" "text_49"
## [50] "text_50" "text_51" "text_52" "text_53" "text_54" "text_55" "text_56"
## [57] "text_57" "text_58" "text_59" "text_60" "text_61" "text_62" "text_63"
## [64] "text_64" "text_65" "text_66" "text_67"

Сохраняю объект корпус для дальнейшей работы на диск

save(Txt, file = "Txt.RData")

Стемминг корпуса 1

В рабочей папке лижит файл mystem (программа Mystem Версия 3.1) Создаю функцию для стеминга (Аргументы для mystem передаю из своей функции “текстом”)

mystem <- function(doc, arg) { 
        sdoc <- system2("./mystem"
                        , args = paste0("-", arg)
                        , stdout = TRUE 
                        # TRUE (capture the output
                        # in a character vector)
                        , input = doc)
        sdoc
}

mystem3 <- content_transformer(mystem)
        # Create content transformers, i.e., functions
        #  which modify the content of an R object.
        # Важно переопределить название обертки функции -
        #  иначе ошибка "рекурсии"

Провожу стемминг с аргументами “ld” l - без исходных словоформ d - контекстное снятие омонимии.

StemTxt <- tm_map(Txt, mystem3, "ld") 

Очистка корпуса 1

Создаю функцию очиcтки от скобок (метод из хелпа библиотеки tm, см. ??content_transformer)

cleanStemCorpus <- function(text) {
        text <- tm_map(text, content_transformer(
                function(x) gsub("\\}\\{", " ", x)
                )
        )
        text <- tm_map(text, content_transformer(
                function(x) gsub("[}{]", "", x)
                )
        )
}

StemTxt <- cleanStemCorpus(StemTxt)

Стемминг корпуса 2 (POS)

по частям речи (Part of Speach) l - без исходных словоформ d - контекстное снятие омонимии. Создание корпуса с грамматической информацией i - печатать грамматическую информацию g - Склеивать информацию словоформ при одной лемме (только при включенной опции -i).

POSTxt <- tm_map(Txt, mystem3, "ldig")

Очистка корпуса 2 (POS)

очистка корпуса POS от служебной информации

cleanPOSCorpus <- function(text) {
        text <- tm_map(text, content_transformer(
        function(x) gsub("\\}\\{", "} {", x) # добавил пробел между скобками
        )
        )
        text <- tm_map(text, content_transformer(
        function(x) gsub(
           "([{])([а-я?-]+)([=])([[:alpha:]]+)([=,])([[:graph:]]*)([}])"
          , "\\2/\\4", x) # убрал всю информацию, кроме части речи после слеша
        )
        )
        text <- tm_map(text, content_transformer(
        function(x) gsub(
           "([{])([[:graph:]]*)([}])", "\\2", x) 
        # убираю квадратные скобки со слов латиницей
        )
        )
}

POSTxt <- cleanPOSCorpus(POSTxt)

Создание TDM

(текст-документной матрицы)

# TDM <- TermDocumentMatrix(StemTxt)
POS_TDM <- TermDocumentMatrix(POSTxt)

Описательная статистика

!!! Внимание - если брать текст из корпуса без частей речи (StemTDM) - то текст более корткий? Может ошибка в очистке. Какие-то слова удаляются.

Общая длина

textLength <- colSums(as.matrix(POS_TDM))
summary(textLength)
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   297.0   596.0   696.0   774.2   867.5  1985.0

Дата-фрейм списка слов.

Лемма/часть речи/частота-леммы/частота-тексты

frameWords <- function(tdm) {
        words <- data.frame(tdm$dimnames$Terms, stringsAsFactors = FALSE)
        names(words)[1] <- "Terms"
        pos <- gsub("([а-я?-]*)([/])([[:alpha:]]*)", "\\3", words$Terms)
        # берем часть после слеша
        pos <- gsub("([[:alpha:]]*)(\\?\\?)", "NA", pos)
        # Заменяем нераспознанное часть речи на NA
        # Вопросительный знак надо экранировать двумя слешами
        words$POS <- as.factor(pos)
        words$Unclear <- grepl("\\?", words$Terms) 
        # добавляю фактор нераспознанных слов
        words$Words <- rowSums(as.matrix(tdm)) 
        # Количество слов
        words$Texts <- apply(as.matrix(tdm), MARGIN = 1
                             , FUN = function(x) sum(x > 0)) 
        # Количество текстов
        words
}

Words <- frameWords(POS_TDM)

Есть еще функция Terms(x) - выведет список лемм.

Проверка корпуса

Части речи A прилагательное ADV наречие ADVPRO местоименное наречие ANUM числительное-прилагательное APRO местоимение-прилагательное COM часть композита - сложного слова CONJ союз INTJ междометие NUM числительное PART частица PR предлог S существительное SPRO местоимение-существительное V глагол

table(Words$POS)
## 
##      a    adv advpro   anum   apro    com   conj   intj     NA    num 
##   1009    382     29      7     35      4     36      1     38     10 
##   part     pr      s   spro      v 
##     29     53   2135     27   1019
table(Words$Unclear)
## 
## FALSE  TRUE 
##  4568   246
sum(Words$Words)
## [1] 51872
sum(Words$Texts)
## [1] 24544

вывод всех нераспознанных слов

Words[Words$Unclear == TRUE, ]
##                          Terms POS Unclear Words Texts
## 1                     barker??  NA    TRUE     1     1
## 2                          c??  NA    TRUE     1     1
## 3                      campo??  NA    TRUE     1     1
## 4                    dispono??  NA    TRUE     1     1
## 5                 dispositio??  NA    TRUE     1     1
## 6                 ecological??  NA    TRUE     1     1
## 7              environmental??  NA    TRUE     1     1
## 8                          f??  NA    TRUE     1     1
## 9                  firewatch??  NA    TRUE     2     1
## 10                         g??  NA    TRUE     1     1
## 11                greenpeace??  NA    TRUE     2     2
## 12                         h??  NA    TRUE     1     1
## 13                      homo??  NA    TRUE     1     1
## 14                         i??  NA    TRUE     1     1
## 15                        ii??  NA    TRUE     2     1
## 16                     naess??  NA    TRUE     1     1
## 17                     paniс??  NA    TRUE     1     1
## 18                  plastiki??  NA    TRUE     2     1
## 19                psychology??  NA    TRUE     2     2
## 20                         r??  NA    TRUE     1     1
## 21                     santo??  NA    TRUE     1     1
## 22                   sapiens??  NA    TRUE     1     1
## 23                    tatler??  NA    TRUE     1     1
## 24                        vi??  NA    TRUE     1     1
## 25                    wright??  NA    TRUE     1     1
## 26                       wwf??  NA    TRUE     2     2
## 27                       xix??  NA    TRUE     1     1
## 28                      xvii??  NA    TRUE     1     1
## 29                        xx??  NA    TRUE    14    10
## 30                       xxi??  NA    TRUE     3     3
## 33                      аrne??  NA    TRUE     1     1
## 66         актуалзироваться?/v   v    TRUE     1     1
## 103    антропоэкологический?/a   a    TRUE     1     1
## 119               ассаджоли?/s   s    TRUE     1     1
## 121      астенодепрессивный?/a   a    TRUE     2     2
## 126         атрибутирование?/s   s    TRUE     3     3
## 127              аудиальный?/a   a    TRUE     1     1
## 143                  баркер?/s   s    TRUE     1     1
## 144                  баркет?/s   s    TRUE     1     1
## 148                  бассин?/s   s    TRUE     2     2
## 199             биоцентризм?/s   s    TRUE     1     1
## 236                 бочавер?/s   s    TRUE     1     1
## 239              бразование?/s   s    TRUE     1     1
## 247                  брунер?/s   s    TRUE     1     1
## 248                брунсвик?/s   s    TRUE     1     1
## 269                   бэкон?/s   s    TRUE     2     2
## 270                бэрджесс?/s   s    TRUE     1     1
## 281                 ванаман?/s   s    TRUE     1     1
## 349     взаимообусловленный?/a   a    TRUE     1     1
## 368               видеоигра?/s   s    TRUE     2     1
## 384                включить?/v   v    TRUE     1     1
## 402       внепарадигмальный?/a   a    TRUE     1     1
## 409                 внутрен?/s   s    TRUE     1     1
## 455                    вооп?/s   s    TRUE     2     2
## 486              впечатлить?/v   v    TRUE     1     1
## 515            всесильность?/s   s    TRUE     1     1
## 518                всесущий?/a   a    TRUE     1     1
## 540               въшвйгать?/v   v    TRUE     1     1
## 625           газонокосилка?/s   s    TRUE     1     1
## 638                       гг??  NA    TRUE     1     1
## 641                    гейл?/s   s    TRUE     1     1
## 649               геомантия?/s   s    TRUE     1     1
## 650              геометризм?/s   s    TRUE     1     1
## 658         гештальттерапия?/s   s    TRUE     1     1
## 662                  гибсон?/s   s    TRUE     1     1
## 671               гиппократ?/s   s    TRUE     2     1
## 694                 годовна?/s   s    TRUE     1     1
## 704               городский?/a   a    TRUE     1     1
## 728                 гринпис?/s   s    TRUE     2     2
## 786                    дедь?/s   s    TRUE     1     1
## 814                 дерябой?/a   a    TRUE    11     8
## 828          деятельностный?/a   a    TRUE     1     1
## 830                       дж??  NA    TRUE     5     5
## 835             дигитальный?/a   a    TRUE     1     1
## 849              дискофморт?/s   s    TRUE     1     1
## 898       дооперациональный?/a   a    TRUE     1     1
## 1006        жизнеопределять?/v   v    TRUE     1     1
## 1151                 зеланд?/s   s    TRUE     1     1
## 1249      инвайронментализм?/s   s    TRUE     1     1
## 1250     инвайронментальная?/s   s    TRUE     2     1
## 1251     инвайронментальный?/a   a    TRUE     1     1
## 1301               иоганзен?/s   s    TRUE     1     1
## 1339              истощимый?/a   a    TRUE     1     1
## 1354               йосемити?/s   s    TRUE     1     1
## 1412  климатогеографический?/a   a    TRUE     1     1
## 1421          когнитивность?/s   s    TRUE     3     1
## 1437        коммуницировать?/v   v    TRUE     1     1
## 1476           конфронтация?/s   s    TRUE     1     1
## 1506             коэволюция?/s   s    TRUE     1     1
## 1516               краудинг?/s   s    TRUE     2     2
## 1563              лазурский?/a   a    TRUE     1     1
## 1564                  лайер?/s   s    TRUE     1     1
## 1569             лапчинский?/a   a    TRUE     1     1
## 1580               лелеко?/adv adv    TRUE     1     1
## 1608                логачев?/s   s    TRUE     1     1
## 1635                   ляет?/s   s    TRUE     1     1
## 1636                 ляется?/v   v    TRUE     1     1
## 1641           макросистема?/s   s    TRUE     1     1
## 1642             макросреда?/s   s    TRUE     6     5
## 1652         малоосознанный?/a   a    TRUE     1     1
## 1659         манипулятивный?/a   a    TRUE     2     1
## 1697            мезосистема?/s   s    TRUE     1     1
## 1713          метеопогодный?/a   a    TRUE     1     1
## 1731           микросистема?/s   s    TRUE     1     1
## 1732           микроуровень?/s   s    TRUE     1     1
## 1749        младенченческий?/a   a    TRUE     1     1
## 1753                     млн??  NA    TRUE     1     1
## 1759       многоаспектность?/s   s    TRUE     2     2
## 1770                моббинг?/s   s    TRUE     1     1
## 1784               моляко?/adv adv    TRUE     1     1
## 1791           монтессорить?/v   v    TRUE     1     1
## 1799              мотиватор?/s   s    TRUE     1     1
## 1808                  мсоэс?/s   s    TRUE     2     2
## 1938    научнотеоретический?/a   a    TRUE     1     1
## 1955          небезразличие?/s   s    TRUE     1     1
## 1996              неиважный?/a   a    TRUE     2     2
## 2000         нейромаркетинг?/s   s    TRUE     1     1
## 2005          некомфортно?/adv adv    TRUE     1     1
## 2019         ненеобходимо?/adv adv    TRUE     1     1
## 2096        неэкологичность?/s   s    TRUE     1     1
## 2116         новосмоленская?/s   s    TRUE     2     1
## 2117         новосмоленский?/a   a    TRUE     3     1
## 2133                 нувель?/s   s    TRUE     1     1
## 2225          общеприродный?/a   a    TRUE     1     1
## 2235                объек?/adv adv    TRUE     1     1
## 2339               опросник?/s   s    TRUE     1     1
## 2372            освоенность?/s   s    TRUE     1     1
## 2390            особенносня?/s   s    TRUE     1     1
## 2422           отвественный?/a   a    TRUE     1     1
## 2436           отделенность?/s   s    TRUE     1     1
## 2463                  отное?/s   s    TRUE     1     1
## 2512          оформленность?/s   s    TRUE     1     1
## 2556                партень?/s   s    TRUE     1     1
## 2628     переформулирование?/s   s    TRUE     2     2
## 2641                  перлз?/s   s    TRUE     2     1
## 2645           персонология?/s   s    TRUE     1     1
## 2648           перцептивный?/a   a    TRUE     3     2
## 2657                   пиаж?/s   s    TRUE     1     1
## 2681       плотнонаселенный?/a   a    TRUE     3     1
## 2778           подструктура?/s   s    TRUE     2     2
## 2787             подчерпать?/v   v    TRUE     1     1
## 2800                позво?/adv adv    TRUE     1     1
## 2813          поисследовать?/v   v    TRUE     1     1
## 2836                 полинг?/s   s    TRUE     1     1
## 2950      потребительноский?/a   a    TRUE     1     1
## 2970                      пр??  NA    TRUE     2     2
## 3126              природлый?/a   a    TRUE     1     1
## 3131    природоцентрический?/a   a    TRUE     1     1
## 3133           прирритетный?/a   a    TRUE     1     1
## 3143         притцкеровский?/a   a    TRUE     1     1
## 3242          простраство?/adv adv    TRUE     1     1
## 3276             прошанский?/a   a    TRUE     1     1
## 3286         псиологический?/a   a    TRUE     1     1
## 3294             психодрама?/s   s    TRUE     1     1
## 3297            психологиии?/s   s    TRUE     1     1
## 3298            психологиин?/s   s    TRUE     1     1
## 3301     психологическимить?/v   v    TRUE     1     1
## 3304            психосинтез?/s   s    TRUE     1     1
## 3311          психоэкология?/s   s    TRUE     1     1
## 3395           разноликость?/s   s    TRUE     1     1
## 3446          расскрываться?/v   v    TRUE     1     1
## 3498           редукционизм?/s   s    TRUE     1     1
## 3541                 родный?/a   a    TRUE     1     1
## 3571       самоактуализация?/s   s    TRUE    11     8
## 3575         самовосприятие?/s   s    TRUE     1     1
## 3580      самоидентификация?/s   s    TRUE     4     3
## 3582            самокопание?/s   s    TRUE     3     3
## 3588         самоопределять?/v   v    TRUE     1     1
## 3595        самопереживание?/s   s    TRUE     1     1
## 3596     самопознавательный?/a   a    TRUE     1     1
## 3598           самопринятие?/s   s    TRUE     4     3
## 3599      саморазвивающийся?/a   a    TRUE     2     2
## 3605          саморефлексия?/s   s    TRUE     1     1
## 3607 самосовершенствоваться?/v   v    TRUE     3     3
## 3613      самостроительство?/s   s    TRUE     1     1
## 3617       самоформирование?/s   s    TRUE     1     1
## 3681          сенсомоторный?/a   a    TRUE     1     1
## 3693                   сзфо?/s   s    TRUE     1     1
## 3737           скотозаговор?/s   s    TRUE     1     1
## 3777             слышымость?/s   s    TRUE     1     1
## 3795       смыслообразующий?/a   a    TRUE     1     1
## 3805                сновной?/a   a    TRUE     1     1
## 3813                 собоой?/s   s    TRUE     1     1
## 3920                    соц?/s   s    TRUE     2     1
## 3921              социалень?/s   s    TRUE     1     1
## 3927                  социо?/s   s    TRUE     2     2
## 3928             социогенез?/s   s    TRUE     2     2
## 3949          специфическия?/s   s    TRUE     1     1
## 3983                  средо?/s   s    TRUE     1     1
## 3984               средовой?/a   a    TRUE    12     8
## 3985               средовый?/a   a    TRUE     1     1
## 4042               страдать?/v   v    TRUE     1     1
## 4048             стрелигова?/s   s    TRUE     1     1
## 4056        стрессогенность?/s   s    TRUE     1     1
## 4058           стрессфактор?/s   s    TRUE     1     1
## 4074      субиндустриальный?/a   a    TRUE     1     1
## 4075            субличность?/s   s    TRUE     2     2
## 4080           субъектность?/s   s    TRUE     1     1
## 4082       субъектобъектный?/a   a    TRUE     1     1
## 4105       сформированность?/s   s    TRUE     5     3
## 4151                      тд??  NA    TRUE     2     2
## 4193                 тивный?/a   a    TRUE     1     1
## 4237            трансферинг?/s   s    TRUE     1     1
## 4281               уболтать?/v   v    TRUE     1     1
## 4332                узнадзе?/s   s    TRUE     2     2
## 4398  усовершенствованность?/s   s    TRUE     1     1
## 4513         функционагенез?/s   s    TRUE     1     1
## 4514        функционалгенез?/s   s    TRUE     1     1
## 4520         фунционировать?/v   v    TRUE     1     1
## 4527      характеризировать?/v   v    TRUE     1     1
## 4533                хащенко?/s   s    TRUE     1     1
## 4536               хейдметс?/s   s    TRUE     1     1
## 4546           хологический?/a   a    TRUE     1     1
## 4564                      хх??  NA    TRUE     1     1
## 4574          целеполагание?/s   s    TRUE     1     1
## 4601                   цэпр?/s   s    TRUE     2     2
## 4623              черноушко?/s   s    TRUE     1     1
## 4663                  шение?/s   s    TRUE     1     1
## 4674               шкуратов?/s   s    TRUE     1     1
## 4677             шопоголизм?/s   s    TRUE     1     1
## 4683                      ые??  NA    TRUE     2     1
## 4697            экзосистема?/s   s    TRUE     1     1
## 4700        экоатрибутивный?/a   a    TRUE     2     2
## 4701            эковалидный?/a   a    TRUE     1     1
## 4702          экодиспозиция?/s   s    TRUE     3     1
## 4703                экозона?/s   s    TRUE     1     1
## 4709            экологичный?/a   a    TRUE     1     1
## 4713 экологопсихологический?/a   a    TRUE     3     2
## 4714           экологческий?/a   a    TRUE     1     1
## 4720         экообразование?/s   s    TRUE     1     1
## 4721            экопсихолог?/s   s    TRUE     2     1
## 4722     экопсихологический?/a   a    TRUE     7     5
## 4723          экопсихология?/s   s    TRUE    20    12
## 4725            экосознание?/s   s    TRUE     1     1
## 4726             экотренинг?/s   s    TRUE     2     1
## 4727           экотренингна?/s   s    TRUE     1     1
## 4728              экотуризм?/s   s    TRUE     1     1
## 4729        экоцентрический?/a   a    TRUE    17     8
## 4736        экстериоризация?/s   s    TRUE     1     1
## 4761             эргономист?/s   s    TRUE     1     1
## 4775               этоого?/adv adv    TRUE     1     1
## 4784                юмидный?/a   a    TRUE     1     1
## 4810             ярошевский?/a   a    TRUE     1     1
## 4811                  ясвин?/s   s    TRUE     7     6
## 4812                 ясвина?/s   s    TRUE     6     6
## 4813               ясвину?/adv adv    TRUE     1     1

Исправление опечаток

пока не добавлено

Удаления Стоп-слов

Стандартный список стоп-слов

# stopwords("ru")

тут есть интересные глаголы и существительные. Поэтому не будем использовать стандартный список, а удалим из текста все местоимения, числительные и т.д. и слова с неопределенной частью речи.

removeWords() - Remove Words from a Text Document

стоп слов (оставляем существительные, наречия, прилагательные, глаголы, части композита - сложного слова и нерпспознные слова.)

removeStop <- function(text) {
        tm_map(text, content_transformer(
        function(x){
                x <- gsub("([а-я?-]+)/CONJ\\>", "", x)
                x <- gsub("([а-я?-]+)/PR\\>", "", x)
                x <- gsub("([а-я?-]+)/PART\\>", "", x)
                x <- gsub("([а-я?-]+)/APRO\\>", "", x)
                x <- gsub("([а-я?-]+)/SPRO\\>", "", x)
                x <- gsub("([а-я?-]+)/ADVPRO\\>", "", x)
                x <- gsub("([а-я?-]+)/ANUM\\>", "", x)
                x <- gsub("([а-я?-]+)/NUM\\>", "", x)
                x <- gsub("([а-я?-]+)/INTJ\\>", "", x)
                x
                } 
        )
        )
}

StopPOSTxt <- removeStop(POSTxt)

Создание объектов с удалением Стоп-Слов

StopPOS_TDM <- TermDocumentMatrix(StopPOSTxt)
StopWords <- frameWords(StopPOS_TDM)
head(StopWords)
##          Terms POS Unclear Words Texts
## 1     barker??  NA    TRUE     1     1
## 2          c??  NA    TRUE     1     1
## 3      campo??  NA    TRUE     1     1
## 4    dispono??  NA    TRUE     1     1
## 5 dispositio??  NA    TRUE     1     1
## 6 ecological??  NA    TRUE     1     1

Описательная статистика

textStopLength <- colSums(as.matrix(StopPOS_TDM))
summary(textStopLength)
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   182.0   398.0   454.0   510.0   560.5  1321.0

проверка количества слов по частям речи

table(StopWords$POS)
## 
##    a  adv  com   NA    s    v 
## 1009  382    4   38 2135 1019
table(StopWords$Unclear)
## 
## FALSE  TRUE 
##  4341   246
sum(StopWords$Words)
## [1] 34173
sum(StopWords$Texts)
## [1] 20106

Сумма по частям речи. И частота по частям речи

cbind(
        aggregate(Words$Words, by = list(Words$POS), length)
        , aggregate(Words$Words, by = list(Words$POS), sum)[2]
)
##    Group.1    x     x
## 1        a 1009  6658
## 2      adv  382  2090
## 3   advpro   29   556
## 4     anum    7   101
## 5     apro   35  3233
## 6      com    4    18
## 7     conj   36  4558
## 8     intj    1     1
## 9       NA   38    66
## 10     num   10    83
## 11    part   29  1228
## 12      pr   53  5556
## 13       s 2135 18779
## 14    spro   27  2383
## 15       v 1019  6562

Частотные слова

Наиболее частотные слова

функция вывода частот и облака слов

cloud_p <- function(data, min.text = 0, partOS = "all"){
        if (partOS == "all") {
                t <- subset(data[order(data$Words
                                        , decreasing = TRUE), ]
       , Texts > min.text 
       , select = c(Terms, Words, Texts))
        }else{
                t <- subset(data[order(data$Words
                                        , decreasing = TRUE), ]
       , Texts > min.text & POS == partOS
       , select = c(Terms, Words, Texts))
        }
       
        return(
        wordcloud(t$Terms, t$Words, random.order = FALSE, rot.per=0)        
        )
        
}

cloud_t <- function(data, min.text = 0, partOS = "all"){
        if (partOS == "all") {
                t <- subset(data[order(data$Words
                                        , decreasing = TRUE), ]
       , Texts > min.text 
       , select = c(Terms, Words, Texts))
        }else{
                t <- subset(data[order(data$Words
                                        , decreasing = TRUE), ]
       , Texts > min.text & POS == partOS
       , select = c(Terms, Words, Texts))
        }
       
        return(t)
        
}

Слова, которые встречаются более чем в половине текстов (больше 33)

subset(StopWords[order(StopWords$Words, decreasing = TRUE), ] , Texts > 33 , select = c(Terms, Words, Texts)) wordcloud()

cloud_p(StopWords, min.text = 33)

cloud_t(StopWords, min.text = 33)
##                  Terms Words Texts
## 4401         человек/s  1349    67
## 4484   экологический/a   919    63
## 3799           среда/s   680    64
## 3145      психология/s   516    61
## 2973         природа/s   447    54
## 3430    самопознание/s   316    44
## 263             быть/v   300    65
## 2185      окружающий/a   297    61
## 3684        сознание/s   294    56
## 1652             мир/s   253    61
## 2339       отношение/s   243    58
## 962            жизнь/s   212    61
## 1712            мочь/v   208    55
## 4568        являться/v   200    61
## 3007        проблема/s   183    59
## 335   взаимодействие/s   178    55
## 3199        развитие/s   177    51
## 1519        личность/s   176    45
## 2568       поведение/s   166    54
## 3143 психологический/a   159    46
## 3748      социальный/a   158    51
## 3950         также/adv   151    55
## 3115         процесс/s   139    46
## 2975       природный/a   135    49
## 1122          знание/s   124    50
## 380          влияние/s   119    47
## 2108        общество/s   114    42
## 3821     становиться/v   114    56
## 793     деятельность/s   107    39
## 1689         можно/adv   106    50
## 4488        экология/s   105    46
## 1836           наука/s   103    41
## 2069           образ/s   103    42
## 4291    формирование/s    98    38
## 4186         условие/s    96    45
## 4175         уровень/s    94    38
## 273           важный/a    92    49
## 3943               т/s    92    38
## 2864   представление/s    89    35
## 3220       различный/a    89    41
## 730           данный/a    88    41
## 482            время/s    87    39
## 4264          фактор/s    87    43
## 1180        изучение/s    86    42
## 2004           новый/a    86    36
## 3133     психический/a    82    35
## 340  взаимоотношение/s    81    37
## 442           вопрос/s    80    39
## 391          внешний/a    79    38
## 1266    исследование/s    79    34
## 2728        понимать/v    79    42
## 418      возможность/s    76    34
## 1178         изучать/v    76    37
## 1853        начинать/v    75    38
## 2671        познание/s    74    35
## 3055     происходить/v    73    39
## 2265     особенность/s    71    41
## 3486           связь/s    71    38
## 1846      находиться/v    67    34
## 1518      личностный/a    66    34
## 3641     собственный/a    66    36
## 2182        окружать/v    65    37
## 117           аспект/s    63    34
## 2107    общественный/a    62    34
## 4400           часть/s    62    37
## 1622           место/s    61    37
## 420        возникать/v    60    37
## 4122           уже/adv    58    34
## 933            еще/adv    56    35
## 3485       связывать/v    56    35
## 4370           целое/s    52    35
## 369         включать/v    49    35
## 3364         решение/s    47    34

Существительные

cloud_p(StopWords, min.text = 33, partOS = "s")

cloud_t(StopWords, min.text = 33, partOS = "s")
##                  Terms Words Texts
## 4401         человек/s  1349    67
## 3799           среда/s   680    64
## 3145      психология/s   516    61
## 2973         природа/s   447    54
## 3430    самопознание/s   316    44
## 3684        сознание/s   294    56
## 1652             мир/s   253    61
## 2339       отношение/s   243    58
## 962            жизнь/s   212    61
## 3007        проблема/s   183    59
## 335   взаимодействие/s   178    55
## 3199        развитие/s   177    51
## 1519        личность/s   176    45
## 2568       поведение/s   166    54
## 3115         процесс/s   139    46
## 1122          знание/s   124    50
## 380          влияние/s   119    47
## 2108        общество/s   114    42
## 793     деятельность/s   107    39
## 4488        экология/s   105    46
## 1836           наука/s   103    41
## 2069           образ/s   103    42
## 4291    формирование/s    98    38
## 4186         условие/s    96    45
## 4175         уровень/s    94    38
## 3943               т/s    92    38
## 2864   представление/s    89    35
## 482            время/s    87    39
## 4264          фактор/s    87    43
## 1180        изучение/s    86    42
## 340  взаимоотношение/s    81    37
## 442           вопрос/s    80    39
## 1266    исследование/s    79    34
## 418      возможность/s    76    34
## 2671        познание/s    74    35
## 2265     особенность/s    71    41
## 3486           связь/s    71    38
## 117           аспект/s    63    34
## 4400           часть/s    62    37
## 1622           место/s    61    37
## 4370           целое/s    52    35
## 3364         решение/s    47    34

Прилагательные

Короткий список (больше половины текстов)

cloud_p(StopWords, min.text = 33, partOS = "a")
## Warning in wordcloud(t$Terms, t$Words, random.order = FALSE, rot.per = 0):
## экологический/a could not be fit on page. It will not be plotted.

cloud_t(StopWords, min.text = 33, partOS = "a")
##                  Terms Words Texts
## 4484   экологический/a   919    63
## 2185      окружающий/a   297    61
## 3143 психологический/a   159    46
## 3748      социальный/a   158    51
## 2975       природный/a   135    49
## 273           важный/a    92    49
## 3220       различный/a    89    41
## 730           данный/a    88    41
## 2004           новый/a    86    36
## 3133     психический/a    82    35
## 391          внешний/a    79    38
## 1518      личностный/a    66    34
## 3641     собственный/a    66    36
## 2107    общественный/a    62    34

Длинный список (больше 10 текстов)

cloud_p(StopWords, min.text = 10, partOS = "a")
## Warning in wordcloud(t$Terms, t$Words, random.order = FALSE, rot.per = 0):
## экологический/a could not be fit on page. It will not be plotted.

cloud_t(StopWords, min.text = 10, partOS = "a")
##                    Terms Words Texts
## 4484     экологический/a   919    63
## 2185        окружающий/a   297    61
## 3143   психологический/a   159    46
## 3748        социальный/a   158    51
## 2975         природный/a   135    49
## 273             важный/a    92    49
## 3220         различный/a    89    41
## 730             данный/a    88    41
## 2004             новый/a    86    36
## 3133       психический/a    82    35
## 391            внешний/a    79    38
## 398         внутренний/a    72    32
## 1518        личностный/a    66    34
## 2209      определенный/a    66    29
## 3641       собственный/a    66    36
## 2107      общественный/a    62    34
## 229            большой/a    55    32
## 4402      человеческий/a    52    33
## 3661       современный/a    50    27
## 2257          основной/a    47    27
## 4275        физический/a    46    29
## 565            высокий/a    44    32
## 851            должный/a    42    23
## 677          городской/a    41    18
## 1202    индивидуальный/a    41    23
## 3783         способный/a    39    26
## 654         глобальный/a    34    22
## 3236            разный/a    34    27
## 1520            личный/a    33    18
## 2111             общий/a    32    24
## 3483         связанный/a    32    26
## 1844           научный/a    31    22
## 190      биологический/a    29    18
## 4342           хороший/a    29    20
## 2119       объективный/a    28    13
## 954              живой/a    27    19
## 1922       необходимый/a    27    21
## 2074   образовательный/a    27    16
## 4444           широкий/a    27    23
## 227            больший/a    26    17
## 959          жизненный/a    26    21
## 2834      практический/a    25    17
## 3896      субъективный/a    25    18
## 1876        негативный/a    24    15
## 1468        культурный/a    23    17
## 1825         настоящий/a    23    17
## 3085  пространственный/a    23    15
## 930       естественный/a    21    15
## 3578         следующий/a    21    14
## 4525     эмоциональный/a    21    17
## 70          актуальный/a    20    16
## 965              жилой/a    20    15
## 2267            особый/a    20    15
## 2310         отдельный/a    20    17
## 2569     поведенческий/a    20    16
## 3317          реальный/a    20    15
## 1384        конкретный/a    19    16
## 1943  непосредственный/a    19    16
## 4378        ценностный/a    19    11
## 1239    информационный/a    18    13
## 2665        позитивный/a    18    11
## 2760         последний/a    18    13
## 1348       когнитивный/a    17    11
## 4495     экономический/a    17    14
## 647            главный/a    16    15
## 1126          значимый/a    16    15
## 1607 междисциплинарный/a    16    15
## 2016      нравственный/a    16    14
## 2143          огромный/a    16    16
## 3768       специальный/a    16    13
## 4547         этический/a    16    12
## 1257     искусственный/a    15    11
## 3051  производственный/a    15    12
## 419          возможный/a    14    12
## 2100          обширный/a    14    12
## 2300     ответственный/a    14    12
## 2704            полный/a    14    12
## 1960       неразрывный/a    13    11
## 2627          подобный/a    13    11
## 3588           сложный/a    13    11
## 4210        устойчивый/a    13    12
## 98       антропогенный/a    12    11
## 619     географический/a    12    12
## 3913      существенный/a    12    12
## 2824        правильный/a    11    11
## 3481      свойственный/a    11    11
## 3591          служащий/a    11    11

Наречия

cloud_p(StopWords, min.text = 33, partOS = "adv")

cloud_t(StopWords, min.text = 33, partOS = "adv")
##          Terms Words Texts
## 3950 также/adv   151    55
## 1689 можно/adv   106    50
## 4122   уже/adv    58    34
## 933    еще/adv    56    35

Глаголы

cloud_p(StopWords, min.text = 33, partOS = "v")

cloud_t(StopWords, min.text = 33, partOS = "v")
##              Terms Words Texts
## 263         быть/v   300    65
## 1712        мочь/v   208    55
## 4568    являться/v   200    61
## 3821 становиться/v   114    56
## 2728    понимать/v    79    42
## 1178     изучать/v    76    37
## 1853    начинать/v    75    38
## 3055 происходить/v    73    39
## 1846  находиться/v    67    34
## 2182    окружать/v    65    37
## 420    возникать/v    60    37
## 3485   связывать/v    56    35
## 369     включать/v    49    35

TfIdf

создадим матрицу TfIdf (по умолчанию, с нормализацией)

TfIdf <- weightTfIdf(StopPOS_TDM)

Высокие коэфициенты TfIdf

Создаю таблицу с коэфицинентами по всем словам и всем тексам.

tfidfWords <- function(tfidf = TfIdf, tf = StopPOS_TDM) {
        Terms <- tf$dimnames$Terms
        Texts <- tf$dimnames$Docs
        nTexts <- apply(as.matrix(tf), MARGIN = 1
                        , FUN = function(x) sum(x > 0))
        nWords <- rowSums(as.matrix(tf))
        df <- data.frame()
        
        for (i in 1:length(Texts)) {
                df <- rbind(df, data.frame(Terms
                                 , rep(Texts[i], length(Terms))
                                 , as.matrix(TfIdf)[ ,i]
                                 , as.matrix(StopPOS_TDM)[ ,i]
                                 , nTexts
                                 , nWords
                                 )
                )
                
                df <- df[df[4] != 0, ]
        }
        names(df) <- c("Term", "Text", "TfIdf", "Tf", "nTexts", "nWords")
        return(df)
}


df <- tfidfWords()
head(df[order(df$TfIdf, decreasing = TRUE),], 150)[-1]
##                           Text      TfIdf Tf nTexts nWords
## дэвид/s                text_18 0.09542163  7      1      7
## набережная/s           text_56 0.09353001  7      1      7
## здание/s1              text_56 0.08927029  8      2      9
## советский/a1           text_56 0.08883291  9      3     13
## ротшильд/s             text_18 0.08178997  6      1      6
## архитектура/s4         text_56 0.07667680 10      6     16
## заботиться/v3          text_61 0.07224016  7      4     10
## адаптация/s2           text_19 0.06963107 10      7     17
## архитектурный/a1       text_56 0.06909226  7      3      9
## релевантный/a           text_3 0.06096572  4      1      4
## потребность/s9         text_28 0.05947093 16     23     60
## подсознание/s2         text_35 0.05738121  3      6      8
## сознательность/s       text_24 0.05733544  5      1      5
## ребенок/s2             text_11 0.05726900 13     16     49
## осознанность/s3        text_24 0.05662247  8      5     12
## раб/s                  text_12 0.05539807  4      1      4
## лодка/s                text_18 0.05452664  4      1      4
## товар/s                text_67 0.05448583  3      1      3
## принуждение/s          text_60 0.05440439  4      1      4
## самосознание/s1         text_3 0.05425122 10     15     54
## ансамбль/s             text_56 0.05344572  4      1      4
## агрессия/s1            text_36 0.04647788  4      2      5
## помогать/v12           text_36 0.04566803 14     25     55
## тайный/a1              text_60 0.04543578  4      2      5
## нирвана/s              text_27 0.04538221  6      1      6
## тип/s6                 text_24 0.04489827 11     15     39
## автор/s                 text_5 0.04369615  6      6     14
## контактировать/v       text_36 0.04173915  3      1      3
## возраст/s2             text_11 0.04168956  6      7     18
## австралия/s            text_18 0.04089498  3      1      3
## экспедиция/s           text_18 0.04089498  3      1      3
## разумеется/adv          text_6 0.04086522  4      4      7
## переживание/s3         text_17 0.04071112  4     16     34
## запросто/adv           text_41 0.04057585  2      1      2
## бутылка/s              text_18 0.04027979  4      3      6
## когнитивность?/s       text_55 0.04017278  3      1      3
## застройка/s            text_56 0.04008429  3      1      3
## новосмоленский?/a      text_56 0.04008429  3      1      3
## рационализм/s          text_56 0.04008429  3      1      3
## территория/s5          text_36 0.03985547  6      9     23
## мусор/s3               text_47 0.03941222  4      5     10
## удобный/a              text_52 0.03847414  3      1      3
## карта/s                text_19 0.03830023  4      3      6
## смочь/v3               text_35 0.03825414  2      6     11
## образец/s               text_3 0.03818660  3      2      4
## мышление/s9            text_28 0.03814219  8     17     30
## интернет/s2            text_48 0.03742068  4      3      6
## местность/s7           text_51 0.03650106  4      8     16
## борец/s                 text_8 0.03610767  2      1      2
## надстройка/s            text_8 0.03610767  2      1      2
## тонкость/s              text_8 0.03610767  2      1      2
## упрощение/s             text_8 0.03610767  2      1      2
## самосознание/s10       text_41 0.03610700  5     15     54
## животное/s11           text_61 0.03602512  6     13     18
## субъект/s5             text_25 0.03569106  7     14     39
## средство/s4            text_20 0.03516748  4     16     39
## надо/adv4              text_36 0.03516157  5      8     17
## создание/s13           text_56 0.03482630  7     14     23
## стадия/s1              text_11 0.03467880  4      4      8
## обретение/s            text_20 0.03460501  2      4      8
## насколько/adv2         text_36 0.03435010  4      5      8
## чувствование/s1        text_41 0.03388688  2      2      5
## тандем/s               text_54 0.03379437  2      1      2
## экодиспозиция?/s       text_42 0.03370050  3      1      3
## недавно/adv1            text_8 0.03343001  3      5      7
## встраиваться/v         text_35 0.03333016  1      1      1
## извлекать/v            text_35 0.03333016  1      1      1
## откладываться/v        text_35 0.03333016  1      1      1
## применимый/a           text_35 0.03333016  1      1      1
## проводник/s            text_35 0.03333016  1      1      1
## шопинг/s               text_35 0.03333016  1      1      1
## препарат/s             text_26 0.03296788  5      1      5
## напряжение/s            text_1 0.03289668  3      2      4
## полноценный/a           text_1 0.03289668  3      2      4
## перечисленный/a        text_38 0.03270129  2      1      2
## саморазвитие/s3        text_16 0.03257349  8     13     24
## операция/s             text_11 0.03240569  3      2      4
## кронштадт/s            text_40 0.03214430  7      1      7
## малонаселенный/a       text_40 0.03214430  7      1      7
## рефлексия/s9           text_28 0.03198349  7     18     28
## информационный/a10     text_60 0.03182488  6     13     18
## остро/adv2             text_21 0.03173018  2      5      6
## газон/s1               text_48 0.03172916  3      2      4
## подросток/s            text_32 0.03115676  5      2      6
## самопознание/s17       text_27 0.03101367 41     44    316
## средство/s7            text_27 0.03091405 12     16     39
## пропаганда/s2          text_63 0.03083344  3      3      5
## газ/s                  text_61 0.03079233  2      1      2
## миллион/s              text_61 0.03079233  2      1      2
## пересаживаться/v       text_61 0.03079233  2      1      2
## тонна/s                text_61 0.03079233  2      1      2
## параметр/s1            text_24 0.03074548  4      4      7
## город/s1                text_8 0.03074537  5     16     57
## обучающийся/s           text_3 0.03048286  2      1      2
## строительство/s1       text_67 0.03033586  2      2      3
## генетический/a         text_50 0.03025481  2      1      2
## дословный/a            text_50 0.03025481  2      1      2
## планетарный/a          text_62 0.03025481  2      1      2
## невероятно/adv          text_8 0.03015529  2      2      3
## подробно/adv2          text_60 0.03014211  3      3      5
## последний/a4           text_21 0.03007182  3     13     18
## смочь/v4               text_44 0.03000971  3      6     11
## жизненно/adv           text_17 0.02988221  1      1      1
## научнотеоретический?/a text_17 0.02988221  1      1      1
## переоценивать/v        text_17 0.02988221  1      1      1
## эквивалентность/s      text_17 0.02988221  1      1      1
## дом/s8                 text_56 0.02985111  6     14     32
## взрослость/s           text_32 0.02984546  4      1      4
## архитектор/s1          text_56 0.02961097  3      3      5
## экологизация/s1        text_23 0.02960745  3      4      6
## своевременно/adv       text_23 0.02944703  2      1      2
## дом/s2                 text_14 0.02938191  8     14     32
## фильм/s                 text_1 0.02909823  3      3      5
## функционирование/s      text_1 0.02909823  3      3      5
## исправлять/v8          text_62 0.02888942  4      9     13
## субъект/s9             text_34 0.02834490 16     14     39
## согласие/s1            text_31 0.02830217  2      2      3
## климат/s1              text_29 0.02823651  5      5     12
## окончательно/adv       text_54 0.02822334  2      2      3
## заболевание/s           text_6 0.02822232  3      5      9
## объективный/a11        text_51 0.02816249  4     13     28
## возраст/s4             text_32 0.02805798  7      7     18
## забота/s3              text_50 0.02801118  3      5      7
## рефлексивный/a3        text_28 0.02791484  4      9     13
## город/s2               text_18 0.02785738  6     16     57
## база/s                 text_35 0.02783565  1      2      2
## кардинальный/a1        text_35 0.02783565  1      2      2
## ожидать/v1             text_35 0.02783565  1      2      2
## проекция/s             text_35 0.02783565  1      2      2
## сознательно/adv1       text_35 0.02783565  1      2      2
## функционировать/v      text_35 0.02783565  1      2      2
## екатеринбург/s         text_36 0.02782610  2      1      2
## маловажный/a           text_36 0.02782610  2      1      2
## недоступный/a          text_63 0.02782610  2      1      2
## все/adv2               text_11 0.02779304  4      7     13
## дружба/s               text_12 0.02769904  2      1      2
## неодушевленный/a       text_12 0.02769904  2      1      2
## орудие/s               text_12 0.02769904  2      1      2
## подростковый/a1        text_32 0.02755920  5      3      8
## судьба/s               text_43 0.02751061  2      1      2
## голова/s3              text_47 0.02748258  3      6      8
## нынешний/a1            text_38 0.02731045  2      2      3
## известно/adv7          text_35 0.02726513  2     12     13
## plastiki??             text_18 0.02726332  2      1      2
## батарея/s              text_18 0.02726332  2      1      2
## великобритания/s       text_18 0.02726332  2      1      2
## германия/s             text_18 0.02726332  2      1      2
## заинтересованный/a     text_18 0.02726332  2      1      2
## миссия/s               text_18 0.02726332  2      1      2
## приключение/s          text_18 0.02726332  2      1      2

Темы каждого текста

mostTfIdf <- findMostFreqTerms(TfIdf, 10)
lapply(mostTfIdf, FUN = function(x) Words[Words$Terms %in% names(x), ])
## $text_1
##                   Terms POS Unclear Words Texts
## 702             город/s   s   FALSE    57    16
## 834            диалог/s   s   FALSE     5     4
## 975             ехать/v   v   FALSE     3     2
## 1156            земля/s   s   FALSE    21    13
## 1896       напряжение/s   s   FALSE     4     2
## 1906       нарушаться/v   v   FALSE     4     2
## 2844      полноценный/a   a   FALSE     4     2
## 3489    регулирование/s   s   FALSE     4     3
## 4490            фильм/s   s   FALSE     5     3
## 4517 функционирование/s   s   FALSE     5     3
## 
## $text_2
##                     Terms POS Unclear Words Texts
## 912           достигать/v   v   FALSE    17    11
## 952                   е/s   s   FALSE    36    22
## 1328      исследоваться/v   v   FALSE    13     7
## 1443           комплекс/s   s   FALSE    12     8
## 2238        объективный/a   a   FALSE    28    13
## 2990       превращаться/v   v   FALSE     8     6
## 3511            религия/s   s   FALSE     5     4
## 3597       самопознание/s   s   FALSE   316    44
## 3827 совершенствоваться/v   v   FALSE     6     4
## 3835          совпадать/v   v   FALSE     9     5
## 
## $text_3
##                    Terms POS Unclear Words Texts
## 829       деятельность/s   s   FALSE   107    39
## 980            жалко/adv adv   FALSE     4     2
## 1559                 л/s   s   FALSE     7     6
## 2189           образец/s   s   FALSE     4     2
## 2215       обучающийся/s   s   FALSE     2     1
## 3509       релевантный/a   a   FALSE     4     1
## 3556 руководствоваться/v   v   FALSE     5     3
## 3608      самосознание/s   s   FALSE    54    15
## 4275         убеждение/s   s   FALSE    10     6
## 4412         установка/s   s   FALSE    17    13
## 
## $text_4
##                   Terms POS Unclear Words Texts
## 440        возрастать/v   v   FALSE     5     3
## 1223        изменение/s   s   FALSE    59    26
## 1521           кризис/s   s   FALSE    40    14
## 2193  образовательный/a   a   FALSE    27    16
## 2919     постепенно/adv adv   FALSE    20    12
## 2980   прагматический/a   a   FALSE     6     3
## 3705          система/s   s   FALSE    85    29
## 4104            сфера/s   s   FALSE    50    29
## 4519          функция/s   s   FALSE    29    15
## 4577 целесообразность/s   s   FALSE     4     2
## 
## $text_5
##              Terms POS Unclear Words Texts
## 45         автор/s   s   FALSE    14     6
## 1637           м/s   s   FALSE     9     7
## 1893  направлять/v   v   FALSE    23    16
## 2191 образование/s   s   FALSE    39    16
## 2236      объект/s   s   FALSE    67    29
## 2808   познавать/v   v   FALSE    69    33
## 4248     тренинг/s   s   FALSE     7     5
## 4287  увеличение/s   s   FALSE    12     8
## 4672    школьник/s   s   FALSE     9     4
## 4726 экотренинг?/s   s    TRUE     2     1
## 
## $text_6
##                  Terms POS Unclear Words Texts
## 101  антропоцентризм/s   s   FALSE     1     1
## 462       воспитание/s   s   FALSE    12     8
## 573        выполнять/v   v   FALSE     6     4
## 1020     заболевание/s   s   FALSE     9     5
## 1178    значительный/a   a   FALSE    12     8
## 2191     образование/s   s   FALSE    39    16
## 3230     просвещение/s   s   FALSE     5     3
## 3415    разумеется/adv adv   FALSE     7     4
## 3982         средний/a   a   FALSE     6     4
## 4519         функция/s   s   FALSE    29    15
## 
## $text_7
##                     Terms POS Unclear Words Texts
## 120          ассоциация/s   s   FALSE     3     2
## 469        воспоминание/s   s   FALSE     3     2
## 1521             кризис/s   s   FALSE    40    14
## 1546           культура/s   s   FALSE    43    18
## 1936 научно-технический/a   a   FALSE     5     3
## 2191        образование/s   s   FALSE    39    16
## 2823          покорение/s   s   FALSE     2     1
## 3115            принцип/s   s   FALSE    16    11
## 3157           приятный/a   a   FALSE     3     2
## 3494       регулятивный/a   a   FALSE     6     2
## 
## $text_8
##               Terms POS Unclear Words Texts
## 233         борец/s   s   FALSE     2     1
## 702         город/s   s   FALSE    57    16
## 902     допускать/v   v   FALSE     5     4
## 1857   надстройка/s   s   FALSE     2     1
## 1963 невероятно/adv adv   FALSE     3     2
## 1975    недавно/adv adv   FALSE     7     5
## 2899    поселение/s   s   FALSE     5     4
## 4213     тонкость/s   s   FALSE     2     1
## 4376    упрощение/s   s   FALSE     2     1
## 4396   усложнение/s   s   FALSE     4     3
## 
## $text_9
##               Terms POS Unclear Words Texts
## 175         берет/s   s   FALSE     1     1
## 499       вредный/a   a   FALSE     7     4
## 573     выполнять/v   v   FALSE     6     4
## 1020  заболевание/s   s   FALSE     9     5
## 1178 значительный/a   a   FALSE    12     8
## 3230  просвещение/s   s   FALSE     5     3
## 3982      средний/a   a   FALSE     6     4
## 4172       термин/s   s   FALSE    19    16
## 4488    философия/s   s   FALSE    10     8
## 4519      функция/s   s   FALSE    29    15
## 
## $text_10
##                     Terms POS Unclear Words Texts
## 952                   е/s   s   FALSE    36    22
## 1328      исследоваться/v   v   FALSE    13     7
## 1443           комплекс/s   s   FALSE    12     8
## 1714              метод/s   s   FALSE    21    14
## 2238        объективный/a   a   FALSE    28    13
## 2990       превращаться/v   v   FALSE     8     6
## 3597       самопознание/s   s   FALSE   316    44
## 3827 совершенствоваться/v   v   FALSE     6     4
## 3835          совпадать/v   v   FALSE     9     5
## 4714      экологческий?/a   a    TRUE     1     1
## 
## $text_11
##                 Terms POS Unclear Words Texts
## 438         возраст/s   s   FALSE    18     7
## 504           все/adv adv   FALSE    13     7
## 784         девочка/s   s   FALSE     2     1
## 1197      идеальный/a   a   FALSE     3     2
## 1469       контекст/s   s   FALSE    26    16
## 1672 математический/a   a   FALSE     2     1
## 1703       меняться/v   v   FALSE     8     5
## 2321       операция/s   s   FALSE     4     2
## 3483        ребенок/s   s   FALSE    49    16
## 3998         стадия/s   s   FALSE     8     4
## 
## $text_12
##                 Terms POS Unclear Words Texts
## 114     архаический/a   a   FALSE     3     2
## 933          дружба/s   s   FALSE     2     1
## 1123        затем/adv adv   FALSE     9     7
## 1597     литература/s   s   FALSE     7     5
## 1703       меняться/v   v   FALSE     8     5
## 2031 неодушевленный/a   a   FALSE     2     1
## 2365         орудие/s   s   FALSE     2     1
## 3335            раб/s   s   FALSE     4     1
## 3976        сразу/adv adv   FALSE     5     4
## 4759          эпоха/s   s   FALSE    12     8
## 
## $text_13
##              Terms POS Unclear Words Texts
## 196     биосфера/s   s   FALSE    10     6
## 1620   локальный/a   a   FALSE     1     1
## 1642 макросреда?/s   s    TRUE     6     5
## 1665       масса/s   s   FALSE     8     7
## 1839    наводить/v   v   FALSE     1     1
## 2403   остальное/s   s   FALSE     1     1
## 2441    отдыхать/v   v   FALSE     4     3
## 3390 размышление/s   s   FALSE     8     6
## 4287  увеличение/s   s   FALSE    12     8
## 4290 уверенность/s   s   FALSE     8     6
## 
## $text_14
##                 Terms POS Unclear Words Texts
## 209  благоприятно/adv adv   FALSE     3     2
## 385            вкус/s   s   FALSE     5     3
## 818          деталь/s   s   FALSE     2     1
## 891             дом/s   s   FALSE    32    14
## 1125       затмение/s   s   FALSE     2     1
## 1291       интерьер/s   s   FALSE     2     1
## 1811         музыка/s   s   FALSE     3     2
## 2130      нравиться/v   v   FALSE     7     4
## 3008   предпочтение/s   s   FALSE     6     4
## 4547          холод/s   s   FALSE     2     1
## 
## $text_15
##                  Terms POS Unclear Words Texts
## 2057     непрерывный/a   a   FALSE     4     3
## 2191     образование/s   s   FALSE    39    16
## 2526         очередь/s   s   FALSE    38    18
## 2764     подниматься/v   v   FALSE     4     3
## 2951 потребительский/a   a   FALSE    14    10
## 3129 природоохранный/a   a   FALSE     8     6
## 3494    регулятивный/a   a   FALSE     6     2
## 3998          стадия/s   s   FALSE     8     4
## 4275       убеждение/s   s   FALSE    10     6
## 4500   формироваться/v   v   FALSE    27    19
## 
## $text_16
##                  Terms POS Unclear Words Texts
## 790  действительно/adv adv   FALSE     9     6
## 801             дело/s   s   FALSE    30    17
## 866       добиваться/v   v   FALSE    11     8
## 2360 ориентированный/a   a   FALSE     6     3
## 2423           ответ/s   s   FALSE    24    17
## 2429        отвечать/v   v   FALSE    17    11
## 3600    саморазвитие/s   s   FALSE    24    13
## 3794           смысл/s   s   FALSE    53    25
## 3906        состоять/v   v   FALSE    18    12
## 4400           успех/s   s   FALSE     7     5
## 
## $text_17
##                       Terms POS Unclear Words Texts
## 61            активизация/s   s   FALSE     2     2
## 531              вступать/v   v   FALSE     3     2
## 1003           жизненно/adv adv   FALSE     1     1
## 1938 научнотеоретический?/a   a    TRUE     1     1
## 2513            оформлять/v   v   FALSE     2     2
## 2592          переживание/s   s   FALSE    34    16
## 2609        переоценивать/v   v   FALSE     1     1
## 4187     технократический/a   a   FALSE     2     2
## 4196            типология/s   s   FALSE     2     2
## 4694      эквивалентность/s   s   FALSE     1     1
## 
## $text_18
##                 Terms POS Unclear Words Texts
## 18         plastiki??  NA    TRUE     2     1
## 39        австралия/s   s   FALSE     3     1
## 149         батарея/s   s   FALSE     2     1
## 258         бутылка/s   s   FALSE     6     3
## 307  великобритания/s   s   FALSE     2     1
## 702           город/s   s   FALSE    57    16
## 951           дэвид/s   s   FALSE     7     1
## 1614          лодка/s   s   FALSE     4     1
## 3551       ротшильд/s   s   FALSE     6     1
## 4731     экспедиция/s   s   FALSE     3     1
## 
## $text_19
##                Terms POS Unclear Words Texts
## 52       адаптация/s   s   FALSE    17     7
## 538        входить/v   v   FALSE     5     4
## 1222     излучение/s   s   FALSE     2     1
## 1264       инженер/s   s   FALSE     2     1
## 1328 исследоваться/v   v   FALSE    13     7
## 1382         карта/s   s   FALSE     6     3
## 1410        климат/s   s   FALSE    12     5
## 1422   когнитивный/a   a   FALSE    17    11
## 2984  практический/a   a   FALSE    25    17
## 3943    специалист/s   s   FALSE    13     9
## 
## $text_20
##                  Terms POS Unclear Words Texts
## 75   акцентироваться/v   v   FALSE     2     2
## 589    высвечиваться/v   v   FALSE     2     2
## 1231  изолированно/adv adv   FALSE     2     2
## 2054     непременный/a   a   FALSE     2     2
## 2201       обретение/s   s   FALSE     8     4
## 2246       обыденный/a   a   FALSE    13     8
## 2998      предельный/a   a   FALSE     2     2
## 3597    самопознание/s   s   FALSE   316    44
## 3987        средство/s   s   FALSE    39    16
## 4103        сущность/s   s   FALSE    19     9
## 
## $text_21
##                 Terms POS Unclear Words Texts
## 315          верить/v   v   FALSE     2     2
## 333          ветряк/s   s   FALSE     1     1
## 548          выброс/s   s   FALSE     2     2
## 1040    загрязнение/s   s   FALSE    29    17
## 2395     осознавать/v   v   FALSE    39    25
## 2405        остро/adv adv   FALSE     6     5
## 2904      последний/a   a   FALSE    18    13
## 4522      халатно/adv adv   FALSE     1     1
## 4523       халатный/a   a   FALSE     1     1
## 4742 электроэнергия/s   s   FALSE     1     1
## 
## $text_22
##                    Terms POS Unclear Words Texts
## 1116     застенчивость/s   s   FALSE     3     1
## 1199     идентификация/s   s   FALSE     9     5
## 1708         местность/s   s   FALSE    16     8
## 2643    персонализация/s   s   FALSE     4     2
## 2712          повесить/v   v   FALSE     2     1
## 2779      подтверждать/v   v   FALSE     2     1
## 3971         сравнение/s   s   FALSE    11     5
## 4175 территориальность/s   s   FALSE     2     1
## 4177        территория/s   s   FALSE    23     9
## 4530    характеристика/s   s   FALSE    32    19
## 
## $text_23
##                 Terms POS Unclear Words Texts
## 84           аналог/s   s   FALSE     1     1
## 132             аэс/s   s   FALSE     1     1
## 151            беда/s   s   FALSE     1     1
## 1647         мало/adv adv   FALSE     9     7
## 2320        опасный/a   a   FALSE     3     2
## 3646 своевременно/adv adv   FALSE     2     1
## 4177     территория/s   s   FALSE    23     9
## 4545  хозяйственный/a   a   FALSE     5     4
## 4705   экологизация/s   s   FALSE     6     4
## 4706 экологически/adv adv   FALSE    18    12
## 
## $text_24
##                   Terms POS Unclear Words Texts
## 76     альтернативный/a   a   FALSE     3     2
## 112           арсенал/s   s   FALSE     5     3
## 131       аффективный/a   a   FALSE     3     2
## 2399     осознанность/s   s   FALSE    12     5
## 2505            отчет/s   s   FALSE     2     1
## 2515 охарактеризовать/v   v   FALSE     4     3
## 2549         параметр/s   s   FALSE     7     4
## 2630       переходить/v   v   FALSE     5     3
## 3863   сознательность/s   s   FALSE     5     1
## 4194              тип/s   s   FALSE    39    15
## 
## $text_25
##                  Terms POS Unclear Words Texts
## 562         выживать/v   v   FALSE     4     3
## 888         должно/adv adv   FALSE    15    13
## 1521          кризис/s   s   FALSE    40    14
## 2360 ориентированный/a   a   FALSE     6     3
## 3117        принятие/s   s   FALSE    11     6
## 3464      расширение/s   s   FALSE     8     6
## 4076         субъект/s   s   FALSE    39    14
## 4103        сущность/s   s   FALSE    19     9
## 4686        эволюция/s   s   FALSE     9     6
## 4712       эколого/com com   FALSE     9     7
## 
## $text_26
##              Terms POS Unclear Words Texts
## 318    вернуться/v   v   FALSE     3     1
## 1008      жилище/s   s   FALSE     5     3
## 1040 загрязнение/s   s   FALSE    29    17
## 1474 конференция/s   s   FALSE     3     1
## 3044    препарат/s   s   FALSE     5     1
## 3173     прогноз/s   s   FALSE     3     1
## 3510 религиозный/a   a   FALSE     8     3
## 3918   сохранять/v   v   FALSE    15     8
## 4605    частичка/s   s   FALSE     4     2
## 4679         шум/s   s   FALSE     9     5
## 
## $text_27
##                Terms POS Unclear Words Texts
## 218            бог/s   s   FALSE     8     5
## 250        буддизм/s   s   FALSE     3     1
## 957       единение/s   s   FALSE     3     1
## 1183      зрелость/s   s   FALSE     7     4
## 1775 моделирование/s   s   FALSE     7     4
## 2106       нирвана/s   s   FALSE     6     1
## 3597  самопознание/s   s   FALSE   316    44
## 3823   совершенный/a   a   FALSE     7     3
## 3987      средство/s   s   FALSE    39    16
## 4670         шкала/s   s   FALSE     4     2
## 
## $text_28
##               Terms POS Unclear Words Texts
## 544         выбор/s   s   FALSE    22    12
## 963        единый/a   a   FALSE     9     6
## 1383      картина/s   s   FALSE     7     5
## 1823     мышление/s   s   FALSE    30    17
## 2376   осмысление/s   s   FALSE    12     9
## 2953  потребность/s   s   FALSE    60    23
## 3519 рефлексивный/a   a   FALSE    13     9
## 3522    рефлексия/s   s   FALSE    28    18
## 4258         труд/s   s   FALSE    10     6
## 4584    целостный/a   a   FALSE     6     5
## 
## $text_29
##                    Terms POS Unclear Words Texts
## 109         аристотель/s   s   FALSE     3     2
## 671         гиппократ?/s   s    TRUE     2     1
## 1410            климат/s   s   FALSE    12     5
## 1567          ландшафт/s   s   FALSE     4     3
## 1573             левин/s   s   FALSE     3     2
## 1991       независимый/a   a   FALSE     3     2
## 2045 непосредственно/adv adv   FALSE    14     8
## 2246         обыденный/a   a   FALSE    13     8
## 3823       совершенный/a   a   FALSE     7     3
## 4014         стереотип/s   s   FALSE    10     7
## 
## $text_30
##                Terms POS Unclear Words Texts
## 531       вступать/v   v   FALSE     3     2
## 1699       менее/adv adv   FALSE    13     9
## 2293      означать/v   v   FALSE     7     4
## 2490 отрицательный/a   a   FALSE    12     8
## 2701    побуждение/s   s   FALSE     3     2
## 2850 положительный/a   a   FALSE    13     9
## 2934      поступок/s   s   FALSE    25    14
## 3598 самопринятие?/s   s    TRUE     4     3
## 3608  самосознание/s   s   FALSE    54    15
## 3698       сильный/a   a   FALSE    13     8
## 
## $text_31
##                    Terms POS Unclear Words Texts
## 185   бессознательно/adv adv   FALSE     1     1
## 462         воспитание/s   s   FALSE    12     8
## 1492          короче/adv adv   FALSE     1     1
## 2397         осознание/s   s   FALSE    47    28
## 2414    осуществляться/v   v   FALSE    15     9
## 2824          покорять/v   v   FALSE     1     1
## 3064         прививать/v   v   FALSE     1     1
## 3571 самоактуализация?/s   s    TRUE    11     8
## 3839          согласие/s   s   FALSE     3     2
## 4312              удар/s   s   FALSE     1     1
## 
## $text_32
##                Terms POS Unclear Words Texts
## 360     взрослость/s   s   FALSE     4     1
## 361       взрослый/a   a   FALSE     5     3
## 438        возраст/s   s   FALSE    18     7
## 1177 значительно/adv adv   FALSE     6     4
## 2772  подростковый/a   a   FALSE     8     3
## 2773     подросток/s   s   FALSE     6     2
## 3483       ребенок/s   s   FALSE    49    16
## 3568           сад/s   s   FALSE     4     2
## 4671         школа/s   s   FALSE    21     8
## 4672      школьник/s   s   FALSE     9     4
## 
## $text_33
##                   Terms POS Unclear Words Texts
## 59     аккумулировать/v   v   FALSE     3     2
## 408           вносить/v   v   FALSE    13     8
## 612            выше/adv adv   FALSE     5     4
## 1138         заявлять/v   v   FALSE     2     1
## 1254          индивид/s   s   FALSE    39    18
## 2201        обретение/s   s   FALSE     8     4
## 2547        параллель/s   s   FALSE     2     1
## 3597     самопознание/s   s   FALSE   316    44
## 3794            смысл/s   s   FALSE    53    25
## 4696 экзистенциальный/a   a   FALSE     2     1
## 
## $text_34
##                    Terms POS Unclear Words Texts
## 266              бытие/s   s   FALSE    17    11
## 931               друг/s   s   FALSE    37    15
## 1343          исходный/a   a   FALSE     3     1
## 1447         компонент/s   s   FALSE    23    12
## 1609            логика/s   s   FALSE     4     1
## 2239         объектный/a   a   FALSE     4     1
## 3590 самоосуществление/s   s   FALSE     4     1
## 3608      самосознание/s   s   FALSE    54    15
## 4076           субъект/s   s   FALSE    39    14
## 4103          сущность/s   s   FALSE    19     9
## 
## $text_35
##                Terms POS Unclear Words Texts
## 137           база/s   s   FALSE     2     2
## 527   встраиваться/v   v   FALSE     1     1
## 1216     извлекать/v   v   FALSE     1     1
## 1379  кардинальный/a   a   FALSE     2     2
## 2446 откладываться/v   v   FALSE     1     1
## 2774   подсознание/s   s   FALSE     8     6
## 3100    применимый/a   a   FALSE     1     1
## 3170     проводник/s   s   FALSE     1     1
## 3792         смочь/v   v   FALSE    11     6
## 4676        шопинг/s   s   FALSE     1     1
## 
## $text_36
##                 Terms POS Unclear Words Texts
## 50         агрессия/s   s   FALSE     5     2
## 853      дисциплина/s   s   FALSE    43    25
## 968    екатеринбург/s   s   FALSE     2     1
## 1468 контактировать/v   v   FALSE     3     1
## 1649     маловажный/a   a   FALSE     2     1
## 1856         надо/adv adv   FALSE    17     8
## 1914    насколько/adv adv   FALSE     8     5
## 2865       помогать/v   v   FALSE    55    25
## 3697       сильно/adv adv   FALSE     7     5
## 4177     территория/s   s   FALSE    23     9
## 
## $text_37
##                    Terms POS Unclear Words Texts
## 343      взаимовлияние/s   s   FALSE     4     3
## 1179           значить/v   v   FALSE     8     6
## 1689 медико-социальный/a   a   FALSE     1     1
## 1829                 н/s   s   FALSE    13     8
## 2592       переживание/s   s   FALSE    34    16
## 2873           понятие/s   s   FALSE    70    31
## 3303       психолого/com com   FALSE     7     5
## 3348          радиация/s   s   FALSE     6     4
## 3830         советский/a   a   FALSE    13     3
## 4489       философский/a   a   FALSE    10     8
## 
## $text_38
##                          Terms POS Unclear Words Texts
## 718               грамотно/adv adv   FALSE     7     3
## 1684               мегаполис/s   s   FALSE     9     4
## 2139                нынешний/a   a   FALSE     3     2
## 2150             обеспечение/s   s   FALSE     5     4
## 2629                 переход/s   s   FALSE     4     3
## 2633           перечисленный/a   a   FALSE     2     1
## 3189                 продукт/s   s   FALSE     6     5
## 3241            пространство/s   s   FALSE    52    20
## 3915              сохранение/s   s   FALSE    27    17
## 3924 социально-экономический/a   a   FALSE     4     3
## 
## $text_39
##                  Terms POS Unclear Words Texts
## 15                ii??  NA    TRUE     2     1
## 928  древнеиндийский/a   a   FALSE     2     1
## 1099          запрет/s   s   FALSE     2     1
## 1521          кризис/s   s   FALSE    40    14
## 1546        культура/s   s   FALSE    43    18
## 2636          период/s   s   FALSE    29    12
## 2731        погибать/v   v   FALSE     2     1
## 2815           пойти/v   v   FALSE     2     1
## 3419    разъединение/s   s   FALSE     2     1
## 3510     религиозный/a   a   FALSE     8     3
## 
## $text_40
##                 Terms POS Unclear Words Texts
## 473      восприятие/s   s   FALSE    71    32
## 702           город/s   s   FALSE    57    16
## 1192           игра/s   s   FALSE     8     3
## 1238        иллюзия/s   s   FALSE     7     3
## 1531      кронштадт/s   s   FALSE     7     1
## 1651 малонаселенный/a   a   FALSE     7     1
## 1684      мегаполис/s   s   FALSE     9     4
## 2795          пожар/s   s   FALSE     6     2
## 3241   пространство/s   s   FALSE    52    20
## 3674       сельский/a   a   FALSE    14     7
## 
## $text_41
##                       Terms POS Unclear Words Texts
## 348       взаимозависимый/a   a   FALSE     1     1
## 487            вписывание/s   s   FALSE     1     1
## 491              вполне/adv adv   FALSE     5     4
## 578            выражаться/v   v   FALSE     8     7
## 595  высокоорганизованный/a   a   FALSE     1     1
## 1102           запросто/adv adv   FALSE     2     1
## 3117             принятие/s   s   FALSE    11     6
## 3608         самосознание/s   s   FALSE    54    15
## 4583          целостность/s   s   FALSE     7     6
## 4653         чувствование/s   s   FALSE     5     2
## 
## $text_42
##                 Terms POS Unclear Words Texts
## 580    выраженность/s   s   FALSE     2     1
## 851      диспозиция/s   s   FALSE     2     1
## 1259 индивидуальный/a   a   FALSE    41    23
## 2172     обобщенный/a   a   FALSE     6     4
## 2226   общественный/a   a   FALSE    62    34
## 3210  происхождение/s   s   FALSE     7     5
## 3726     склонность/s   s   FALSE     6     5
## 3844     содержание/s   s   FALSE    21    15
## 4103       сущность/s   s   FALSE    19     9
## 4702 экодиспозиция?/s   s    TRUE     3     1
## 
## $text_43
##                 Terms POS Unclear Words Texts
## 172       бережно/adv adv   FALSE     3     2
## 306         великий/a   a   FALSE     3     2
## 478  восстановление/s   s   FALSE     5     4
## 1410         климат/s   s   FALSE    12     5
## 1902          народ/s   s   FALSE     8     6
## 2855         польза/s   s   FALSE     6     5
## 2937      потенциал/s   s   FALSE    23    14
## 3665    сегодняшний/a   a   FALSE     5     4
## 3912          сотня/s   s   FALSE     3     2
## 4085         судьба/s   s   FALSE     2     1
## 
## $text_44
##                    Terms POS Unclear Words Texts
## 81       анализировать/v   v   FALSE    16    12
## 112            арсенал/s   s   FALSE     5     3
## 1392      качественный/a   a   FALSE     6     5
## 2333       определение/s   s   FALSE    30    18
## 2340       оптимальный/a   a   FALSE     9     6
## 3648       своеобразие/s   s   FALSE    11     9
## 3689         серьезный/a   a   FALSE     4     3
## 3792             смочь/v   v   FALSE    11     6
## 4047         стратегия/s   s   FALSE    16    11
## 4105 сформированность?/s   s    TRUE     5     3
## 
## $text_45
##              Terms POS Unclear Words Texts
## 56    адекватный/a   a   FALSE    11     7
## 1029    зависеть/v   v   FALSE    28    17
## 1225  изменяться/v   v   FALSE    10     7
## 1856      надо/adv adv   FALSE    17     8
## 1890 направление/s   s   FALSE    70    29
## 3516      ресурс/s   s   FALSE    32    21
## 3549      россия/s   s   FALSE    10     6
## 3837 современный/a   a   FALSE    50    27
## 4305    угрожать/v   v   FALSE     5     3
## 4454      ученый/s   s   FALSE    15     9
## 
## $text_46
##               Terms POS Unclear Words Texts
## 718    грамотно/adv adv   FALSE     7     3
## 735      грязно/adv adv   FALSE     2     1
## 797        делать/v   v   FALSE    32    16
## 1403        класс/s   s   FALSE     4     2
## 3453 расстройство/s   s   FALSE     5     3
## 3483      ребенок/s   s   FALSE    49    16
## 3538     родитель/s   s   FALSE    10     6
## 4260    трудность/s   s   FALSE     4     2
## 4280      убирать/v   v   FALSE     6     3
## 4671        школа/s   s   FALSE    21     8
## 
## $text_47
##                 Terms POS Unclear Words Texts
## 340            вещь/s   s   FALSE    15    11
## 696          голова/s   s   FALSE     8     6
## 1082       замечать/v   v   FALSE    26    17
## 1438        комната/s   s   FALSE    10     7
## 1767 многочисленный/a   a   FALSE     6     4
## 1815          мусор/s   s   FALSE    10     5
## 1835    наблюдаться/v   v   FALSE     5     4
## 3272         прочий/a   a   FALSE     5     4
## 3632           свет/s   s   FALSE     4     3
## 4418     устраивать/v   v   FALSE     5     4
## 
## $text_48
##            Terms POS Unclear Words Texts
## 624      газон/s   s   FALSE     4     2
## 1288  интернет/s   s   FALSE     6     3
## 2079     нет/adv adv   FALSE    10     6
## 2811  познание/s   s   FALSE    74    35
## 3263 профессия/s   s   FALSE     6     4
## 3691      сеть/s   s   FALSE     2     1
## 3729 сколько/adv adv   FALSE     4     3
## 4184   техника/s   s   FALSE     5     4
## 4256  тропинка/s   s   FALSE     2     1
## 4451   учебный/a   a   FALSE     8     6
## 
## $text_49
##                     Terms POS Unclear Words Texts
## 211  благоприятствовать/v   v   FALSE     1     1
## 328               вести/v   v   FALSE    17    12
## 338              вешать/v   v   FALSE     2     1
## 726            граффити/s   s   FALSE     1     1
## 1467            контакт/s   s   FALSE    12     7
## 3078          придавать/v   v   FALSE     3     2
## 3259         протяжение/s   s   FALSE     8     7
## 3390        размышление/s   s   FALSE     8     6
## 4002        становление/s   s   FALSE    16    11
## 4673           школьный/a   a   FALSE     6     4
## 
## $text_50
##                  Terms POS Unclear Words Texts
## 579        выражение/s   s   FALSE     5     4
## 645     генетический/a   a   FALSE     2     1
## 909        дословный/a   a   FALSE     2     1
## 927  древнегреческий/a   a   FALSE     3     2
## 943             душа/s   s   FALSE    11     6
## 1022          забота/s   s   FALSE     7     5
## 1199   идентификация/s   s   FALSE     9     5
## 2576         перевод/s   s   FALSE     4     3
## 3016  представляться/v   v   FALSE    10     8
## 4802            язык/s   s   FALSE     5     4
## 
## $text_51
##               Terms POS Unclear Words Texts
## 207        благой/a   a   FALSE     1     1
## 247       брунер?/s   s    TRUE     1     1
## 1027   завершение/s   s   FALSE     1     1
## 1062 закодировать/v   v   FALSE     1     1
## 1708    местность/s   s   FALSE    16     8
## 1854   надлежащий/a   a   FALSE     1     1
## 2018   немыслимый/a   a   FALSE     1     1
## 2238  объективный/a   a   FALSE    28    13
## 2425     ответный/a   a   FALSE     1     1
## 3835    совпадать/v   v   FALSE     9     5
## 
## $text_52
##                Terms POS Unclear Words Texts
## 434    возможность/s   s   FALSE    76    34
## 750         давать/v   v   FALSE    62    32
## 2026     необычный/a   a   FALSE     4     3
## 2257   ограничение/s   s   FALSE     3     2
## 2486       отрасль/s   s   FALSE    15    10
## 2895       порядок/s   s   FALSE    10     5
## 4241    требование/s   s   FALSE     4     3
## 4292       увидеть/v   v   FALSE    10     7
## 4319       удобный/a   a   FALSE     3     1
## 4737 экстремальный/a   a   FALSE     8     4
## 
## $text_53
##              Terms POS Unclear Words Texts
## 56    адекватный/a   a   FALSE    11     7
## 1029    зависеть/v   v   FALSE    28    17
## 1225  изменяться/v   v   FALSE    10     7
## 1856      надо/adv adv   FALSE    17     8
## 1890 направление/s   s   FALSE    70    29
## 3516      ресурс/s   s   FALSE    32    21
## 3549      россия/s   s   FALSE    10     6
## 3837 современный/a   a   FALSE    50    27
## 4305    угрожать/v   v   FALSE     5     3
## 4454      ученый/s   s   FALSE    15     9
## 
## $text_54
##                  Terms POS Unclear Words Texts
## 352  взаимопонимание/s   s   FALSE     1     1
## 418        вовлекать/v   v   FALSE     1     1
## 424     возвращаться/v   v   FALSE     1     1
## 687         глубокий/a   a   FALSE    10     8
## 2074    несомненно/adv adv   FALSE     8     7
## 2301  окончательно/adv adv   FALSE     3     2
## 3112       приносить/v   v   FALSE     9     8
## 4143          тандем/s   s   FALSE     2     1
## 4290     уверенность/s   s   FALSE     8     6
## 4598     цивилизация/s   s   FALSE    26    14
## 
## $text_55
##                  Terms POS Unclear Words Texts
## 213    благотворно/adv adv   FALSE     1     1
## 357  взволнованность/s   s   FALSE     1     1
## 453      воображение/s   s   FALSE     1     1
## 473       восприятие/s   s   FALSE    71    32
## 1049     задерживать/v   v   FALSE     1     1
## 1421  когнитивность?/s   s    TRUE     3     1
## 1422     когнитивный/a   a   FALSE    17    11
## 3117        принятие/s   s   FALSE    11     6
## 3377    раздражитель/s   s   FALSE     5     4
## 4020   стимулировать/v   v   FALSE    16    13
## 
## $text_56
##                  Terms POS Unclear Words Texts
## 91          ансамбль/s   s   FALSE     4     1
## 116      архитектура/s   s   FALSE    16     6
## 117    архитектурный/a   a   FALSE     9     3
## 1118       застройка/s   s   FALSE     3     1
## 1146          здание/s   s   FALSE     9     2
## 1831      набережная/s   s   FALSE     7     1
## 2117 новосмоленский?/a   a    TRUE     3     1
## 3467     рационализм/s   s   FALSE     3     1
## 3830       советский/a   a   FALSE    13     3
## 3854        создание/s   s   FALSE    23    14
## 
## $text_57
##                 Terms POS Unclear Words Texts
## 79     американский/a   a   FALSE     1     1
## 705       городской/a   a   FALSE    41    18
## 891             дом/s   s   FALSE    32    14
## 1067 закономерность/s   s   FALSE    17    14
## 2130      нравиться/v   v   FALSE     7     4
## 2440          отдых/s   s   FALSE    11     8
## 2852       получать/v   v   FALSE    39    24
## 3263      профессия/s   s   FALSE     6     4
## 3507  рекреационный/a   a   FALSE     7     6
## 4217       торговый/a   a   FALSE    13     7
## 
## $text_58
##                    Terms POS Unclear Words Texts
## 56          адекватный/a   a   FALSE    11     7
## 620                  г/s   s   FALSE     5     3
## 666     гиперболизация/s   s   FALSE     2     1
## 980            жалко/adv adv   FALSE     4     2
## 2207     обуславливать/v   v   FALSE     4     3
## 2648     перцептивный?/a   a    TRUE     3     2
## 3040   преобразовывать/v   v   FALSE     4     3
## 3556 руководствоваться/v   v   FALSE     5     3
## 4575    целеполагающий/a   a   FALSE     2     1
## 4690       эгоистичный/a   a   FALSE     2     1
## 
## $text_59
##                  Terms POS Unclear Words Texts
## 128  аудиовизуальный/a   a   FALSE     1     1
## 139          базовый/a   a   FALSE     7     6
## 788      действенный/a   a   FALSE     1     1
## 1550   культурология/s   s   FALSE     1     1
## 2387      основывать/v   v   FALSE     8     6
## 3016  представляться/v   v   FALSE    10     8
## 3597    самопознание/s   s   FALSE   316    44
## 3604   саморегуляция/s   s   FALSE     9     7
## 3608    самосознание/s   s   FALSE    54    15
## 4498    формирование/s   s   FALSE    98    38
## 
## $text_60
##                  Terms POS Unclear Words Texts
## 1297  информационный/a   a   FALSE    18    13
## 1659 манипулятивный?/a   a    TRUE     2     1
## 1660     манипуляция/s   s   FALSE     2     1
## 2771      подробно/adv adv   FALSE     5     3
## 3113     принуждение/s   s   FALSE     4     1
## 3355       разбирать/v   v   FALSE     3     2
## 3916     сохранность/s   s   FALSE     2     1
## 4132          тайный/a   a   FALSE     5     2
## 4161            тема/s   s   FALSE    21    16
## 4686        эволюция/s   s   FALSE     9     6
## 
## $text_61
##                 Terms POS Unclear Words Texts
## 444        вокруг/adv adv   FALSE     4     3
## 622             газ/s   s   FALSE     2     1
## 1000       животное/s   s   FALSE    18    13
## 1023     заботиться/v   v   FALSE    10     4
## 1043     загрязнять/v   v   FALSE     4     3
## 1733        миллион/s   s   FALSE     2     1
## 2619 пересаживаться/v   v   FALSE     2     1
## 3540         родной/a   a   FALSE     3     2
## 4214          тонна/s   s   FALSE     2     1
## 4284        уважать/v   v   FALSE     4     3
## 
## $text_62
##               Terms POS Unclear Words Texts
## 882    доказывать/v   v   FALSE     4     3
## 1148     здоровый/a   a   FALSE    10     8
## 1322   исправлять/v   v   FALSE    13     9
## 1575      легко/adv adv   FALSE     6     5
## 2671  планетарный/a   a   FALSE     2     1
## 2893      портить/v   v   FALSE     4     3
## 3608 самосознание/s   s   FALSE    54    15
## 3792        смочь/v   v   FALSE    11     6
## 4279      убивать/v   v   FALSE     3     2
## 4362   уничтожать/v   v   FALSE     5     4
## 
## $text_63
##                    Terms POS Unclear Words Texts
## 617           выявлять/v   v   FALSE     9     7
## 1087        заниматься/v   v   FALSE    24    18
## 1327       исследовать/v   v   FALSE     7     5
## 1986       недоступный/a   a   FALSE     2     1
## 2045 непосредственно/adv adv   FALSE    14     8
## 3221        пропаганда/s   s   FALSE     5     3
## 3482          реальный/a   a   FALSE    20    15
## 3984         средовой?/a   a    TRUE    12     8
## 4000      сталкиваться/v   v   FALSE    14    10
## 4217          торговый/a   a   FALSE    13     7
## 
## $text_64
##                   Terms POS Unclear Words Texts
## 2                   c??  NA    TRUE     1     1
## 814          дерябой?/a   a    TRUE    11     8
## 854  дифференцировать/v   v   FALSE     1     1
## 2166       обнажаться/v   v   FALSE     1     1
## 2760      подкреплять/v   v   FALSE     1     1
## 3021   предшествовать/v   v   FALSE     1     1
## 3058  приблизительный/a   a   FALSE     1     1
## 3227           прорыв/s   s   FALSE     1     1
## 4210           толчок/s   s   FALSE     4     3
## 4402         успешный/a   a   FALSE     5     4
## 
## $text_65
##               Terms POS Unclear Words Texts
## 29             xx??  NA    TRUE    14    10
## 2238  объективный/a   a   FALSE    28    13
## 2333  определение/s   s   FALSE    30    18
## 2592  переживание/s   s   FALSE    34    16
## 2594 переживаться/v   v   FALSE     6     5
## 2874   понятийный/a   a   FALSE     5     3
## 3303  психолого/com com   FALSE     7     5
## 3348     радиация/s   s   FALSE     6     4
## 3830    советский/a   a   FALSE    13     3
## 3835    совпадать/v   v   FALSE     9     5
## 
## $text_66
##              Terms POS Unclear Words Texts
## 920    доступный/a   a   FALSE     9     8
## 1350        итог/s   s   FALSE     8     7
## 1553        курс/s   s   FALSE    11     8
## 3102   применять/v   v   FALSE     7     6
## 3409  разрешение/s   s   FALSE     7     6
## 3516      ресурс/s   s   FALSE    32    21
## 3920        соц?/s   s    TRUE     2     1
## 4217    торговый/a   a   FALSE    13     7
## 4598 цивилизация/s   s   FALSE    26    14
## 4671       школа/s   s   FALSE    21     8
## 
## $text_67
##                 Terms POS Unclear Words Texts
## 302             век/s   s   FALSE    24    14
## 702           город/s   s   FALSE    57    16
## 1203           идея/s   s   FALSE    28    16
## 1327    исследовать/v   v   FALSE     7     5
## 2552           парк/s   s   FALSE     8     5
## 2963        почти/adv adv   FALSE     6     4
## 3047 препятствовать/v   v   FALSE     5     4
## 4064  строительство/s   s   FALSE     3     2
## 4163           темп/s   s   FALSE     6     5
## 4203          товар/s   s   FALSE     3     1