summary(cars)
## speed dist
## Min. : 4.0 Min. : 2.00
## 1st Qu.:12.0 1st Qu.: 26.00
## Median :15.0 Median : 36.00
## Mean :15.4 Mean : 42.98
## 3rd Qu.:19.0 3rd Qu.: 56.00
## Max. :25.0 Max. :120.00
library(stringr)
library(dplyr)
## Warning: パッケージ 'dplyr' はバージョン 4.5.3 の R の下で造られました
##
## 次のパッケージを付け加えます: 'dplyr'
## 以下のオブジェクトは 'package:stats' からマスクされています:
##
## filter, lag
## 以下のオブジェクトは 'package:base' からマスクされています:
##
## intersect, setdiff, setequal, union
library(tidyr)
library(jsonlite)
library(ggplot2)
library(httr)
# SSD内の保存先を指定
save_dir <- "D:\\ngram\\output\\20261113_共起_category"
pair_year_complete <- readRDS(
file.path(save_dir, "pair_year_complete.rds")
)
# カテゴリー別の絶対共起頻度
pair_year_complete_category <- readRDS(
file.path(save_dir, "pair_year_complete_category.rds")
)
# カテゴリー別の相対共起頻度
relative_freq <- readRDS(
file.path(save_dir, "relative_freq.rds")
)
# 中心語の年別出現頻度
long_center_freq <- readRDS(
file.path(save_dir, "long_center_freq.rds")
)
# カテゴリーの語句定義
sentiment_groups_2 <- readRDS(
file.path(save_dir, "sentiment_groups_2.rds")
)
# =========================
# warning_wordsを意味ごとにグループ化
# =========================
warning_group1 <- c(
"異常",
"過剰",
"過度",
"過大",
"過熱",
"行き過ぎ",
"行きすぎ",
"割高"
)
warning_group2 <- c(
"狂騒",
"狂熱",
"熱狂",
"狂乱",
"投機",
"熱"
)
warning_group3 <- c(
"懸念",
"警戒",
"危惧",
"不安",
"危険",
"懐疑",
"疑念",
"慎重",
"注意"
)
warning_group4 <- c(
"天井",
"頭打ち",
"ピーク",
"反落",
"下落",
"急落",
"暴落",
"値崩れ"
)
warning_group5 <- c(
"はじける",
"弾ける",
"崩れる",
"崩壊",
"破綻"
)
warning_group6 <- c(
"高騰",
"急騰",
"暴騰"
)
warning_group7 <- c(
"楽観"
)
# =========================
# グラフ作成用関数
# =========================
plot_warning_group <- function(data, center, words, plot_title) {
data |>
filter(
center_word == center,
warning_word %in% words
) |>
mutate(
warning_word = factor(
warning_word,
levels = words
)
) |>
ggplot(
aes(
x = year,
y = frequency
)
) +
geom_line(linewidth = 0.8) +
geom_point(size = 1.2) +
facet_wrap(
~ warning_word,
scales = "free_y",
ncol = 3,
drop = FALSE
) +
scale_x_continuous(
breaks = seq(1975, 2000, 5)
) +
labs(
title = plot_title,
subtitle = paste0("中心語:「", center, "」"),
x = "年",
y = "出現頻度"
) +
theme_bw(base_size = 10)
}
# =========================
# 「土地」のグラフをグループ別に表示
# =========================
plot_warning_group(
pair_year_complete,
"土地",
warning_group1,
"異常・過剰・過熱に関する語"
)
plot_warning_group(
pair_year_complete,
"土地",
warning_group2,
"狂騒・熱狂に関する語"
)
plot_warning_group(
pair_year_complete,
"土地",
warning_group3,
"警戒・懸念に関する語"
)
plot_warning_group(
pair_year_complete,
"土地",
warning_group4,
"ピーク・反転・下落に関する語"
)
plot_warning_group(
pair_year_complete,
"土地",
warning_group5,
"崩壊・持続不能に関する語"
)
plot_warning_group(
pair_year_complete,
"土地",
warning_group6,
"急激な上昇に関する語"
)
plot_warning_group(
pair_year_complete,
"土地",
warning_group7,
"楽観に関する語"
)
# ========================================
# 新しい分類:sentiment_groups
# ========================================
# A. 異常性・過剰・過熱(主分析)
sentiment_group_A <- c(
"異常",
"過剰",
"過度",
"過大",
"過熱",
"行き過ぎ",
"行きすぎ",
"割高",
"過大評価",
"狂騒",
"狂熱",
"狂乱"
)
# B. 警戒・懸念・不安(主分析)
sentiment_group_B <- c(
"懸念",
"警戒",
"危惧",
"不安",
"危険",
"懐疑",
"疑念",
"慎重",
"注意"
)
# C. 上昇の限界・反転・崩壊(主分析)
sentiment_group_C <- c(
"天井",
"頭打ち",
"ピーク",
"反落",
"下落",
"急落",
"暴落",
"値崩れ",
"はじける",
"弾ける",
"崩れる",
"崩壊",
"破綻"
)
# D. 投機・熱狂(補助分析)
sentiment_group_D <- c(
"熱狂",
"投機",
"熱"
)
# E. 急激な価格上昇(補助分析)
sentiment_group_E <- c(
"高騰",
"急騰",
"暴騰"
)
# F. 調整(補助分析)
sentiment_group_F <- c(
"調整"
)
# G. 楽観(比較用)
sentiment_group_G <- c(
"楽観"
)
# ========================================
# カテゴリーを1つのリストにまとめる
# ========================================
sentiment_groups <- list(
A = sentiment_group_A,
B = sentiment_group_B,
C = sentiment_group_C,
D = sentiment_group_D,
E = sentiment_group_E,
F = sentiment_group_F,
G = sentiment_group_G
)
sentiment_groups_2 <- list(
A = sentiment_group_A,
B = sentiment_group_B,
C = sentiment_group_C,
H = c(sentiment_group_D,
sentiment_group_E,
sentiment_group_F,
sentiment_group_G)
)
# ========================================
# 分析区分
# ========================================
main_groups <- c("A", "B", "C")
supplementary_groups <- c("D", "E", "F")
comparison_groups <- c("G")
sub_group <- c("熱狂",
"投機",
"熱",
"高騰",
"急騰",
"暴騰",
#"調整",
"楽観")
###株
plot_warning_group(
pair_year_complete,
"株",
sentiment_group_A, "異常性・過剰・過熱"
)
plot_warning_group(
pair_year_complete,
"株",
sentiment_group_B, "警戒・懸念・不安"
)
plot_warning_group(
pair_year_complete,
"株",
sentiment_group_C, "上昇の限界・反転・崩壊"
)
plot_warning_group(
pair_year_complete,
"株",
sub_group, "その他"
)
A. 異常性・過剰・過熱 「異常」「過熱」は1987年前後に増加。ブラックマンデーの影響が考えられ、平成バブル固有の異常性の認識とは断定できない。一方、「割高」は1980年代後半から増加傾向が見られる。 B. 警戒・懸念・不安 「警戒」「不安」は1980年代後半にも比較的多く出現。「懸念」は1990年代に増加が目立つ。ただし、何に対する警戒かは不明。 C. 上昇の限界・反転・崩壊 「下落」「急落」「暴落」は1980年代にも出現。ただし、1987年の実際の株価下落などを反映している可能性があり、将来の崩壊予想とは区別が必要。 D. 投機・熱狂(補助) 「投機」は1980年代後半に増加する一方、「熱」は1980年代を通じて増加。市場の盛り上がりを示す可能性があるが、警戒の証拠にはならない。 E. 急激な価格上昇(補助) 「高騰」「急騰」「暴騰」は1980年代後半にも多く出現。急激な価格変動への言及を捉えている可能性がある。 F. 調整(補助) 価格調整以外の意味が混在しやすいため、警戒の指標としては使用しない方向。 G. 楽観(比較用) 出現頻度が非常に少なく、明確な時系列傾向は読み取りにくい。
「異常」や「過熱」の1987年前後の山はブラックマンデーという別の出来事で説明できる可能性があります。一方、「割高」は、価格水準への評価を表すため、バブル期の株価が高すぎるという認識を捉えている可能性があります。
ただし、出版物の増加によって絶対頻度が上昇しているだけかもしれないので、相対頻度での確認が必要
plot_warning_group(
pair_year_complete,
"株式",
sentiment_group_A, "異常性・過剰・過熱"
)
plot_warning_group(
pair_year_complete,
"株式",
sentiment_group_B, "警戒・懸念・不安"
)
plot_warning_group(
pair_year_complete,
"株式",
sentiment_group_C, "上昇の限界・反転・崩壊"
)
plot_warning_group(
pair_year_complete,
"株式",
sub_group, "その他"
)
A. 異常性・過剰・過熱 「異常」「過熱」は1987年前後に急増。ブラックマンデーやその前の株高との関連が考えられる。「割高」は1989~1990年頃に増えるが、頻度は少ない。「過剰」「過大」は主に1990年代の増加が目立つ。 B. 警戒・懸念・不安 「懸念」「不安」は1987~1989年頃から増加しており、注目に値する。一方、「警戒」は1980年代前半にも山があり、明確な増加傾向はない。 C. 上昇の限界・反転・崩壊 「暴落」は1987年頃に突出して増加。ブラックマンデーの影響が強く疑われる。「下落」「急落」も1980年代後半に増えるが、実際の株価下落の記述と区別が必要。「崩壊」は主に1990年代に増加する。 D. 投機・熱狂(補助) 「投機」は1980年代後半に増加し、1989年前後も高い。一方、「熱」は全期間で比較的多く、バブル期特有の増加は確認しにくい。 E. 急激な価格上昇(補助) 「高騰」「急騰」「暴騰」は1987年前後に増加。「高騰」はその後減少する。警戒の直接的な証拠ではない。 F. 調整(補助) 今回の研究目的との関連が弱い可能性があり、主分析には含めない。 G. 楽観(比較用) 出現頻度が極めて少なく、明確な傾向は読み取れない。
「株式」を中心語とした分析では、1987年前後に異常性や価格変動に関する表現が増加している。また、「懸念」「不安」は1980年代後半に比較的多く出現している。しかし、これらの変化にはブラックマンデーの影響が考えられ、日本の平成バブルに対する事前の警戒を示すものかは判別できない。
「株」と「株式」の共通点は、1987年前後の変化が目立つこと。一方、1980年代後半に日本のバブルへの警戒が継続的に強まっていたという明確な証拠は、現時点では得られていないと整理するのが妥当だと思います。
plot_warning_group(
pair_year_complete,
"株価",
sentiment_group_A, "異常性・過剰・過熱"
)
plot_warning_group(
pair_year_complete,
"株価",
sentiment_group_B, "警戒・懸念・不安"
)
plot_warning_group(
pair_year_complete,
"株価",
sentiment_group_C, "上昇の限界・反転・崩壊"
)
plot_warning_group(
pair_year_complete,
"株価",
sub_group, "その他"
)
A. 異常性・過剰・過熱 「異常」は1986年頃から急増し、1988~1989年も高い。「過熱」は1987年頃に突出。「割高」は1980年代後半から増加し、その後も増加傾向が続く。 B. 警戒・懸念・不安 「懸念」「不安」は1986年頃から増加。「警戒」も1980年代後半に増えるが、変化は比較的小さい。1990年代にも増加が見られる。 C. 上昇の限界・反転・崩壊 「天井」は1987年頃に急増し、1988~1989年も一定の頻度で出現。「暴落」は1987年頃に突出し、ブラックマンデーの影響が強く疑われる。「崩壊」は主に1991年以降に増加。 D. 投機・熱狂(補助) 「投機」は1980年代後半から増加し、1989年頃にも多い。「熱狂」はほぼ出現せず、「熱」は今回のデータでは出現していない。 E. 急激な価格上昇(補助) 「高騰」「急騰」「暴騰」は1980年代後半に増加。株価上昇期に価格変動の大きさが言及されていたことを示す。 F. 調整(補助) 今回のグラフには含まれていない。 G. 楽観(比較用) 1990年頃に1件のみで、時系列の傾向は判断できない。
「株価」と警戒関連語の共起は、1980年代後半に複数の語で増加している。特に「異常」「天井」「懸念」「不安」は株価ピーク以前から出現しており、当時の文献に株価の異常性や将来の反転に関連する表現が存在した可能性がある。
ただし、これらが日本の平成バブルへの警戒を意味していたかは未確認です。また、現在のグラフは絶対頻度なので、出版物数の変化を考慮した相対頻度での検証が必要です。
plot_warning_group(
pair_year_complete,
"土地",
sentiment_group_A, "異常性・過剰・過熱"
)
plot_warning_group(
pair_year_complete,
"土地",
sentiment_group_B, "警戒・懸念・不安"
)
plot_warning_group(
pair_year_complete,
"土地",
sentiment_group_C, "上昇の限界・反転・崩壊"
)
plot_warning_group(
pair_year_complete,
"土地",
sub_group, "その他"
)
A. 異常性・過剰・過熱 「異常」は1986年頃から急増し、1987~1990年頃に高い頻度。「狂乱」も1980年代後半に突出して増加しており、土地市場の異常性が言及されていた可能性を示唆する。 B. 警戒・懸念・不安 「不安」は1980年代半ばに増加。「危険」も1980年代後半に一定の頻度で出現。ただし、「警戒」は出現せず、明確な警戒の表明かどうかは不明。 C. 上昇の限界・反転・崩壊 「暴落」は1980年代後半から増加するが、1990年以降の増加が目立つ。「下落」「崩壊」も主に1990年代に増加しており、崩壊前の予測を示す証拠は限定的。 D. 投機・熱狂(補助) 「投機」は1980年代後半から急増し、1990年頃にピーク。土地投機への言及がバブル期に増加していたことを示す。 E. 急激な価格上昇(補助) 「高騰」「急騰」「暴騰」は1980年代後半に大幅に増加。土地価格の急激な上昇への言及と整合的だが、警戒の証拠とは限らない。 G. 楽観(比較用) 共起は確認されず、比較は難しい。
「土地」を中心語とした分析では、1980年代後半に「異常」「狂乱」などの共起頻度が大きく増加している。この結果は、土地価格バブルの崩壊以前から、土地市場の異常性を示唆する表現が使用されていた可能性を示す。一方、「下落」「崩壊」などは1990年代の増加が目立ち、異常性の認識と将来の崩壊予測は区別する必要がある。
plot_warning_group(
pair_year_complete,
"地価",
sentiment_group_A, "異常性・過剰・過熱"
)
plot_warning_group(
pair_year_complete,
"地価",
sentiment_group_B, "警戒・懸念・不安"
)
plot_warning_group(
pair_year_complete,
"地価",
sentiment_group_C, "上昇の限界・反転・崩壊"
)
plot_warning_group(
pair_year_complete,
"地価",
sub_group, "その他"
)
A. 異常性・過剰・過熱 「異常」「狂乱」が1986年頃から急増し、1987~1990年頃に高い頻度。地価上昇の異常性を示唆する表現が、崩壊前から存在していた可能性がある。 B. 警戒・懸念・不安 「警戒」「危険」などはほとんど出現せず、「不安」「懸念」も少数。地価に対する明示的な警戒表現の増加は確認しにくい。 C. 上昇の限界・反転・崩壊 「天井」「頭打ち」が1980年代後半に増加。「暴落」は1990年頃から増加し、「下落」「崩壊」は主に1990年代に増加する。 D. 投機・熱狂(補助) 「投機」は1980年代後半から急増し、1990年頃にピーク。土地・地価に関する投機的な状況が話題になっていた可能性を示す。 E. 急激な価格上昇(補助) 「高騰」「急騰」「暴騰」は1986年頃から急増し、1980年代後半に高い頻度。地価上昇への言及が増えたことを示す。 G. 楽観(比較用) 共起は確認されない。
1986~1989年頃 「異常」「狂乱」などが増加。資産価格の上昇が通常ではない状態として描写されていた可能性。 1987~1990年頃 「天井」「頭打ち」などが出現。価格上昇の限界を意識する言説が存在した可能性。 1990年以降 「暴落」「下落」「崩壊」などが増加。地価下落への予想・警戒、または実際の下落に関する記述が増えた可能性。
plot_warning_group(
pair_year_complete,
"不動産",
sentiment_group_A, "異常性・過剰・過熱"
)
plot_warning_group(
pair_year_complete,
"不動産",
sentiment_group_B, "警戒・懸念・不安"
)
plot_warning_group(
pair_year_complete,
"不動産",
sentiment_group_C, "上昇の限界・反転・崩壊"
)
plot_warning_group(
pair_year_complete,
"不動産",
sub_group, "その他"
)
A. 異常性・過剰・過熱 「異常」は1986年頃から増加し、1988年頃にピーク。「過剰」は1989~1990年頃に急増。「過度」「過大」も増えるが、出現数は比較的少ない。 B. 警戒・懸念・不安 「不安」「懸念」は少数で、「警戒」は確認されない。明示的な警戒表現の増加は読み取りにくい。 C. 上昇の限界・反転・崩壊 「下落」「暴落」は1980年代後半から増加するものの、1990年代の増加が目立つ。「崩壊」も主に1990年代に増加。 D. 投機・熱狂(補助) 「投機」は1980年代後半から増え、1990年前後に高い水準。 E. 急激な価格上昇(補助) 「高騰」「急騰」は1980年代後半から増加。バブル期の不動産価格上昇と整合的な動き。 G. 楽観(比較用) 共起は確認されない。
「不動産」を中心語とした分析でも、地価バブルの崩壊以前から異常性・過剰性に関連する表現が増加していた可能性がある。一方、将来の崩壊を予想していたことを示す明確な証拠は、現時点では限定的である
plot_warning_group(
pair_year_complete,
"資産",
sentiment_group_A, "異常性・過剰・過熱"
)
plot_warning_group(
pair_year_complete,
"資産",
sentiment_group_B, "警戒・懸念・不安"
)
plot_warning_group(
pair_year_complete,
"資産",
sentiment_group_C, "上昇の限界・反転・崩壊"
)
plot_warning_group(
pair_year_complete,
"資産",
sub_group, "その他"
)
「資産」を中心語とした分析では、1980年代後半から「急落」「暴落」などの価格下落に関する表現が増加している。これらは、バブル崩壊以前から資産価格の下落リスクが言及されていた可能性を示す。ただし、1987年のブラックマンデーや過去の価格変動に関する記述が含まれる可能性があるため、将来の崩壊予想を捉えているかは未確認である。
pair_year_complete_category <- pair_year_complete |>
mutate(
category = case_when(
warning_word %in% sentiment_groups_2$A ~ "A",
warning_word %in% sentiment_groups_2$B ~ "B",
warning_word %in% sentiment_groups_2$C ~ "C",
warning_word %in% sentiment_groups_2$H ~ "H",
TRUE ~ NA_character_
)
) |>
filter(!is.na(category)) |>
group_by(center_word, category, year) |>
summarise(
total_freq = sum(frequency, na.rm = TRUE),
.groups = "drop"
)
test <- pair_year_complete_category
ggplot(
test,
aes(
x = year,
y = total_freq,
color = category
)
) +
geom_line(linewidth = 1) +
facet_wrap(~ center_word, scales = "free_y") +
scale_color_manual(
values = c(
A = "#F8766D",
B = "#7CAE00",
C = "#00BFC4",
H = "#C77CFF"
),
labels = c(
A = "A:異常性・過剰・過熱",
B = "B:警戒・懸念・不安",
C = "C:上昇の限界・反転・崩壊",
H = "H:その他(補助分析・比較用)"
)
) +
labs(
title = "中心語別・カテゴリー別の共起頻度",
x = "年",
y = "出現頻度",
color = "カテゴリー"
) +
theme_bw()
center_freq <- read.csv(here::here("data\\raw\\Ngram\\中心語_年別頻度.txt.csv"),
check.names = FALSE)
# long形式に変更
long_center_freq <- center_freq |>
select(Keyword, all_of(as.character(1975:2000))) |>
pivot_longer(
cols = -Keyword,
names_to = "year",
values_to = "center_freq"
) |>
mutate(year = as.integer(year)) |>
rename(center_word = Keyword)
head(long_center_freq)
## # A tibble: 6 × 3
## center_word year center_freq
## <chr> <int> <int>
## 1 株 1975 392819
## 2 株 1976 398818
## 3 株 1977 424026
## 4 株 1978 452337
## 5 株 1979 458650
## 6 株 1980 516843
relative_freq <- pair_year_complete_category |>
left_join(
long_center_freq,
by = c("center_word", "year")
)
relative_freq <- relative_freq |>
mutate(
relative_freq = total_freq / center_freq
)
# 結合できなかったデータを確認
relative_freq |>
filter(is.na(center_freq) | center_freq == 0)
## # A tibble: 0 × 6
## # ℹ 6 variables: center_word <chr>, category <chr>, year <dbl>,
## # total_freq <dbl>, center_freq <int>, relative_freq <dbl>
ggplot(
relative_freq |> filter(category != "H"),
aes(
x = year,
y = relative_freq,
color = category
)
) +
geom_line() +
facet_wrap(~ center_word, scale = "free_y") +
scale_color_manual(
values = c(
A = "#F8766D",
B = "#7CAE00",
C = "#00BFC4"#,
#H = "#C77CFF"
),
labels = c(
A = "A:異常性・過剰・過熱",
B = "B:警戒・懸念・不安",
C = "C:上昇の限界・反転・崩壊"#,
#H = "H:その他"
)
) +
labs(
title = "中心語別・カテゴリー別の相対共起頻度",
subtitle = "中心語の年別出現頻度で正規化",
x = "年",
y = "相対共起頻度",
color = "カテゴリー"
) +
theme(
axis.text.x = element_text(size = 5)
) #+
#geom_point()
graph_stock <- relative_freq |>
filter(
center_word %in% c("株", "株式", "株価"),
category != "H"
)
ggplot(
graph_stock,
aes(x = year, y = relative_freq, color = category)
) +
geom_line(linewidth = 1) +
geom_vline(
xintercept = 1990,
linetype = "dashed",
color = "black",
linewidth = 0.6
) +
facet_wrap(~ center_word, scales = "free_y") +
scale_x_continuous(breaks = seq(1975, 2000, by = 5)) +
scale_color_manual(
values = c(
A = "#F8766D",
B = "#7CAE00",
C = "#00BFC4"
),
labels = c(
A = "A:異常性・過剰・過熱",
B = "B:警戒・懸念・不安",
C = "C:上昇の限界・反転・崩壊"
)
) +
labs(
title = "株式関連語の相対共起頻度",
subtitle = "点線:1990年(株価下落開始)",
x = "年",
y = "相対共起頻度",
color = "カテゴリー"
) +
theme_bw() +
theme(
axis.text.x = element_text(size = 6)
)
graph_land <- relative_freq |>
filter(
center_word %in% c("土地", "地価", "不動産"),
category != "H"
)
ggplot(
graph_land,
aes(x = year, y = relative_freq, color = category)
) +
geom_line(linewidth = 1) +
geom_vline(
xintercept = 1992,
linetype = "dashed",
color = "black",
linewidth = 0.6
) +
facet_wrap(~ center_word, scales = "free_y") +
scale_x_continuous(breaks = seq(1975, 2000, by = 5)) +
scale_color_manual(
values = c(
A = "#F8766D",
B = "#7CAE00",
C = "#00BFC4"
),
labels = c(
A = "A:異常性・過剰・過熱",
B = "B:警戒・懸念・不安",
C = "C:上昇の限界・反転・崩壊"
)
) +
labs(
title = "土地関連語の相対共起頻度",
subtitle = "点線:1992年(地価下落開始)",
x = "年",
y = "相対共起頻度",
color = "カテゴリー"
) +
theme_bw() +
theme(
axis.text.x = element_text(size = 6)
)
graph_asset <- relative_freq |>
filter(
center_word %in% c("資産"),
category != "H"
)
ggplot(
graph_asset,
aes(x = year, y = relative_freq, color = category)
) +
geom_line(linewidth = 1) +
geom_vline(
xintercept = c(1990),
linetype = "dashed",
color = "black",
linewidth = 0.6
) +
facet_wrap(~ center_word, scales = "free_y") +
scale_x_continuous(breaks = seq(1975, 2000, by = 5)) +
scale_color_manual(
values = c(
A = "#F8766D",
B = "#7CAE00",
C = "#00BFC4"
),
labels = c(
A = "A:異常性・過剰・過熱",
B = "B:警戒・懸念・不安",
C = "C:上昇の限界・反転・崩壊"
)
) +
labs(
title = "資産・不動産関連語の相対共起頻度",
subtitle = "点線:1990年(株価)、1992年(地価)",
x = "年",
y = "相対共起頻度",
color = "カテゴリー"
) +
theme_bw() +
theme(
axis.text.x = element_text(size = 8)
)