作成日:2022-07-27 最終更新: 2022-08-06 14:28:37

この表現から何を理解しますか?



I ate a fresh lemon.

言葉を理解することとは?

  1. 外国語を見て日本語の知識を活性化

    • lemon → レモン
  2. 概念知識へのアクセス?

→ 言語理解は記号の活性化だけではない(e.g., Harnad,1990

第二言語語彙モデル

身体化認知研究(基盤化された認知)

  • 言語理解において、言葉が表す意味を表象するため、シミュレーションを行う(e.g., Barsalou et al., 2008

    • シミュレーション:周囲の環境、身体、心を通し獲得された表象の再現

      • 言葉が指す対象を即時的にイメージする

Connell and Lynott (2009)

  • 言語理解ではイメージのまでシミュレーションされる

  • 意味ストループ課題

    • 文を読んだ直後に提示される単語のフォントのを読み上げる

図1:課題の条件と結果

イメージの内容

  • 複数の色をシミュレーションするか

    • 茶色のクマ(典型)
    • 白色のクマ (非典型)
    • 黄色のクマ(あり得ない)

図2:課題の条件と結果 (2)

第二言語における研究

研究 知識の側面 習熟度 課題 シミュレ―ションの有無
Buccino et al. (2017) 運動 go-no go
Ahn & Jiang (2018) 視覚 文-写真判断

: 表1:第二言語を対象にした先行研究の一部

低習熟度ではシミュレーションができる?

Jiang (2000)

図3:L2単語知識の表象

  • 1st: 習熟度が低い場合、L1を経由した言語処理

  • 2nd: L2習熟度の向上につれ、L2形式と概念表象の直接的な結びつきが形成

  • 3rd: 最終的にL2のみで理解が可能

L2習熟度の影響の有無が重要

可能性1:低習熟度でもシミュレーション可能

  • L2と概念の直接的な結びつきは色のシミュレーションに必要ない
  • 1st stageでも可能

-> 既存のL2語彙モデルで説明可能

可能性2:習熟度が高くないとシミュレーションできない

  • L2と概念の直接的な結びつきが必要
  • 少なくとも2nd stageへ達する必要がある

-> 身体化認知研究に基づく言語理解が必要

本研究

研究課題 (1)

母語(日本語)の言語理解で色のシミュレーションが行われるか

  • 典型的な色を示す文: 典型 < 非典型 = あり得ない
  • 非典型的な色を示す文:典型 = 非典型 < あり得ない

研究課題 (2)

外国語の言語理解で色のシミュレーションが行われるか

  • 課題の結果に、L2習熟度は影響を与えるか

    • 影響がある

      • L2形式と概念の直接的な結びつきの形成が必要
    • 影響がない

      • L1を経由して概念にアクセスするため、低習熟度でもシミュレーション可能

参加者

  • 72名の日本語母語話者

    • 36名:日本語で課題
    • 36名:英語で課題
表2:英語学習者の記述統計
変数 平均値 標準偏差 中央値 最小値 最大値 歪度 尖度
VocabSize 5325.14 1065.10 5118 3033 7721 0.35 3.00
YearsofLearningEnglish 12.08 4.05 12 7 24 1.27 4.67
Note:
VocabSize: V_YesNo テスト(Meara & Miralpeix, 2016)の得点

実験方法

実験項目

  • 色の典型性(e.g., クマ = 茶色が典型)は、予備実験 & 事後に行った評価課題で測定

    • 実験文

      • 2(文:典型/非典型) × 3(単語の色:典型/非典型/あり得ない)= 6条件

        • 6条件 × 15単語 = 90文

        • 90文 × 2(文脈前/後) = 180文

    • フィラー文:180文

      • 内容理解問題
表3:刺激文の例
文脈の位置 文脈の位置
文章の種類 後ろ
典型 In the woods, Joe was excited to see a bear. Joe was excited to see a bear in the woods.
非典型 At the North Pole, Joe was excited to see a bear. Joe was excited to see a bear at the North Pole.

手順

分析 & 結果

意味ストループ課題

表4: 正答率の平均値と標準偏差(意味ストループ課題)
平均値 標準偏差
母語話者 97.43 15.82
L2学習者 98.06 13.78

データ・クリーニング

  • 以下の条件に該当するデータは、分析から除外

    • フィラー項目

    • 不正解のデータ

    • 内容理解課題の全体の正答率が50%未満の参加者のすべてのデータ

    • ストループ課題の全体の正答率が80%未満の参加者のすべてのデータ

    • 反応速度が、中央値から±3中央絶対偏差離れている(より大きい or より小さい)データ

平均値の比較

エラーバーは標準誤差を表す

線形混合効果モデル

確率分布の特定

  • 各統計量および情報量基準は、小さい指標がよい
表5:日本語母語話者
ワイブル分布 ガンマ分布 対数正規分布 正規分布
コルモゴロフ・スミルノフ統計量 0.09 0.06 0.04 0.09
クラメール・フォンミーゼス統計量 16.18 5.10 2.18 14.96
アンダーソン・ダーリング統計量 97.89 29.10 13.02 87.31
赤池情報量基準 79674.56 78880.16 78752.49 79520.64
ベイズ情報量基準 79687.92 78893.52 78765.85 79534.00
表6:英語学習者
ワイブル分布 ガンマ分布 対数正規分布 正規分布
コルモゴロフ・スミルノフ統計量 0.09 0.06 0.04 0.10
クラメール・フォンミーゼス統計量 16.67 6.42 2.94 17.90
アンダーソン・ダーリング統計量 101.99 37.03 17.45 105.65
赤池情報量基準 81646.62 80873.81 80722.09 81643.33
ベイズ情報量基準 81659.98 80887.18 80735.46 81656.69

コーディング

  • カテゴリ変数:Repeated Contrasts

    • 隣り合う水準同士の比較

      • 例)典型的な色とあり得ない色への反応の速度
  • 連続値:scale関数により標準化

変数 (母語話者)

  • 従属変数:ストループの反応速度(log-transformed)

  • 独立変数:

    • 文の典型性、
    • 単語の色の典型性、
    • 二つの交互作用、
    • 文脈の位置、
    • 提示順、
    • 文の読み時間

変数(英語学習者)

  • 従属変数:ストループの反応速度(log-transformed)

  • 独立変数:

    • 文の典型性、
    • 単語の色の典型性、
    • *L2語彙サイズテストの得点、
    • *以上3つの交互作用、
    • 文脈の位置、
    • 提示順、
    • 文の読み時間

ランダム効果の設計

  1. rePCA関数を使って,最大モデルから(全独立変数の主効果を傾き)、要因を取り除いていく。
  2. 相関のパラメータを含むかを検討。

表7:モデルの結果(母語話者)

  log(RT.Stroop)
Coeffcient Estimates Conf. Int (95%) p
Sentence(Atypical-Typical) 0.004 -0.027 – 0.036 0.787
Word(Typical-Unrelated) -0.056 ** -0.094 – -0.017 0.005
Word(Atypical-Typical) 0.071 *** 0.032 – 0.109 <0.001
Sentence(Atypical-Typical)*Word(Typical-Unrelated) 0.006 -0.072 – 0.083 0.887
Sentence(Atypical-Typical)*Word(Atypical-Typical) -0.010 -0.088 – 0.067 0.795
Observations 5881
Marginal R2 / Conditional R2 0.071 / 0.388
  • p<0.05   ** p<0.01   *** p<0.001

日本語母語話者の結果

  • 文の典型性関係なく、

    • 典型的な色 < 非典型 = あり得ない

仮説1

Connell & Lynott (2009)と部分的に一致

  • 一致:典型的な色をシミュレーション

  • 不一致:非典型的な色をシミュレーションする根拠は得られなかった

文の典型性や文脈の位置に関わらず、典型的な色のみをシミュレーション

表8:モデルの結果(英語学習者)

  RT.Stroop
Coeffcient Estimates Conf. Int (95%) p
Sentence(Atypical-Typical) 0.002 -0.031 – 0.035 0.901
Word(Typical-Unrelated) -0.026 -0.067 – 0.014 0.205
Word(Atypical-Typical) 0.053 * 0.012 – 0.094 0.011
L2 Proficiency 0.008 -0.054 – 0.071 0.794
Sentence(Atypical-Typical)*Word(Typical-Unrelated) -0.012 -0.093 – 0.070 0.776
Sentence(Atypical-Typical)*Word(Atypical-Typical) -0.013 -0.095 – 0.068 0.749
Word(Typical-Unrelated)* L2 Proficiency -0.016 * -0.030 – -0.002 0.029
Word(Atypical-Typical)* L2 Proficiency 0.013 -0.001 – 0.027 0.069
Observations 5895
Marginal R2 / Conditional R2 0.096 / 0.286
  • p<0.05   ** p<0.01   *** p<0.001

英語学習者の結果

  • L2習熟度の影響あり

    • 典型とあり得ないの差

なぜ、典型的 < 非典型的?

表9:典型的な項目と非典型的な項目の反応速度の平均値の差

単語 平均値(典型) 平均値(非典型) 典型-非典型
apple 617.15 840.71 -223.56
tomato 606.64 732.19 -125.55
strawberry 650.36 773.09 -122.73
plum 654.27 765.92 -111.65
kiwi 744.15 843.34 -99.19
leaf 751.54 829.63 -78.09
chameleon 814.48 842.39 -27.92
cake 821.49 837.73 -16.24
popcorn 829.75 841.61 -11.86
ball 802.81 806.94 -4.13
bear 792.40 795.76 -3.36

典型性と色の関係

典型性の評価が高い項目

表10:典型性の評価が高い項目の上位4つ
単語 典型的 評価値
平均(標準偏差)
非典型的 評価値
平均(標準偏差)
apple 6.00 (0.00) 1.47 (0.77)
tomato 5.94 (0.23) 3.25 (1.32)
strawberry 6.00 (0.00) 2.67 (1.47)
plum 4.69 (1.56 ) 3.08 (1.54)

典型性と色の関係(2)

典型的な項目の色が赤

  • Jiang(2000)のモデル:単語ごとの表象とその処理

    • 習熟度が低い学習者においても、典型的で、それが赤の項目は、2nd stageへ発展している

典型性 + 色の影響を考慮する必要がある

まとめ

研究1と2を踏まえて

  • 母語でも外国語でも典型的な色のシミュレーションを行う

    • 文脈やその位置の影響は受けない
  • 外国語でも色のシミュレーションには、概念表象との直接的な結びつきの形成が必要

    • 色と典型性によって、L2学習者内の語彙表象が異なる可能性が示唆

既存のL2語彙モデルでは、言語理解を包括的に捉えられない

  • 非言語的情報の活用

引用(R関連 & 文献)

Rとパッケージのバージョン

sessionInfo()
## R version 4.1.1 (2021-08-10)
## Platform: x86_64-w64-mingw32/x64 (64-bit)
## Running under: Windows 10 x64 (build 22000)
## 
## Matrix products: default
## 
## locale:
## [1] LC_COLLATE=Japanese_Japan.932  LC_CTYPE=Japanese_Japan.932   
## [3] LC_MONETARY=Japanese_Japan.932 LC_NUMERIC=C                  
## [5] LC_TIME=Japanese_Japan.932    
## 
## attached base packages:
## [1] stats     graphics  grDevices utils     datasets  methods   base     
## 
## other attached packages:
##  [1] ggsignif_0.6.3     grateful_0.1.11    moments_0.14       performance_0.9.0 
##  [5] fitdistrplus_1.1-6 survival_3.2-11    MASS_7.3-54        kableExtra_1.3.4  
##  [9] ggmosaic_0.3.3     ggpubr_0.4.0       qqplotr_0.0.5      plotly_4.9.4.1    
## [13] sjPlot_2.8.9       lmerTest_3.1-3     lme4_1.1-27.1      Matrix_1.3-4      
## [17] forcats_0.5.1      stringr_1.4.0      dplyr_1.0.7        purrr_0.3.4       
## [21] readr_2.0.1        tidyr_1.1.4        tibble_3.1.4       ggplot2_3.3.5     
## [25] tidyverse_1.3.1   
## 
## loaded via a namespace (and not attached):
##   [1] readxl_1.3.1        backports_1.2.1     systemfonts_1.0.3  
##   [4] lazyeval_0.2.2      splines_4.1.1       crosstalk_1.1.1    
##   [7] TH.data_1.1-0       digest_0.6.27       htmltools_0.5.2    
##  [10] fansi_0.5.0         magrittr_2.0.1      tzdb_0.1.2         
##  [13] openxlsx_4.2.4      modelr_0.1.8        sandwich_3.0-1     
##  [16] svglite_2.0.0       colorspace_2.0-2    rvest_1.0.1        
##  [19] ggrepel_0.9.1       haven_2.4.3         xfun_0.25          
##  [22] crayon_1.4.2        jsonlite_1.7.2      zoo_1.8-9          
##  [25] glue_1.4.2          gtable_0.3.0        emmeans_1.6.3      
##  [28] webshot_0.5.2       sjstats_0.18.1      sjmisc_2.8.7       
##  [31] car_3.0-11          DEoptimR_1.0-9      abind_1.4-5        
##  [34] scales_1.1.1        mvtnorm_1.1-2       DBI_1.1.1          
##  [37] rstatix_0.7.0       ggeffects_1.1.1     Rcpp_1.0.7         
##  [40] viridisLite_0.4.0   xtable_1.8-4        foreign_0.8-82     
##  [43] datawizard_0.4.0    htmlwidgets_1.5.4   httr_1.4.2         
##  [46] RColorBrewer_1.1-2  ellipsis_0.3.2      pkgconfig_2.0.3    
##  [49] farver_2.1.0        sass_0.4.0          dbplyr_2.1.1       
##  [52] utf8_1.2.2          tidyselect_1.1.1    labeling_0.4.2     
##  [55] rlang_0.4.11        effectsize_0.6.0.1  munsell_0.5.0      
##  [58] cellranger_1.1.0    tools_4.1.1         cli_3.1.0          
##  [61] generics_0.1.1      pacman_0.5.1        sjlabelled_1.1.8   
##  [64] broom_0.7.9         evaluate_0.14       fastmap_1.1.0      
##  [67] yaml_2.2.1          knitr_1.36          fs_1.5.0           
##  [70] zip_2.2.0           robustbase_0.93-8   nlme_3.1-152       
##  [73] xml2_1.3.2          compiler_4.1.1      rstudioapi_0.13    
##  [76] curl_4.3.2          reprex_2.0.1        bslib_0.3.0        
##  [79] stringi_1.7.5       highr_0.9           parameters_0.17.0  
##  [82] lattice_0.20-44     nloptr_1.2.2.2      vctrs_0.3.8        
##  [85] pillar_1.6.4        lifecycle_1.0.1     jquerylib_0.1.4    
##  [88] estimability_1.3    data.table_1.14.2   insight_0.17.0     
##  [91] R6_2.5.1            rio_0.5.27          codetools_0.2-18   
##  [94] boot_1.3-28         assertthat_0.2.1    withr_2.4.2        
##  [97] multcomp_1.4-18     bayestestR_0.11.5   hms_1.1.0          
## [100] grid_4.1.1          coda_0.19-4         minqa_1.2.4        
## [103] rmarkdown_2.11      carData_3.0-4       numDeriv_2016.8-1.1
## [106] lubridate_1.7.10

引用パッケージ

  • 名簿順ではない
## [[1]]
## R Core Team (2021). _R: A Language and Environment for Statistical
## Computing_. R Foundation for Statistical Computing, Vienna, Austria.
## <URL: https://www.R-project.org/>.
## 
## [[2]]
## Delignette-Muller ML, Dutang C (2015). "fitdistrplus: An R Package for
## Fitting Distributions." _Journal of Statistical Software_, *64*(4),
## 1-34. <URL: https://www.jstatsoft.org/article/view/v064i04>.
## 
## [[3]]
## Ludecke D (2018). "ggeffects: Tidy Data Frames of Marginal Effects from
## Regression Models." _Journal of Open Source Software_, *3*(26), 772.
## doi: 10.21105/joss.00772 (URL: https://doi.org/10.21105/joss.00772).
## 
## [[4]]
## Jeppson H, Hofmann H, Cook D (2021). _ggmosaic: Mosaic Plots in the
## 'ggplot2' Framework_. R package version 0.3.3, <URL:
## https://CRAN.R-project.org/package=ggmosaic>.
## 
## [[5]]
## Kassambara A (2020). _ggpubr: 'ggplot2' Based Publication Ready Plots_.
## R package version 0.4.0, <URL:
## https://CRAN.R-project.org/package=ggpubr>.
## 
## [[6]]
## Rodriguez-Sanchez F, Jackson CP, Hutchins SD (2022). _grateful:
## Facilitate citation of R packages_. R package version 0.1.5, <URL:
## https://github.com/Pakillo/grateful>.
## 
## [[7]]
## Zhu H (2021). _kableExtra: Construct Complex Table with 'kable' and
## Pipe Syntax_. R package version 1.3.4, <URL:
## https://CRAN.R-project.org/package=kableExtra>.
## 
## [[8]]
## Xie Y (2021). _knitr: A General-Purpose Package for Dynamic Report
## Generation in R_. R package version 1.36, <URL:
## https://yihui.org/knitr/>.
## 
## Xie Y (2015). _Dynamic Documents with R and knitr_, 2nd edition.
## Chapman and Hall/CRC, Boca Raton, Florida. ISBN 978-1498716963, <URL:
## https://yihui.org/knitr/>.
## 
## Xie Y (2014). "knitr: A Comprehensive Tool for Reproducible Research in
## R." In Stodden V, Leisch F, Peng RD (eds.), _Implementing Reproducible
## Computational Research_. Chapman and Hall/CRC. ISBN 978-1466561595,
## <URL: http://www.crcpress.com/product/isbn/9781466561595>.
## 
## [[9]]
## Bates D, Machler M, Bolker B, Walker S (2015). "Fitting Linear
## Mixed-Effects Models Using lme4." _Journal of Statistical Software_,
## *67*(1), 1-48. doi: 10.18637/jss.v067.i01 (URL:
## https://doi.org/10.18637/jss.v067.i01).
## 
## [[10]]
## Kuznetsova A, Brockhoff PB, Christensen RHB (2017). "lmerTest Package:
## Tests in Linear Mixed Effects Models." _Journal of Statistical
## Software_, *82*(13), 1-26. doi: 10.18637/jss.v082.i13 (URL:
## https://doi.org/10.18637/jss.v082.i13).
## 
## [[11]]
## Venables WN, Ripley BD (2002). _Modern Applied Statistics with S_,
## Fourth edition. Springer, New York. ISBN 0-387-95457-0, <URL:
## https://www.stats.ox.ac.uk/pub/MASS4/>.
## 
## [[12]]
## Komsta L, Novomestky F (2015). _moments: Moments, cumulants, skewness,
## kurtosis and related tests_. R package version 0.14, <URL:
## https://CRAN.R-project.org/package=moments>.
## 
## [[13]]
## Rinker TW, Kurkiewicz D (2018). _pacman: Package Management for R_.
## version 0.5.0, <URL: http://github.com/trinker/pacman>.
## 
## [[14]]
## Pedersen T (2020). _patchwork: The Composer of Plots_. R package
## version 1.1.1, <URL: https://CRAN.R-project.org/package=patchwork>.
## 
## [[15]]
## Ludecke D, Ben-Shachar M, Patil I, Waggoner P, Makowski D (2021).
## "performance: An R Package for Assessment, Comparison and Testing of
## Statistical Models." _Journal of Open Source Software_, *6*(60), 3139.
## doi: 10.21105/joss.03139 (URL: https://doi.org/10.21105/joss.03139).
## 
## [[16]]
## Sievert C (2020). _Interactive Web-Based Data Visualization with R,
## plotly, and shiny_. Chapman and Hall/CRC. ISBN 9781138331457, <URL:
## https://plotly-r.com>.
## 
## [[17]]
## Almeida A, Loy A, Hofmann H (2018). _ggplot2 Compatible
## Quantile-Quantile Plots in R_, volume 10 number 2. <URL:
## https://doi.org/10.32614/RJ-2018-051>.
## 
## [[18]]
## Allaire J, Xie Y, McPherson J, Luraschi J, Ushey K, Atkins A, Wickham
## H, Cheng J, Chang W, Iannone R (2021). _rmarkdown: Dynamic Documents
## for R_. R package version 2.11, <URL:
## https://github.com/rstudio/rmarkdown>.
## 
## Xie Y, Allaire J, Grolemund G (2018). _R Markdown: The Definitive
## Guide_. Chapman and Hall/CRC, Boca Raton, Florida. ISBN 9781138359338,
## <URL: https://bookdown.org/yihui/rmarkdown>.
## 
## Xie Y, Dervieux C, Riederer E (2020). _R Markdown Cookbook_. Chapman
## and Hall/CRC, Boca Raton, Florida. ISBN 9780367563837, <URL:
## https://bookdown.org/yihui/rmarkdown-cookbook>.
## 
## [[19]]
## Ludecke D (2021). _sjPlot: Data Visualization for Statistics in Social
## Science_. R package version 2.8.9, <URL:
## https://CRAN.R-project.org/package=sjPlot>.
## 
## [[20]]
## Ludecke D (2021). _sjstats: Statistical Functions for Regression Models
## (Version 0.18.1)_. doi: 10.5281/zenodo.1284472 (URL:
## https://doi.org/10.5281/zenodo.1284472), <URL:
## https://CRAN.R-project.org/package=sjstats>.
## 
## [[21]]
## Wickham H, Averick M, Bryan J, Chang W, McGowan LD, Francois R,
## Grolemund G, Hayes A, Henry L, Hester J, Kuhn M, Pedersen TL, Miller E,
## Bache SM, Muller K, Ooms J, Robinson D, Seidel DP, Spinu V, Takahashi
## K, Vaughan D, Wilke C, Woo K, Yutani H (2019). "Welcome to the
## tidyverse." _Journal of Open Source Software_, *4*(43), 1686. doi:
## 10.21105/joss.01686 (URL: https://doi.org/10.21105/joss.01686).

引用文献

  • Ahn, S., & Jiang, N. (2018). Automatic semantic integration during L2 sentential reading. Bilingualism: Language and Cognition, 21(2), 375–383.
  • Barsalou, L. W., Santos, A., Simmons, W. K., & Wilson, C. D. (2008). Language and simulation in conceptual processing. In M. De Vega, A. M. Glenberg, & A. C. A. Graesser (Eds.), Symbols, embodiment, and meaning (pp. 245–283). Oxford, England: Oxford University Press.

  • Bates, D., Kliegl, R., Vasishth, S., & Baayen, R. H. (2015). Parsimonious mixed models. arXiv: 1506.04967

  • Buccino, G., Marino, B. F., Bulgarelli, C., & Mezzadri, M. (2017). Fluent speakers of a second language process graspable nouns expressed in L2 like in their native language. Frontiers in Psychology, 8, 1306.

  • Connell, L., & Lynott, D. (2009). Is a bear white in the woods? Parallel representation of implied object color during language comprehension. Psychonomic Bulletin & Review, 16(3), 573–577.
  • Dijkstra, T., & Van Heuven, W. J. (2002). The architecture of the bilingual word recognition system: From identification to decision. Bilingualism: Language and Cognition, 5(3), 175–197.
  • Harnad, S. (1990). The symbol grounding problem. Physica D: Nonlinear Phenomena, 42(1-3), 335–346.

  • Jiang, N. (2000). Lexical representation and development in a second language. Applied linguistics, 21(1), 47–77.

  • Kroll, J. F., & Stewart, E. (1994). Category interference in translation and picture naming: Evidence for asymmetric connections between bilingual memory representations. Journal of memory and language,33(2), 149–174.

  • Meara, P., & Miralpeix, I. (2016). Tools for researching vocabulary. Multilingual Matters.

第一著者の連絡先

The End