Modeling Response Engagement and Cognitive Processes

SORULAR

Öğrencilerin doğruluk düzeyleri hangi bireysel ve davranışsal faktörlerle açıklanabilir?
Öğrencilerin açık uçlu sorulara yanıt verip vermemesi hangi bireysel ve bağlamsal faktörlere bağlıdır?
Öğrenciler hangi koşullarda stratejik çözüm davranışı göstermektedir?
Bilişsel alanlar doğruluk ve işlem süreci stratejileri ile nasıl ilişkilidir?
Matematik özgüveni başarıyı doğrudan mı etkiler, yoksa bu etki zaman stratejileri aracılığıyla mı oluşur?

Gerekli Paketler

library(haven)
library(dplyr)
library(magrittr)
library(lme4)
library(ggplot2)
library(sjPlot)

Veri Yükleme ve Ön Hazırlık

long_data_clean <- read_sav("C:/Users/Lenovo/Desktop/long_data_clean_updated.sav")

long_data_clean <- long_data_clean %>%
  mutate(
    CNTA_f = as.factor(CNTA),
    COGD = as.factor(COGD),
    ITSEX = as.factor(ITSEX)
  )

# Eşik değerleri
q25_LogF <- quantile(long_data_clean$LogF, 0.25, na.rm = TRUE)
q75_LogF <- quantile(long_data_clean$LogF, 0.75, na.rm = TRUE)
q25_LogR <- quantile(long_data_clean$LogR, 0.25, na.rm = TRUE)
q75_LogR <- quantile(long_data_clean$LogR, 0.75, na.rm = TRUE)

# IRTree düğümleri
long_data_clean <- long_data_clean %>%
  mutate(
    ResponseGiven = ifelse(SCORE == 0 | is.na(SCORE), 0, 1),
    Correctness = ifelse(SCORE == 2, 1, ifelse(SCORE == 1, 0, NA)),
    QuickFirst = ifelse(LogF < q25_LogF, 1, 0),
    HighReview = ifelse(LogR > q75_LogR, 1, 0),
    SolutionBehavior = ifelse(
      LogF >= q25_LogF & LogF <= q75_LogF & LogR >= q25_LogR & LogR <= q75_LogR,
      1, 0
    )
  )

Model 1: Yanıt Verme

model_response <- glmer(
  ResponseGiven ~ SCM + ITSEX + PHEL + CNTA_f + COGD +
    (1 | IDSTUD) + (1 | ITEM) + (1 | IDCNTRY),
  data = long_data_clean,
  family = binomial(link = "logit"),
  control = glmerControl(optimizer = "bobyqa")
)

summary(model_response)

## Generalized linear mixed model fit by maximum likelihood (Laplace
##   Approximation) [glmerMod]
##  Family: binomial  ( logit )
## Formula: ResponseGiven ~ SCM + ITSEX + PHEL + CNTA_f + COGD + (1 | IDSTUD) +  
##     (1 | ITEM) + (1 | IDCNTRY)
##    Data: long_data_clean
## Control: glmerControl(optimizer = "bobyqa")
## 
##       AIC       BIC    logLik -2*log(L)  df.resid 
##   28153.5   28254.4  -14065.8   28131.5     71359 
## 
## Scaled residuals: 
##      Min       1Q   Median       3Q      Max 
## -25.8126   0.0451   0.0948   0.2096   9.4225 
## 
## Random effects:
##  Groups  Name        Variance Std.Dev.
##  IDSTUD  (Intercept) 3.787    1.946   
##  ITEM    (Intercept) 1.714    1.309   
##  IDCNTRY (Intercept) 1.154    1.074   
## Number of obs: 71370, groups:  IDSTUD, 2745; ITEM, 26; IDCNTRY, 8
## 
## Fixed effects:
##             Estimate Std. Error z value Pr(>|z|)    
## (Intercept)  1.23967    0.84036   1.475  0.14017    
## SCM          0.15356    0.02352   6.529 6.62e-11 ***
## ITSEX2       0.20623    0.08934   2.308  0.02098 *  
## PHEL         0.10977    0.03507   3.130  0.00175 ** 
## CNTA_f2      2.21672    0.95405   2.323  0.02015 *  
## CNTA_f3      2.87724    0.95407   3.016  0.00256 ** 
## COGD2        0.54555    0.53829   1.013  0.31083    
## COGD3       -0.56627    0.96784  -0.585  0.55849    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Correlation of Fixed Effects:
##         (Intr) SCM    ITSEX2 PHEL   CNTA_2 CNTA_3 COGD2 
## SCM     -0.251                                          
## ITSEX2  -0.015 -0.117                                   
## PHEL    -0.089 -0.078 -0.010                            
## CNTA_f2 -0.652  0.004 -0.003 -0.047                     
## CNTA_f3 -0.649  0.010  0.000 -0.050  0.569              
## COGD2   -0.261 -0.003  0.000 -0.001  0.001 -0.002       
## COGD3   -0.146 -0.001  0.000 -0.001  0.006  0.006  0.220

Model 2: Doğru Yanıt

model_correct_full <- glmer(
  Correctness ~ QuickFirst + HighReview + CNTA_f + SCM + PHEL + ITSEX +
    (1 | IDSTUD) + (1 | ITEM),
  data = long_data_clean,
  family = binomial(link = "logit"),
  control = glmerControl(optimizer = "bobyqa")
)

summary(model_correct_full)

## Generalized linear mixed model fit by maximum likelihood (Laplace
##   Approximation) [glmerMod]
##  Family: binomial  ( logit )
## Formula: Correctness ~ QuickFirst + HighReview + CNTA_f + SCM + PHEL +  
##     ITSEX + (1 | IDSTUD) + (1 | ITEM)
##    Data: long_data_clean
## Control: glmerControl(optimizer = "bobyqa")
## 
##       AIC       BIC    logLik -2*log(L)  df.resid 
##   55819.7   55910.5  -27899.8   55799.7     65121 
## 
## Scaled residuals: 
##      Min       1Q   Median       3Q      Max 
## -15.1617  -0.4309  -0.1880   0.4149   9.5450 
## 
## Random effects:
##  Groups Name        Variance Std.Dev.
##  IDSTUD (Intercept) 1.5646   1.2508  
##  ITEM   (Intercept) 0.9522   0.9758  
## Number of obs: 65131, groups:  IDSTUD, 2745; ITEM, 26
## 
## Fixed effects:
##             Estimate Std. Error z value Pr(>|z|)    
## (Intercept) -5.46506    0.24167 -22.614  < 2e-16 ***
## QuickFirst  -0.21418    0.03142  -6.816 9.37e-12 ***
## HighReview  -0.01656    0.03266  -0.507   0.6122    
## CNTA_f2      2.19243    0.06615  33.144  < 2e-16 ***
## CNTA_f3      3.62273    0.08485  42.694  < 2e-16 ***
## SCM          0.27274    0.01361  20.040  < 2e-16 ***
## PHEL         0.31102    0.02059  15.108  < 2e-16 ***
## ITSEX2       0.13425    0.05417   2.478   0.0132 *  
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Correlation of Fixed Effects:
##            (Intr) QckFrs HghRvw CNTA_2 CNTA_3 SCM    PHEL  
## QuickFirst -0.005                                          
## HighReview -0.015 -0.195                                   
## CNTA_f2    -0.029 -0.043 -0.016                            
## CNTA_f3    -0.052 -0.066 -0.024  0.353                     
## SCM        -0.531 -0.007 -0.029  0.063  0.096              
## PHEL       -0.213 -0.004  0.013 -0.348 -0.273 -0.057       
## ITSEX2     -0.042 -0.019  0.003 -0.038  0.000 -0.115  0.005

Model 3: Stratejik Davranış

model_solution <- glmer(
  SolutionBehavior ~ SCM + ITSEX + PHEL + CNTA_f +
    (1 | IDSTUD) + (1 | ITEM),
  data = long_data_clean,
  family = binomial(link = "logit"),
  control = glmerControl(optimizer = "bobyqa")
)

summary(model_solution)

## Generalized linear mixed model fit by maximum likelihood (Laplace
##   Approximation) [glmerMod]
##  Family: binomial  ( logit )
## Formula: SolutionBehavior ~ SCM + ITSEX + PHEL + CNTA_f + (1 | IDSTUD) +  
##     (1 | ITEM)
##    Data: long_data_clean
## Control: glmerControl(optimizer = "bobyqa")
## 
##       AIC       BIC    logLik -2*log(L)  df.resid 
##   87250.5   87323.8  -43617.2   87234.5     70314 
## 
## Scaled residuals: 
##     Min      1Q  Median      3Q     Max 
## -2.2362 -0.7791 -0.4187  0.9420  4.1614 
## 
## Random effects:
##  Groups Name        Variance Std.Dev.
##  IDSTUD (Intercept) 0.84844  0.9211  
##  ITEM   (Intercept) 0.08962  0.2994  
## Number of obs: 70322, groups:  IDSTUD, 2745; ITEM, 26
## 
## Fixed effects:
##              Estimate Std. Error z value Pr(>|z|)    
## (Intercept) -0.115819   0.121614  -0.952   0.3409    
## SCM         -0.055551   0.009939  -5.589 2.28e-08 ***
## ITSEX2      -0.027884   0.039640  -0.703   0.4818    
## PHEL         0.033715   0.015070   2.237   0.0253 *  
## CNTA_f2      0.005130   0.048873   0.105   0.9164    
## CNTA_f3     -0.264922   0.061279  -4.323 1.54e-05 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Correlation of Fixed Effects:
##         (Intr) SCM    ITSEX2 PHEL   CNTA_2
## SCM     -0.762                            
## ITSEX2  -0.052 -0.124                     
## PHEL    -0.297 -0.062  0.001              
## CNTA_f2  0.000  0.031 -0.041 -0.371       
## CNTA_f3 -0.032  0.063 -0.008 -0.304  0.335

Model 4: Bilişsel Alan ve Zaman Temelli Stratejiler (Correctness ~ QuickFirst + HighReview + COGD)

model_cogd_noICML <- glmer(
  Correctness ~ QuickFirst + HighReview + COGD +
    (1 | IDSTUD) + (1 | ITEM),
  data = long_data_clean,
  family = binomial(link = "logit"),
  control = glmerControl(optimizer = "bobyqa")
)
summary(model_cogd_noICML)

## Generalized linear mixed model fit by maximum likelihood (Laplace
##   Approximation) [glmerMod]
##  Family: binomial  ( logit )
## Formula: Correctness ~ QuickFirst + HighReview + COGD + (1 | IDSTUD) +  
##     (1 | ITEM)
##    Data: long_data_clean
## Control: glmerControl(optimizer = "bobyqa")
## 
##       AIC       BIC    logLik -2*log(L)  df.resid 
##   87018.7   87085.2  -43502.3   87004.7     98745 
## 
## Scaled residuals: 
##      Min       1Q   Median       3Q      Max 
## -17.0291  -0.4248  -0.1795   0.4149   9.5595 
## 
## Random effects:
##  Groups Name        Variance Std.Dev.
##  IDSTUD (Intercept) 5.0519   2.2476  
##  ITEM   (Intercept) 0.8496   0.9217  
## Number of obs: 98752, groups:  IDSTUD, 4196; ITEM, 26
## 
## Fixed effects:
##             Estimate Std. Error z value Pr(>|z|)    
## (Intercept) -0.44617    0.24659  -1.809  0.07040 .  
## QuickFirst  -0.16688    0.02554  -6.533 6.44e-11 ***
## HighReview  -0.09110    0.02801  -3.252  0.00115 ** 
## COGD2       -0.50775    0.37730  -1.346  0.17838    
## COGD3       -1.07638    0.67181  -1.602  0.10911    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Correlation of Fixed Effects:
##            (Intr) QckFrs HghRvw COGD2 
## QuickFirst -0.014                     
## HighReview -0.025 -0.191              
## COGD2      -0.632 -0.003  0.002       
## COGD3      -0.334  0.004 -0.002  0.215

Model 5: Aracılık Analizi (SCM → LogR → Correctness)

model_mediator_noICML <- lmer(
  LogR ~ SCM + (1 | IDSTUD) + (1 | ITEM),
  data = long_data_clean
)
summary(model_mediator_noICML)

## Linear mixed model fit by REML ['lmerMod']
## Formula: LogR ~ SCM + (1 | IDSTUD) + (1 | ITEM)
##    Data: long_data_clean
## 
## REML criterion at convergence: 313485.5
## 
## Scaled residuals: 
##     Min      1Q  Median      3Q     Max 
## -3.1049 -0.4673 -0.1909  0.0361  6.2785 
## 
## Random effects:
##  Groups   Name        Variance Std.Dev.
##  IDSTUD   (Intercept) 0.6155   0.7845  
##  ITEM     (Intercept) 0.0188   0.1371  
##  Residual             1.3222   1.1499  
## Number of obs: 97414, groups:  IDSTUD, 3801; ITEM, 26
## 
## Fixed effects:
##             Estimate Std. Error t value
## (Intercept) 0.419377   0.071628   5.855
## SCM         0.031809   0.006671   4.768
## 
## Correlation of Fixed Effects:
##     (Intr)
## SCM -0.908

Tablolar: Model Sonuçları

tab_model(model_response, title = "Model 1: Yanıt Verme", dv.labels = "Response Given")

Model 1: Yanıt Verme
	Response Given
Predictors	Odds Ratios	CI	p
(Intercept)	3.45	0.67 – 17.93	0.140
student confident math	1.17	1.11 – 1.22	<0.001
ITSEX: ITSEX2	1.23	1.03 – 1.46	0.021
parent higest educational level	1.12	1.04 – 1.20	0.002
CNTA_f: CNTA_f2	9.18	1.41 – 59.54	0.020
CNTA_f: CNTA_f3	17.77	2.74 – 115.26	0.003
COGD: COGD2	1.73	0.60 – 4.96	0.311
COGD: COGD3	0.57	0.09 – 3.78	0.558
Random Effects
σ²	3.29
τ₀₀ _IDSTUD	3.79
τ₀₀ _ITEM	1.71
τ₀₀ _IDCNTRY	1.15
ICC	0.67
N _IDSTUD	2745
N _ITEM	26
N _IDCNTRY	8
Observations	71370
Marginal R² / Conditional R²	0.160 / 0.722

tab_model(model_correct_full, title = "Model 2: Doğruluk", dv.labels = "Correctness")

Model 2: Doğruluk
	Correctness
Predictors	Odds Ratios	CI	p
(Intercept)	0.00	0.00 – 0.01	<0.001
QuickFirst	0.81	0.76 – 0.86	<0.001
HighReview	0.98	0.92 – 1.05	0.612
CNTA_f: CNTA_f2	8.96	7.87 – 10.20	<0.001
CNTA_f: CNTA_f3	37.44	31.70 – 44.21	<0.001
student confident math	1.31	1.28 – 1.35	<0.001
parent higest educational level	1.36	1.31 – 1.42	<0.001
ITSEX: ITSEX2	1.14	1.03 – 1.27	0.013
Random Effects
σ²	3.29
τ₀₀ _IDSTUD	1.56
τ₀₀ _ITEM	0.95
ICC	0.43
N _IDSTUD	2745
N _ITEM	26
Observations	65131
Marginal R² / Conditional R²	0.337 / 0.625

tab_model(model_solution, title = "Model 3: Stratejik Davranış", dv.labels = "Solution Behavior")

Model 3: Stratejik Davranış
	Solution Behavior
Predictors	Odds Ratios	CI	p
(Intercept)	0.89	0.70 – 1.13	0.341
student confident math	0.95	0.93 – 0.96	<0.001
ITSEX: ITSEX2	0.97	0.90 – 1.05	0.482
parent higest educational level	1.03	1.00 – 1.07	0.025
CNTA_f: CNTA_f2	1.01	0.91 – 1.11	0.916
CNTA_f: CNTA_f3	0.77	0.68 – 0.87	<0.001
Random Effects
σ²	3.29
τ₀₀ _IDSTUD	0.85
τ₀₀ _ITEM	0.09
ICC	0.22
N _IDSTUD	2745
N _ITEM	26
Observations	70322
Marginal R² / Conditional R²	0.005 / 0.226

tab_model(model_cogd_noICML, title = "Model 4: Bilişsel Alanlar", dv.labels = "Correctness")

Model 4: Bilişsel Alanlar
	Correctness
Predictors	Odds Ratios	CI	p
(Intercept)	0.64	0.39 – 1.04	0.070
QuickFirst	0.85	0.80 – 0.89	<0.001
HighReview	0.91	0.86 – 0.96	0.001
COGD: COGD2	0.60	0.29 – 1.26	0.178
COGD: COGD3	0.34	0.09 – 1.27	0.109
Random Effects
σ²	3.29
τ₀₀ _IDSTUD	5.05
τ₀₀ _ITEM	0.85
ICC	0.64
N _IDSTUD	4196
N _ITEM	26
Observations	98752
Marginal R² / Conditional R²	0.012 / 0.647

Grafik: Etki Tahminleri

library(ggeffects)

p1 <- ggpredict(model_response, terms = "SCM") %>% plot() + labs(title = "SCM → Response") + theme_minimal()

p1

p2 <- ggpredict(model_correct_full, terms = "SCM") %>% plot() + labs(title = "SCM → Correctness") + theme_minimal()

p2

p3 <- ggpredict(model_solution, terms = "CNTA_f") %>% plot() + labs(title = "Country → Correctness") + theme_minimal()

p3

p4 <- ggpredict(model_cogd_noICML, terms = "QuickFirst") %>% plot() + labs(title = "Quick Start → Correctness") + theme_minimal()

p4

Yöntem

Katılımcılar ve Veri Kaynağı

Bu çalışma, 8 ülkede uygulanan TIMSS 2023 veri setinin 8. sınıf matematik alanından, yalnızca “booklet 8” içindeki 26 açık uçlu soruyu içeren 70.322 öğrencinin verilerine dayanmaktadır. Ülkeler, TIMSS 2023 başarı sıralamasına göre üç kategoriye ayrılmıştır: 1 = düşük başarılı (Brezilya, Fas), 2 = orta başarılı (Norveç, Türkiye, Finlandiya), 3 = yüksek başarılı (Japonya, Singapur, Hong Kong). Bu sınıflama, CNTA değişkeni aracılığıyla çok düzeyli analizlerde sabit etki olarak kullanılmıştır.

Ölçüler ve Değişkenler

Çalışmanın temel bağımlı değişkenleri şunlardır:

ResponseGiven: Öğrencinin soruya cevap verip vermediği (0 = hayır, 1 = evet)
Correctness: Yanıtın doğruluğu (0 = yanlış / kısmi, 1 = doğru)
SolutionBehavior: Stratejik yanıt davranışı (normal sürede başlama ve orta gözden geçirme süreleri)
SCM: Matematik özgüveni (0-4 aralığında, yüksek değer daha yüksek özgüveni gösterir)
PHEL: Ebeveynin en yüksek eğitim düzeyi
ITSEX: Cinsiyet (1 = kadın, 2 = erkek)
COGD: Bilişsel alan (Knowing, Applying, Reasoning)

Zaman tabanlı değişkenler;

QuickFirst: İlk tepki süreleri 25. persentilin altında olanlar (1 = evet)
HighReview: Gözden geçirme süreleri 75. persentilin üzerinde olanlar (1 = evet)

Analiz Stratejisi

Öncelikle, yanıt verme davranışı (ResponseGiven), doğruluk (Correctness), stratejik davranış (SolutionBehavior) ve bilişsel alanlar (COGD) için ayrı ayrı GLMM uygulanmıştır. Tüm modellerde öğrenci, madde ve ülke düzeyinde rasgele kesimler tanımlanmıştır.

Ayrıca, öğrencinin SCM düzeyinin gözden geçirme süreti (ölçüt: LogR) üzerindeki etkisi (model_mediator_noICML) ve LogR’nin doğruluk üzerindeki etkisi (model_outcome) modelleriyle, dolaylı etkiler de değerlendirilmiştir.

1. Yanıt Verme Olasılığı (Model 1)

SCM, cinsiyet ve ebeveyn eğitimi öğrencinin soruya cevap verip vermemesini anlamlı düzeyde yordadı (ör: SCM: b = 0.154, p < .001). Orta ve yüksek başarılı ülkelerde cevap verme olasılığı anlamlı düzeyde daha yüksek çıktı. COGD’nin etkisi istatistiksel olarak anlamlı değil.

2. Doğruluk (Model 2)

Doğruluğu en çok etkileyen değişkenler QuickFirst (çok hızlı başlayanlar daha az doğru), SCM, ebeveyn eğitimi ve CNTA oldu. SCM’nin etkisi pozitif ve güclü (b = 0.273, p < .001). HighReview etkisi anlamsız bulundu (b = -0.017, p = .612).

3. Stratejik Davranış (Model 3)

Stratejik davranış (SolutionBehavior), SCM (b = -0.056, p < .001) ve ülke düzeyine (CNTA3: b = -0.265, p < .001) anlamlı şekilde bağlıydı. Yüksek başarılı ülkelerde bu davranış daha az gözlemlendi.

4. Bilişsel Alanlar (Model 4)

QuickFirst ve HighReview değişkenleri doğrulukla anlamlı düzeyde ilişkiliydi. Ancak bilişsel alanlara ilişkin COGD2 ve COGD3 katsayıları anlamlı düzeyde çıkmadı (p > .1).

5. Dolaylı Etki (Mediasyon)

SCM, LogR (şifre: gözden geçirme süreti) üzerinde anlamlı pozitif etkiye sahipti (b = 0.032, p < .001). Aynı zamanda LogR doğrulukla negatif ilişkilidir (b = -0.055, p < .001). Bu durum, SCM’nin başarıyı kısmen LogR üzerinden dolaylı etkilediğini göstermektedir.

6. Grafiksel Bulgular

SCM → Response: Yüksek özgüven, cevap verme olasılığını artırıyor.
SCM → Correctness: Pozitif ve doğrusal ilişki mevcut.
Ülke → Correctness: Başarı seviyesi yükseldikçe doğruluk da artmakta.
QuickFirst → Correctness: Aşırı hızlı başlayan öğrenciler daha düşük başarı göstermektedir.

Elde edilen bulgular, öğrencilerin yanıt davranışlarının bireysel ve çevresel faktörlerden anlamlı şekilde etkilendiğini göstermektedir. Özellikle özgüven (SCM) ve ebeveyn eğitimi (PHEL) gibi motivasyonel ve sosyoekonomik faktörler, doğruluk ve katılım davranışlarını önemli ölçüde öngörmektedir.

Modeling Response Engagement and Cognitive Processes

Samet EKER

28 June 2025

Grafik: Etki Tahminleri