Review time

library(haven)

data <- read_sav("C:/Users/Lenovo/Desktop/processed_data.sav")

Veri Hazırlığı

library(dplyr)

## 
## Attaching package: 'dplyr'

## The following objects are masked from 'package:stats':
## 
##     filter, lag

## The following objects are masked from 'package:base':
## 
##     intersect, setdiff, setequal, union

processed_data <- data %>%
  mutate(
    RESP = ifelse(SCORE > 0, 1, 0),          # cevap verdi mi?
    CORR = ifelse(SCORE == 2, 1, 0),         # doğru mu?
    RT_RW = TT - FAT                         # Review time
  ) %>%
  
  # Item-level behavior classification
  group_by(ITEM) %>%
  mutate(
    # Yanıt süresi (Log-transformed)
    FATlog = log(FAT + 1),
    
    # log-transformed yanıt süresinin 25. persentili
    Q1logFAT = quantile(FATlog, probs = 0.25, na.rm = TRUE)[[1]],
    
    # Rapid guessing davranışı: 5 sn altı ya da Q1logFAT'den düşük
    RAPID = ifelse(FAT < 5 | FATlog < Q1logFAT, 1, 0),
    
    # Gözden geçirme süresinin 75. persentili
    Q3RT = quantile(RT_RW, probs = 0.75, na.rm = TRUE)[[1]],
    REVW = ifelse(RT_RW > Q3RT, 1, 0),
    
    # Gözden geçirme türüne göre kategorileştirme
    RT_typ = case_when(
      TT == FAT ~ "no_revision",  # hiç gözden geçirme yok
      RT_RW <= quantile(RT_RW[RT_RW > 0], 0.25, na.rm = TRUE)[[1]] ~ "nominal_revision",  # sembolik gözden geçirme
      TRUE ~ "substantive_revision"  # anlamlı gözden geçirme
    ),
    RT_typ = factor(RT_typ,
                    levels = c("no_revision", "nominal_revision", "substantive_revision"),
                    ordered = TRUE),
    
    # Anlamlı çözüm davranışı
    SOLVE = ifelse(FAT >= exp(Q1logFAT) & RESP == 1 & RAPID == 0, 1, 0)
  ) %>%
  ungroup()

## Warning: There were 22 warnings in `mutate()`.
## The first warning was:
## ℹ In argument: `FATlog = log(FAT + 1)`.
## ℹ In group 1: `ITEM = 1`.
## Caused by warning in `log()`:
## ! NaNs produced
## ℹ Run `dplyr::last_dplyr_warnings()` to see the 21 remaining warnings.

names(processed_data)

##  [1] "IDCNT"    "IDSTU"    "ITEM"     "SCORE"    "FAT"      "TT"      
##  [7] "RT"       "COND"     "COGD"     "ITSEX"    "SCM"      "PHEL"    
## [13] "CNTA"     "RESP"     "CORR"     "RT_RW"    "RAPID"    "REVW"    
## [19] "RT_typ"   "SOLVE"    "ACCRCY"   "PRPD"     "PREV"     "PSOL"    
## [25] "PSREV"    "Q1FAT"    "Q3RT"     "FATlog"   "Q1logFAT"

DEĞİŞKEN TANIMLARI

1. RESP: Yanıt Verildi mi?

• SCORE > 0 koşuluyla tanımlandı (0 = boş, 1 = yanıtlandı).

2. CORR: Doğru Yanıt mı?

• SCORE == 2 (1 = doğru, 0 = yanlış/boş).

3. RT_RW: Gözden Geçirme Süresi

• TT - FAT. (İlk işlemden sonra öğrencinin madde üzerinde ne kadar süre daha geçirdiğini ölçmek için oluşturuldu. 0 süre = hiç gözden geçirme yok demek.)

4. FATlog: Logaritmik İlk Süre Dönüşümü

• log(FAT + 1) Süre değişkenleri genellikle sağa çarpıkolduğu için Log dönüşümü daha normal dağılım sağlar. +1 yapmamk 0 değerlerinde log alınamaması hatasını önlediği içinmiş.

5. Q1logFAT: Log-FAT için 25. Yüzdelik Eşik

• quantile(FAT_log, 0.25) Madde bazında “rapid guessing” sınırı için tanımlandı.

6. RAPID: Hızlı Tahmin Davranışı FAT < 5 veya FAT_log < Q1_logFAT (bu değişken bilişsel işlem barındırmayan yanıtları belirlemek için oluşturuldu) Literatürde Goldhammer (2015), Wise (2017) 5 sn altı yanıtları çabasız ve düşük çaba demişler.

7. Q3RT: Yoğun Gözden Geçirme Eşiği

• quantile(RT_REVIEW, 0.75) Her madde için yoğun gözden geçirme davranışını sınıflamak için oluşturuldu.

8. REVW: Yoğun Gözden Geçirme Davranışı

• RT_REVIEW > Q3_RT (Bu değişken, öğrencinin madde üzerinde diğerlerine göre daha fazla süreyle gözden geçirenleri işaretlemek için oluşturuldu.)

9. RT_typ: Gözden Geçirme Türü (3 kategorili)

• “no_revision”: TT = FAT → hiç gözden geçirme yapılmamış.
• “nominal_revision”: Gözden geçirme süresi > 0 ancak 25. persentilin altında → sembolik tekrar.
• “substantive_revision”: Gözden geçirme süresi 25. persentilin üzerinde → anlamlı tekrar.

Ulitzsch (2022) ve Goldhammer’a göre gözden geçirme kalitesini bu şekilde sınıflamışlar.

10. SOLVE: Anlamlı Çözüm Davranışı

• FAT ≥ log-FAT Q1 eşiği ve RAPID değil ve RESPONDED = 1 Öğrencinin hızlı tahmin değil, gerçekten çözüm üretmeye çalıştığı durumları belirlemek için oluşturuldu.

11. ACCURCY: Doğru Yanıt Ort.

• Öğrencinin tüm doğru yanıtlarının ortalaması. Genel başarı düzeyi göstergesi olarak düşünüldü.

12. PRPD: Hızlı Tahmin Oranı

• Düşük çaba eğilimini öğrenci bazında ölçmek.

13. PREV: Yoğun Gözden Geçirme Oranı

• Öğrencinin tüm yanıtlarında REVIEW = 1 olanların oranı. (Stratejik tekrar yapan öğrencileri belirlemek için oluşturuldu.)

14. PSOL: Anlamlı Çözüm Oranı

• Öğrencinin çözüme yönelik davranışlarının oranı. Çözüm odaklılık düzeyini görmek için oluşturuldu.

15. PSREV: Anlamlı Gözden Geçirme Oranı

• Öğrencinin RT_typ == “substantive_revision” olduğu madde oranı. Öğrencinin ne sıklıkla gerçek anlamda revizyon yaptığına bakmak için oluşturuldu.

processed_data %>%
  group_by(RT_typ) %>%
  summarise(
    Mean_Accuracy = mean(CORR, na.rm = TRUE),
    N = n()
  )

öğrencilerin gözden geçirme davranışları ile başarıları arasında belirgin bir ilişki var.

Hiç gözden geçirme yapmayan öğrenciler (no_revision) en düşük doğruluk oranına sahip. Bu, birçok öğrencinin ya yanıtı düşünmeden verdiğini ya da emin olmadığı sorularda zaman harcamadığını düşündürebilir. Bu grup aynı zamanda en kalabalık grup, yani testlerde en yaygın strateji bu.

Sembolik gözden geçirme yapanlar (nominal_revision) en yüksek başarı oranına sahip. Bu oldukça dikkat çekici; çünkü bu öğrenciler çok kısa süreli kontrol yapmalarına rağmen diğerlerinden daha doğru yanıt vermiş. Bu, genellikle bilgili ama stratejik davranan öğrencilerin özelliğidir. Sayıca az olsalar da etkili bir yanıt stratejisine sahipler.

Anlamlı gözden geçirme yapanlar (substantive_revision) başarı açısından ortada yer alıyor. Bu öğrenciler ciddi çaba gösteriyor olabilir fakat bu çaba her zaman başarıya dönüşmüyor. Bu grup, ya daha zorlandığı sorulara ciddi vakit ayıranlar ya da yanıtını tekrar tekrar sorgulayanlardan oluşuyor olabilir.

Sadece çok uzun gözden geçirme değil, hedefe yönelik ve kısa kontrol stratejisi (nominal revision) başarıyı daha fazla destekliyor gibi görünüyor. Bu, özellikle sınav sırasında zamana duyarlı stratejik davranışların önemini vurgulayabilir.

VERİ SETİYLE YAPILABİLECEK ÇALIŞMALAR

1. Stratejik Gözden Geçirme Davranışlarının Akademik Başarı ile İlişkisi

Öğrencilerin sınav sırasında gösterdiği gözden geçirme davranışları (nominal vs. substantive) ile başarıları arasındaki ilişkiyi incelemek için çalışılabilir.

Araştırma Problemleri

• Öğrencilerin gözden geçirme türleri (RT_typ) ile doğru yanıt oranı (CORR) arasında anlamlı fark var mı?

• Nominal revizyon davranışı sergileyen öğrenciler, diğer gruplara göre daha mı stratejik?

• Anlamlı gözden geçirme yapan öğrencilerin başarıları, düşük özgüvene sahip öğrencilerde nasıl değişiyor? (Student confident in math değişkenini kullanabiliriz)

• Anlamlı gözden geçirme davranışı, ülke başarı düzeyi (CNTA) ile farklı şekillerde mi ortaya çıkıyor?

2. Hızlı Tahmin (Rapid Guessing) Davranışlarının Psikometrik Geçerliliğe Etkisi

Hızlı yanıt verme davranışlarının testin güvenilirliğini ve ölçüm geçerliliğini nasıl etkilediğini analiz etmek.

Araştırma Problemleri:

• Rapid yanıtların dahil edilmesi, test doğruluk ortalamalarını (ACCRCY) nasıl etkiliyor?

• Hızlı tahmin eğilimi yüksek olan öğrencilerde anlamlı çözüm (SOLVE) oranı nasıl değişiyor?

• Öğrenci özgüveni (SCM), hızlı tahmin davranışı ile ters orantılı mı?

• Ülkeler arasında hızlı tahmin davranışında sistematik farklar var mı?

3. Zaman Kullanımı ve Sınav Performansı: Bilişsel Alanlara Göre Karşılaştırma

Farklı bilişsel alanlarda (COGD) öğrencilerin zaman kullanımı (FAT, RT_RW) ve başarı ilişkilerini inceleme.

Araştırma Problemleri:

• Bilişsel alanlar arasında gözden geçirme süresi (RT_RW) farklılık gösteriyor mu?

• Hangi bilişsel alanda öğrenciler daha fazla anlamlı revizyon yapıyor?

• Süre kullanımı ile başarı (CORR) ilişkisi, bilişsel alanlara göre değişiyor mu?

• Bilişsel alana göre hızlı tahmin oranlarında fark var mı?

4. Davranışsal tutarsızlık (Discrepant profile) ve bilişsel geçerlilik ilişkisi: işlem süreci verisine dayalı sınıflandırma yaklaşımı

Veri setindeki değişkenler ile, öğrencilerin sınav sırasında gösterdikleri davranışları ve bu davranışların akademik başarı üzerindeki etkilerini incelemek için kullanılabilir. Yapılabilecek bazı araştırma soruları ve problemleri:

• 1. Hangi davranış örüntüleri (QRS) en sık görülmektedir ve bunların performansa etkisi nedir? . Q1: En yaygın davranış örüntüsü hangisidir ve bu örüntüye sahip öğrencilerde doğruluk (Correctness) oranı nasıldır?

. Q2: “Sadece hızlı cevaplayan” (QuickFirst=1, diğerleri=0) öğrencilerin başarı düzeyi nedir?

. Q3: “Full stratejik” davranış (Q=1, R=1, S=1) gösteren öğrenciler gerçekten daha mı başarılı?

. Q4: QRS örüntüsü ile DDI (Tutarsızlık Endeksi) arasında ilişki var mı?

. Q5: Bu örüntüler ülkeler veya cinsiyet grupları arasında sistematik olarak değişiyor mu?

• 2. PET sınıflaması ile davranışsal profiller (ProfilEtiketi) ne ölçüde örtüşmektedir?

. Q1: “Tahmin” sınıfına düşen öğrencilerin büyük kısmı davranışsal olarak da tutarsız mı?

. Q2: “Yanlış anlama” ve “Şanslı tahmin” profilleri PET sınıflarında nasıl dağılmıştır?

. Q3: PET ve ProfilEtiketi arasında uyum oranı nedir? (Cohen’s Kappa ile ölçülebilir)

. Q4: PET sınıflarının ortalama davranış skoru farklı mıdır?

. Q5: Hangi sınıflarda PET ve davranışsal etiketlerin örtüşmediği durumlar daha sık görülüyor?

• 3. DDI skoru davranış skoruyla tutarlı mı? (metrik analiz)

. Q1: DDI skoru yüksek olan öğrenciler daha çok hangi davranış örüntüsüne sahiptir?

. Q2: DDI ile davranış skoru arasında nasıl bir korelasyon vardır?

. Q3: Cinsiyete göre DDI dağılımı anlamlı fark gösteriyor mu?

. Q4: DDI seviyesi arttıkça, öğrencinin başarısında düşüş gözleniyor mu?

• 4. “Discrepant” (Tutarsız) davranış profilleri akademik geçerlilik açısından ne anlama gelir?

. Q1: “Tahmin” veya “Şanslı Tahmin” gibi tutarsız profiller, sınavın geçerliliğini zedeliyor mu?

. Q2: Bu profillerdeki öğrencilerin işlem süresi dağılımı nasıl?

. Q3: Profil değişkenleri test puanlarından bağımsız olarak bilişsel çabayı temsil ediyor mu?

. Q4: Test tasarımı açısından bu profillerin azaltılması mümkün mü?

. Q5: Bu öğrenciler, sınavdan çıkarılsa bile sonuçların güvenilirliği nasıl değişir?

BU ÖNERİ İLE İLGİLİ bu linkte bir çalışma yapmaya çalıştım.