library(lme4)
library(dplyr)
library(tidyverse)
library(sjmisc)
library(broom) InstEval, lm4 paketinde yer alan ve içi içe geçmiş veriler bulunan, öğrencilerin ders/öğretim üyesi değerlendirmelerinden oluşan veri setidir. Burada dersler derslerin öğrenci düzeyinde değişimi incelenmiştir.
Rastgele Kesişim Hipotezi
Dersler arasında ortalama değerlendirme puanları farklılık gösterir.
Model: y ~ 1 + (1 | s)
Düzey‑1 Hipotezi (Öğrenci düzeyi)
Öğrencinin verdiği puan, ders ortalamasına göre farklılık gösterir.
Model: y ~ c_y + (1 | s)
Düzey‑2 Hipotezi (Ders düzeyi)
Derslerin ortalama puanı (mean_y) değerlendirmeleri açıklar.
Model: y ~ mean_y + (1 | s)
Ek Hipotezler
service (ders kendi bölümünden mi başka bölümden mi) değerlendirme puanını etkiler.
dept (dersin bağlı olduğu bölüm) değerlendirme puanını etkiler.
studage (öğrencinin dönem bilgisi) değerlendirme puanını etkiler.
lm4 Paketinde yer alan InstLevel Veri Setinin Yüklemesi
data("InstEval", package = "lme4")
str(InstEval)## 'data.frame': 73421 obs. of 7 variables:
## $ s : Factor w/ 2972 levels "1","2","3","4",..: 1 1 1 1 2 2 3 3 3 3 ...
## $ d : Factor w/ 1128 levels "1","6","7","8",..: 525 560 832 1068 62 406 3 6 19 75 ...
## $ studage: Ord.factor w/ 4 levels "2"<"4"<"6"<"8": 1 1 1 1 1 1 1 1 1 1 ...
## $ lectage: Ord.factor w/ 6 levels "1"<"2"<"3"<"4"<..: 2 1 2 2 1 1 1 1 1 1 ...
## $ service: Factor w/ 2 levels "0","1": 1 2 1 2 1 1 2 1 1 1 ...
## $ dept : Factor w/ 14 levels "15","5","10",..: 14 5 14 12 2 2 13 3 3 3 ...
## $ y : int 5 2 5 3 2 4 4 5 5 4 ...summary(InstEval)## s d studage lectage service dept
## 2088 : 92 827 : 792 2:15406 1:20125 0:41638 12 : 9528
## 2410 : 89 1780 : 666 4:16888 2:16297 1:31783 11 : 8574
## 905 : 87 260 : 637 6:22107 3:10999 6 : 8097
## 1325 : 85 150 : 565 8:19020 4: 8638 4 : 6725
## 1331 : 84 2079 : 406 5: 6258 9 : 6624
## 1458 : 83 296 : 376 6:11104 3 : 4749
## (Other):72901 (Other):69979 (Other):29124
## y
## Min. :1.000
## 1st Qu.:2.000
## Median :3.000
## Mean :3.206
## 3rd Qu.:4.000
## Max. :5.000
## InstEval <- InstEval %>%
group_by(s) %>%
# her ders için ortalama değerlendirme puanı
mutate(mean_y = mean(y, na.rm = TRUE)) %>%
ungroup() %>%
# öğrencinin puanı - ders ortalaması
mutate(c_y = y - mean_y) %>%
relocate(c_y, .after = y)mean_y → ders ortalama puanı (Düzey‑2)
c_y → öğrencinin puanı, ders ortalamasına göre merkezlenmiş hali (Düzey‑1)
Hem ders ortalamaları arasındaki farkları hem de öğrencilerin ders ortalamasına göre farklılıklarını modelleyebilmek amacıyla.
Öğrencinin Toplam Dönem Sayısı
InstEval %>%
select(studage) %>%
sjmisc::frq()## studage <ordinal>
## # total N=73421 valid N=73421 mean=5.22 sd=2.17
##
## Value | N | Raw % | Valid % | Cum. %
## ----------------------------------------
## 2 | 15406 | 20.98 | 20.98 | 20.98
## 4 | 16888 | 23.00 | 23.00 | 43.98
## 6 | 22107 | 30.11 | 30.11 | 74.09
## 8 | 19020 | 25.91 | 25.91 | 100.00
## <NA> | 0 | 0.00 | <NA> | <NA>Dersin Kaç Dönem Verildiği
InstEval %>%
select(lectage) %>%
sjmisc::frq()## lectage <ordinal>
## # total N=73421 valid N=73421 mean=2.97 sd=1.77
##
## Value | N | Raw % | Valid % | Cum. %
## ----------------------------------------
## 1 | 20125 | 27.41 | 27.41 | 27.41
## 2 | 16297 | 22.20 | 22.20 | 49.61
## 3 | 10999 | 14.98 | 14.98 | 64.59
## 4 | 8638 | 11.77 | 11.77 | 76.35
## 5 | 6258 | 8.52 | 8.52 | 84.88
## 6 | 11104 | 15.12 | 15.12 | 100.00
## <NA> | 0 | 0.00 | <NA> | <NA>Dersin kendi Bölümünden mi (0) Yoksa Başka Bölüm İçin mi (1) Alındığı
InstEval %>%
select(service) %>%
sjmisc::frq()## service <categorical>
## # total N=73421 valid N=73421 mean=0.43 sd=0.50
##
## Value | N | Raw % | Valid % | Cum. %
## ----------------------------------------
## 0 | 41638 | 56.71 | 56.71 | 56.71
## 1 | 31783 | 43.29 | 43.29 | 100.00
## <NA> | 0 | 0.00 | <NA> | <NA>Dersin Bağlı Olduğu Bölüm
InstEval %>%
select(dept) %>%
sjmisc::frq()## dept <categorical>
## # total N=73421 valid N=73421 mean=8.06 sd=3.91
##
## Value | N | Raw % | Valid % | Cum. %
## ---------------------------------------
## 1 | 2632 | 3.58 | 3.58 | 76.65
## 2 | 3822 | 5.21 | 5.21 | 100.00
## 3 | 4749 | 6.47 | 6.47 | 83.12
## 4 | 6725 | 9.16 | 9.16 | 52.66
## 5 | 3790 | 5.16 | 5.16 | 9.65
## 6 | 8097 | 11.03 | 11.03 | 40.06
## 7 | 2520 | 3.43 | 3.43 | 43.50
## 8 | 4426 | 6.03 | 6.03 | 58.68
## 9 | 6624 | 9.02 | 9.02 | 67.71
## 10 | 4708 | 6.41 | 6.41 | 16.06
## 11 | 8574 | 11.68 | 11.68 | 94.79
## 12 | 9528 | 12.98 | 12.98 | 29.04
## 14 | 3934 | 5.36 | 5.36 | 73.06
## 15 | 3292 | 4.48 | 4.48 | 4.48
## <NA> | 0 | 0.00 | <NA> | <NA>(Derslerin ortalama değerlendirme puanlarının farklı olup olmadığını görmek amacıyla)
mod1 <- lmer(y ~ 1 + (1 | s), data = InstEval)
summary(mod1)## Linear mixed model fit by REML ['lmerMod']
## Formula: y ~ 1 + (1 | s)
## Data: InstEval
##
## REML criterion at convergence: 248799.5
##
## Scaled residuals:
## Min 1Q Median 3Q Max
## -2.26377 -0.82209 -0.01219 0.76586 2.11332
##
## Random effects:
## Groups Name Variance Std.Dev.
## s (Intercept) 0.1006 0.3173
## Residual 1.6759 1.2946
## Number of obs: 73421, groups: s, 2972
##
## Fixed effects:
## Estimate Std. Error t value
## (Intercept) 3.209219 0.007871 407.7Yorum:
Dersler arası varyans (T00)= 0.1006 Bu, derslerin ortalama değerlendirme puanlarının birbirinden farklılaşma derecesidir. Standart Sapma = 0.317 ders ortalamaları genel ortalamadan yaklaşık +-0.32 puan sapıyor.
Öğrenciler arası varyans (σ²)=1.6759 Bu, aynı ders içindeki öğrencilerin verdiği puanların farklılaşma derecesini gösterir. Standart Sapma = 1.295 öğrencilerin ders ortalamasından sapmaları yaklaşık +- 1.3 puan sapma.
Sınıflararası Korelaasyon(ICC)
ρ=T00/T00+σ2 0.1006/0.1006+1.6759 = 0.057
CC = %5.7(Yaklaşık Olarak) Öğrencilerin değerlendirme puanlarındaki toplam varyansın %6’sı dersler arasındaki farklılıklardan kaynaklanıyor diyebiliriz.
Olası Değerler Aralığı (Plausible Values Range)
Genel ortalama puan (Y00) = 3.21
Dersler arası Std.Dev. = 0.317
3.21 +- 1.96*0.317=(2.59, 3.83)
Ders ortalamalarının %95’i 2.59 ile 3.83 aralığında.
Yani bazı dersler ortalama 2.6 civarında düşük puan alırken, bazıları 3.8 civarında daha yüksek puan alıyor.
Bu modelde güvenirlik yaklaşık olarak 0.06’dır. (0.1006/0.1006+0.0678) Yani ders ortalamalarının güvenilirliği düşük diyebiliriz.
öğrencinin ders ortalamasına göre puan farkının (c_y değişkeni) derslere göre farklılaşıp farklılaşmadığını test etmek için
mod2 <- lmer(y ~ c_y + (c_y | s), data = InstEval)
summary(mod2)## Linear mixed model fit by REML ['lmerMod']
## Formula: y ~ c_y + (c_y | s)
## Data: InstEval
##
## REML criterion at convergence: -1951965
##
## Scaled residuals:
## Min 1Q Median 3Q Max
## -9.754e-06 -1.667e-07 3.400e-09 1.581e-07 2.734e-05
##
## Random effects:
## Groups Name Variance Std.Dev. Corr
## s (Intercept) 8.445e-03 9.189e-02
## c_y 2.665e-04 1.632e-02 0.01
## Residual 1.669e-14 1.292e-07
## Number of obs: 73421, groups: s, 2972
##
## Fixed effects:
## Estimate Std. Error t value
## (Intercept) 3.2130924 0.0016843 1908
## c_y 0.9886865 0.0002999 3297
##
## Correlation of Fixed Effects:
## (Intr)
## c_y 0.015Yorum:
Fixed Effects
Intercept = 3.213
Genel ortalama puan = 3.21 (derslerin ortalama değerlendirme puanı)
c_y katsayısı = 0.989
Öğrencinin verdiği puan, ders ortalamasına göre merkezlendiğinde katsayı
= 1. Yani öğrencinin puanı ders ortalamasına göre neredeyse birebir
oranında değişiklik gösteriyor(artıyor ya da azalıyor) diyebiliriz.
Her iki katsayı da çok yüksek t değerlerine sahip olduğundan anlamlıdır yorumu yapabiliriz. (p<0.0001)
Random Effects Intercept varyansı (T00) = 0.00845 (Std.Dev. =
0.092)
Derslerin ortalama puanları arasındaki farklılık var ama çok küçük
diyebiliriz.
Eğim varyansı (T11) = 0.000266 (Std.Dev. =0.016)
Öğrencinin ders ortalamasına göre puan farkının etkisi dersler arasında
küçük düzeyde değişmektedir.
Intercept–Slope(Kesişim-Eğim) korelasyonu = 0.01
Derslerin ortalama puanı ile eğim etkisi arasındaki ilişki çok düşük
neredeyse yok diyebiliriz. Residual varyans = 0 (1.67e‑14)
Bu modelde residual neredeyse sıfıra düşmüş, çünkü c_y(ğrencinin
puanının ders ortalamasına göre merkezlenmiş (centered) hali) değişkeni
puanları ders ortalamasına göre merkezlediği için açıklama gücü yüksek
yorumunu yapabiliriz.
ICC: 0.00845/0.00845+ 0=1(yaklaşık) R2: 0.1006-0.00845/0.1006 = 0.916 (Yordayıcı değişken eklendiğinde(öğrencilerin ders ortalamasına göre puan farkını gösteren) dersler arası varyansın yaklaşık %92’si açıklanmıştır).
Güvenirlik hesabı için ; 0.00845/0.00845+ 0 olacaktır çünkü artıklar varyansı nerdeyse 0 dolayısıyla güvenirlik te yaklaşık olarak 1’e yakın olacaktır. Buradan yola çıkarak Öğrencilerin puanları ders ortalamasına göre birebir değişiyor, ama bu ilişkinin dersler arasında farklılaşması yok denecek kadar azdır yorumunu yapabiliriz.
İlk modelde intercept değeri 3.209 iken bu modelde 3.213’tür yani değerler birbirine çok yakındır. Yordayıcı değişken (c_y) eklendiğinde model daha güçlü hale geliyor diyebilirz. Dersler arası ortalama farkı daha dar bir aralıkta (3.03–3.39) değerler aldığını görüyoruz. Öğrenciler arası varyans neredeyse sıfırlandığı için güvenirlik yaklaşık olarak 1’dir. Özetle yordayıcı değişken eklenince dersler arası farklılıklar büyük ölçüde açıklanıyor, varyans daralıyor, güvenirlik artıyor.
hem kesişim (intercept) hem de eğim (slope) dersler arasında rastgele değişmeye izin verilir
mod3 <- lmer(y ~ c_y + (1 + c_y | s), data = InstEval)
summary(mod3)## Linear mixed model fit by REML ['lmerMod']
## Formula: y ~ c_y + (1 + c_y | s)
## Data: InstEval
##
## REML criterion at convergence: -1951965
##
## Scaled residuals:
## Min 1Q Median 3Q Max
## -9.754e-06 -1.667e-07 3.400e-09 1.581e-07 2.734e-05
##
## Random effects:
## Groups Name Variance Std.Dev. Corr
## s (Intercept) 8.445e-03 9.189e-02
## c_y 2.665e-04 1.632e-02 0.01
## Residual 1.669e-14 1.292e-07
## Number of obs: 73421, groups: s, 2972
##
## Fixed effects:
## Estimate Std. Error t value
## (Intercept) 3.2130924 0.0016843 1908
## c_y 0.9886865 0.0002999 3297
##
## Correlation of Fixed Effects:
## (Intr)
## c_y 0.015Burada sonuçlar aynı olduğundan Level‑2’ye (ders düzeyi) dept değişkenini ekledim. Yani hem intercept hem slope, dersin bağlı olduğu bölüme göre açıklayan depti yordayıcı olarak atadım ve sonuçları tekrar yorumladım.
mod4 <- lmer(y ~ c_y * dept + (1 + c_y | s), data = InstEval)
summary(mod4)## Linear mixed model fit by REML ['lmerMod']
## Formula: y ~ c_y * dept + (1 + c_y | s)
## Data: InstEval
##
## REML criterion at convergence: -1838447
##
## Scaled residuals:
## Min 1Q Median 3Q Max
## -0.014039 -0.002658 -0.000050 0.002128 0.048617
##
## Random effects:
## Groups Name Variance Std.Dev. Corr
## s (Intercept) 8.282e-03 9.100e-02
## c_y 6.897e-18 2.626e-09 0.20
## Residual 2.564e-13 5.064e-07
## Number of obs: 73421, groups: s, 2972
##
## Fixed effects:
## Estimate Std. Error t value
## (Intercept) 3.218e+00 1.670e-03 1.927e+03
## c_y 1.000e+00 7.066e-09 1.415e+08
## dept5 -6.392e-11 2.391e-08 -3.000e-03
## dept10 -1.857e-10 1.622e-08 -1.100e-02
## dept12 -1.511e-10 1.311e-08 -1.200e-02
## dept6 -8.289e-11 1.376e-08 -6.000e-03
## dept7 -7.461e-11 1.759e-08 -4.000e-03
## dept4 -1.360e-10 1.352e-08 -1.000e-02
## dept8 -4.778e-12 1.459e-08 0.000e+00
## dept9 -5.846e-11 1.516e-08 -4.000e-03
## dept14 4.485e-11 1.658e-08 3.000e-03
## dept1 6.564e-11 1.715e-08 4.000e-03
## dept3 1.160e-10 1.606e-08 7.000e-03
## dept11 -5.493e-11 1.402e-08 -4.000e-03
## dept2 -1.199e-10 1.512e-08 -8.000e-03
## c_y:dept5 -1.963e-10 9.731e-09 -2.000e-02
## c_y:dept10 7.592e-10 9.210e-09 8.200e-02
## c_y:dept12 -7.578e-11 8.248e-09 -9.000e-03
## c_y:dept6 7.113e-11 8.372e-09 8.000e-03
## c_y:dept7 2.258e-10 1.081e-08 2.100e-02
## c_y:dept4 -1.977e-10 8.719e-09 -2.300e-02
## c_y:dept8 -6.850e-11 9.356e-09 -7.000e-03
## c_y:dept9 2.872e-12 8.613e-09 0.000e+00
## c_y:dept14 1.651e-10 9.577e-09 1.700e-02
## c_y:dept1 -7.576e-11 1.081e-08 -7.000e-03
## c_y:dept3 6.504e-10 9.173e-09 7.100e-02
## c_y:dept11 1.224e-10 8.267e-09 1.500e-02
## c_y:dept2 -1.009e-10 9.619e-09 -1.000e-02Yorum:
Fixed Effects
Intercept : Estimate = 3.218 Std.Hata = 0.00167, t = 1927 Genel ortalama puan yaklaşık 3.21; yüksek t değeri nedeniyle istatistiksel olarak anlamlıdır (p < 0.001).
Düzey‑1 Yordayıcısı: c_y Estimate = 1.000 , Std. Hata=00; t= 1.4e+08 Öğrencinin ders ortalamasına göre merkezlenmiş puan farkı, puanlara neredeyse birebir yansıyor. Katsayı = 1 olduğu için “öğrencinin ders ortalamasına göre farkı” doğrudan değerlendirme puanına ekleniyor. Bu etki çok güçlü ve anlamlıdır diyebiliriz.
Düzey‑2 Yordayıcıs: dept Bölüm dummy değişkenleri (dept1, dept2, …, dept14) için katsayılar 10 üzeri -11 – 10 üzeri -10 aralığında, yani sıfıra çok yakın deeğrler t değerleri ≈ 0.00 – 0.01 aralığında. Buradan yola çıkarak; Bölüm türü, derslerin ortalama puanlarını anlamlı biçimde açıklamıyor. Yani farklı bölümler arasında ortalama puan farkı yok denecek kadar azdır yorumu yapabiliriz.
Çapraz Düzey Etkileşim: c_y × dept Katsayılar yine aynı aralıkta olduğundan küçük diyebiliriz. t değerleri ≈ 0.00 – 0.08 aralığında. Öğrencinin ders ortalamasına göre puan farkının etkisi bölüm türüne göre değişmiyor. Çapraz düzey etkileşim anlamlı değil yorumu yapılabilir. Başka bir deyişle; çapraz düzey etkileşim katsayıları anlamsız düzeyde küçük olup, öğrencilerin ders ortalamasına göre verdikleri puanların bölüm türüne göre farklılaşmadığını göstermektedir.
Bu çalışmada üç farklı hiyerarşik doğrusal model (rastgele kesişim, rastgele eğim ve her ikisinin bağımlı değişken olduğu model) karşılaştırılmıştır. İlk modelde dersler arası varyansın küçük ancak mevcut olduğu görülmüştür(yani öğrenciler arası varyansın daha fazla olduğu çıkarılabilir) Gruplar arası varyans (dersler arası): 0.1006 Grup içi varyans (öğrenciler arası): 1.6759 İkinci modelde öğrencinin ders ortalamasına göre merkezlenmiş puan farkı (c_y) eklenmiş ve dersler arası varyansın %92’sinin açıklandığı, residual varyansın ise neredeyse sıfıra indiği bulunmuştur. Üçüncü modelde intercept ve slope(kesişim ve eğim) birlikte rastgele tanımlanmış, ancak sonuçlar rastgele eğim modeli ile aynı çıkmıştır. Ayrıca ders türü (dept) değişkeni eklenerek çapraz düzey etkileşim test edilmiş, fakat anlamlı bir etkileşim bulunmamıştır. Sonuç olarak bu çalışmada dersler arasında anlamlı bir fark bulunmamıştır. Öğrencilerin ders ortalamasına göre puan farkı (c_y) modeli açıklayan tek güçlü predictor olmuş, bölüm türü ise ne ortalama puanları ne de c_y etkisini anlamlı biçimde açıklayamamıştır.