DKAB vize analizleri / Midterm exam analyses
Burak AYDIN
November 25, 2015
Özet
Bu dokümanda 171 DKAB 3. sınıf öğrencisinin, 2015 Kasım ayında girdikleri, “Eğitimde Ölçme ve Değerlendirme” dersi vizesi verileri üzerine analizler mevcuttur. Sınavın güvenirliği, faktör yapısı, madde istatistikleri, IRT 2PL puan tahminleri ve son olarak kopya çekenleri tespit etme amaçlı sonuçlar raporlanmıştır.
Intro in English
A week ago, 170 juniors (3rd graders) took their midterm for my assesment course. Using this midterm data, current document reports; 1
- scores
- item analyses
- reliability
- factor analyses
- irt ability estimates
- and copy detection studies
Konu:
17 Kasım 2015 günü saat 1000’da 171 DKAB üçüncü sınıf öğrencisi , eğitimde ölçme ve değerlendirme dersinin vize sınavına girdi. Öğrenciler 40 soruya cevap verdiler. Öğrencilerin cevapları optik okuyucuda okundu. Analizlerde kullanılan (isimleri ve ögrenci numaraları içermeyen) ham veriyi burda bulabilirsiniz (bknz).
Problem:
Çoğu öğrencinin daha önce kaliteli bir ölçme durumuna (occasion) şahit olmayışı.
Çözüm :
Bir ölçme durumuna uygulanabilecek muhtemel analizleri öğrencilere kendi dataları üzerinden göstermek.
Vize sonuçları
| Min | %25 | Medyan | Ortalama | %75 | Mak | |
|---|---|---|---|---|---|---|
| Notlar | 20 | 55 | 63 | 61.61 | 69.5 | 90 |
Madde istatistikleri
Madde istatistiklerini almak için websitemde yer alan interaktif bir uygulamayı kullandım (Klasik Test Teorisi) (self promotion alert goes here!)
Cronbach alfa değeri .68, Bu değer, sınavdan elde edilen puanlara ait varyansın en az yüzde 68’inin gerçek puanlara dayalı oluştuğu anlamına gelir.
Beşinci, yirmidokuzuncu veya otuzüçüncü sorulardan herhangi birinin sınavdan çıkarılması durumunda bu alfa değeri .70 olabilirdi.
Madde zorlukları .14 ile .92 arasında değişmiştir. En düşük madde ayırt edicilik indeksi -0.09, en yüksek ise .41 dir.
Madde ayırt edicilik indeksi negatif olan üç madde yine, 5, 29 ve 33. sorulardır.
istenilen özellikleri göstermeyen 5. soru şu şekildedir;
I Önkoşul davranışların varlığını dereceleme
II Öğrenci başarısını özetleme
III Öğrenme eksikliklerini belirleme
IV Öğrenci ve öğretmene ilişkin yargıda bulunma
Değer biçmeye yönelik değerlendirme süreci öncelikle hangi öğeleri kapsar?
a) I- IV b) II- IV c) III- IV d) II- III e) I- III- Bu soruda öğrencilerin (alt grup, orta grup, üst grup farketmeksizin) genelde yanlış olan D şıkkını işaretlediği(%53.7) görülmüştür.
Sınavın ilk 3 sorusunun zorluk katsayıları sırasıyla, .87, .78 ve .69 dur. ilk soruların öğrencilere kolay gelmesi motivasyonlarının bozulmaması açısından önemlidir.
Yapılan analizler 2 soruda çeldiricilerin düzgün çalışmadığını göstermiştir. Gerçek seçenek sayısının (GSS) yaklaşık 5 olması gerekirken, bu 2 soruda GSS değerleri 1.64 ve 1.96 bulunmuştur.
Faktör Analizi
Vizeden önce geçen 6 haftada, toplam 6 farklı ünite işlenmiştir; giriş, temel istatistik, geçerlik, güvenirlik ve kullanışlılık, Bloom taksonomisi ve ölçme araçları. Kapsam geçerliğini sağlamak adına her uniteden sorular sorulmuş, geçerlik konusu oldukça önemli olduğu için diğer ünitelere kıyasla daha fazla soru sorulmuştur.
library(lavaan)
dkab=read.csv("dikab10coded.csv")
kable(head(dkab))| i01 | i02 | i03 | i04 | i05 | i06 | i07 | i08 | i09 | i10 | i11 | i12 | i13 | i14 | i15 | i16 | i17 | i18 | i19 | i20 | i21 | i22 | i23 | i24 | i25 | i26 | i27 | i28 | i29 | i30 | i31 | i32 | i33 | i34 | i35 | i36 | i37 | i38 | i39 | i40 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 1 | 0 | 1 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 1 | 1 | 1 | 0 | 0 | 0 | 1 | 0 | 1 | 0 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 1 | 1 |
| 1 | 1 | 0 | 1 | 0 | 1 | 1 | 1 | 1 | 0 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 1 | 1 | 0 | 0 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 1 | 1 |
| 1 | 1 | 0 | 1 | 0 | 1 | 0 | 0 | 0 | 0 | 1 | 1 | 0 | 1 | 0 | 1 | 1 | 0 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | 1 | 1 | 0 | 1 | 0 | 1 | 1 | 1 | 1 | 1 |
| 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 1 | 0 | 1 | 1 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | 1 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 1 | 1 | 1 | 1 | 1 | 1 |
| 1 | 1 | 1 | 1 | 0 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 0 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 1 | 1 | 1 | 0 | 1 | 1 | 1 |
| 1 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 1 | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
model <- '
# CFA with binary input
gi =~ i01 + i03 + i04 + i05 + i06 + i07 + i08 +i09 + i19
is =~ i24 + i10 + i11 + i02
guv =~ i12 + i13 + i14 + i18 + i22 + i29 + i37
gec =~ i16 + i15 + i17 + i20 + i23 + i25 + i26 + i28 + i30 + i38 + i39 + i40
blo =~ i21 + i31 + i32 + i33
ara =~ i27 + i34 + i35 + i36
'
fit <- cfa(model, data = dkab,ordered=names(dkab))
#summary(fit, fit.measures = TRUE, standardized=TRUE)
fitMeasures(fit, c( "tli", "cfi", "rmsea"))## tli cfi rmsea
## 0.925 0.930 0.022- ikili (binary) verilerin özelliklerine uygun olarak yapılmış faktör analizi oldukça uyumlu sonuçlar vermiştir. Bu sonuçlar, eldeki başarı testinin faktör yapısı, yani yapı geçerliği hakkında olumlu bir kanıttır.
IRT sonuçları
Klasik test teorisinin altenatifi olan modern test teorisinin örneklemden ve sorulardan bağımsız bir puanlama yapması beklenir. 2
| Min | %25 | Medyan | Ortalama | %75 | Mak | |
|---|---|---|---|---|---|---|
| Notlar | -2.46 | -0.625 | -0.0285 | -0.02989 | 0.5762 | 2.055 |
IRT ve KTT puanları arasında .931 korelasyon bulunmuştur.
Kopya tespit çalışması
MiscPsycho paketinin cheat fonksiyonu kullanılarak, 4 çiftin fazlasıyla benzer cevap kağıtları teslim ettiği görülmüştür. Bu dört çift, 40 soruda, sırasıyla 31, 30, 28 ve 27 soruya, doğru ve yanlışlar dahil olmak üzere aynı cevapları vermiştir.
Sınav yoklama kağıtlarına bakıldığında bu 4 çiftten 3’ünün aynı sınıfta sınava girdiği görülmüştür.