Yanlılık, farklı alt grupların test puanlarının içinde olunan gruba göre sistematik hata içermesidir. Uygulanan testlerin sınava giren grupların hiçbirine bir avantaj sağlamaması gerekir aksi durumda geçerliliği olumsuz etkiler (Camilli ve Shepard, 1994).

Madde yanlılığının belirlenmesinde ilk olarak değişen madde fonksiyonu (DMF) istatistiksel yollarla belirlenir. DMF analizi madde yanlılığı için gerekli ancak yeterli olmayan bir şarttır. Daha sonra uzman görüşleri alınarak madde yanlılığına yönelik değerlendirme ve karar verilmektedir (Zumbo, 1999).

Değişen madde fonksiyonu (DMF), bir testin maddeleri ölçülmek istenen temel yetenek bakımından eşleştikten sonra, farklı gruplardan testi alanların madde üzerinde farklı başarı ihtimalleri göstermesi olarak tanımlamıştır (Zumbo, 1999). Başka bir tanıma göre değişen madde fonksiyonu (DMF), madde ile ölçülen özellik bakımından karşılaştırılabilir olması gereken bireylerin bulundukları gruplar arasındaki beklenmedik farktır (Holland ve Wainer, 2012).

Değişen madde fonksiyonu ile incelenen maddenin DMF göstermesinin nedeni o maddenin kendi özelliğinden kaynaklanabilir. Diğer bir yandan aynı yetenek düzeyinde olan gruplardaki bireylerin maddeyi doğru yanıtlama olasılığının herhangi bir gruba avantaj sağladığı için aynı olmamasından kaynaklanabilir.

DMF’nin tek biçimli ve tek biçimli olmayan olmak üzere iki çeşidi vardır. Tek biçimli DMF bütün yetenek düzeylerinde bir gruba avantaj sağladığı durumlarda, tek biçimli olmayan DMF ise yetenek düzeylerinden birinde bir gruba diğerinde farklı bir gruba avantaj sağladığı durumlarda meydana gelen DMF için kullanılmaktadır (Swaminathan ve Rogers, 1990).

Kullanılan kurama, grup sayısına ve düzeye göre farklı DMF yöntemleri kullanılabilir.

• Klasik Test Kuramı’na dayalı DMF yöntemleri

• Madde Tepki Kuramı’na dayalı DMF yöntemleri

İkili puanlanan maddeler için uygun bir yöntemdir. Odak ve referans grupta yer alan bireylerin testten aldıkları puanlar dikkate alınarak aynı puanı alan bireyler, aynı yetenek düzeyi olarak adlandırılır. Her bir yetenek düzeyi için odds diğer bir deyişle olabilirlik oranı değerleri hesaplanır. Odds bir olayın gerçekleşme olasılığının gerçekleşmeme olasılığına oranı olarak adlandırılmaktadır.

Referans ve odak grup için her bir yetenek düzeyinde doğru ve yanlış yanıtlayan kişi sayısının maddeyi yanıtlayan toplam kişi sayıları dikkate alınarak hesaplanan odds değerleri hesaplanmaktadır (Mertler ve Vannatta, 2005). Elde edilen bu oran 0 ile ∞ arasında değer alır.

Camilli ve Shepard’ın (1994) önerisiyle odds değerlerinin yorumlanmasını kolaylaştırmak amacıyla doğal logaritmasının, -2.35 katı alınarak ΔMH değeri elde edilmektedir. Elde edilen ΔMH istatistiği DMF derecesini ortaya koyan ve DMF etki büyüklüğü olarak adlandırılan bir değerdir. Maddelere ait ΔMH değerinin negatif olması referans grup için, pozitif olması ise odak grup için bir avantaj sağladığı anlamını taşımaktadır. ΔMH değerinin aldığı mutlak değere göre DMF dereceleri belirlenebilmektedir (Dorans ve Holland, 1993).

|ΔMH|<1 ise DMF yoktur veya göz ardı edilebilecek düzeyde (A düzeyi)

1≤|ΔMH|<1,5 ise orta düzeyde (B düzeyi)

|ΔMH|≥1,5 ise yüksek düzeyde DMF göstermektedir (C düzeyi)

MH yönteminin pratik olması ve sıklıkla kullanılmasının yanı sıra I. tip hata olasılığı yüksek bir yöntemdir. Bununla birlikte MH’nin yalnızca tek biçimli DMF’yi belirlemek üzere kullanılması bu yöntemin sınırlılıkları olarak ortaya çıkmaktadır. Bu noktada hem tek biçimli hem de tek biçimli olmayan DMF’yi belirlemek üzere kullanılan Lojistik Regresyon yönteminin daha avantajlı olduğu söylenebilir.

Bu yöntemde maddeye verilen yanıt bağımlı değişken; toplam puan ve grup değişkeni ise bağımsız değişken olarak tanımlanmaktadır. DMF belirlemek amacıyla bağımsız değişkenler hiyerarşik olarak modele dâhil edilirler. Model 1’de toplam puan, Model 2’de grup değişkeni (odak ve referans), Model 3’te ise toplam puan ve grup değişkeni birlikte modele dâhil edilir. Modellerden elde edilen R² değerleri karşılaştırılarak DMF’nin varlığına ve düzeyine karar verilir.

Jodoin ve Gierl’a (2001) göre modeller arası R² farkı ile belirlenen ΔR² değerine göre DMF düzeyleri aşağıdaki şekilde önerilmektedir:

• 0 < ΔR² < 0,035 ise DMF yoktur ya da ihmal edilebilir düzeyde

• 0,035 ≤ ΔR²<0.07 ise orta düzeyde,

• ΔR² ≥ 0,07 ise yüksek düzeyde DMF göstermektedir.

Zumbo ve Thomas’ın (1996) ∆R² aralıkları da DMF düzeyini değerlendirmede sıklıkla kullanılmaktadır.

• ∆R² < 0,13 ise DMF yoktur veya göz ardı edilebilecek düzeyde

• 0,13 ≤ ΔR²<0.26 ise orta düzeyde

• ΔR² ≥ 0.26 ise yüksek düzeyde DMF göstermektedir

Shealy ve Stout (1993) tarafından geliştirilen, parametrik olmayan ve KTK’ya dayalı bir DMF belirleme yöntemidir. Bu yöntem için, gözlenen puana dayanan MH ve benzeri diğer yöntemlere göre referans ve odak gruplarını eşitlerken çok daha doğru bir eşitleme yaptığı belirtilmektedir (Osterlind ve Everson, 2009).

SIBTEST yönteminde test, DMF’nin incelendiği madde ile testte yer alan diğer maddeler olmak üzere ikiye ayrılır. En önemli özelliği DMF incelenen madde dışındaki maddelerden alınan gözlenen toplam puanlar üzerinden, regresyona dayalı yaptığı bir düzeltme ile gerçek puan kestirimleri yaparak odak ve referans grup bireylerini bu puanlara göre eşleştirmesidir. Bu düzeltme ile I. tip hatanın kontrol altına alınması ve elde edilen sonuçların da bu hatalardan daha az etkilenmesi amaçlanmaktadır. Buna göre bu yöntemin istatistiksel gücünün yüksek ve küçük örneklemlerin bulunduğu durumlarda da etkili olduğu belirtilmektedir (Bolt, 2000; Gierl, Jodoin ve Ackerman, 2000).

Analiz sonucu elde edilen β indeksi etki büyüklüğünü göstermektedir. Bu indeksin pozitif olması maddenin referans grup lehine, negatif olarak belirlenmesi ise odak grup lehine DMF’nin gözlendiği biçiminde yorumlanmaktadır. Bununla birlikte β indeksine göre DMF düzeyi de belirlenebilmektedir (Gotzmann, Wright ve Rodden, 2006; Stout ve Roussos, 1995); Buna göre,

• |β| < 0,059 ise DMF yoktur veya göz ardı edilebilecek düzeyde,

• 0,059 ≤ |β| <0,088 ise orta düzeyde,

• |β| ≥ 0,088 ise yüksek düzeyde DMF göstermektedir.

MTK’ya dayalı Olabilirlik Oran yöntemi odak ve referans grup için tüm maddelere ilişkin madde parametrelerinin eşit olduğu sınırlandırılmış model ile i. maddeye ilişkin madde parametresinin eşit olmadığı ancak i. madde dışındaki diğer maddelere ait madde parametrelerinin eşit olduğu genişletilmiş model olmak üzere iki model kurulmaktadır.

İki model için elde edilen olabilirlik değerlerinin logaritmaları alınarak aralarındaki farka dayalı olarak G² değeri hesaplanır. G² değeri modelin parametre sayısı kadar serbestlik derecesinde χ2 (ki-kare) dağılımı göstermektedir. G² değeri χ2 tablo değeri ile karşılaştırılır. G² >χ2 (tablo değeri) ise ilgili madde DMF göstermektedir. Maddenin DMF gösterdiği belirlendiğinde, sırasıyla diğer madde parametreleri için analize devam edilir (Thissen, 2001).

Greer (2004) tarafından G² değerinin aldığı değerlere göre DMF düzeyleri aşağıdaki gibi özetlenmektedir:

• 3,84 < G² < 9,4 ise DMF yoktur ya da ihmal edilebilir düzeyde,

• 9,4 ≤ G²<41,9 ise orta düzeyde,

• G² ≥ 41,9 ise yüksek düzeyde DMF göstermektedir.

Lord (1980) tarafından önerilen Lord’un ki-kare istatistiği, odak ve referans grupları arasındaki madde parametrelerindeki farklılıkları eş zamanlı olarak kontrol etmek için kullanılır. Ki-kare istatistiği, madde parametre farklılıkları ve bu farklılıklar için varyans-kovaryans matrisi kullanılarak hesaplanır. Ki-kare istatistiği kritik bir değerle karşılaştırılarak DİF yoktur boş hipotezinin reddedilip reddedilmeyeceğine karar verilir.

Raju (1988) tarafından önerilen Raju’nun alan ölçümü Madde Karakteristik Eğrilerini dikkate alarak DMF tespiti yapar. Doğru yanıt olasılığına göre referans ve odak gruplar için MKE’ler çizilir ve bu eğriler arasında kalan alanlar karşılaştırılır.

Değişen Madde Fonksiyonu incelemelerinde maddenin belirli bir değişken bakımından gruplara göre farklı fonksiyon gösterip göstermediğine ilişkin gözlemler yapılmaktadır. Buna göre DMF çalışmaları incelendiğinde cinsiyet (Bakan Kalaycıoğlu ve Kelecioğlu, 2011; Ünsal-Özberk ve Koç, 2017); kültür ve dil (Asil ve Gelbal, 2012; Karakoç-Alatlı ve Çokluk-Bökeoğlu, 2018); sosyo-ekonomik düzey (Ünsal-Özberk ve Koç, 2017), yerleşim yeri, okul türü (Osadebe ve Agbure, 2018), engel durumu (Bolt ve Ysseldyke, 2008) gibi değişkenlerin ele alındığı görülmektedir.

DMF çalışmalarında konu olan bir diğer durum da aynı testin madde sıraları farklı olan formlarını alma durumunun yanlılığa neden olup olmamasıdır (Hambleton ve Traub, 1974; Barciovski ve Olsen, 1975; Kleinke, 1980; Tan, 2009; Çokluk, Gül ve Doğan-Gül, 2016; Balta ve Ömür-Sünbül, 2017; Doğan-Gül ve Çokluk-Bökeoğlu, 2018).

Not: DMF araştırılan gruplardaki örneklem büyüklüğünün birbirine yakın değerler olması DMF analizleri bakımından önemli görülmektedir (Herrera ve Gomez, 2008).

Yukarıdaki tablolarda belirtilen hazır paketlerin yanı sıra R programlama ile birçok DMF analizi gerçekleştirilebilmektedir. Örnek olması amacıyla yukarıda kısaca anlatılan yöntemlere ilişkin uygulamalar yapılacaktır.

Kullanılacak paketler:

library(ltm)
library(difR)
library(lme4)
library(mirt)

Kullanılan veri: “binary1.sav”

library(haven)
binary <- read_sav("C:/Users/Korkut KOCAK/Desktop/OLC720/DIF/R/binary.sav")
binary<-as.data.frame(binary)

model kurulumu

MTK_model1 = rasch(binary[,2:26], IRT.param = TRUE)
MTK_model2 = ltm(binary[,2:26]~ z1, IRT.param = TRUE)
MTK_model3 = tpm(binary[,2:26], type = "latent.trait",
                                IRT.param = TRUE)

Madde-model uyumlarının incelenmesi

item.fit(MTK_model1)

Madde-model uyumlarının incelenmesi

item.fit(MTK_model2)

Madde-model uyumlarının incelenmesi

item.fit(MTK_model3)

Model-Veri uyumu

MTK_model1$log.Lik

## [1] -48200.62

MTK_model2$log.Lik

## [1] -47525.95

MTK_model3$log.Lik

## [1] -47225.89

Model-Veri uyumu

LL değerleri ki-kare dağılımı göstermektedir. Model veri uyumu için testteki madde sayısına göre kritik ki-kare değeri belirlenmelidir. Buna göre testte 25 madde yer aldığına göre kritik ki-kare değeri χ²_(25,.05) = 37,652’dir.

LL_2PL - LL_3PL = 47525.95-47225.89= 300.06

LL_1PL - LL_2PL = 48200.62-47525.95= 674.67

Bu sonuçlara göre MTK’ya dayalı DMF analizlerinde 3PL modeli kullanılabilir ancak 4. maddenin çıkarılması gerekmektedir. Örnek uygulama olması nedeniyle madde atmamak amacıyla 2PL modeli kullanılacaktır.

MH<-difMH(binary[,1:26],
          group=1,
          focal.name = 1,
          save.output = TRUE,
          output = c("DMF_MH", "default"))

LR<-difLogistic(binary[,1:26], 
                group = 1,
                focal.name = 1,
                save.output = TRUE,
                output = c("DMF_LR", "default"))

SIB<-sibTest(binary[,1:26],member = binary[,1],anchor = 2:26)
matrix(round(SIB$X2,3),ncol = 7, byrow = T)

##       [,1]   [,2]   [,3]   [,4]   [,5]   [,6]   [,7]
## [1,]   NaN  0.480  4.263  4.623  7.805  4.620  0.042
## [2,] 0.549  0.178  6.608 31.614  0.160 24.222 24.003
## [3,] 2.899 11.857 10.748  0.229  0.954 10.481 13.731
## [4,] 0.263  8.988 27.803  0.617 26.969    NaN  0.480

matrix(round(SIB$p.value,3),ncol = 7, byrow = T)

##       [,1]  [,2]  [,3]  [,4]  [,5]  [,6]  [,7]
## [1,]   NaN 0.489 0.039 0.032 0.005 0.032 0.838
## [2,] 0.459 0.673 0.010 0.000 0.689 0.000 0.000
## [3,] 0.089 0.001 0.001 0.633 0.329 0.001 0.000
## [4,] 0.608 0.003 0.000 0.432 0.000   NaN 0.489

matrix(round(SIB$p.value,3),ncol = 7, byrow = T)
matrix(round(SIB$Beta,3),ncol = 7, byrow = T)

DMF_Lord<-difLord(binary[,1:26],group = 1,focal.name = 1,
                   model = "2PL",
                  save.output = TRUE,
            output = c("DMF_Lord", "default"))

GLK<-difGenLord(binary[,1:26],group = 1,focal.name = 1,
             model = "2PL",
            save.output = TRUE,
            output = c("DMF_GLK", "default"))

DMF_Raju<-difRaju(binary[,1:26],group = 1,focal.name = 1,
             model = "2PL",
            save.output = TRUE,
            output = c("DMF_Raju", "default"))