Deneysel desenler, araştırmacıların bağımsız değişken ile bağımlı değişken arasında nedensellik kurmasına izin verdiği (Karasar, 2022) için araştırmada altın standart olarak kabul edilir. Deneysel desenler, bağımsız değişkenin manipülasyonu ve katılımcıların farklı gruplara yansız atanması yoluyla konu dışı değişkenleri kontrol edebilir ve net bir neden-sonuç ilişkisi kurabilir (Campbell ve Stanley, 1963). Deneysel tasarımların en önemli avantajlarından biri nedensellik kurma yetenekleridir. Araştırmacılar bağımsız bir değişkeni manipüle edebildiklerinde ve bağımlı değişken üzerindeki etkiyi gözlemleyebildiklerinde, bağımsız değişkenin bağımlı değişkendeki değişikliğin nedeni olduğundan daha emin olabilirler (Cook ve Campbell, 1979). Bu önemlidir, çünkü araştırmacıların değişkenler arasındaki ilişki hakkında nedensel çıkarımlar yapmasına izin verir. Ek olarak, deneysel tasarımlar, araştırmacıların konu dışı değişkenleri kontrol etmesine izin verir.
Araştırmacılar, katılımcıları farklı gruplara yansız atayarak, çalışmanın sonucunu etkileyebilecek yaş, cinsiyet ve sosyoekonomik durum gibi değişkenleri kontrol edebilir (Creswell, 2016). Bu, gruplar arasında gözlenen herhangi bir farklılığın diğer faktörlerden değil, bağımsız değişkenden kaynaklandığından emin olunmasına yardımcı olur (Fraenkel, Wallen ve Hyun, 2012). Yansız atama, araştırmacıların konu dışı değişkenleri kontrol etmesine ve bağımsız değişken ile bağımlı değişken arasında nedensellik kurmasına olanak tanıyan deneysel tasarımların önemli bir yönüdür (Karasar, 2022). Araştırmacılar, katılımcıları farklı gruplara yansız atayarak, gruplar arasında gözlemlenen farklılıkların yaş, cinsiyet veya sosyoekonomik durum gibi diğer faktörlerden değil, bağımsız değişkenden kaynaklandığından emin olabilirler (Fraenkel, Wallen ve Hyun, 2012). Yansız atama, seçim yanlılığını ortadan kaldırmaya ve karşılaştırılan grupların eşdeğer olmasını sağlamaya yardımcı olur. Bu, araştırmacıların bağımsız değişkenin bağımlı değişken üzerindeki etkisi hakkında geçerli çıkarımlar yapmalarını sağlar. Yansız atama olmadan, gruplar arasında gözlemlenen herhangi bir farklılığın bağımsız değişkenden mi yoksa gruplar arasında önceden var olan farklılıklardan mı kaynaklandığını belirlemek zor olacaktır (Cook ve Campbell, 1979).
İç ve dış geçerlilik, bir çalışmadan elde edilen bulguları diğer popülasyonlara, ortamlara veya zaman dilimlerine genelleme becerisiyle ilgili deneysel araştırmalarda önemli kavramlardır (Fraenkel, Wallen ve Hyun, 2012). İç geçerlilik, bir çalışmanın bağımsız ve bağımlı değişkenler arasında ne ölçüde nedensellik kurabildiğini ifade eder. Bir çalışmada bağımsız değişken açık bir şekilde manipüle edildiğinde, katılımcılar gruplara yansız atandığında ve konu dışı değişkenler üzerinde yeterli kontrol sağlandığında iç geçerlilik yüksektir (Shadish, Cook ve Campbell, 2002). Dış geçerlilik ise, çalışmanın bulgularının diğer popülasyonlara, ortamlara veya zaman dilimlerine genellenebilirliğini ifade eder (Heppner vd., 2015). Dış geçerlilik, örnek hedef popülasyonu temsil ettiğinde yüksektir, ortam hedef ortama benzerdir ve çalışmanın bulguları diğer popülasyonlara, ortamlara veya zaman dilimlerine genellenebilir (Fraenkel, Wallen ve Hyun, 2012). İç geçerlilik ve dış geçerlilik birbiriyle ilişkili olsa da aynı şey olmadıklarına dikkat etmek önemlidir. Bir çalışmanın iç geçerliliği yüksek ancak dış geçerliliği düşük olabilir ve bunun tersi de geçerlidir. Bu nedenle, araştırmacıların bir çalışmanın kalitesini değerlendirirken hem iç hem de dış geçerliliği göz önünde bulundurması çok önemlidir (Campbell ve Stanley, 1963).
Öntest duyarlığı (pretest sensitization), katılımcının incelenmekte olan deneysel uygulamaya veya manipülasyona maruz kalmamış olsa bile, bir öntest alırken son testteki performansı etkilendiğinde ortaya çıkan bir olgudur. Öntest duyarlığı, bir deneyin etkinliği hakkında yanlış sonuçlara yol açabilir ve bir deneyin sonuçlarını saptırabilir (Bordens ve Abbott, 2011; Lana ve King, 1960; Solomon, 1949). Deney tasarımında öntest duyarlığının dikkate alınması önemlidir, çünkü çalışmanın iç geçerliliğini etkileyebilir. Katılımcılar bir ön test yaptıklarında, testin içeriğine karşı duyarlı hale gelebilirler ve bu da son testteki performanslarını etkileyebilir. Bu, tedavi etkisinin fazla tahmin edilmesine yol açabilir ve puanlardaki değişikliğin deneysel uygulamadan mı yoksa testin etkilerinden mi kaynaklandığını belirlemeyi zorlaştırabilir (Campbell ve Stanley, 1963). Willson ve Putnam (1982), eğitim ve psikoloji gibi uygulamaya dayalı yürütülen çalışmalarda öntest duyarlığının kritik öneme sahip olduğunu vurgulamıştır.
Öntest duyarlılaştırmanın etkilerini kontrol etmek için araştırmacılar, iki kontrol grubu içeren (biri yalnızca müdahaleden sonra test edilen ve diğeri hiç test edilmeyen) Solomon dört grup modelini kullanabilir (Solomon, 1949). Araştırmacıların öntest alan deney grubunun sontest puanları ile öntest almayan kontrol grubunun sontest puanlarını karşılaştırmasına olanak tanır. Bu, araştırmacıların deney ve kontrol grupları arasındaki sontest puanlarındaki farklılıkların deneysel müdahaleden mi yoksa testin etkilerinden mi kaynaklandığını görmelerini sağlar. Solomon dört grup modeli, öntest duyarlığını kontrol eden tek deneysel model (Braver ve Braver, 1988) olduğu gibi iç ve dış geçerliği de birlikte koruyan en kuvvetli deneysel modeldir (Büyüköztürk vd., 2022; Fraenkel, Wallen ve Hyun, 2012).
Campbell ve Stanley (1963), öntest-sontest kontrol grubu tasarımı olarak da bilinen Solomon dört grup modelini geliştiren ve yaygınlaştıran öncü araştırmacılardandır. Bu modeli, eğitim araştırmalarında yaygın bir önyargı kaynağı olan öntestin etkilerini kontrol etmeye yönelik bir yöntem olarak açıklamışlardır. Bu model, iki deney ve iki kontrol grubu olmak üzere toplam dört grup ile yürütülür. Deney grupları müdahaleyi alır ve müdahaleden önce ve sonra test edilirken, kontrol grupları müdahaleyi almaz ve sadece müdahaleden sonra test edilir. Araştırmacılar, deney gruplarını kontrol gruplarıyla karşılaştırarak öntestin etkilerini kontrol edebilir ve müdahalenin gerçek etkisini belirleyebilir. Campbell ve Stanley (1963), araştırmacıların öntestin etkilerini kontrol etmelerine ve müdahalenin etkilerini izole etmelerine izin verdiği için, Solomon dört grup modelinin geleneksel öntest-sontest tasarımlarından müdahaleleri değerlendirmek için daha güçlü bir araç olduğunu savunmuştur. Bu modelin çok çeşitli müdahaleler ve ortamlar için uygun olduğunu öne sürmüşlerdir. Solomon dört grup modeline ilişkin simgesel gösterime Tablo 1’de yer verilmiştir.Tablo 1. Solomon Dört Gruplu Deneme Modelinin Simgesel Gösterimi (Braver ve Braver, 1988)
| DESIGN | GROUP | . | PRETEST | TREATMENT | POSTTEST |
|---|---|---|---|---|---|
| Solomon four-group | 1 | R | O1 | X | O2 |
| . | 2 | R | O3 | . | O4 |
| . | 3 | R | . | X | O5 |
| . | 4 | R | . | . | O6 |
Tablo 1’de ilk iki grup öntest-sontest kontrol gruplu deseni, son iki grup ise sontest kontrol gruplu deseni temsil etmektedir. Önteste tabi tutulan Deney1 ve Kontrol1 grupları ile olgunlaşma ve zaman gibi dışsal etkenler kontrol altına alınabilirken (Campbell ve Stanley, 1963; Karasar, 2022; Ray, 2009) önteste tabi tutulmayan Deney2 grubu aracılığı ile öntest-deney etkileşimi kontrol edilebilir. İki öntest ve dört sontest olmak üzere toplam altı ölçümün yapıldığı Solomon modelinde gruplar yansız atama ile oluşturulmuştur.
Solomon dört grup modeli, öntest-sontest kontrol gruplu desenin avantajlarını sağladığı gibi sadece sontest kontrol gruplu desenin avantajlarını da sunmaktadır (Braver ve Braver, 1988; Solomon, 1949). Solomon dört gruplu modelin geleneksel iki gruplu öntest-sontest tasarımına göre başlıca avantajları, kirletici değişkenlerin etkisini azaltması ve bağımlı değişkendeki değişikliklerin öntest ile müdahale arasındaki bazı etkileşim etkilerinden kaynaklanıp kaynaklanmadığını kesin olarak belirleyebilmesidir. Solomon dört gruplu model ile kontrol ve deney gruplarının nasıl farklılaştığı, öntest duyarlığı ve öntest-sontest arasındaki farklılıklar araştırılabilmektedir (Gall, Gall ve Borg, 2003). Bununla birlikte, herhangi bir araştırma tasarımı gibi, bazı sınırlamaları ve dezavantajları vardır. Analizinin ve istatistiklerinin karmaşık olması büyük bir dezavantajdır (APA, 2023). Çalışma iki kontrol grubu içerdiğinden, deney ve kontrol grupları arasındaki test sonrası puanlardaki farklılıkların müdahaleden mi yoksa testin etkilerinden mi kaynaklandığını belirlemek zor olabilir. Solomon dört gruplu tasarımı, artan karşılaştırma sayısı nedeniyle Tip I hatasına (yanlış pozitif) daha fazla tabi olabilir (Cook ve Campbell, 1979). Ölçümler arasında çok sayıda karşılaştırma yapılabilecek olmasından dolayı istatistiksel analizler bakımından karmaşık bir durum ortaya çıkmaktadır ve model için kabul edilen belirli bir analiz bulunmamaktadır (Braver ve Braver, 1988). Solomon dört grup modelinin bir başka dezavantajı, öntest-sontest kontrol grubu tasarımı gibi diğer deneysel tasarımlardan daha fazla katılımcı gerektirmesidir. Bu, çalışmayı daha pahalı hale getirebilir ve katılımcıların çalışmayı yarıda bırakma riskini artırabilir (Fraenkel, Wallen ve Hyun, 2012). Ayrıca, Solomon dört gruplu model her türlü araştırma için uygun olmayabilir. Esas olarak öntest ve sontest önlemleri içeren deneysel çalışmalar için uygundur ve gözlemsel çalışmalar gibi diğer araştırma türleri için uygun olmayabilir (Campbell ve Stanley, 1963).
Solomon dört grup modeli, ortaya çıktığı andan itibaren eğitim araştırmalarında yaygın olarak kullanılmaktadır. Örneğin, Cook ve Campbell (1979) tarafından yapılan bir araştırma, temel matematik becerilerini öğretmek için bir öğretim programının etkililiğini araştırmak için bu deseni kullanmıştır. Çalışma, programın deney grubundaki öğrencilerin matematik becerilerini geliştirmede etkili olduğunu, kontrol grubundaki öğrencilerin ise etkili olmadığını göstermiştir. Braver ve Braver (1988) meta-analitik yaklaşım sundukları çalışmalarında, eğitim araştırmalarında öntestin etkilerini kontrol etmek için kullanılan Solomon dört grup modelini tartışmışlardır. Bir okuma programı çalışmasından elde edilen verilerle meta-analitik yaklaşımın kullanımını örneklemişler ve Solomon dört grup tasarımının, eğitim araştırmalarında öntestin etkilerini kontrol etmek için güçlü bir araç olduğu sonucuna varmışlardır. Huck ve Sandler (1973), çalışmalarında güçlü yanları ve sınırlamaları da dahil olmak üzere, Solomon dört gruplu modelin derinlemesine bir analizini ve değerlendirmesini sağlamıştır. Modelin özellikle kısa vadeli bir etkiye sahip olması beklenen müdahaleler için yararlı olduğunu ve bir müdahalenin hem ani hem de gecikmeli etkilerini tahmin etmek için kullanılabileceğini belirtmişlerdir. Ayrıca modelin, testin yaygın bir uygulama olduğu eğitim ortamlarındaki müdahaleleri değerlendirmek için özellikle yararlı olduğunu da belirtmişlerdir. Ayrıca, uzun vadeli etkileri olması beklenen müdahaleler için uygun olmayabileceği ve sonucu etkileyebilecek dış değişkenleri kontrol etmenin zor olabileceği gibi tasarımın bazı sınırlamalarını da tartışmışlardır. Bu sınırlamalara rağmen, Solomon dört grup modelinin eğitim araştırmalarındaki müdahaleleri değerlendirmek için güçlü bir araç olduğu sonucuna varmışlardır. Zorlu ve Zorlu (2019), eğitim alanında Solomon deneysel deseni ile 1949-2016 yılları arasında gerçekleştirilen çalışmaları inceledikleri tematik analiz çalışmalarında, 24 makaleyi incelemiştir. Solomon deneysel deseni kullanılarak ülkemizde yürütülen çalışmaların sınırlı sayıda olduğunu fakat bu modeli kullanarak öğretme yöntem ve tekniklerinin etkisinin daha net bir şekilde ortaya koyulabileceğini ifade etmişlerdir.
Bu modelde son testlerin gruplara göre karşılaştırılması önerilmektedir. Bu işlem için 2X2 Anova analizi uygulanmalıdır. 2X2 Anova; deneysel işlemin uygulanma durumu X ön testin yapılma durumunu ifade etmektedir. Eğer etkileşim istatistiksel olarak anlamlı bulunursa, deneysel işlemin etkili olup olmadığına karar vermek için grup 1 ile 2’nin ve grup 3 ve 4’ün son test sonuçları karşılaştırılmalıdır. Karşılaştırma sonucunda, deneysel işlemin gerçekleştirdiği grupların lehine anlamlı farklılıklar oluşursa, ön test uygulanmamış olsa bile deneysel işlemin etkili olduğu şeklinde yorum yapılabilir.
Örneklem seçimi: Örneklem rastgele seçilmiş olmalıdır ve deney ve kontrol grupları arasında istatistiksel olarak anlamlı farklar olmamalıdır.
Deneysel denge: Deney ve kontrol grupları arasında, deneyin etkisiyle ilgili olabilecek herhangi bir değişkenin etkisi önceden denge edilmelidir.
Önkoşullar: Deney ve kontrol grupları arasında, deneyin etkisiyle ilgili olabilecek herhangi bir değişkenin etkisi önceden değerlendirilmelidir.
Kontrendikasyon: Deneyin uygulanacağı kişilerde, deneyin yapılmasına ilişkin herhangi bir kontrendikasyon bulunmamalıdır.
Araştırma Problemi
Öğrencilerin farklı öğrenme yöntemleri kullanarak matematik dersinde başarılarının karşılaştırılması
Hipotezler
H1: Kullanılan öğrenme yöntemi, öğrencilerin matematik başarılarına etki eder.
H2: Kullanılan öğrenme yöntemi, öğrencilerin matematik başarılarına etki etmez.
Veri seti oluşturma
R Programlama Dili İle örnek Veri seti oluşturma:
# Veri tablosunu oluşturmak için kullanılacak sütunlar
column_names <- c("Group", "Method", "Ontest", "Sontest")
# Veri tablosu
data <- data.frame(Group = c(1,2,3,4),
Method = c(1,2,1,2),
Ontest = c(30,45,0,0),
Sontest = c(70,80,85,90),
stringsAsFactors = F,
row.names = NULL,
col.names = column_names)
str(data)## 'data.frame': 4 obs. of 5 variables:
## $ Group : num 1 2 3 4
## $ Method : num 1 2 1 2
## $ Ontest : num 30 45 0 0
## $ Sontest : num 70 80 85 90
## $ col.names: chr "Group" "Method" "Ontest" "Sontest"head(data)## Group Method Ontest Sontest col.names
## 1 1 1 30 70 Group
## 2 2 2 45 80 Method
## 3 3 1 0 85 Ontest
## 4 4 2 0 90 SontestTestlerin gruplara göre karşılaştırılması
2x2 Anova analizi, iki faktörel değişkenin etkisini bir bağımlı değişken üzerinde incelemenizi sağlar. Bu analiz, iki faktörel değişkenin birlikte veya ayrı ayrı olarak, bağımlı değişken üzerinde nasıl bir etkiye sahip olduğunu ve bu etkilerin nasıl bir interaksiyon gösterdiğini araştırmak için kullanılır.
Anova anlizi için aov() fonksiyonu kullanılır.
aov_model <- aov(Ontest ~ Group * Method, data = data)
summary(aov_model)## Df Sum Sq Mean Sq
## Group 1 911.3 911.3
## Method 1 551.2 551.2
## Group:Method 1 56.2 56.2“Df” (degrees of freedom) değişkeni, her bir faktörel değişkenin kullanıldığı düzeylerin sayısını, “Sum Sq” değişkeni ise her bir faktörel değişkenin bağımlı değişken üzerindeki etkisiyle ilgili varolan varyansı, “Mean Sq” ise her bir faktörel değişkenin bağımlı değişken üzerindeki etkisiyle ilgili ortalama varyansı gösterir.
“Group” faktörel değişkeni 911.3, “Method” faktörel değişkeni 551.2 ve “Group:Method” interaksiyonu 56.2 olarak özetlenmiştir. Bu değerler, her bir faktörel değişkenin bağımlı değişken üzerindeki etkisiyle ilgili varyansı gösterir.
Bu sonuçlar genel olarak, “Group” ve “Method” değişkenlerinin bağımlı değişken üzerinde etkili olduğunu ve “Group” ve “Method” arasında bir etkileşimin olduğunu göstermektedir.
2x2 anova yapıldıktan sonra eğer etkileşim istatistiksel olarak anlamlı bulunursa, deneysel işlemin etkili olup olmadığına karar vermek için grupların son test sonuçları karşılaştırılmalıdır. Karşılaştırma sonucunda, deneysel işlemin gerçekleştirdiği grupların lehine anlamlı farklılıklar oluşursa, ön test uygulanmamış olsa bile deneysel işlemin etkili olduğu şeklinde yorum yapılabilir.
# Öğrenme yöntemi 1 kullanan gruplar için son test sonuçları
method1_sontest <- data[data$Method == 1, "Sontest"]
# Öğrenme yöntemi 2 kullanan gruplar için son test sonuçları
method2_sontest <- data[data$Method == 2, "Sontest"]
# Her bir öğrenme yöntemi için kullanılan grupların sontest öğrenme etkisi
t.test(method1_sontest, method2_sontest, paired = TRUE)##
## Paired t-test
##
## data: method1_sontest and method2_sontest
## t = -3, df = 1, p-value = 0.2048
## alternative hypothesis: true mean difference is not equal to 0
## 95 percent confidence interval:
## -39.26551 24.26551
## sample estimates:
## mean difference
## -7.5Paired t-test, ilişkili iki grup veya örneklerin ortalamaları arasında anlamlı bir fark olup olmadığını belirlemek için kullanılan bir istatistiksel yöntemdir. t =-3 değeri iki grup arasındaki ortalamalar arasında anlamlı bir fark olduğunu göstermektedir. p= 0.2048 (p>.05) bu farkın istatistiksel olarak anlamlı olmadığını göstermektedir. Bu değer, ortalamalar arasındaki farkın rastlantısal bir hata veya örnekleme varyasyonuna neden olabileceği %20.48 olasılığının olduğunu göstermektedir. -39.26551 ile 24.26551 arasındaki %95 güven aralığı, eğer deneyi birçok kez tekrar edilirse, %95 oranında aralıkların gerçek ortalama farkı içereceğini gösterir. Sonuç olarak, elde edilen sonuçlara göre, iki grubun ortalama sontest puanları arasında bir fark olduğu söylenebilir; ancak bu fark istatistiksel olarak anlamlı değildir.
APA. (2023, January 3). Solomon four group design. American Psychological Association. Retrieved January 22, 2023, from APA Dictionary of Psychology. https://dictionary.apa.org/solomon-four-group-design
Bordens, K. S., & Abbott, B. B. (2011). Research design and methods a process approach (8th Ed.). NY: McGraw-Hill.
Braver, S. L., & Braver, M. C. (1988). Statistical treatment of the Solomon four-group design: A meta-analytic approach. Psychological Bulletin, 104(1), 150–153.
Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö. E., Karadeniz, Ş. ve Demirel, F. (2022). Eğitimde bilimsel araştırma yöntemleri (32. bs.). Ankara: Pegem Akademi.
Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Rand McNally & Company.
Cook, T. D., & Campbell, D. T. (1979). Quasi-experimentation: Design and analysis issues for field settings. Houghton Mifflin.
Creswell, J. W. (2016). Araştırma deseni: Nitel, nicel ve karma yöntem yaklaşımları (S.B Demir, Çev. Ed.). Ankara: Eğiten Kitap Yayınları.
Fraenkel, J. R., Wallen, N. E., & Hyun, H. H. (2012). How to design and evaluate research in education (8th ed.). New York: McGraw-Hill.
Gall, M. D., Gall, J. P., & Borg, W. R. (2003). Educational research: An introduction (7th ed.). Boston: Allyn-Bacon.
Heppner P. P., Wampold B.E., Owen, J., Thompson, M. N., & Wang, K. T. (2015). Research design in counseling (4th ed.). Boston, MA: Cengage Learning.
Huck, S., & Sandler, H. M. (1973). A note on the Solomon 4-group design: Appropriate statistical analyses. Journal of Experimental Education, 42, 54-55.
Karasar, N. (2022). Bilimsel araştırma yöntemi: Kavramlar ilkeler teknikler (37. bs). Ankara: Nobel.
Lana, R. E., & King, D. J. (1960). Learning factors as determiners of pretest sensitization. Journal of Applied Psychology, 44(3), 189–191. https://doi.org/10.1037/h0040275
Ray, W. J. (2009). Methods toward a science of behavior and experience (9th Ed.). USA: Wadsworth Cengage Learning.
Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton Mifflin.
Solomon, R. L. (1949). An extension of control group design. Psychological Bulletin, 46, 137-150. https://doi.org/10.1037/h0062958
Wilson, V. L., & Putnam, R. R. (1982). A meta-analysis of pretest sensitization effects on experimental design. American Educational Research Journal, 19(2), 249- 258.
Zorlu, F., & Zorlu, Y. (2019). Eğitim alanında solomon deneysel deseni ile gerçekleştirilen çalışmaların incelenmesi: Bir tematik analiz çalışması. Kastamonu Eğitim Dergisi, 27(4), 1623-1636. https://doi.org/10.24106/kefdergi.3188