Meta-Analiz: Kuram ve Uygulama

Önsöz

(Önsöz metnini buraya ekleyin.)

Yazar Bilgileri

Sedat Şen

(Buraya Sedat Şen’in kısa özgeçmişini / tanıtım yazısını ekleyin: unvanı, kurumu, çalışma alanları vb.)

Burak Aydın

(Buraya Burak Aydın’ın kısa özgeçmişini / tanıtım yazısını ekleyin.)

Tuğçe Kader

(Buraya Tuğçe Kader’in kısa özgeçmişini / tanıtım yazısını ekleyin.)

Tuba Caksız

(Buraya Tuba Caksız’ın kısa özgeçmişini / tanıtım yazısını ekleyin.)

Salih Göcen

(Buraya Salih Göcen’in kısa özgeçmişini / tanıtım yazısını ekleyin.)

Meta-Analiz Nedir?
Sedat Şen

Bilimsel bilgi tek bir araştırmanın bulgularından değil, aynı soruya farklı örneklemler, ölçme araçları, araştırma desenleri ve bağlamlar üzerinden yanıt arayan çalışmaların birikiminden oluşur. Bununla birlikte, aynı konuda yürütülen araştırmaların sonuçları çoğu zaman bütünüyle örtüşmez. Bir çalışma güçlü bir ilişki ya da müdahale etkisi bildirirken başka bir çalışma daha küçük, sıfıra yakın veya ters yönde bir sonuç verebilir. Bu farklılıkların bir bölümü örnekleme hatasından, bir bölümü yöntemsel özelliklerden, bir bölümü de araştırmaların gerçekten farklı koşullarda yürütülmüş olmasından kaynaklanır. Bu nedenle bilimsel birikimin değerlendirilmesi, çalışmaların yalnızca art arda özetlenmesinden daha sistematik bir yaklaşım gerektirir. Meta-analiz, aynı veya yeterince benzer araştırma sorularını ele alan nicel çalışmaların sonuçlarını ortak bir ölçekte ifade ederek istatistiksel olarak birleştiren ve çalışmalar arasındaki farklılığı inceleyen yöntemler bütünü olarak tanımlanabilir. Ancak meta-analiz yalnızca bir “ortalama hesaplama” işleminden ibaret değildir. İyi yürütülmüş bir meta-analiz, araştırma sorusunun sınırlandırılması, çalışmaların sistematik biçimde aranması, uygunluk ölçütlerinin önceden tanımlanması, verilerin güvenilir biçimde kodlanması, araştırma kalitesinin veya yanlılık riskinin değerlendirilmesi, bağımlı bulguların ele alınması, heterojenliğin incelenmesi, eksik kanıt ve yayın yanlılığının değerlendirilmesi ve sonuçların ihtiyatlı biçimde yorumlanması gibi birbirine bağlı birçok kararı içerir [@cooper2019; @higgins2019; @littell2008]. Bu bölümde meta-analizin ne olduğu, sistematik derleme ve meta-sentezden hangi yönleriyle ayrıldığı, tarihsel olarak nasıl geliştiği, ne zaman kullanılıp ne zaman kullanılmaması gerektiği, güçlü, zayıf ve eleştirilen yönleri, temel istatistiksel kavramları ve uygulama adımları açıklanmaktadır.

Araştırma sentezi ve meta-analizin bilimsel bilgi içindeki yeri

Birincil araştırmalar belirli bir örneklemden, belirli bir zamanda ve belirli ölçme koşulları altında veri toplar. Bu nedenle tek bir araştırmanın sonucu, ne kadar iyi tasarlanmış olursa olsun, araştırma sorusuna ilişkin olası sonuçlardan yalnızca biridir. Örneklemin büyüklüğü, katılımcıların özellikleri, uygulamanın süresi, ölçme aracının güvenirliği, araştırma deseninin niteliği ve analiz tercihleri gözlenen sonucun büyüklüğünü etkileyebilir. Bilimsel çıkarımın farklı örneklem, yöntem ve bağlamlara ne ölçüde genellenebildiğini daha sağlam değerlendirmek için farklı çalışmaların birlikte incelenmesi yararlıdır [@cooper2019; @mattcook2019].

Araştırma sentezi, belirli bir problemle ilgili ampirik çalışmaların bulgularını bütünleştirerek daha genel sonuçlara ulaşmayı amaçlayan bilimsel bir araştırma sürecidir. Cooper ve diğerleri [-@cooper2019], araştırma sentezini birincil araştırmaya benzer biçimde problem oluşturma, literatür tarama, bilgi toplama, çalışma kalitesini değerlendirme, bulguları bütünleştirme, yorumlama ve raporlama aşamalarından oluşan bir süreç olarak ele almaktadır. Bu bakış açısının önemli sonucu şudur: Bir derleme, yalnızca daha önce yayımlanmış çalışmalar hakkında yazılan ikincil bir metinden ziyade açık yöntemleri, örnekleme çerçevesi, veri toplama formu, analiz planı ve geçerlik tehditleri bulunan bağımsız bir araştırmadır.

Meta-analiz bu geniş araştırma sentezi sürecinin nicel bütünleştirme bileşenidir. Glass’ın klasik tanımı, meta-analizi bireysel araştırmalardan elde edilen çok sayıdaki analiz sonucunun, bulguları bütünleştirmek amacıyla istatistiksel olarak analiz edilmesi şeklinde konumlandırmıştır [@glass1976]. Günümüzde bu tanım, yalnızca sonuçları toplama düşüncesinden daha ileri bir anlam taşır. Meta-analiz, her çalışmanın bulgusunu bir etki büyüklüğüne dönüştürür, bu etki büyüklüklerini belirsizlik düzeylerine göre ağırlıklandırır, ortalama etkiyi tahmin eder, gerçek etkilerin çalışmalar arasında değişip değişmediğini inceler ve söz konusu değişimin olası nedenlerini araştırır [@borenstein2009; @card2012; @hedgesolkin1985].

Meta-analiz ile etki büyüklüklerinin aritmetik ortalamasının hesaplanması arasında temel bir fark vardır. Birincil araştırmalar eşit bilgi sağlamaz. Büyük örneklemli ve daha küçük standart hatalı bir çalışma, küçük örneklemli bir çalışmaya göre genellikle daha kesin bir tahmin üretir. Meta-analizde çalışmaların katkısı bu kesinlik farkı dikkate alınarak belirlenir. Ayrıca meta-analiz, “kaç çalışma anlamlı sonuç verdi?” sorusuna odaklanan oy sayma yaklaşımından ayrılır [@lipseywilson2001]. İstatistiksel anlamlılık etki büyüklüğü, örneklem büyüklüğü ve hata düzeyinin ortak bir sonucudur. Aynı büyüklükteki etki küçük bir örneklemde anlamsız, büyük bir örneklemde anlamlı olabilir. Bu nedenle anlamlı çalışmaların sayısını anlamsız çalışmaların sayısıyla karşılaştırmak, etkinin büyüklüğünü ve yönünü doğru biçimde temsil etmez [@borenstein2009; @lipseywilson2001].

Meta-analiz, sistematik derleme ve meta-sentez arasındaki farklar

Meta-analiz, sistematik derleme ve meta-sentez kavramları zaman zaman birbirinin yerine kullanılmaktadır. Oysa bu kavramların veri türü, amaç, sentez mantığı ve ürettikleri sonuç bakımından önemli farklılıkları vardır. Aralarındaki ilişkiyi doğru kurmak, hem bir çalışma türünün doğru adlandırılması hem de uygun yöntemin seçilmesi açısından gereklidir.

Sistematik derleme, belirli bir araştırma sorusuyla ilgili çalışmaları kapsamlı, şeffaf ve tekrarlanabilir yöntemlerle belirlemeyi, seçmeyi, değerlendirmeyi ve sentezlemeyi amaçlayan araştırma tasarımıdır. Sistematik derlemenin ayırt edici özelliği, mutlaka istatistiksel birleştirme yapması değil, derleme sürecinin önceden tanımlanmış ve izlenebilir kurallara dayanmasıdır. Araştırma sorusu, uygunluk ölçütleri, taranacak bilgi kaynakları, arama stratejisi, eleme süreci, veri çıkarma yöntemi ve kalite değerlendirme yaklaşımı açıkça belirtilir. Böylece okuyucu, hangi kanıtların neden derlemeye alındığını ve sonuçlara nasıl ulaşıldığını değerlendirebilir [@higgins2019; @littell2008]. Bir sistematik derleme meta-analiz içerebilir fakat her zaman içermek zorunda değildir. Uygun çalışma bulunmaması, bulunan çalışmaların sonuçlarının hesaplanabilir olmaması, araştırmaların kavramsal olarak bir araya getirilemeyecek kadar farklı olması veya birleştirmenin yanıltıcı olacağının düşünülmesi durumunda sistematik derleme nicel sentez yapmadan tamamlanabilir. Buna karşılık tek bir sistematik derleme, farklı sonuç değişkenleri, alt gruplar veya araştırma desenleri için birden fazla meta-analiz içerebilir. Dolayısıyla sistematik derleme araştırmanın bütün tasarımını, meta-analiz ise bu tasarım içindeki belirli bir istatistiksel sentez yöntemini ifade eder.

Sistematik olmayan bir literatür taramasında yazarlar çoğu zaman alanı tanıtmak amacıyla seçilmiş çalışmaları anlatır. Bu yaklaşım kuramsal tartışma ve kavramsal çerçeve kurma bakımından değerli olabilir ancak çalışmaların hangi kapsamda arandığı, dışlanan çalışmaların neler olduğu ve seçimin ne ölçüde yazarın görüşlerinden etkilendiği çoğu zaman açık değildir. Sistematik derleme, bu seçicilik riskini önceden belirlenmiş yöntemler ve ayrıntılı kayıtlarla azaltmaya çalışır. Bununla birlikte, “sistematik” sözcüğü tek başına hatasızlık anlamına gelmez. Yetersiz arama, belirsiz uygunluk ölçütleri, tek değerlendiriciyle yapılan kodlama veya yanlılık riskinin göz ardı edilmesi, sistematik derlemenin geçerliğini zayıflatabilir.

Meta-analiz, birden fazla çalışmadan elde edilen karşılaştırılabilir nicel sonuçların uygun istatistiksel modellerle birleştirilmesidir [@higgins2019]. Meta-analizin temel girdisi, her çalışmadaki bulgunun büyüklüğünü ve yönünü ifade eden etki büyüklüğü ile bu tahminin örnekleme varyansıdır. Çalışmalar farklı ölçekler kullansa bile aynı yapıyı ölçüyorlarsa sonuçlar standartlaştırılmış bir ölçekte ifade edilebilir. Örneğin farklı başarı testleri kullanan müdahale çalışmalarının sonuçları standartlaştırılmış ortalama farkı üzerinden birleştirilebilir; iki kategorili sonuçlar risk oranı veya olasılıklar oranıyla, değişkenler arasındaki ilişkiler ise korelasyon katsayısının dönüştürülmüş biçimiyle sentezlenebilir. Meta-analizin sistematik derleme içinde yürütülmesi yöntemsel olarak en güvenilir yaklaşımdır. Çünkü yalnızca ulaşılması kolay veya olumlu sonuç veren çalışmaların seçildiği bir veri kümesinde yapılan istatistiksel birleştirme, matematiksel olarak doğru olsa bile kanıt bütününü temsil etmeyebilir. Littell ve diğerleri [-@littell2008], sistematik derleme ile meta-analizin eş anlamlı olmadığını sistematik olmayan meta-analizlerin bulunabileceğini ve sistematik derlemelerin de meta-analiz içermeyebileceğini vurgulamaktadır. Bu ayrım, nicel bir analiz yapılmış olmasının tek başına kapsamlı ve yanlılıktan arındırılmış bir kanıt sentezi sağlamadığını gösterir.

Meta-sentez terimi çoğunlukla nitel araştırma bulgularının sistematik biçimde bütünleştirilmesini ifade eder. Nitel kanıt sentezinde amaç, bulguları sayısal olarak ortalamak değil farklı çalışmalardaki kavramları, temaları, deneyimleri ve açıklamaları karşılaştırarak daha üst düzey bir yorum veya yeni bir kavramsal anlayış üretmektir. Bu süreç yalnızca çalışmalarda tekrar eden temaları listelemekten ibaret değildir. İyi bir meta-sentez, katılımcı deneyimlerinin neden ve nasıl oluştuğunu, bağlamların bulguları nasıl biçimlendirdiğini ve farklı çalışmaların birbirini nasıl tamamladığını ya da zorladığını açıklamaya çalışır [@higginsgreen2008; @noblithare1988; @sandelowskibarroso2007]. Meta-sentez, nitel kanıt sentezi için kullanılan yöntemlerden veya üst kavramlardan biridir. Meta-etnografi, tematik sentez, meta-özet, eleştirel yorumlayıcı sentez ve çerçeve sentezi gibi yaklaşımlar farklı epistemolojik varsayımlara ve analiz işlemlerine sahiptir. Bu nedenle “meta-sentez” tek bir standart istatistiksel işlem olarak görülmemelidir. Meta-analizde temel birim nicel etki büyüklüğü iken meta-sentezde temel malzeme kavramlar, temalar, açıklamalar ve bağlamsal yorumlardır. Her iki yaklaşım da sistematik arama, açık uygunluk ölçütleri, çalışma değerlendirmesi ve şeffaf raporlama gerektirir ancak sentezin mantığı farklıdır. Sistematik derleme, meta-analiz ve meta-sentez arasındaki temel farklılıklar Tablo 1’de özetlenmiştir.

Tablo 1. Sistematik derleme, meta-analiz ve meta-sentez arasındaki temel farklılıklar

Boyut	Sistematik derleme	Meta-analiz	Meta-sentez / nitel kanıt sentezi
Temel amaç	Belirli bir soruyla ilgili kanıtı sistematik olarak bulmak, değerlendirmek ve sentezlemek	Nicel bulguların büyüklüğünü ortak ölçekte birleştirmek ve değişkenliği incelemek	Nitel bulgulardan daha üst düzey kavramsal veya yorumlayıcı bir anlayış üretmek
Veri türü	Nicel, nitel veya karma çalışmalar	Hesaplanabilir nicel sonuçlar	Nitel veriler ve nitel bulgular
İstatistiksel birleştirme	Zorunlu değildir	Tanımlayıcı özelliktir	Genellikle kullanılmaz
Tipik çıktı	Kanıt haritası, yapılandırılmış anlatı, kalite değerlendirmesi ve gerekirse nicel/nitel sentez	Ortalama etki, güven aralığı, heterojenlik, alt grup veya meta-regresyon sonuçları	Temalar, kavramsal kategoriler, açıklayıcı model veya kuramsal yorum
Birbirleriyle ilişkisi	Meta-analiz veya meta-sentezi kapsayabilen üst araştırma tasarımıdır	Çoğunlukla sistematik derlemenin nicel analiz bileşenidir	Çoğunlukla sistematik derlemenin nitel sentez bileşenidir

Meta-analizin tarihsel gelişimi

Meta-analiz terimi 1970’lerde ortaya çıkmış olsa da farklı çalışmalardan gelen sayısal sonuçları birleştirme düşüncesi daha eskidir. Meta-analizin tarihini, tek bir başlangıç anından çok, istatistiksel birleştirme teknikleri ile sistematik araştırma sentezi anlayışının zaman içinde birleşmesi olarak görmek daha doğrudur. Meta-analizin erken örneklerinden biri Karl Pearson’ın 1904 yılında tifo aşısı ile ölüm arasındaki ilişkiye ait farklı örneklemlerden elde edilen korelasyonları bir araya getirmesidir. Pearson, ayrı örneklemlerdeki tahminleri birlikte değerlendirerek daha kararlı bir sonuca ulaşmayı amaçlamıştır. Cooper ve diğerlerinin [-@cooper2019] aktardığı üzere, Fisher’ın olasılık değerlerini birleştirme yaklaşımı, Birge’nin hata tahmini ve Cochran’ın çalışmalar arası sonuçların birleştirilmesine ilişkin katkıları meta-analitik yöntemlerin gelişimine temel oluşturmuştur.

Bu erken teknikler önemli olmakla birlikte, araştırma sentezinin bütününü kapsayan bir yöntem bilimi henüz oluşmamıştı. Literatür derlemeleri çoğunlukla uzmanların seçtiği çalışmaların anlatısal değerlendirmelerine dayanıyor çalışma arama, seçme ve kodlama kararları ayrıntılı biçimde raporlanmıyordu. Sonuçlar arasında çelişki olduğunda hangi çalışmanın daha güvenilir olduğuna ilişkin kararlar çoğu zaman örtük ölçütlerle veriliyordu.

1970’lerin başında araştırma sonuçlarının sistematik biçimde biriktirilmesi gerektiğine yönelik metodolojik tartışmalar güçlenmiştir. Cooper ve diğerlerinin [-@cooper2019] tarihsel değerlendirmesine göre, Light ve Smith çalışmalar arası farklılıkların bilgi kaynağı olarak değerlendirilebileceğini savunurken Taveggia çelişkili sonuçların olasılıksal doğasına dikkat çekmiştir. Bu görüş, tek tek anlamlılık testlerinden çok bulguların dağılımına odaklanmanın önemini ortaya koymuştur [@cooper2019].

“Meta-analysis” terimi Gene V. Glass tarafından 1976 yılında ilk defa ifade edilmiştir. Glass, birincil analizleri tek bir çalışmanın verileri üzerinde yapılan analizler, ikincil analizleri aynı veri kümesinin farklı sorularla yeniden analizi ve meta-analizi ise çok sayıdaki araştırmanın sonuçlarını bütünleştiren üst düzey analiz olarak sınıflandırmıştır [@glass1976]. Terimin ortaya çıkışını kısa süre içinde etkili uygulamalar izlemiştir. Psikoterapinin etkililiği, sınıf büyüklüğü ile başarı arasındaki ilişki, kişilerarası beklenti etkileri ve personel seçme testlerinin geçerliği gibi alanlarda yapılan sentezler, yöntemin sosyal ve davranış bilimlerindeki görünürlüğünü artırmıştır.

1980’ler meta-analizin bağımsız bir yöntem alanı hâline geldiği dönemdir. Cooper ve diğerlerinin [-@cooper2019] tarihsel değerlendirmesine göre, Glass, McGaw ve Smith etki büyüklüklerinin varyans analizi ve regresyon çerçevesinde incelenmesini yaygınlaştırırken Rosenthal anlamlılık düzeylerinin birleştirilmesi, etki büyüklüğü ve moderatör analizlerine ilişkin yöntemlerin sistemleştirilmesine katkı sağlamıştır. Hunter ve Schmidt, örnekleme hatası, ölçme hatası ve ranj daralması gibi yöntemsel durumların gözlenen etkiler üzerindeki rolüne odaklanan psikometrik meta-analiz yaklaşımını geliştirmiştir [@hunterschmidt2004]. Rosenthal anlamlılık düzeylerinin birleştirilmesi, etki büyüklüğü ve moderatör analizlerine ilişkin çeşitli yöntemleri sistemleştirmiştir. Hedges ve Olkin’in 1985 tarihli eseri ise etki büyüklüklerinin örnekleme dağılımları, ağırlıklı birleştirme ve heterojenlik testleri için güçlü istatistiksel temeller sunmuştur [@hedgesolkin1985].

Aynı dönemde meta-analiz, araştırma sentezinin yalnızca hesaplama kısmı olmaktan çıkarak daha geniş bir yöntemsel çerçeveye yerleşmiştir. Araştırma sorusunun oluşturulması, literatürün kapsamlı aranması, çalışma özelliklerinin kodlanması, kalite değerlendirmesi ve sonuçların yorumlanması birincil araştırmadaki geçerlik ilkeleriyle ilişkilendirilmiştir. Böylece “hangi formül kullanılmalı?” sorusunun yanında “hangi çalışmalar neden dâhil edildi, hangi veriler nasıl elde edildi ve sonuçlar hangi evrene genellenebilir?” soruları da merkezi hâle gelmiştir.

1990’larda kanıta dayalı tıp hareketi ve Cochrane Collaboration’ın gelişimi, sistematik derleme ve meta-analizin sağlık bilimlerinde standart kanıt sentezi araçları hâline gelmesini hızlandırmıştır. Daha sonra Campbell Collaboration benzer yaklaşımı sosyal politika, eğitim ve davranış bilimlerine taşımıştır. Elektronik bibliyografik veri tabanlarının, protokol uygulamalarının, yanlılık riski araçlarının ve raporlama standartlarının gelişmesi, sistematik derleme sürecinin daha yapılandırılmış ve şeffaf yürütülmesine katkı sağlamıştır [@cooper2019; @higginsgreen2008; @higgins2019; @mayowilson2019].

2000’li yıllarda yayın yanlılığı ve küçük çalışma etkileri [@vevea2019], eksik ve seçici sonuç raporlama [@pigott2019], çalışmalar arası heterojenlik [@borenstein2019] ve bağımlı etki büyüklüklerinin modellenmesi [@hedges2019; @hedges2010] alanlarında önemli yöntemsel gelişmeler yaşanmıştır. Çok değişkenli meta-analiz [@arends2006], sağlam varyans tahmini [@hedges2010], meta-analitik yapısal eşitlik modellemesi [@cheungchan2005] ve Bayesçi meta-analiz [@turnerhiggins2019] gibi yaklaşımlar klasik tek sonuçlu ikili karşılaştırmaların ötesine geçmiştir. Bireysel katılımcı verisine dayalı, tanısal doğruluk ve ağ meta-analizleri korunacaksa her biri için doğrudan yöntem kaynağı ayrıca eklenmelidir. R gibi açık kaynaklı yazılımlar, meta-analitik yöntemlerin kod üzerinden uygulanmasını ve karmaşık analizlerin araştırmacılar için daha erişilebilir hâle gelmesini kolaylaştırmıştır [@chenpeace2013; @schwarzer2015].

Son yıllardaki gelişmeler meta-analizin yalnızca daha karmaşık istatistiklere değil, daha şeffaf araştırma süreçlerine yönelmesini sağlamıştır. Protokol kaydı, tam arama dizilerinin paylaşılması, dışlama gerekçelerinin belgelenmesi, veri ve analiz kodunun erişilebilir kılınması ve yöntem değişikliklerinin açıkça raporlanması araştırmacı serbestlik derecelerini azaltır. Kayıt, bir sentezin yöntemsel kalitesini tek başına garanti etmez ancak araştırma sorularının ve yöntemsel kararların sonuçlar görülmeden önce belirlenip belirlenmediğinin değerlendirilmesini ve sonradan yapılan değişikliklerin izlenmesini kolaylaştırır [@mayowilson2019]. PRISMA bir raporlama kılavuzudur. Bu nedenle PRISMA maddelerinin eksiksiz raporlanması, derlemenin arama stratejisinin veya analiz modelinin yöntemsel olarak yeterli olduğunu tek başına kanıtlamaz [@page2021]. Yaşayan sistematik derlemeler, sürekli kanıt gözetimi, düzenli arama ve tarama, önceden belirlenmiş güncelleme ölçütleri ve sürdürülebilir insan ve teknik kaynak gerektirir [@higgins2019]. Sürüm kontrolü özellikle vurgulanacaksa yaşayan derlemelerin yayın ve sürümleme uygulamalarına odaklanan doğrudan bir kaynak eklenmelidir.

Meta-analiz ne zaman kullanılır?

Bir konuda çok sayıda araştırma bulunması, tek başına meta-analiz yapılması için yeterli değildir. Asıl soru, bu çalışmaların anlamlı bir ortak araştırma sorusuna katkı sağlayıp sağlamadığı ve sonuçlarının uygun bir etki büyüklüğüyle karşılaştırılabilir olup olmadığıdır. Borenstein ve diğerleri [-@borenstein2009], meta-analiz yapma kararının esasen sentezin araştırma sorusuyla eşleştirilmesi gerektiğini vurgular. Meta-analiz aşağıdaki koşullarda özellikle yararlıdır:

Açık ve sınırlandırılmış bir araştırma sorusu varsa.
Aynı yapıya veya ilişkiye yönelik birden fazla nicel çalışma bulunuyorsa.
Çalışmalardan etki büyüklüğü ve örnekleme varyansı hesaplanabiliyorsa.
Çalışmalar kavramsal olarak karşılaştırılabilir durumdaysa.
Amaç yalnızca “etki var mı?” sorusu değil, etkinin büyüklüğünü ve değişkenliğini incelemekse.
Karar vericilerin bir kanıt bütününe ihtiyaç duyduğu durumlarda.

Meta-analiz bazı durumlarda teknik olarak yapılabilir olsa da bilimsel olarak anlamlı olmayabilir. Bir tek çalışmanın bulunması hâlinde birleştirme mümkün değildir. Buna rağmen sistematik derleme yapılarak kanıt boşluğu gösterilebilir. Çalışmaların ölçtüğü yapılar, müdahaleler veya sonuçlar ortak bir yorum üretmeyecek kadar farklıysa ayrı sentezler yapılması ya da nicel birleştirmeden kaçınılması gerekir. Benzer biçimde tüm çalışmaların ciddi ve aynı yönde yanlılık riski taşıması, daha kesin fakat yine yanlı bir sonuç üretme tehlikesi doğurur. Çalışmaların “heterojen” olması tek başına meta-analizden vazgeçme gerekçesi değildir. Heterojenlik, çoğu gerçek araştırma alanında beklenir ve meta-analizin temel inceleme konularından biridir. Karar, farklılığın yalnızca istatistiksel olarak anlamlı olup olmadığına değil, çalışmaların aynı bilimsel soruya anlamlı biçimde yanıt verip vermediğine dayanmalıdır. Eğer ortak bir etkiyi yorumlamak mümkün değilse çalışmalar alt gruplara ayrılabilir, farklı sonuçlar ayrı analiz edilebilir veya yalnızca yapılandırılmış bir sentez sunulabilir. Ancak meta-analiz yapılmadığında, “çalışmaların çoğu anlamlıydı” biçimindeki örtük oy sayma yaklaşımından kaçınılmalıdır [@littell2008].

Meta-analiz için evrensel bir asgari çalışma sayısı yoktur. İki bağımsız çalışma ile ağırlıklı ortalama etki hesaplanabilir ancak bu, heterojenliğin, yayın yanlılığının veya moderatörlerin güvenilir biçimde incelenebileceği anlamına gelmez. Gerekli çalışma sayısı araştırma sorusuna, beklenen etki büyüklüğüne, çalışmaların kesinliğine, çalışmalar arası varyansa ve planlanan analizlerin karmaşıklığına bağlıdır [@borenstein2009; @pigott2012].

Meta-analizin güçlü yönleri ve sınırlılıkları

Her analiz yöntemi gibi meta-analizin de güçlü olduğu yönleri ve sınırlılıkları mevcuttur. Meta-analizin güçlü yönleri şu şekilde listelenebilir [@borenstein2009; @card2012; @lipseywilson2001]:

Uygun çalışmaların birlikte değerlendirilmesi, toplam bilgi miktarını artırarak ortalama etkinin daha kesin tahmin edilmesini sağlar.
Meta-analiz, bulguları yalnızca “anlamlı/anlamsız” olarak sınıflandırmak yerine etkinin yönünü ve büyüklüğünü ortak bir ölçekte ifade eder.
Gözlenen farklılıkların ne kadarının örnekleme hatasıyla açıklanabileceği, ne kadarının gerçek etki farklılığına işaret ettiği meta-analitik modellerle incelenebilir.
Meta-analiz, “ortalama olarak işe yarıyor mu?” sorusunun ötesinde “kimlerde, hangi koşullarda, hangi uygulama biçimiyle ve ne ölçüde işe yarıyor?” sorularına cevap arar.
Uygunluk ölçütlerinin, arama stratejisinin, kodlama kararlarının ve analiz yöntemlerinin açık biçimde raporlanması, okuyucunun sentezi denetlemesine imkân verir.
Sistematik arama ve kodlama süreci, yalnızca mevcut bulguları birleştirmez hangi grupların yeterince araştırılmadığını, hangi sonuçların düzensiz raporlandığını, hangi ölçme araçlarının baskın olduğunu ve birincil araştırmalarda hangi tasarım sorunlarının tekrarlandığını da gösterir.
Meta-analiz birincil çalışmalarda doğrudan olmayan tekrarları ortak bir çerçevede değerlendirerek bir etkinin yalnızca belirli bir çalışmaya mı özgü olduğunu, yoksa farklı koşullarda tekrarlanıp tekrarlanmadığını gösterir.
Meta-analitik bulgular gelecekteki çalışmalar için beklenen etki büyüklüğü, gerçekçi örneklem büyüklüğü, önemli moderatörler ve ölçme sorunları hakkında başlangıç bilgisi sağlar.

Meta-analizin güçlü bir yöntem olması, sonuçlarının otomatik olarak doğru olduğu anlamına gelmez. Borenstein ve diğerleri [-@borenstein2009], meta-analize yöneltilen eleştirilerin önemli bir bölümünü “tek bir sayı alanı özetleyemez”, “dosya çekmecesi sorunu”, “elma ile portakalı karıştırma” ve “çöp girerse çöp çıkar” başlıkları altında tartışmaktadır. Bu eleştirilerin bir kısmı yöntemin kötü uygulanmasına, bir kısmı ise kanıt sentezinin kaçınılmaz sınırlarına ilişkindir. Meta-analizin sınırlılıkları ve başlıca eleştirileri genel olarak şu şekilde listelenebilir:

Meta-analizin niteliği birincil çalışmaların niteliğine bağlıdır.
Yayımlanan çalışmalar tamamlanmış bütün araştırmaların temsil edici bir örneklemi olmayabilir (“Yayın yanlılığı”).
Meta-analizde birleştirilen çalışmalar kaçınılmaz olarak bazı yönlerden farklıdır (“Elma ile portakalı karıştırma”).
Heterojenlik testi anlamlı değilse etkilerin aynı olduğu sonucuna varmak hatalıdır.
Aynı örneklemden elde edilen etki büyüklüklerini bağımsız çalışmalar gibi analize almak standart hataları küçültebilir ve tek bir çalışmaya gereğinden fazla ağırlık verebilir.
Arama tarihleri, veri tabanları, uygunluk ölçütleri, aykırı değer işlemleri, etki büyüklüğü türü, τ² kestiricisi, küçük örneklem düzeltmesi ve moderatör seçimi gibi birçok karar sonuçları etkileyebilir.
Az sayıda çalışmada ortalama etki hesaplanabilse de çalışmalar arası varyans belirsiz tahmin edilir.
Çoğu meta-analiz çalışma düzeyindeki özet istatistikleri kullanır. Bu durum, birey düzeyindeki ilişkilerin doğrudan incelenmesini ve aynı değişkenlerin çalışmalar arasında tutarlı biçimde kontrol edilmesini sınırlar.
Meta-analizde yalnızca tümüyle kayıp çalışmalar değil, yayımlanmış çalışmalar içindeki eksik bilgiler [@pigott2019] de sorun yaratır.

Meta-analizin temel kavramları

Etki büyüklüğü: bir araştırma bulgusunun yönünü ve büyüklüğünü ifade eden standartlaştırılmış sayısal göstergedir. Meta-analizin ortak dili ve temel taşı etki büyüklüğüdür. Farklı araştırma desenleri ve veri türleri için farklı etki büyüklükleri kullanılır [@lipseywilson2001]. Bunların başında ortalama farkına dayalı istatistikler (Cohen d, Hedges g), oran temelli istatistikler (risk oranı, risk farkı ve olasılıklar oranı) ve korelasyona dayalı istatistikler gelmektedir [@borensteinhedges2019]. Etki büyüklüğünün seçimi yalnızca eldeki istatistiklere göre değil, araştırma sorusuna ve yorumlanabilirliğe göre yapılmalıdır. Aynı analiz içinde farklı etki ölçülerinin doğrudan karıştırılmaması gerekir. Dönüşüm yapılabiliyorsa varsayımlar açıkça belirtilmelidir.

Örnekleme varyansı, standart hata ve ağırlık: Her etki büyüklüğü bir tahmindir ve örnekleme belirsizliği taşır. Örnekleme varyansı küçüldükçe etki tahmini daha kesin olur. Klasik ters varyans yaklaşımında bir çalışmanın ağırlığı, varyansının tersidir (wᵢ = 1 / vᵢ). Böylece daha kesin çalışmalar birleştirilmiş sonuca daha fazla katkı sağlar. Ancak ağırlık doğrudan “çalışma kalitesi” anlamına gelmez.

Ağırlıklı ortalama etki: Birleştirilmiş etki, çalışmaların etki büyüklüklerinin ağırlıklı ortalamasıdır.

Ortak-etki ve rastgele etkiler modelleri: Geleneksel olarak “sabit etki modeli” olarak adlandırılan ortak-etki modeli, analize alınan bütün çalışmaların aynı gerçek etkiyi tahmin ettiğini yani gözlenen farkların yalnızca örnekleme hatasından kaynaklandığını varsayar. Bu modelde ağırlık 1/vᵢ olarak hesaplanır ve çıkarım esas olarak analize alınan çalışma kümesine yöneliktir [@hartung2008; @konstantopoulos2019]. Rastgele etkiler modeli ise gerçek etkinin çalışmalar arasında değişebileceğini kabul eder. Her çalışma kendi bağlamına ait gerçek etkiyi tahmin eder. Bu gerçek etkilerin bir dağılımdan geldiği varsayılır. Ağırlık, çalışma içi varyansa çalışmalar arası varyansın eklenmesiyle hesaplanır. Rastgele etkiler modelinde büyük çalışmaların göreli ağırlığı ortak-etki modeline göre azalırken küçük çalışmaların göreli ağırlığı artabilir. Model seçimi yalnızca heterojenlik testinin anlamlı olup olmamasına göre yapılmamalıdır. Çalışmaların aynı gerçek etkiyi paylaşmasının bilimsel olarak savunulup savunulamayacağı ve hedeflenen çıkarım evreni dikkate alınmalıdır [@borenstein2009].

Güven aralığı ve tahmin aralığı: Güven aralığı, ortalama etki tahminindeki belirsizliği gösterir. Dar güven aralığı ortalama etkinin daha kesin tahmin edildiğini ifade eder. Tahmin aralığı, çalışmalar arası varyansı da dikkate alarak yeni ve benzer bir çalışmadaki gerçek etkinin muhtemel aralığını göstermeyi amaçlar [@borenstein2019; @borenstein2009].

Heterojenlik (Q, τ² ve I²): Heterojenlik, gerçek etkilerin çalışmalar arasında farklılaşmasıdır. Gözlenen etki büyüklükleri hem gerçek farklılığı hem de örnekleme hatasını içerir [@borenstein2019]. Heterojenliği belirlemede Q istatistiği, τ² ve I² değerleri kullanılır. Cochran’ın Q istatistiği, gözlenen dağılımın yalnızca örnekleme hatasıyla beklenenden fazla olup olmadığını test eder. τ², çalışmalar arası gerçek etki varyansını etki büyüklüğünün karesi cinsinden ifade eder. Mutlak heterojenlik ölçüsüdür ve rastgele etkiler ağırlıklarında kullanılır. I², gözlenen toplam değişimin örnekleme hatasından ziyade gerçek farklılığa atfedilen oranını yüzdelik olarak gösterir.

Moderatör değişken ve meta-regresyon: Moderatör, etki büyüklüklerinin çalışmalar arasında neden değiştiğini açıklaması beklenen çalışma özelliğidir. Kategorik moderatörler alt grup analizleriyle sürekli veya çoklu moderatörler meta-regresyonla incelenebilir. Katılımcı yaşı, uygulama süresi, ölçme aracı, yayın türü, araştırma deseni ve yanlılık riski olası moderatörlere örnektir [@card2012; @pigott2012].

Orman grafiği: Her çalışmanın etki tahminini ve güven aralığını, çalışmanın ağırlığını ve birleştirilmiş etkiyi aynı görselde sunan grafiktir.

Huni grafiği: Etki büyüklüklerini çalışma kesinliği veya standart hatayla ilişkilendiren bir grafiktir.

Meta-analizin adımları

Meta-analiz doğrusal görünen ancak uygulamada yinelemeli bir süreçtir. Arama sırasında bulunan çalışmalar araştırma sorusunun sınırlarını yeniden düşünmeyi gerektirebilir. Veri çıkarma sırasında raporlama sorunları analiz planını etkileyebilir. Bununla birlikte temel kararların sonuçlar görülmeden önce protokolde belirlenmesi, seçici karar riskini azaltır. Meta-analiz sürecinin genel iş akışı Şekil 1’de özetlenmiştir. Uygulamada aşamalar arasında geri dönüşler ve yinelemeler bulunabileceği unutulmamalıdır [@cooper2019; @higgins2019].

(#fig:sekil1)Şekil 1. Meta-analiz sürecinin temel aşamaları

Araştırma probleminin ve sorusunun oluşturulması

İlk adım, meta-analizin hangi bilimsel araştırma sorusuna yanıt vereceğini açık biçimde tanımlamaktır. Müdahale çalışmalarında katılımcı/evren, müdahale, karşılaştırma, sonuç ve araştırma deseni bileşenleri kullanılabilir. Gözlemsel çalışmalarda maruz kalma veya yordayıcı, sonuç ve bağlam, yöntemsel çalışmalarda ise ölçme koşulları ve performans ölçütleri öne çıkabilir. Sorunun çok dar olması yeterli çalışma bulunmamasına, çok geniş olması ise anlamsız bir ortalama üretilmesine yol açabilir. Bu aşamada birincil ve ikincil sonuçlar, temel karşılaştırmalar, olası moderatörler ve hedeflenen çıkarım evreni belirtilmelidir. Araştırmacı “hangi çalışmalar bulunursa bulunsun aynı soruyu soracak mıyım?” sorusunu yanıtlamalıdır. Birincil çalışmalarda olduğu gibi bir ölçümün iki grup (ör. deney-kontrol) arasında farkının araştırılacağı gibi iki değişken arasındaki ilişkiye de odaklanılabilir. Seçilecek araştırma sorusu meta-analizin geri kalan adımlarını belirlemede önemli rol oynamaktadır.

Protokol ve ölçütlerin oluşturulması

Meta-analizin ikinci aşamasını araştırma protokolünün ve dâhil etme/hariç tutma ölçütlerinin belirlenmesi oluşturur. Protokol, araştırma sorusu, uygunluk ölçütleri, bilgi kaynakları, arama stratejisi, tarama yöntemi, veri çıkarma değişkenleri, yanlılık riski değerlendirmesi ve analiz planını önceden tanımlar. Protokol kaydı ve mümkünse kamuya açık paylaşım, sonuçlara göre yöntem değiştirme riskini azaltır. Uygulama sırasında zorunlu değişiklikler yapılabilir ancak bunlar tarihleri ve gerekçeleriyle raporlanmalıdır [@mayowilson2019; @page2021]. Analiz planında etki büyüklüğü türü, ortak-etki veya rastgele etkiler modeli, τ² kestirim yöntemi, bağımlı etkilerin ele alınışı, moderatörler, aykırı değer ölçütleri, yayın yanlılığı incelemeleri ve duyarlılık analizleri yer almalıdır.

Bunun yanında meta-analize dâhil edilecek çalışmalar için uygunluk ölçütleri de belirlenmelidir. Uygunluk ölçütleri araştırma sorusunun operasyonel karşılığıdır. Katılımcı özellikleri, müdahale veya yordayıcı tanımı, karşılaştırma koşulu, sonuç değişkenleri, araştırma desenleri, tarih aralığı, dil ve yayın türü gibi boyutlar açıkça tanımlanmalıdır. Ölçütlerin sonuçlardan bağımsız olması önemlidir örneğin yalnızca istatistiksel olarak anlamlı sonuç veren çalışmaların alınması kabul edilemez.

Sistematik literatür taraması

Bu aşamada dahil etme ve hariç tutma ölçütleri ışığında belirlenen anahtar kelimeler yoluyla meta-analize dahil edilecek çalışmalar için kapsamlı bir literatür taraması yapılır. Arama stratejisi mümkün olduğunca duyarlı olmalı ve yalnızca tek bir veri tabanına dayanmamalıdır. Alanın temel bibliyografik veri tabanları, tezler, konferans bildirileri, araştırma kayıtları, kurum raporları ve uygun gri literatür kaynakları değerlendirilmelidir. Anahtar sözcükler, kontrollü konu başlıkları, eş anlamlılar ve yazım varyasyonları birleştirilir. İleri-geri atıf taraması ve ilgili derlemelerin kaynakçaları ek çalışmaların bulunmasına yardımcı olabilir [@giustini2019; @glanville2019]. Aramanın tarihi, veri tabanı platformu ve tam sorgu dizileri kaydedilmelidir. Arama süreci tekrarlanabilir olmalı. “İlgili çalışmalar tarandı” gibi genel ifadelerle yetinilmemelidir. Yayın yanlılığını tamamen ortadan kaldırmak mümkün olmasa da kapsamlı arama, kolay erişilebilir ve olumlu sonuçlu çalışmalara aşırı bağımlılığı azaltır [@rothstein2005].

Çalışmaların taranması ve seçimi

Arama sonuçları yinelenen kayıtlar çıkarıldıktan sonra başlık-özet ve tam metin aşamalarında değerlendirilir. Elde kalan çalışmalar uygunluk ölçütlerine göre seçilir. Bu süreçte en az iki değerlendiricinin bağımsız karar vermesi, hataları ve kişisel seçiciliği azaltır. Uyuşmazlıklar tartışma veya üçüncü değerlendiriciyle çözülür. Tam metinde dışlanan çalışmaların temel nedenleri kayıt altına alınır [@higgins2019; @littell2008]. Tarama formu ölçütleri somutlaştırmalıdır. Pilot tarama, değerlendiricilerin aynı ölçütü benzer biçimde yorumlayıp yorumlamadığını gösterir. Çok belirsiz ölçütler düşük değerlendiriciler arası uyuma ve sonradan değişen kararlara yol açabilir. Önceki aşamada belirtilen kapsamlı arama ve bu aşamada yapılan seçme aşamaları neticesinde yapılan işlemler bir PRISMA diyagramı ile özetlenebilir.

Veri çıkarma ve kodlama

Meta-analize dâhil edilecek nihai çalışmalar belirlendikten sonra bu çalışmalara ait bilgilerin bir dosyaya kaydedilmesi gerekmektedir. Veri çıkarma formunda bibliyografik bilgiler (çalışmanın başlığı, yazarları, yılı, yayınlandığı dergi vb.), örneklem özellikleri, araştırma deseni, uygulama ayrıntıları, ölçme araçları, özet/sonuç istatistikleri (ortalama, standart sapma, korelasyon, oran değerleri vb.), kayıp veriler, finansman ve yanlılık riskiyle ilgili bilgiler yer alabilir. Meta-analizde yalnızca etki büyüklüğü için gerekli sayıları toplamak yeterli değildir. Heterojenliği açıklayabilecek çalışma özellikleri de sistematik biçimde kodlanmalıdır [@card2012; @wilson2019]. Kodlama el kitabı her değişkenin tanımını, kategorilerini, öncelik kurallarını ve belirsiz durumlarda izlenecek yolu açıklamalıdır. Çift kodlama ve pilot çalışma, veri hatalarını azaltır. Mümkün olduğunda etki büyüklükleri bağımsız olarak yeniden hesaplanmalı, dönüşümler ve varsayımlar kaydedilmelidir. Eksik bilgi için yazarlarla iletişim kurulabilir. Bu süreçte veri setini oluştururken en az iki kodlayıcının olması ve kodlayıcılar arası güvenirlik değerlerinin incelenmesinde yarar vardır.

Çalışma kalitesi veya yanlılık riskinin değerlendirilmesi

Meta-analize dâhil edilen çalışmaların her birinin aynı kalitede ve hassasiyette olması beklenmez. Buna yönelik birtakım incelemelerin meta-analizci tarafından yapılması önemlidir. Kaliteyi tek bir toplam puana indirgemek, farklı yanlılık kaynaklarının aynı anlama geldiği varsayımını doğurabilir. Daha uygun yaklaşım, araştırma desenine özgü alanlarda yanlılık riskini değerlendirmektir. Randomize araştırmalarda seçkisiz atama, tahsis gizliliği, körleme, kayıp veri ve seçici raporlama; gözlemsel araştırmalarda ise karıştırıcıların kontrolü ve ölçüm geçerliği gibi desene özgü yanlılık alanları değerlendirilmelidir [@higgins2019; @valentine2019]. Yanlılık riski yalnızca tablo olarak sunulmamalı sonuçların yorumuna dâhil edilmelidir. Düşük ve yüksek riskli çalışmaların etkileri karşılaştırılabilir, yüksek riskli çalışmalar çıkarıldığında sonuçların değişip değişmediği duyarlılık analiziyle değerlendirilebilir. Ancak kaliteye göre analizler de çalışma sayısı ve karıştırıcılar nedeniyle dikkatli yorumlanmalıdır.

Etki büyüklüklerinin hesaplanması ve ortak ölçekte ifade edilmesi

Meta-analizin temel taşı etki büyüklüğüdür. Bu nedenle her çalışma için etki büyüklüğü değeri hesaplanmalıdır ki meta-analiz gerçekleştirilebilsin. Her sonuç için araştırma sorusuna uygun etki büyüklüğü (Cohen d, korelasyon, olasılıklar oranı vb.) seçilir. Farklı raporlama biçimlerinden aynı etki ölçüsüne dönüşüm yapılır (r’den d’ye, d’den r’ye vb.). İşaret yönünün tutarlı olması gerekir. Deney ve kontrol grubu çalışmalarında deney grubu lehine olan etki büyüklüğü değerinin her çalışmada pozitif yöne işaret etmesi buna bir örnek verilebilir. Örneğin pozitif değerin her çalışmada müdahale lehine olması sağlanmalıdır. Küçük örneklem düzeltmeleri ve ön test-son test korelasyonları [@arthur2001; @chenpeace2013] ile küme-randomize desenlerde küme içi bağımlılığa bağlı tasarım etkileri [@higgins2019] gerektiğinde hesaba katılmalıdır. Aynı çalışma birden fazla uygun etki verdiğinde bağımlılık sorunu ortaya çıkar. Önceden belirlenmiş hiyerarşik seçim kuralları, çalışma içi birleştirme, çok düzeyli modelleme veya sağlam varyans tahmini gibi yöntemlerden biri seçilir.

Model seçimi ve birleştirme

Meta-analizde ortalama etki büyüklüğü hesaplanırken bu hesaplamanın hangi model üzerinden yapılacağına da karar verilmelidir. Bu durumda karşımıza ortak etki ve rastgele etkiler modelleri çıkmaktadır. Bu ikisi arasında yapılacak seçim hem modellerin dayandığı varsayıma hem de çalışmalardan yapılacak genellemelere göre değişim gösterebilir. Model seçimi genel olarak bilimsel varsayıma dayanmalıdır. Çok benzer protokollerle aynı hedef etkiyi tahmin eden dar bir çalışma kümesinde ortak-etki modeli savunulabilir. Farklı örneklemler, uygulamalar ve bağlamlarda gerçek etkilerin değişmesi bekleniyorsa rastgele etkiler modeli daha gerçekçi olabilir. Ancak rastgele etkiler modeli heterojenlik sorununu otomatik olarak çözmez yalnızca heterojenliği modele dâhil eder. Rastgele etkiler analizinde τ² kestiricisi ve güven aralığı yöntemi özellikle az sayıda çalışmada önemlidir. Farklı yöntemlerle sonuçların değişip değişmediği duyarlılık analiziyle incelenebilir. Analiz yazılımının varsayılan seçeneği gerekçe yerine geçmez. Model seçimi yapıldığında meta-analize dâhil edilen çalışmalar için birleştirilmiş etki, güven aralığı ve tahmin aralığı ile heterojenlik değerleri elde edilir.

Heterojenlik ve ek analizler

Birleştirilmiş etki, güven aralığı ve uygun olduğunda tahmin aralığı raporlanır. Etkinin yönü, büyüklüğü ve pratik anlamı açıklanır. Yalnızca p değerine odaklanılmaz. Heterojenlik Q, τ² ve I² ile ayrıca orman grafiği ve çalışma özellikleri üzerinden değerlendirilir. Aşırı etkili çalışmalar, aykırı değerler ve veri giriş hataları kontrol edilir. Bir çalışmanın farklı olması otomatik olarak dışlanma nedeni değildir. Önce farklılığın veri hatasından mı, yöntemsel özellikten mi yoksa gerçek bağlamsal etkiden mi kaynaklandığı araştırılmalıdır.

Bir meta-analiz çalışmasında çalışmalar arası heterojenliğin bulunması durumunda bu heterojenliğin kaynağının belirlenmesi gerekir. Bu aşamada kategorik veya sürekli moderatör değişkenler üzerinden ek analizler yapma ihtiyacı doğar. Kuramsal olarak belirlenmiş moderatörler alt grup analizi veya meta-regresyonla incelenir. Alt grup analizlerinde genellikle kategorik moderatör değişkenler analiz edilirken meta-regresyon yaklaşımında hem kategorik hem de sürekli değişkenler hem ayrı ayrı hem de aynı anda analiz edilebilir. Moderatör analizlerinde keşfedici analizlerle doğrulayıcı analizler ayrılmalıdır. Sonuçlar görüldükten sonra seçilen moderatörler yeni hipotezler üretebilir ancak güçlü doğrulayıcı kanıt gibi sunulmamalıdır. Ayrıca çalışma düzeyi moderatörlerin birey düzeyi nedensel etkiler olarak yorumlanmaması gerekir.

Yayın yanlılığının incelenmesi

Yayın yanlılığı, çalışmaların sonuçlarına bağlı olarak yayımlanma, raporlanma veya erişilebilir olma olasılıklarının değişmesinden kaynaklanan önemli bir tehdittir [@copasshi2000; @vevea2019]. Dikkatli bir araştırmacının çalışmasında yayın yanlılığı olup olmadığını incelenmesi meta-analizin önemli aşamalarından biridir. Yayın yanlılığı değerlendirmesi için pek çok yöntem geliştirilmiştir. Bunların en yaygın kullanılanları huni grafiği, hata-korumalı N (fail-safe N) değerleri, regresyon ve sıra korelasyonuna dayalı testler ile kırp-ve-doldur (trim-and-fill) yöntemleridir. Buradan anlaşılacağı üzere yayın yanlılığı değerlendirmesi, yalnızca bir huni grafiği çizmekten ibaret değildir. Birçok yöntemin hesaba katılması gereken bir süreçtir. Ayrıca arama kapsamı, gri literatür, kayıtlı fakat yayımlanmamış çalışmalar, seçici sonuç raporlama ve sonuçların erişilebilirliği de birlikte düşünülmelidir. Yeterli çalışma varsa huni grafiği ve asimetri testleri kullanılabilir. Kırp-ve-doldur, hata-korumalı N veya seçilim modelleri gibi yöntemlerin her biri farklı varsayımlara sahiptir. Unutulmamalıdır ki bu yöntemlerin hiçbiri görünmeyen kanıtı kesin biçimde geri getirmez [@rothstein2005]. Bu yöntemlerin çoğu yayın yanlılığının olup olmadığına yönelik bize ipuçları sunar. Kırp-ve-doldur yöntemi yayın yanlılığına sebep olan eksik çalışmalar yerine huni grafiğini simetrik hale getirecek bazı çalışmaları üretir ve düzeltilmiş etki büyüklüğü raporlar. Bu yönüyle diğer yöntemlerden farklılık gösterir ve yayın yanlılığını düzeltme çabası içindedir. Bu aşamanın amacı “yayın yanlılığı vardır/yoktur” şeklinde kesin hüküm vermek değil, eksik kanıtın sonuçları ne ölçüde değiştirebileceğini değerlendirmektir. Farklı varsayımlar altında sonuç yön değiştiriyorsa kanıtın kırılgan olduğu açıkça belirtilmelidir.

Bulguların yorumlanması ve raporlanması

Her çalışmada olduğu gibi meta-analizde de elde edilen sonuçların raporlanması ve yorumlanması gerekmektedir. Rapor, araştırma sorusundan arama stratejisine, seçilen çalışmalardan kodlama ve analiz kararlarına kadar süreci yeniden üretmeye yetecek ayrıntı vermelidir. PRISMA diyagramıyla kayıtların nasıl elendiği, çalışma özellikleri tablosuyla kanıtın kapsamı, risk değerlendirmesiyle yöntemsel sınırlılıklar ve orman grafiğiyle etki dağılımı sunulur [@mayowilson2019; @page2021]. Alanyazında meta-analiz raporlaması için geliştirilmiş PRISMA [@liberati2009; @page2021] ve Meta-Analysis Reporting Standards (MARS; [@apa2010]) gibi pek çok liste ve rehber bulunmaktadır. Araştırmacıların önerilen bu standartlara uygun bir şekilde raporlama yapması beklenir. Raporlama süreci ile birlikte meta-analizcinin yapması gerekenlerden biri de elde edilen ortalama etki büyüklüğünü ve diğer analiz sonuçlarını yorumlamasıdır. Özellikle ortalama etki büyüklüğünün istatistiksel anlamlılığı ve büyüklüğü birlikte değerlendirilmelidir. Yorumlama ortalama etkinin istatistiksel anlamlılığıyla sınırlı kalmamalıdır. Etkinin büyüklüğü (küçük, orta, büyük), güven ve tahmin aralıkları, heterojenlik, birincil çalışmaların yanlılık riski, eksik kanıt ihtimali, hedef evrene uygunluk ve pratik önem birlikte değerlendirilmelidir. Cohen’in [-@cohen1988] küçük, orta ve büyük etkilere ilişkin genel eşikleri, alana özgü daha uygun ölçütler bulunmadığında kullanılabilecek yaklaşık kurallardır. Mümkün olduğunda alana özgü referans değerleri tercih edilmelidir.

Kaynakça

Meta-Analitik İstatistiksel Modeller
Burak Aydın

Açık bilim ve açık erişim temelli yaklaşımlar günümüzde bilimsel bilgi üretim çabalarına büyük oranda hakim. Bu durum yeni bir konuyu öğrenmek isteyenler için önemli kolaylıklar sunmaktadır. Ulaşılan bilimsel bilginin tekrarlanabilirliğini ve erişilebilirliğini sağlamak isteyen araştırmacıların çabaları mevcut teknolojik araçlar saysesinde, çok kısa sürede ve neredeyse tamamen ücretsiz olarak okuyucular ile buluşabilmektedir. Bu durum R programlama dili ile [@RCoreTeam2026] meta-analitik istatistiksel modelleri kullanmak isteyen okuyucular için de geçerlidir; örneğin @harrer2021doing tarafından açık erişimle okuyuculara sunulmuş olan “Doing meta-analysis with R” kitabı şimdiden binlerce araştırmacıya yol gösterebilmiş durumdadır. Hem teorik bilgi hem de tekrarlanabilir örnekler içeren Applied Meta-Analysis with R and Stata başlıklı açık erişim olmayan kitap [@chen2021applied] ise @harrer2021doing ile hemen hemen aynı konuları hem açık kaynak kodlu R programlama dili hem de ticari bir yazılım olan Stata [@StataCorp2023] ile aynı yıl tanıtmış olmasına rağmen çok daha az araştırmacı tarafından akademik çalışmalarda kullanılmış durumdadır. R ile temel düzeyde meta-analiz konularını öğrenmek isteyen okuyucuların bu iki kaynağa ek olarak, Wolfgang Viechtbauer [@viechtbauer] tarafından hazırlanan kaynakları incelemeleri faydalı olabilir. Türkçe ve açık kaynak olarak hazırlanan bu kitabın meta-analitik istatistiksel modeller bölümü son derece kısa ve öz olarak ele alınmıştır.

İstatistiksel Modeller

İstatistiksel model terimi genellikle karmaşık ve anlaşılmaz denklemleri akla getirebilir. Ancak özünde, istatistiksel bir model, gözlemlenen verilerin matematiksel bir temsilidir ve en temelde verilerimizdeki anlamlı kalıpları anlamaya yönelik bir girişimdir. Bu girişim elimizdeki örneklemle, anlamaya çalıştığımız evren için, daha doğrusu her bir parametre için bir olasılık dağılımı atama işidir [@McCullagh]. Bu çerçeve, araştırmacıların bilgileri özetlemesine ve tanımladıkları evrene ait parametreler hakkında tahminler yapmalarına olanak tanır.

Bu kavramı açıklamak için en basit örneklerden biri olan aritmetik ortalamayı ele alalım; $\bar{X} = \frac{\sum x_i}{n}$. Tüm veri kümesini modellemek için kullanılabilir; $x_i = \bar{X} + \epsilon_i$ . Bu model, elimizdeki veri kümesinden tesadüfi olarak seçilen herhangi bir gözlem, $x_i$, için en iyi tahmin olarak $\bar{X}$’i verir; gözlemlenen veriler ile bu ortalama arasındaki farklılıkları, $\epsilon_i$, gürültü olarak tanımlayabiliriz ve varyans/standart sapma hesaplamak için kullanabiliriz. Bu noktada hatırlanması gereken örneklem için hesaplanan $\bar{X}$ değerinin, örneklemin çekildiği evrenin ortalamasının, $\mu$’nün,örnekleme bir yansıması olduğudur. Bu basit model meta-analitik istatistiksel modelleri anlamada okuyuculara yardımcı olabilir.

Meta-Analitik İstatistiksel Modeller

Araştırma, araştırmacı ve erişilebilir veri sayılarındaki artışların meta-analitik istatistiksel modellere olan ilgi ve ihtiyacı belirgin kılan farktörler arasında oldukları söylenebilir. Bu durum metodolojik çalışmalara da yansımış ve basit olmayan meta-analitik modellerin geliştirilmesini hızlandırmıştır. Bu kitap bölümünde bireysel-katılımcı-verileri (individual-participant-data) ile meta-analitik modeller, korelasyon veya kovaryans matrisleri ile modeller (ör. meta-yem) ve eğitim araştırmalarında nispeten daha az karşımıza çıkan modeller (ör. Bayesçi modeller, ağ-analizi tabanlı modeller) kapsam dışı bırakılmıştır. Geleneksel olarak kabul edilebilecek sabit etki, rassal etki ve çok düzeyli meta-analitik modeller kapsama alınmış ve kısaca tanıtılmıştır.

Aritmetik ortalama hesaplanırken, gözlemlenen değerlerin ($x_i$) toplamı gözlem sayısına bölünür. Geleneksel meta-analitik istatistiksel modellere baktığımızda karşımıza çıkan ilk farklılık $x_i$ yerine etki büyüklüklerinin kullanılıyor olmasıdır. Elbette meta-analitik modellerde yapılan işlem sadece toplama ve bölme değildir fakat meta-analitik istatistiksel model kullanmak isteyen okuyucular öncelikle etki büyüklüğünün ne demek olduğunu ve nasıl hesaplandığını kavramalılardır. Meta-analitik modelleri kullanacak olan araştırmacıların etki büyüklüklerini doğru şekilde hesaplamada ve/veya toplamada hata yapmamaları beklenilir. Etki büyüklükleri yapılacak meta-analize göre farklı şekillerde gösterilebilir ve hesaplanılabilir. Araştırmacıların bu konuya büyük bir hassasiyetle yaklaşması önemlidir. Bu kitap özelinde etki büyüklüğü ayrı bir bölüm olarak ele alınmıştır. Geleneksel meta-analitik modelleri tanıtmak için etki büyüklüğünün sembolü olarak @harrer2021doing $\theta$, @chen2021applied ise $\delta$ kullanır. Bu bölümde eğitim araştırmalarında $\delta$ kullanımı daha yaygın olduğundan, @chen2021applied tarafından kullanılan notasyon tercih edilmiştir.

Sabit Etkiler Modeli (Fixed-Effects Model)

Eğitim araştırmacılarının, ilgilendikleri konularda sıklıkla bir etki büyüklüğü tahmini $\hat{\delta_i}$, ve bu tahmine ait bir varyans, $\hat{\sigma_i}$ raporladıklarını söyleyebiliriz. Bir $\hat{\delta_i}$ ve $\hat{\sigma_i}$ raporlayan araştırmacının nihai hedefi $\delta$ hakkında okuyucuları bilgilendirmektir. Belli bir konu hakkında alanyazında raporlanan $K$ sayıdaki, $i(i=1,2,...,K)$, $\hat{\delta_i}$ ve $\hat{\sigma_i}$ değerlerini meta-analitik bir modelle bir araya getirebilen araştırmacıların $\delta$ hakkında okuyuculara daha fazla bilgi sağlayabilmeleri beklenilir. Elbette araştırmacılar veri toplarken ve topladıkları verileri meta-analitik modeller ile özetlerken hatalar yapabilirler, hatta araştırmacılar bu konularda hata yapmamış olsalar dahi sahadan elde ettikleri $\hat{\delta_i}$ ve $\hat{\sigma_i}$ değerleri yanıltıcı olabilir. Bu istenmeyen durumlara rağmen araştırmacıların meta-analitik bir modelle raporladıkları $\delta$ tahmininin okuyucuların erişebileceği en doğru tahminlerden biri olduğu söylenebilir. Bu noktada meta-analitik model kullanan araştırmacıların ilk önemli kararlarından biri ellerindeki $\hat{\delta_i}$ ve $\hat{\sigma_i}$ değerlerini birleştirirken gerçek etki (true effect) hakkında yapacakları varsayımdır. Araştırmacılar tek bir gerçek etkinin olduğunu, sahada raporlanan etki büyüklüklerinin ($\hat{\delta_i}$) bu tek gerçek etkinin sahaya bir yansıması olduğunu kabul ediyorlarsa, araştırmacılar sabit etkiler modelini kullanabilirler. Buradaki “sabit” ifadesi bahsi geçen gerçek etkiyi işaret eder [@chen2021applied]. Bu varsayım yapıldıysa bir sonraki basamak $\hat{\delta_i}$ ve $\hat{\sigma_i}$ değerlerinin nasıl birleştirileceğine karar vermektir.

Sabit etkiler modeli kısaca $\hat{\delta_i} = \delta + \epsilon_i$ ile gösterilebilir, bu eşitlikte $\epsilon_i$ örneklem hatasını temsil eder, bilindiği kabul edilir (known) ve normal dağıldığı varsayılır: $N(0,\hat{\sigma_i})$. Araştırmacının amaçlarından biri $\delta$ için bir tahmin yapmaktır, bu tahminde $\hat{\delta_i}$ değerlerini kullanacağından ve bu değerler farklı büyüklükte örneklem hatası içereceğinden (örneğin küçük bir örneklemden gelen bir etki büyüklüğü tahmini, daha büyük bir örneklemden gelen tahmine kıyasla daha büyük bir örneklem hatası içerir), araştırmacının bir ağırlıklandırma ($w_i$) tercihi yapması gerekir. Araştırmacının seçtiği ağırlıklandırma tercihinin uygun olduğunu savunabilmesi gerekir. Ağırlıklandırma tercihi belirlendikten sonra hesaplanan $w_i$ kullanılarak, $\hat{\delta_i}$ değerleri ile $\delta$ tahmini tamamlanır.

\[\hat{\delta} = \sum_{i=1}^K w_i \hat{\delta_i}\]

Araştırmacının diğer bir amacı $\delta$ için yapılan bu tahmin hakkında okuyucuya daha fazla bilgi vermektir. Okuyucuların bu tahminin varyansına önem verdikleri söylenebilir, hesaplanacak bir varyans ve bir dağılım varsayımı ile gerçek etkinin bu tahminine (point-estimate) ek olarak bir güven aralığı hesaplanabilir. Bu varyans toplanmış olan $\hat{\sigma_i}$ ve belirlenmiş olan $w_i$ ile aşağıdaki şekilde hesaplanabilir:

\[\hat{\sigma}^2=\sum_{i=1}^K w_i^2 \hat{\sigma}_{i}^2\] Normal dağılım varsayımı yapıldığında %95 güven aralığı ise $\hat{\delta} \pm 1.96 \times \sqrt{\hat{\sigma}^2}$ formülü ile hesaplanabilir.

Sonuç olarak araştırmacılar $\hat{\delta_i}$ ve $\hat{\sigma_i}$ değerlerine ulaştığında veya makalelerde raporlanan verilerden (ör. aritmetik ortalama, standart sapma, korelasyon) $\hat{\delta_i}$ ve $\hat{\sigma_i}$ değerlerini kendileri hesapladıklarında, seçecekleri ağırlıklandırma yaklaşımı ile sabit olduğunu varsaydıkları $\delta$ hakkında tahminde bulunabilir, ek bir dağılım varsayımı ile güven aralığı hesaplayabilirler. Bir diğer ifade ile, sabit etkiler modeli sonrasında araştırmacı, en azından, bildiğini kabul ettiği $\hat{\sigma_i}$ değerlerini kullanarak bir etki büyüklüğü tahmini, $\hat{\delta}$, raporlar.

Rassal Etkiler Modeli (Random-Effects Model)

Rassal etkiler modeli kısaca $\hat{\delta}_{iR} = \delta + u_i + \epsilon_i$ ile gösterilebilir. Bu eşitlikte karşımıza çıkan R harfi, ulaştığımız veya hesapladığımız etki büyüklüklerinin tek bir gerçek etki ($\delta$) sebebiyle değil farklı gerçek etkiler sebebiyle ($\delta_{iR}$) oluştuğunu kabul ettiğimizi belirtir. Bununla birlikte araştırmacı farklı gerçek etkilerin bir dağılım takip ettiğini varsayar. Bu sebeple model sabit bir etkiye odaklanmak yerine, etkilerin muhtemel dağılımına, bir diğer ifadeyle rassallığına odaklanır. Çoğu zaman bu durum araştırmacılar ve okuyucular tarafından daha makul bulunur ve rassal etkiler modeli daha sık karşımıza çıkar. Eşitlikte yer alan $u_i$ farklı gerçek etkilerin değişkenlik gösterdiklerini temsil eder. Farklı gerçek etkilerin olabileceği kabulü makul olmakla birlikte, araştırmacılar ve okuyucular bu farklı etkilerin dağılımının ortalamasını görmek isterler, K sayıdaki $\hat{\delta}_{iR}$ değerinin bir ortalama ($\delta$) etrafında belli bir varyansla ($\tau^2$) dağıldığı varsayımı ile tahminleme süreci tamamlanabilir. Dolayısıyla araştırmacı sahadan elde ettiği veya hesapladığı etki büyüklükleri hakkında iki farklı varyansın varlığını kabul edebilir. Açık ifade ile araştırmacı, her bir $\hat{\delta}_{iR}$ değerinin, $\delta_{iR}$ etrafında belli bir varyans ($\hat{\sigma}^2$) ile normal dağılım gösterdiğini, her bir $\delta_{iR}$ değerinin ise $\delta$ etrafında belli bir varyansla ($\tau^2$) normal dağılım gösterdiğini kabul edebilir. Normal dağılım varsayımında tahminleme süreci daha az karmaşıktır.

Araştırmacı rassal etkiler modelini tercih ettiğinde, sabit etkiler modelinde olduğu gibi bir ağırlıklandırma yaklaşımı belirleyerek $\delta$ hakkında tahminde bulunabilir. Bu tahminin güven aralığı hesaplamasında iki farklı varyansı kullanır, varyansların birbirinden bağımsız olduğu kabulüyle güven aralığı $\hat{\sigma}^2 + \tau^2$ ile hesaplanabilir.

Bahsi geçen $\tau^2$ eşitlikte yer alan $u_i$ ile oluşan varyanstır, bu sebeple çalışmalar arası varyans olarak da isimlendirilir, tahmin edilmesi ($\hat{\tau}^2$) nispeten daha fazla işlem gerektirir. Rassal etkiler modeli sonrasında araştırmacı, en azından, bildiğini kabul ettiği $\hat{\sigma_i}$ değerlerini kullanarak bir etki büyüklüğü tahmini ($\hat{\delta}$) ve çalışmalar arası varyans tahmini ($\hat{\tau}^2$) raporlar.

Genel olarak rassal etkiler modeli daha fazla varsayım ve işlem gerektirdiğinden, tahminleme süreçlerinde çok sayıda tahminleyici (estimator) karşımıza çıkmaktadır. Okuyucuların çoğu zaman $\hat{\tau}^2$’yu etkileyen değişkenleri belirlemeye çalıştıkları söylenebilir. Bu konu etki heterojenliği başlığında ilerleyen bölümlerde açıklanmıştır.

Çok Düzeyli Meta-analitik Modeller (Multilevel Meta-analysis)

Bu bölümde kısaca tanıtılacak son model ise çok düzeyli meta-analitik modellerdir. @harrer2021doing bu modelleri “üç düzeyli meta-analitik modeller” olarak isimlendirir. Bunun sebebi rassal etkiler modelinin özel bir iki düzeyli model olmasıdır. Üçüncü düzeyin gerekliliği sahadan elde edilen veya hesaplanan etki büyüklüklerinin kümeli bir veri yapısına sahip olması durumunda ortaya çıkar. Eğitim araştırmalarında bu durum çoğu zaman aynı çalışmanın içerisinde birden fazla etki büyüklüğünün hesaplandığı durumlarda, bir diğer ifade ile etki büyüklüklerinin makalelerde kümelendiği durumlarda karşımıza çıkar. Örneğin tek bir makale içerisinde, sosyo-ekonomik durum ve birden fazla konu alanı (ör. matematik, fen okuryazarlığı, okuduğunu anlama) arasındaki ilişki raporlanabilir. Öğrencilerin sosyo-ekonomik durumları ve akademik başarıları arasındaki ilişkiye yönelik meta-analitik istatistiksel modeller kullanmak isteyen bir araştırmacı, etki büyüklüklerinin kümeli bir yapıya sahip olduğunu gördüğü halde bunu modele yansıtmadığı, bir diğer ifade ile üçüncü düzeyi ihmal ettiği durumda varyans tahminlerini hatalı yapabilir ve yanlı sonuçlara ulaşabilir. En basit çok düzeyli meta-analitik model eşitliği aşağıdaki şekilde gösterilebilir.

\[\hat{\delta}_{ij} = \delta + u_{0j}+ u_{ij} + \epsilon_{ij}\]

Bu modelde $\hat{\delta}_{ij}$, i numaralı etki büyüklüğünün j numaralı kümede yer aldığını gösterir. Her bir j kümesindeki birden fazla etki büyüklüğünün j kümesine ait bir etki büyüklüğü dağılımından çekildiğini; her bir j kümesi için bahsi geçen dağılımın ise $\delta$’ya ait bir dağılımdan çekildiğini kabul ettiğimizde, eşitlikteki tüm bileşenlerini açıklayabiliriz. Bu model öncelikle $\delta$’ya ait dağılımın ortalamasının $\delta$ olduğunu, varyansının ise üç parçadan oluştuğunu kabul eder; $\delta$’ya ait dağılımdan j kümesine düşen $\hat{\delta}_{0j}$ ile $\delta$ arasındaki fark $u_{0j}$ ile gösterilir, bu bileşenin varyansı $\tau_3^2$ ile gösterilebilir. Bir j kümesine düşen $\hat{\delta}_{0j}$, j kümesinde karşılaşabileceğimiz etki büyüklüklülerine ait dağılımın ortalamasıdır, dolayısıyla j kümesindeki i numaralı etki büyüklüğü yani $\hat{\delta}_{ij}$ ile $\hat{\delta}_{0j}$ arasındaki fark $u_{ij}$ ile gösterilir ve bu bileşenin varyansı $\tau_2^2$ ile gösterilebilir. Çok düzeyli meta-analitik model bize üç tahmin sunar $\hat{\delta}$, $\hat{\tau}_2^2$ ve $\hat{\tau}_3^2$. Sabit ve rassal etkiler modellerinde olduğu gibi, $\epsilon_{ij} \sim N(0,\hat{\sigma}_{ij})$ örneklem varyansını temsil eder,çok düzeyli meta-analiz modeli sonrasında araştırmacı, en azından, bildiğini kabul ettiği $\hat{\sigma}_{ij}$ değerlerini kullanarak bir etki büyüklüğü tahmini ($\hat{\delta}$), çalışmalar arası varyans tahmini ($\hat{\tau}_3^2$) ve çalışmalar içi varyans tahmini ($\hat{\tau}_2^2$) raporlar.

Üçüncü düzeyin modellenebilmesi için araştırmacının elde ettiği veya hesapladığı etki büyüklüklerinden oluşturduğu veri setinde kümeli yapının kaynağını belirten bir tanımlayıcı değişken (ID) gerekir. Okuyucular R programlama dili ile çok düzeyli meta-analitik modeller hakkında Türkçe ve uygulamalı bir rehber için @karaca tarafından tamamlanan çalışmayı inceleyebilirler.

Kaynakça

Etki Büyüklüğü Nedir?
Tuğçe Kader

Meta-analiz kullanmak isteyen araştırmacıların etki büyüklüğü konusuna hakim olması gerekmektedir. Meta-analiz iyi tanımlanmış bir çalışma alanında benzer şekilde hesaplanan etki büyüklüklerini doğru şekilde bir araya getirmeye çalışır. Dolayısıyla araştırmacıların meta-analize başlamadan önce ilgilendikleri etki büyüklükleri hakkında cevaplayamacakları sorular olmamalıdır. Etki büyüklükleri makalelerde hesaplanmış olarak araştırmacılara sunulabilir. Bununla birlikte çoğu zaman ideal senaryo araştırmacıların etki büyüklüğü hesaplamak için gereken ham verileri makalelerden çıkardıktan sonra hesaplamaları kendileri yapmalarıdır. Eğer araştırmacı hesaplanmış etki büyüklükleri ile kendi hesaplayacağı etki büyüklüklerini birleştirdikten sonra meta-analiz yapmak istiyorsa bu birleştirme işinde son derece dikkatli olmalı ve tüm basamakları şeffaf şekilde raporlamalıdır.

Etki büyüklüğü araştırılan ilişkinin ana kütledeki büyüklüğünü nicel olarak ifade eder. Etki büyüklükleri sayesinde çalışma bulgularının standartlaştırılması sağlanır. Doğru şekilde yapıldığında, elde edilen etki büyüklüğü değerleri, farklı değişkenlere ve ölçüm yöntemlerine göre tutarlı biçimde karşılaştırılabilir ve yorumlanabilir [@Cohen1988; @Borenstein2009].

Geleneksel meta-analizde, incelenen etki büyüklüğüne ilişkin verilerin farklı araştırmacılar tarafından farklı örneklem gruplarından toplandığı kabul edilir ve tek bir genel etki büyüklüğü elde edilir [@Kanadli2021]. Çok değişkenli meta-analiz ise her bir çalışmadan elde edilen birden fazla etki büyüklüğünün birleştirilmesine olanak veren yöntemdir [@Cheung2015]. Bu istatistiksel yöntemler bir sonraki bölümde ele alınmıştır.

Çalışma tasarısı ve örneklem büyüklüğü etki büyüklüğü hassasiyetini doğrudan etkiler.Meta-analizde yaygın olarak kullanılan etki büyüklükleri, (a) ortalama farkı, (b) korelasyon ve (c) olasılık oranı ana başlıklarında toplanabilir. Bu bölümde eğitim bilimlerinde yaygın olarak karşımıza etki büyüklükleri tanıtılmıştır.

Ortalama Farkına Dayalı Etki Büyüklükleri

Genel ifade ile bir sürekli değişkenin iki ayrı koşulda kayıt edilmesi ile ulaşılan aritmetik ortalamalar, standart sapmalar ve örneklem büyüklükleri kullanılarak bir etki büyüklüğü hesaplanabilir. Örneğin bir matematik testinden sonra öğrencilerin kız ve erkek gruplar olarak ikiye ayrılması, bu iki grup için ortalamaların, standart sapmaların ve örneklem büyüklüklerinin belirlenmesini takiben kız ve erkek öğrencilerin matematik başarı ortalaması açısından ne kadar farklı olduklarını belirlemek üzere bir etki büyüklüğü hesaplanabilir. Benzer şekilde ön test içeren veya içermeyen deneysel tasarılarda deney ve kontrol grubu verileri için de etki büyüklüğü hesaplanabilir. Bu noktada araştırmacıların dikkat etmesi gereken durum farklı çalışmalar için hesaplanan etki büyüklüklerinin aynı formülle hesaplanması gerektiğidir. Örneğin cinsiyete göre etki büyüklüklerini meta-analizle bir araya getirmek isteyen araştırmacılar, öncelikle, farklı çalışmalardan cinsiyete göre ortalama, standart sapma ve örneklem büyüklüğü verilerini toplayarak bir veri seti oluşturabilirler. Toplanan ham veriler araştırmacının tercih ettiği bir formülle etki büyüklüğüne dönüştürülebilir.

Standartlaştırılmamış ortalama farkı

Standartlaştırılmamış ortalama farkı, sürekli bir değişken anlamlı bir ölçekte ise bir diğer ifade ile ham veriler doğrudan yorumlanabiliyorsa kullanılabilir. Bununla birlikte standartlaştırılmamış ortalama farkları yaygın olarak karşımıza çıkmamaktadır. Bunun temel sebeplerinden biri araştırmacıların aynı yapıyı ölçmek için farklı ölçme araçları, dolayısıyla farklı skalalar kullanmalarıdır. Bir diğer ifade ile farklı çalışmalar sonucu değerlendirmek için farklı araçlar kullanıyorsa, ölçme birimi çalışmadan çalışmaya değişir ve ham ortalama farkları birleştirmek anlamlı olmaz [@Borenstein2009].

Standartlaştırılmamış ortalama farkı iki grubun aritmetik ortalamalarının farkı ile hesaplanır (D). Ayrıca standart hatasının (S.H.), birleştirilmiş standart sapma değerinin (SB) ve ağırlıklandırma katsayısının (w) formülleri verilmiştir.

Standartlaştırılmamış ortalama farkının bir diğer versiyonu ise, aynı grup üzerinden elde edilen iki ölçümün karşılaştırıldığı öntest-sontest ortalamalarının farkının etki büyüklüğü değeri olarak ele alındığı durumdur. Bu fark kazanç puanı (G: gain score) şeklinde isimlendirilir ve S.H., SB ve w formülleri verilmiştir.

Formül 1. \[ \begin{align} D &= \bar{X}_{G_1} - \bar{X}_{G_2} \\ S.H. &= S_B \cdot \sqrt{\frac{1}{n_{G_1}} + \frac{1}{n_{G_2}}} \\ S_B &= \sqrt{\frac{(n_{G_1}-1)S_{G_1}^2 + (n_{G_2}-1)S_{G_2}^2}{(n_{G_1}-1) + (n_{G_2}-1)}} \\ w &= \frac{1}{(S.H.)^2} \end{align} \]

Tablo 1. Öntest-Sontest Ortalama Farkı (Kazanç Puanı) Hesaplamasında Kullanılan Örnek Veriler

Çalışma	PreTestMean	PostTestMean	PreTestSD	PostTestSD	n	correlation_r
1	90	95	4	4	50	0.5
2	80	86	2	3	60	0.3
3	78	89	3	7	55	0.2

##      Study      PreTestMean     PostTestMean     PreTestSD       PostTestSD   
##  Min.   :1.0   Min.   :38.50   Min.   :44.10   Min.   :6.900   Min.   :7.200  
##  1st Qu.:1.5   1st Qu.:41.85   1st Qu.:48.45   1st Qu.:7.500   1st Qu.:7.400  
##  Median :2.0   Median :45.20   Median :52.80   Median :8.100   Median :7.600  
##  Mean   :2.0   Mean   :44.57   Mean   :50.73   Mean   :8.133   Mean   :7.867  
##  3rd Qu.:2.5   3rd Qu.:47.60   3rd Qu.:54.05   3rd Qu.:8.750   3rd Qu.:8.200  
##  Max.   :3.0   Max.   :50.00   Max.   :55.30   Max.   :9.400   Max.   :8.800  
##        n         correlation_r   
##  Min.   :25.00   Min.   :0.5800  
##  1st Qu.:27.50   1st Qu.:0.6150  
##  Median :30.00   Median :0.6500  
##  Mean   :31.67   Mean   :0.6467  
##  3rd Qu.:35.00   3rd Qu.:0.6800  
##  Max.   :40.00   Max.   :0.7100

pre_test_mean <- data$PreTestMean
post_test_mean <- data$PostTestMean
pre_test_sd <- data$PreTestSD
post_test_sd <- data$PostTestSD
n <- data$n  
correlation_r <- data$correlation_r
mean_diff <- post_test_mean - pre_test_mean  # Ortalama farkı
mean_diff

## [1] 7.6 5.6 5.3

pooled_sd <- sqrt(((pre_test_sd^2 + post_test_sd^2) / 2))  # Havuzlanmış standart sapma

pooled_sd

## [1] 7.853980 7.051596 9.104944

SE <- sqrt((2 * pooled_sd^2 * (1 - correlation_r)) / n)  # Standart hata hesaplama
SE

## [1] 1.199715 1.292579 1.096380

w <- 1 / SE^2  # Ağırlıklı etki büyüklüğü
w

## [1] 0.6947741 0.5985300 0.8319122

G <- mean_diff  # Bu, her çalışmanın standartlaştırılmamış etki büyüklüğüdür
G

## [1] 7.6 5.6 5.3

Formül 2.

\[ \begin{align} G &= \bar{X}_{T_1} - \bar{X}_{T_2} \\ S.H. &= \sqrt{\frac{2S_B^2(1-r)}{n}} \\ S_B &= \sqrt{\frac{S_{T_1}^2 + S_{T_2}^2}{2}} \\ w &= \frac{1}{(S.H.)^2} \end{align} \]

Standartlaştırılmış ortalama farkı

Sonuç değişkenleri karşılaştırılan iki grup eşit varyanslarla normal dağılım gösteriyorsa, standartlaştırılmış ortalama farkı, birçok istenen özelliğe sahip matematiksel olarak doğal bir etki büyüklüğü ölçüsüdür [@Hedges2025]. Standartlaştırılmış ortalama farkı (d veya g), ister aynı ister farklı ölçek kullanılsın, tüm etki büyüklüklerini ortak bir ölçü birimine dönüştürüp karşılaştırma imkânı sunar.

Cohen d, Hedges g ve Glass ∆ olmak üzere üç çeşidi vardır. d indeksi iki grubun aritmetik ortalamalarının farkının birleştirilmiş standart sapmaya bölünmesiyle elde edilir ve S.H., SB ve w formülleri verilmiştir. d indeksi 20’den küçük örneklemlerde yukarı doğru eğilimlidir [@Hedges1981]. Hedges bu formülü düzenleyip Hedges g indeksi olarak adlandırmıştır. g değeri formülü, d ve serbestlik derecesi (sd) indekslerini içermektedir. İki indeksin de S.H., SB ve w formülleri verilmiştir. Ayrıca öntest-sontest kontrol gruplu desenler için d indeksi ve S.H., SB ve w formülleri verilmiştir.

Formül 3.

Cohen d

\[ \begin{align} d &= \frac{\bar{X}_{G_1} - \bar{X}_{G_2}}{S_B} \\ S_B &= \sqrt{\frac{(n_{G_1}-1)S_{G_1}^2 + (n_{G_2}-1)S_{G_2}^2}{(n_{G_1}-1)+(n_{G_2}-1)}} \\ S.H. &= \sqrt{\frac{n_{G_1}+n_{G_2}}{n_{G_1}n_{G_2}} + \frac{d^2}{2(n_{G_1}+n_{G_2})}} \\ w &= \frac{1}{(S.H.)^2} \end{align} \] Tablo 2. Standartlaştırılmış Ortalama Farkı (Cohen d / Hedges g) Hesaplamasında Kullanılan Örnek Veriler

Çalışma	pretest_mean	posttest_mean	pretest_sd	posttest_sd	n_pretest	n_posttest
1	92	88	2	4	15	15
2	79	87	3	3	50	50
3	106	102	2	2	200	200

# Tablo 2'deki örnek veriler R'a doğrudan girilmiştir (harici dosyaya gerek yoktur)
data <- data.frame(
  Study = 1:3,
  pretest_mean = c(92, 79, 106),
  posttest_mean = c(88, 87, 102),
  pretest_sd = c(2, 3, 2),
  posttest_sd = c(4, 3, 2),
  n_pretest = c(15, 50, 200),
  n_posttest = c(15, 50, 200)
)

pretest_means <- data$pretest_mean
posttest_means <- data$posttest_mean
pretest_sds <- data$pretest_sd
posttest_sds <- data$posttest_sd
n_pretest <- data$n_pretest
n_posttest <- data$n_posttest

# Standartlaştırılmış Etki Büyüklüğü (Cohen's d)
cohen_d <- function(M_pre, M_post, SD_pre, SD_post, n_pre, n_post) {
  # Havuzlanmış standart sapmayı hesapla
  SD_pooled <- sqrt(((n_pre - 1) * SD_pre^2 + (n_post - 1) * SD_post^2) / (n_pre + n_post - 2))
  # Cohen's d hesapla
  d <- (M_pre- M_post) / SD_pooled
  return(d)
}
# Cohen's d için Standart Hata (SE_d)
SE_d <- function(n_pre, n_post, d) {
  SE <- sqrt((n_pre + n_post) / (n_pre * n_post) + d^2 / (2 * (n_pre + n_post)))
  return(SE)
}

# Hedge's g
hedges_g <- function(d, n_pre, n_post) {
  g <- d * (1 - (3 / (4 * (n_pre + n_post) - 9)))
  return(g)
}

# Hedge's g için Standart Hata (SE_g)
SE_g <- function(SE_d, n_pre, n_post) {
  SE_g <- SE_d * (1 - (3 / (4 * (n_pre + n_post) - 9)))
  return(SE_g)
}

# Ağırlık (W)
weight <- function(SE_d) {
  w <- 1 / (SE_d^2)
  return(w)
}

# Tüm makaleler için hesaplamaları yap
results <- data.frame(
  study = 1:nrow(data),
  d = numeric(nrow(data)),
  SE_d = numeric(nrow(data)),
  g = numeric(nrow(data)),
  SE_g = numeric(nrow(data)),
  w_d = numeric(nrow(data)),
  w_g = numeric(nrow(data))
)

for(i in 1:nrow(data)) {
  # Cohen's d hesapla
  d_val <- cohen_d(pretest_means[i], posttest_means[i], pretest_sds[i], posttest_sds[i], n_pretest[i], n_posttest[i])
  # Cohen's d için Standart Hata hesapla
  SE_d_val <- SE_d(n_pretest[i], n_posttest[i], d_val)
  # Hedge's g hesapla
  g_val <- hedges_g(d_val, n_pretest[i], n_posttest[i])
  # Hedge's g için Standart Hata hesapla
  SE_g_val <- SE_g(SE_d_val, n_pretest[i], n_posttest[i])
  # Ağırlık hesapla
  w_d_val <- weight(SE_d_val)
  w_g_val <- weight(SE_g_val)
  
  # Sonuçları sakla
  results[i, ] <- c(i, d_val, SE_d_val, g_val, SE_g_val, w_d_val, w_g_val)
}

# Sonuçları görüntüle
print(results)

##   study         d      SE_d         g      SE_g      w_d       w_g
## 1     1  1.264911 0.4000000  1.230724 0.3891892  6.25000  6.602045
## 2     2 -2.666667 0.2748737 -2.646206 0.2727647 13.23529 13.440755
## 3     3  2.000000 0.1224745  1.996229 0.1222435 66.66667 66.918794

Önceki bölümlerde tek grup ön test-son test karşılaştırmasını ve iki grubun son test ortalamalarının karşılaştırılmasını içeren durumlara yer verilmiştir. Öntest-sontest kontrol gruplu deneysel desen çalışmalarında Cohen d ve Hedges g indeksleri hesaplanabilmektedir.

Tablo 3. Öntest-Sontest Kontrol Gruplu Desende Kullanılan Örnek Veriler

Çalışma	exp_pre_mean	exp_post_mean	control_pre_mean	control_post_mean	exp_pre_sd	exp_post_sd	control_pre_sd	control_post_sd	n_exp	n_control
1	40.1	55.3	41.0	45.2	7.2	6.8	7.5	7.3	25	24
2	38.7	50.1	39.5	42.8	6.5	6.1	6.9	6.7	30	29
3	45.0	58.9	44.2	48.0	8.1	7.6	8.3	8.0	22	21

Formül 4.

\[ \begin{align} d &= \frac{(\bar{X}_{G_{1SON}} - \bar{X}_{G_{1ÖN}}) - (\bar{X}_{G_{2SON}} - \bar{X}_{G_{2ÖN}})}{S_B} \\ S_B &= \sqrt{\frac{(n_{G_1}-1)S_{G_{1SON}}^2 + (n_{G_2}-1)S_{G_{2SON}}^2}{(n_{G_1}-1) + (n_{G_2}-1)}} \\ S.H. &= \sqrt{\frac{n_{G_1} + n_{G_2}}{n_{G_1} n_{G_2}} + \frac{d^2}{2(n_{G_1} + n_{G_2})}} \\ w &= \frac{1}{(S.H.)^2} \end{align} \]

# Tablo 3'teki örnek veriler R'a doğrudan girilmiştir (harici dosyaya gerek yoktur)
data <- data.frame(
  Study = 1:3,
  exp_pre_mean = c(40.1, 38.7, 45.0),
  exp_post_mean = c(55.3, 50.1, 58.9),
  control_pre_mean = c(41.0, 39.5, 44.2),
  control_post_mean = c(45.2, 42.8, 48.0),
  exp_pre_sd = c(7.2, 6.5, 8.1),
  exp_post_sd = c(6.8, 6.1, 7.6),
  control_pre_sd = c(7.5, 6.9, 8.3),
  control_post_sd = c(7.3, 6.7, 8.0),
  n_exp = c(25, 30, 22),
  n_control = c(24, 29, 21)
)

# Veri setini kontrol et
head(data)

##   Study exp_pre_mean exp_post_mean control_pre_mean control_post_mean
## 1     1         40.1          55.3             41.0              45.2
## 2     2         38.7          50.1             39.5              42.8
## 3     3         45.0          58.9             44.2              48.0
##   exp_pre_sd exp_post_sd control_pre_sd control_post_sd n_exp n_control
## 1        7.2         6.8            7.5             7.3    25        24
## 2        6.5         6.1            6.9             6.7    30        29
## 3        8.1         7.6            8.3             8.0    22        21

exp_pre_mean <- data$exp_pre_mean  # Deneysel grup öntest aritmetik ortalama
exp_post_mean <- data$exp_post_mean  # Deneysel grup sontest aritmetik ortalama
control_pre_mean <- data$control_pre_mean  # Kontrol grup öntest aritmetik ortalama
control_post_mean <- data$control_post_mean  # Kontrol grup sontest aritmetik ortalama
exp_pre_sd <- data$exp_pre_sd  # Deneysel grup öntest standart sapma
exp_post_sd <- data$exp_post_sd  # Deneysel grup sontest standart sapma
control_pre_sd <- data$control_pre_sd  # Kontrol grup öntest standart sapma
control_post_sd <- data$control_post_sd  # Kontrol grup sontest standart sapma
n_exp <- data$n_exp  # Deney grubu için örneklem büyüklüğü
n_control <- data$n_control  # Kontrol grubu için örneklem büyüklüğü

# Deneysel ve Kontrol Grubu için Cohen's d hesapla
cohen_d <- function(M_exp_pre, M_exp_post, M_control_pre, M_control_post, SD_exp_pre, SD_exp_post, SD_control_pre, SD_control_post, n_exp, n_control) {
  # Havuzlanmış standart sapmayı hesapla
  SD_pooled <- sqrt(((n_exp - 1) * (SD_exp_post^2) +(n_control - 1) * (SD_control_post^2)) /  (n_exp + n_control - 2))  # Toplam örneklem büyüklüğü - 2

  # Cohen's d hesapla: (deney post-pre) - (kontrol post-pre) / SD_pooled
  d <- ((M_exp_post - M_exp_pre) - (M_control_post - M_control_pre)) / SD_pooled
  return(d)
}

# Standart hata (SE) hesapla
standard_error <- function(n_exp, n_control, d) {
  SE <- sqrt((1 / n_exp) + (1 / n_control)+ (d^2/(2* (n_exp+ n_control))))
  return(SE)
}

# Ağırlık (W) hesapla: W = 1 / SE^2
weight <- function(SE) {
  w <- 1 / SE^2
  return(w)
}

# Deneysel ve Kontrol Grubu için hesaplamaları yap
results <- data.frame(
  study = 1:nrow(data),
  d = numeric(nrow(data)),
  w = numeric(nrow(data))
)

for(i in 1:nrow(data)) {
  # Cohen's d hesapla
  d_val <- cohen_d(data$exp_pre_mean[i], data$exp_post_mean[i], data$control_pre_mean[i], data$control_post_mean[i],
                   data$exp_pre_sd[i], data$exp_post_sd[i], data$control_pre_sd[i], data$control_post_sd[i],
                   data$n_exp[i], data$n_control[i])
  
  # Havuzlanmış standart sapmayı hesapla
  SD_pooled <- sqrt(((data$n_exp[i] - 1) * data$exp_pre_sd[i]^2 + (data$n_exp[i] - 1) * data$exp_post_sd[i]^2 + 
                     (data$n_control[i] - 1) * data$control_pre_sd[i]^2 + (data$n_control[i] - 1) * data$control_post_sd[i]^2) / 
                    (data$n_exp[i] + data$n_control[i] - 2))
  
  # Standart hata hesapla
  SE_val <- standard_error(data$n_exp[i], data$n_control[i], d_val)
  
  # Ağırlık (W) hesapla
  w_val <- weight(SE_val)
  
  # Sonuçları sakla
  results[i, ] <- c(i, d_val, w_val, SE_val)
}

## Warning in matrix(value, n, p): data length [4] is not a sub-multiple or
## multiple of the number of columns [3]
## Warning in matrix(value, n, p): data length [4] is not a sub-multiple or
## multiple of the number of columns [3]
## Warning in matrix(value, n, p): data length [4] is not a sub-multiple or
## multiple of the number of columns [3]

# Sonuçları görüntüle
print(results)

##   study        d         w
## 1     1 1.560480  9.388384
## 2     2 1.265275 12.287544
## 3     3 1.295256  8.882446

Ortalama farkına dayalı meta-analiz - örnek uygulama

Bu bölümde iki grubun ortalama farkına dayalı etki büyüklüğü değerleri kullanılarak meta analiz çalışması yapılmıştır. Bu çalışmada Hedge g, MD (standartlaştırılmamış ortalama farkı ile etki büyüklüğü), Cohen’ s d ve standart hatalar hesaplanmıştır.

Tablo 4. Deney-Kontrol Grubu Karşılaştırmasında Kullanılan Örnek Veriler

Çalışma	mean_exp	mean_control	sd_exp	sd_control	n_exp	n_control
1	62.4	58.1	9.2	8.7	26	25
2	70.1	64.5	10.5	9.9	34	33
3	55.8	51.2	7.6	7.1	29	28

# Tablo 4'teki örnek veriler R'a doğrudan girilmiştir (harici dosyaya gerek yoktur)
data <- data.frame(
  Study = 1:3,
  mean_exp = c(62.4, 70.1, 55.8),
  mean_control = c(58.1, 64.5, 51.2),
  sd_exp = c(9.2, 10.5, 7.6),
  sd_control = c(8.7, 9.9, 7.1),
  n_exp = c(26, 34, 29),
  n_control = c(25, 33, 28)
)

# Veri setini kontrol et
head(data)

##   Study mean_exp mean_control sd_exp sd_control n_exp n_control
## 1     1     62.4         58.1    9.2        8.7    26        25
## 2     2     70.1         64.5   10.5        9.9    34        33
## 3     3     55.8         51.2    7.6        7.1    29        28

# Deney ve kontrol gruplarına ait veriler
mean_exp <- data$mean_exp  # Deney grubunun aritmetik ortalaması
mean_control <- data$mean_control  # Kontrol grubunun aritmetik ortalaması
sd_exp <- data$sd_exp  # Deney grubunun standart sapması
sd_control <- data$sd_control  # Kontrol grubunun standart sapması
n_exp <- data$n_exp  # Deney grubunun örneklem büyüklüğü
n_control <- data$n_control  # Kontrol grubunun örneklem büyüklüğü

# Birleşik Standart Sapma (Pooled Standard Deviation)
pooled_sd <- sqrt(((n_exp - 1) * sd_exp^2 + (n_control - 1) * sd_control^2) / (n_exp + n_control - 2))

# Standartlaştırılmış Ortalama Fark (Cohen's d)
d <- (mean_exp - mean_control) / pooled_sd

# Cohen's d için Standart Hata (SE_d)
SE_d <- sqrt((n_exp + n_control) / (n_exp * n_control) + (d^2 / (2 * (n_exp + n_control))))

# Hedges's g hesaplama
g <- d * (1 - (3 / (4 * (n_exp + n_control - 2) - 1)))

# Hedges's g için Standart Hata (SE_g) fonksiyonu
SE_g <- function(SE_d, n_exp, n_control) {
  SE_g <- SE_d * (1 - (3 / (4 * (n_exp + n_control) - 9)))
  return(SE_g)
}
SE_g_values <- SE_g(SE_d, n_exp, n_control)

# Standartlaştırılmamış Ortalama Farkı (MD)
MD <- mean_exp - mean_control

# MD'nin Standart Hatası (SE_MD)
SE_MD <- sqrt((sd_exp^2 / n_exp) + (sd_control^2 / n_control))

# Sonuçları yazdır
cat("Cohen's d değerleri: \n")

## Cohen's d değerleri:

print(d)

## [1] 0.4799863 0.5485344 0.6251026

cat("Cohen's d için Standart Hata değerleri: \n")

## Cohen's d için Standart Hata değerleri:

print(SE_d)

## [1] 0.2841131 0.2489181 0.2713387

cat("Hedges's g değerleri: \n")

## Hedges's g değerleri:

print(g)

## [1] 0.4726019 0.5421807 0.6165396

cat("Hedges's g için Standart Hata değerleri: \n")

## Hedges's g için Standart Hata değerleri:

print(SE_g_values)

## [1] 0.2797421 0.2460349 0.2676218

cat("Standartlaştırılmamış Ortalama Farkı (MD) değerleri: \n")

## Standartlaştırılmamış Ortalama Farkı (MD) değerleri:

print(MD)

## [1] 4.3 5.6 4.6

cat("MD için Standart Hata değerleri (SE_MD): \n")

## MD için Standart Hata değerleri (SE_MD):

print(SE_MD)

## [1] 2.506588 2.492518 1.947327

# Çalışma bazında sonuçları görmek isterseniz:
results <- data.frame(
  study = 1:nrow(data),
  mean_exp = mean_exp,
  mean_control = mean_control,
  pooled_sd = pooled_sd,
  d = d,
  SE_d = SE_d,
  g = g,
  SE_g = SE_g_values,
  MD = MD,
  SE_MD = SE_MD
)

# Sonuçları görüntüle
print(results)

##   study mean_exp mean_control pooled_sd         d      SE_d         g      SE_g
## 1     1     62.4         58.1  8.958590 0.4799863 0.2841131 0.4726019 0.2797421
## 2     2     70.1         64.5 10.209023 0.5485344 0.2489181 0.5421807 0.2460349
## 3     3     55.8         51.2  7.358792 0.6251026 0.2713387 0.6165396 0.2676218
##    MD    SE_MD
## 1 4.3 2.506588
## 2 5.6 2.492518
## 3 4.6 1.947327

Bu kısımda Hedge’s g, standart hata, varyans değeri, güven aralığı, z değeri ve p değeri hesaplanmıştır. Bu değerler orman grafiği kullanılarak gösterilmiştir.

library(ggplot2)

# Tablo 4'teki aynı örnek veriler yeniden kullanılmıştır (harici dosyaya gerek yoktur)
data <- data.frame(
  Study = 1:3,
  mean_exp = c(62.4, 70.1, 55.8),
  mean_control = c(58.1, 64.5, 51.2),
  sd_exp = c(9.2, 10.5, 7.6),
  sd_control = c(8.7, 9.9, 7.1),
  n_exp = c(26, 34, 29),
  n_control = c(25, 33, 28)
)

# Veri setini kontrol et
head(data)

##   Study mean_exp mean_control sd_exp sd_control n_exp n_control
## 1     1     62.4         58.1    9.2        8.7    26        25
## 2     2     70.1         64.5   10.5        9.9    34        33
## 3     3     55.8         51.2    7.6        7.1    29        28

# Deney ve kontrol gruplarına ait veriler
mean_exp <- data$mean_exp  # Deney grubunun aritmetik ortalaması
mean_control <- data$mean_control  # Kontrol grubunun aritmetik ortalaması
sd_exp <- data$sd_exp  # Deney grubunun standart sapması
sd_control <- data$sd_control  # Kontrol grubunun standart sapması
n_exp <- data$n_exp  # Deney grubunun örneklem büyüklüğü
n_control <- data$n_control  # Kontrol grubunun örneklem büyüklüğü

# Birleşik Standart Sapma (Pooled Standard Deviation)
pooled_sd <- sqrt(((n_exp - 1) * sd_exp^2 + (n_control - 1) * sd_control^2) / (n_exp + n_control - 2))

# Hedges's g hesaplama
g <- (mean_exp - mean_control) / pooled_sd * (1 - (3 / (4 * (n_exp + n_control - 2) - 1)))

# Hedges's g için Standart Hata (SE_g)
SE_g <- sqrt((n_exp + n_control) / (n_exp * n_control) + (g^2 / (2 * (n_exp + n_control)))) * (1 - (3 / (4 * (n_exp + n_control) - 9)))

# Varyans (Variance of g)
var_g <- SE_g^2

# Güven Aralığı (95% CI)
z_critical <- 1.96  # 95% güven aralığı için
lower_ci <- g - z_critical * SE_g
upper_ci <- g + z_critical * SE_g

# Z-değeri (Z-value)
z_value <- g / SE_g

# P-değeri (P-value)
p_value <- 2 * (1 - pnorm(abs(z_value)))

# Sonuçları yazdır
cat("Hedges's g değerleri: \n")

## Hedges's g değerleri:

print(g)

## [1] 0.4726019 0.5421807 0.6165396

cat("Hedges's g için Standart Hata (SE_g) değerleri: \n")

## Hedges's g için Standart Hata (SE_g) değerleri:

print(SE_g)

## [1] 0.2796226 0.2459322 0.2674522

cat("Hedges's g Varyansı (var_g): \n")

## Hedges's g Varyansı (var_g):

print(var_g)

## [1] 0.07818878 0.06048266 0.07153068

cat("Hedges's g için Güven Aralıkları (95% CI): \n")

## Hedges's g için Güven Aralıkları (95% CI):

print(data.frame(Lower = lower_ci, Upper = upper_ci))

##         Lower    Upper
## 1 -0.07545837 1.020662
## 2  0.06015353 1.024208
## 3  0.09233325 1.140746

cat("Z-değerleri (z-value): \n")

## Z-değerleri (z-value):

print(z_value)

## [1] 1.690142 2.204594 2.305233

cat("P-değerleri (p-value): \n")

## P-değerleri (p-value):

print(p_value)

## [1] 0.09100078 0.02748260 0.02115354

# Çalışma bazında sonuçları görmek isterseniz:
results <- data.frame(
  study = 1:nrow(data),
  mean_exp = mean_exp,
  mean_control = mean_control,
  pooled_sd = pooled_sd,
  g = g,
  SE_g = SE_g,
  var_g = var_g,
  lower_ci = lower_ci,
  upper_ci = upper_ci,
  z_value = z_value,
  p_value = p_value
)

# Sonuçları görüntüle
print(results)

##   study mean_exp mean_control pooled_sd         g      SE_g      var_g
## 1     1     62.4         58.1  8.958590 0.4726019 0.2796226 0.07818878
## 2     2     70.1         64.5 10.209023 0.5421807 0.2459322 0.06048266
## 3     3     55.8         51.2  7.358792 0.6165396 0.2674522 0.07153068
##      lower_ci upper_ci  z_value    p_value
## 1 -0.07545837 1.020662 1.690142 0.09100078
## 2  0.06015353 1.024208 2.204594 0.02748260
## 3  0.09233325 1.140746 2.305233 0.02115354

forest_plot <- ggplot(results, aes(x = g, y = study)) +
  geom_point(shape = 15, size = 3, color = "blue") +  # Hedges's g noktaları
  geom_errorbarh(aes(xmin = lower_ci, xmax = upper_ci), height = 0.2, color = "red") +  # %95 CI yatay hata çubukları
  geom_vline(xintercept = 0, linetype = "dashed", color = "black") +  # 0 doğrusu
  theme_minimal() +
  labs(
    title = "Hedges's g ve %95 Güven Aralığı Orman Grafiği",
    x = "Hedges's g",
    y = "Çalışma"
  ) +
  theme(
    axis.title = element_text(size = 12),
    axis.text = element_text(size = 10)
  ) +
  scale_y_continuous(
    breaks = results$study,
    labels = results$study
  )

## Warning: `geom_errorbarh()` was deprecated in ggplot2 4.0.0.
## ℹ Please use the `orientation` argument of `geom_errorbar()` instead.
## This warning is displayed once per session.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.

# Grafiği göster
print(forest_plot)

## `height` was translated to `width`.

Korelasyona Dayalı Etki Büyüklüğü

Pearson çarpım-moment korelasyon katsayısı, iki değişken arasındaki kovaryansın her bir değişkenin standart sapmalarının çarpımına bölünmesi ile edilen standartlaştırılmış bir ilişki ölçüsüdür. Bu nedenle, ilişkisi incelenen değişkenler farklı şekilde ölçülse de, bir meta-analitik etki büyüklüğü istatistiği olarak kullanılabilir. Çoğu meta-analizde etki büyüklüğü, varyansın korelasyona güçlü şekilde bağlı olması nedeniyle korelasyon katsayısı ile hesaplanmaz. Korelasyonun standart formunda, korelasyon katsayısının bazı istenmeyen istatistiksel özellikleri vardır. Bu nedenle Pearson korelasyonu (r), Fisher’in z ölçeğine dönüştürülür.

Fisher’in z ile çalışırken korelasyonun varyansı kullanılmaz. Bunun yerine analizde Fisher’in z puanı ve varyansı kullanılır [@Borenstein2009; @hedgesolkin2014; @Lipsey2001]. X ve Y değişkenleri arasındaki ilişki için korelasyon katsayısı, korelasyon (r) katsayısının varyansı, Pearson korelasyon katsayısını (r) Fisher z’ye dönüştürme ve Fisher z’yi Pearson korelasyon katsayısına dönüştürme formülleri, yani sırasıyla r_xy,V_r,z,r formülleri verilmiştir.

Formül 5.

Korelasyona dayalı etki büyüklüğü

\[ \begin{align} r_{xy} &= \frac{\sigma_{xy}^2}{\sigma_x \sigma_y} \\ V_r &= \frac{(1-r^2)^2}{n-1} \end{align} \]

Fisher’s z

\[ \begin{align} z &= 0.5 \cdot \ln\left(\frac{1+r}{1-r}\right) \\ r &= \frac{e^{2z} - 1}{e^{2z} + 1} \end{align} \]

Tablo 5. Korelasyona Dayalı Etki Büyüklüğü Hesaplamasında Kullanılan Örnek Veriler

Çalışma	correlation	n
1	0.42	50
2	0.35	65
3	0.58	40

# Tablo 5'teki örnek veriler R'a doğrudan girilmiştir (harici dosyaya gerek yoktur)
data <- data.frame(
  Study = 1:3,
  correlation = c(0.42, 0.35, 0.58),
  n = c(50, 65, 40)
)

# Veri setini kontrol et
head(data)

##   Study correlation  n
## 1     1        0.42 50
## 2     2        0.35 65
## 3     3        0.58 40

# Verilerdeki korelasyon ve örneklem büyüklüğünü belirleyelim
r_values <- data$correlation  # Korelasyon katsayıları
n_values <- data$n  # Örneklem büyüklükleri

# Fisher Z Dönüşümü (Korelasyonu Fisher Z'ye dönüştür)
fisher_z <- function(r) {
  Z <- 0.5 * log((1 + r) / (1 - r))
  return(Z)
}

# Fisher Z değerlerini hesapla
z_values <- sapply(r_values, fisher_z)

# Standart hata (SE) hesaplama: SE_Z = 1 / sqrt(n - 3)
standard_error <- function(n) {
  SE_Z <- 1 / sqrt(n - 3)
  return(SE_Z)
}

# Standart hataları hesapla
se_values <- sapply(n_values, standard_error)

# Ağırlıkları hesapla: W = 1 / SE_Z^2
weight <- function(SE_Z) {
  W <- 1 / SE_Z^2
  return(W)
}

# Ağırlıkları hesapla
weights <- sapply(se_values, weight)

# Ağırlıklı Fisher Z hesaplama: Weighted Z = sum(W_i * Z_i) / sum(W_i)
weighted_z <- sum(weights * z_values) / sum(weights)

# Ağırlıklı etki büyüklüğünü hesaplamak için Weighted Z'yi korelasyona dönüştür
r_weighted <- (exp(2 * weighted_z) - 1) / (exp(2 * weighted_z) + 1)

# Sonuçları yazdır
cat("Ağırlıklı Fisher Z değeri:", weighted_z, "\n")

## Ağırlıklı Fisher Z değeri: 0.4671929

cat("Ağırlıklı Korelasyon katsayısı (r):", r_weighted, "\n")

## Ağırlıklı Korelasyon katsayısı (r): 0.4359284

# Çalışma bazında sonuçları da görmek isterseniz:
results <- data.frame(
  study = 1:nrow(data),
  r = r_values,
  z = z_values,
  se = se_values,
  weight = weights
)

# Sonuçları görüntüle
print(results)

##   study    r         z        se weight
## 1     1 0.42 0.4476920 0.1458650     47
## 2     2 0.35 0.3654438 0.1270001     62
## 3     3 0.58 0.6624627 0.1643990     37

Diğer Etki Büyüklükleri

İki kategorili değişkenler arasındaki ilişkilerde, deneysel uygulamalarda incelenen olayın görülme görülmeme durumunda elde edilen veriler 2x2 tablolarına aktarılıp risk oranı, olasılık oranı, risk farkları hesaplanabilir. Risk oranları için hesaplamalar logaritmik ölçekte yapılıp standart hatası hesaplanır [@Borenstein2009]. İki veriye dayalı etki büyüklüklerinin örneğine bu bölümde yer verilmeyecektir.

Parametrik olmayan Veriye Dayalı Etki büyüklükleri: Normal dağılıma sahip olmayan veriler için araştırmacılar genellikle Mann–Whitney ve Wilcoxon testleri gibi parametrik olmayan istatistiksel testlere başvururlar. Bu testlerin anlamlılığı genellikle test istatistiklerinin dağılımlarının, örneklem büyüklükleri çok küçük olmadığında, z dağılımıyla değerlendirilir ve bu z değeri yardımıyla etki büyüklüğü hesaplanabilir. Örneklem büyüklüğünden bağımsız olan Cohen tarafından önerilen r=z/√N formülünden test istatistiğinden etki büyüklüğü (r) hesaplanabilir [@Fritz2012]. Sıra-çift serili korelasyon katsayısı gibi ölçümler parametrik ölçümlere dönüştürülürken etki büyüklüğü homojenliğini bozacağı için meta-analizde parametrik olmayan etki büyüklükleri genellikle tercih edilmemektedir.

Glass ∆: Glass’in deltası müdahale ortalamanın yanı sıra standart sapmayı da değiştirdiğinde veya iki grubun standart sapmaları arasında önemli bir fark olduğunda tercih edilebilir. Glass’ın deltasının dezavantajı, yalnızca kontrol grubunun standart sapmasını kullanmasıdır [@Hedges1981]. Bu nedenle daha küçük bir örnekleme dayanır ve daha az hassas olabilir. Belirtilen sebeplerle meta-analizde kullanılmamaktadır.

Kaynakça

Heterojenlik
Tuba Caksız

Meta-analiz çalışmalarında etki büyüklükleri arasındaki farklılıkların değerlendirilmesi, elde edilen sonuçların yorumlanmasında önemli bir aşamadır. Heterojenlik, meta-analize dâhil edilen çalışmaların etki büyüklükleri arasındaki değişkenliğin yalnızca örnekleme hatasından kaynaklanmaması ve çalışmaların gerçek etkilerinin birbirinden farklılaşabilmesi durumunu ifade eder [@Borenstein2009]. Bu farklılıklar; örneklemlerin özellikleri, kullanılan ölçüm araçları, araştırma tasarımları veya diğer yöntemsel ve kavramsal özelliklerden kaynaklanabilir [@HigginsEtAl2003].

Meta-analize dâhil edilen çalışmaların benzer koşullarda yürütülmesi ve benzer gerçek etkilere sahip olması durumunda etki büyüklüklerinin birbirine yakın olması beklenir. Buna karşılık çalışmaların örneklem, yöntem ve uygulama özellikleri bakımından farklılaşması, elde edilen etki büyüklüklerinde değişkenliğe yol açabilir [@SenYildirim2023]. Sosyal bilimlerde yürütülen araştırmaların bu özellikler bakımından çeşitlilik göstermesi nedeniyle çalışmalar arasında değişkenlik gözlenmesi beklenebilir. Bu nedenle heterojenliğin değerlendirilmesinde hem grafiksel hem de istatistiksel yöntemlerden yararlanılmaktadır.

Orman Grafiği (Forest Plot)

Orman grafiği, meta-analize dâhil edilen çalışmaların etki büyüklüklerini ve bunlara ilişkin güven aralıklarını görsel olarak gösteren temel araçlardan biridir. Grafikte her çalışmanın etki büyüklüğü bir nokta veya kare ile, çoğunlukla %95 güven aralığı ise yatay bir çizgi ile gösterilir. Grafiğin alt bölümünde yer alan elmas şekli, birleşik etki büyüklüğünü ve buna ilişkin güven aralığını temsil eder [@Borenstein2009].

Orman grafiği, çalışmaların etki büyüklüklerinin birbirleriyle ve birleşik etki büyüklüğüyle karşılaştırılmasını sağlar. Etki büyüklüklerinin birbirine yakın olması ve güven aralıklarının büyük ölçüde örtüşmesi daha tutarlı bir dağılıma ilişkin görsel bir ipucu sunarken, etki büyüklüklerinin belirgin biçimde farklılaşması çalışmalar arasında değişkenlik olabileceğini düşündürebilir. Bununla birlikte orman grafiği, heterojenliğin düzeyini veya istatistiksel anlamlılığını tek başına belirlemez. Bu nedenle grafiksel bulguların istatistiksel heterojenlik ölçütleriyle desteklenmesi gerekir.

Bu uygulamada beş çalışmadan elde edilen korelasyon katsayıları kullanılmaktadır. Çalışmalara ilişkin temel bilgiler Tablo 7.1 de verilmiştir.

Tablo 7.1. Meta-analize dâhil edilen çalışmalara ilişkin veriler

Çalışma	r	Fisher’s z *	N* *	S.H.* *	*w	wxEB	wxEB²	w²**
Acar, 2010	0,20	0,203	60	0,132	57	11,516	2,343	3249
Akbaş, 2008	0,70	0,867	200	0,071	197	170,858	148,185	38809
Türkmen, 2004	0,60	0,693	150	0,082	147	101,893	70,627	21609
Şen, 2006	0,30	0,310	50	0,146	47	14,547	4,503	2209
Yıldırım, 2007	0,50	0,549	100	0,102	97	53,283	29,269	9409
Toplam					545	352,137	254,926	75285

Tablo 7.1. de r korelasyon katsayısını, z Fisher’ın z dönüşümünü, n örneklem büyüklüğünü ve S.H. standart hatayı göstermektedir. w, wxEB, wxEB² ve w² ise etki büyüklüklerinin ağırlıklandırılması ve ilgili meta-analitik hesaplamalarda kullanılan ara değerlerdir.

R ile Çalışmalara Ait Etki Büyüklükleri ve Güven Aralıkları

Meta-analize dâhil edilen çalışmalarda korelasyon katsayılarının ortak bir ölçekte analiz edilebilmesi amacıyla Fisher’ın z dönüşümünden yararlanılabilir. Korelasyon katsayıları Fisher’ın z değerlerine dönüştürüldükten sonra her bir çalışma için standart hata, varyans ve %95 güven aralığı hesaplanabilir. Ayrıca her bir etki büyüklüğünün sıfırdan istatistiksel olarak anlamlı düzeyde farklılaşıp farklılaşmadığının değerlendirilmesi amacıyla Z test istatistiği ve buna karşılık gelen iki yönlü p değeri elde edilebilir. Bu hesaplamaların R ortamında gerçekleştirilmesi için aşağıdaki kod kullanılabilir:

veri <- data.frame(
calisma = c("Acar, 2010", "Akbas, 2008", "Turkmen, 2004",
"Sen, 2006", "Yıldırım, 2007"),
r = c(.20, .70, .60, .30, .50),
n = c(60, 200, 150, 50, 100)
)
veri$z <- atanh(veri$r)
veri$SE <- 1 / sqrt(veri$n - 3)
veri$Varyans <- veri$SE^2
veri$Alt_Sinir <- veri$z - 1.96 * veri$SE
veri$Ust_Sinir <- veri$z + 1.96 * veri$SE
veri$Z_degeri <- veri$z / veri$SE
veri$p_degeri <- 2 * pnorm(-abs(veri$Z_degeri))
veri

##          calisma   r   n         z         SE     Varyans   Alt_Sinir Ust_Sinir
## 1     Acar, 2010 0.2  60 0.2027326 0.13245324 0.017543860 -0.05687579 0.4623409
## 2    Akbas, 2008 0.7 200 0.8673005 0.07124705 0.005076142  0.72765631 1.0069447
## 3  Turkmen, 2004 0.6 150 0.6931472 0.08247861 0.006802721  0.53148911 0.8548053
## 4      Sen, 2006 0.3  50 0.3095196 0.14586499 0.021276596  0.02362422 0.5954150
## 5 Yıldırım, 2007 0.5 100 0.5493061 0.10153462 0.010309278  0.35029830 0.7483140
##    Z_degeri     p_degeri
## 1  1.530597 1.258690e-01
## 2 12.173143 4.321171e-34
## 3  8.403963 4.316590e-17
## 4  2.121959 3.384114e-02
## 5  5.410038 6.301134e-08

Korelasyon katsayılarının Fisher’ın z değerlerine dönüştürülmesinde atanh() fonksiyonundan yararlanılmaktadır. veri$z <- atanh(veri$r) komutu her bir çalışmaya ait korelasyon katsayısını (r) Fisher’ın z değerine dönüştürmektedir. veri$SE <- 1 / sqrt(veri$n - 3) komutu Fisher’ın z değerlerinin standart hatalarını, veri$Varyans <- veri$SE^2 komutu ise bunlara ilişkin varyansları hesaplamaktadır.

veri$Alt_Sinir ve veri$Ust_Sinir değişkenleri her bir çalışma için %95 güven aralığının alt ve üst sınırlarının hesaplanmasını sağlamaktadır. Son aşamada veri$Z_degeri ile her bir etki büyüklüğüne ilişkin Z test istatistiği, veri$p_degeri ile bu test istatistiğine karşılık gelen iki yönlü p değeri elde edilmektedir. Böylece her bir çalışmanın etki büyüklüğü tahmini ile bu tahmine ilişkin belirsizlik birlikte değerlendirilebilmektedir.

Tablo 7.2. Çalışmalara Ait Fisher’ın z Değerleri ve %95 Güven Aralıkları

Çalışma	Fisher’ın z değeri	Standart Hata	Varyans	%95 GA Alt	%95 GA Üst	Z test istatistiği	p
Acar, 2010	0,203	0,132	0,018	-0,057	0,462	1,531	0,126
Akbaş, 2008	0,867	0,071	0,005	0,728	1,007	12,173	<0,001
Türkmen, 2004	0,693	0,082	0,007	0,531	0,855	8,404	<0,001
Şen, 2006	0,310	0,146	0,021	0,024	0,595	2,122	0,034
Yıldırım, 2007	0,549	0,102	0,010	0,350	0,748	5,410	<0,001

Tablo 7.2. incelendiğinde, çalışmalarda raporlanan korelasyon katsayılarının 0,20 ile 0,70 arasında değiştiği görülmektedir. En düşük korelasyon katsayısı Acar (2010), en yüksek korelasyon katsayısı ise Akbaş (2008) çalışmasında elde edilmiştir. Meta-analiz hesaplamalarında korelasyon katsayıları Fisher’ın z değerlerine dönüştürülmüştür.

Çalışmaların %95 güven aralıklarının genişlikleri de birbirinden farklıdır. Örneklem büyüklüğü daha yüksek ve buna bağlı olarak standart hatası daha düşük olan çalışmaların güven aralıkları daha dardır. Örneğin Akbaş (2008) çalışmasının Fisher’ın z ölçeğindeki %95 güven aralığı [0,728; 1,007] iken Acar (2010) çalışmasının güven aralığı [-0,057; 0,462] olarak hesaplanmıştır.

Acar (2010) çalışmasının %95 güven aralığının sıfırı içermesi, bu çalışmada elde edilen etki büyüklüğünün sıfırdan istatistiksel olarak anlamlı düzeyde farklılaşmadığını göstermektedir (p = 0,126). Diğer çalışmaların güven aralıkları ise sıfırın üzerinde bulunmaktadır. Bununla birlikte çalışma düzeyindeki bu anlamlılık sonuçları, çalışmalar arasındaki heterojenliğin istatistiksel olarak anlamlı olup olmadığının göstergesi değildir. Heterojenliğin değerlendirilmesi için çalışmalar arasındaki değişkenliği dikkate alan istatistiklerin ayrıca incelenmesi gerekmektedir.

R ile Orman Grafiğinin Oluşturulması

Orman grafiği, meta-analize dâhil edilen çalışmaların etki büyüklüklerini ve bunlara ilişkin güven aralıklarını aynı grafik üzerinde göstererek çalışmaların sonuçlarının karşılaştırılmasına olanak sağlamaktadır. Bunun yanı sıra meta-analitik model sonucunda elde edilen birleşik etki büyüklüğü ve bu etkiye ilişkin güven aralığı da orman grafiğinde gösterilebilmektedir.

Orman grafiğinin R ortamında oluşturulmasında metafor paketinden yararlanılabilir. Öncelikle korelasyon katsayıları Fisher’ın z değerlerine dönüştürülerek meta-analiz için gerekli etki büyüklükleri ve örnekleme varyansları hesaplanmakta, ardından rastgele etkiler modeli oluşturulmaktadır. Son aşamada forest() fonksiyonu kullanılarak orman grafiği elde edilmektedir.

## Zorunlu paket yükleniyor: Matrix

## Zorunlu paket yükleniyor: metadat

## Zorunlu paket yükleniyor: numDeriv

## 
## Loading the 'metafor' package (version 5.2-1). For an
## introduction to the package please type: help(metafor)

## 
## Random-Effects Model (k = 5; tau^2 estimator: REML)
## 
## tau^2 (estimated amount of total heterogeneity): 0.0621 (SE = 0.0522)
## tau (square root of estimated tau^2 value):      0.2493
## I^2 (total heterogeneity / total variability):   86.34%
## H^2 (total variability / sampling variability):  7.32
## 
## Test for Heterogeneity:
## Q(df = 4) = 27.4025, p-val < .0001
## 
## Model Results:
## 
## estimate      se    zval    pval   ci.lb   ci.ub      
##   0.5433  0.1215  4.4710  <.0001  0.3051  0.7815  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

metafor paketindeki escalc() fonksiyonu, meta-analizde kullanılacak etki büyüklüklerinin ve bunlara ilişkin örnekleme varyanslarının hesaplanmasını sağlamaktadır. Fonksiyonda measure = “ZCOR” parametresi, etki büyüklüğü ölçütü olarak Fisher’ın z dönüşümüne tabi tutulmuş korelasyon katsayısının kullanılacağını belirtmektedir. ri = r her bir çalışmaya ait korelasyon katsayısını, ni = n ise çalışmaların örneklem büyüklüklerini göstermektedir. Bu bilgiler kullanılarak her çalışma için Fisher’ın z dönüşümlü etki büyüklüğü (yi) ve buna ilişkin örnekleme varyansı (vi) hesaplanmaktadır.

rma() fonksiyonu meta-analitik modelin tahmin edilmesinde kullanılmaktadır. Modelde yi her bir çalışmaya ait Fisher’ın z dönüşümlü etki büyüklüğünü, vi ise bu etki büyüklüğüne ilişkin örnekleme varyansını ifade etmektedir. method = “REML” parametresi çalışmalar arası varyansın kısıtlı en çok olabilirlik (Restricted Maximum Likelihood [REML]) yöntemiyle tahmin edilmesini sağlamaktadır. Bu uygulamada çalışmalar arasında gerçek etki büyüklüklerinin farklılaşabileceği kabul edildiğinden rastgele etkiler modeli kullanılmıştır.

Kod içerisinde yer alan res komutu oluşturulan meta-analiz modelinin sonuçlarının görüntülenmesini sağlamaktadır. Böylece birleşik etki büyüklüğü, standart hata ve güven aralığının yanı sıra model tarafından hesaplanan heterojenlik istatistiklerine de ulaşılabilmektedir. Bu istatistikler heterojenliğe ilişkin izleyen başlıklarda ayrıntılı olarak ele alınacaktır.

Son aşamada kullanılan forest() fonksiyonu oluşturulan meta-analiz modeline ilişkin orman grafiğini vermektedir. Fonksiyonda res daha önce oluşturulan meta-analiz modelini, slab = veri$calisma grafikte çalışma adlarının gösterilmesini, xlab = “Fisher’ın z Değeri” yatay eksenin etiketini ve mlab = “Birleşik Etki” sentezlenen etki büyüklüğünün adlandırılmasını sağlamaktadır. header = TRUE parametresi ise grafiğe sütun başlıklarının eklenmesini sağlamaktadır.

Elde edilen orman grafiği incelendiğinde çalışmaların Fisher’ın z ölçeğindeki etki büyüklüklerinin ve bunlara ilişkin %95 güven aralıklarının farklılaştığı görülmektedir. Çalışma düzeyindeki etki büyüklükleri ve güven aralıklarına ilişkin sayısal sonuçlar bir önceki bölümde ayrıntılı olarak sunulduğundan burada orman grafiğinin meta-analitik senteze ilişkin sonuçları üzerinde durulmaktadır.

Rastgele etkiler modeli sonucunda birleşik etki büyüklüğü Fisher’ın z ölçeğinde 0,543 (SH = 0,122; %95 GA [0,305; 0,781]) olarak hesaplanmıştır. Birleşik etkiye ilişkin %95 güven aralığının sıfırı içermemesi ve test sonucunun anlamlı bulunması, sentezlenen etkinin sıfırdan istatistiksel olarak anlamlı düzeyde farklılaştığını göstermektedir (z = 4,471; p < 0,001). Orman grafiğinde birleşik etki büyüklüğü ve buna ilişkin güven aralığı grafiğin alt bölümünde gösterilmektedir.

Radyal Grafik

Radyal grafik, Galbraith grafiği olarak da adlandırılmakta olup heterojenliğin ve aykırı çalışmaların görsel olarak incelenmesinde kullanılan grafiksel yöntemlerden biridir [@Galbraith1988]. Grafik, standartlaştırılmış etki büyüklüklerini çalışmaların kesinliğiyle ilişkilendirerek çalışmalar arasındaki dağılımın incelenmesine olanak sağlamaktadır.

Radyal grafikte yatay eksende çalışmaların kesinliği (1/SE), dikey eksende ise standartlaştırılmış etki büyüklüğü yer almaktadır. Başka bir ifadeyle yatay eksendeki değerler (1/), dikey eksendeki değerler ise (y_i/) biçiminde ifade edilmektedir. Burada (y_i), i. çalışmanın etki büyüklüğünü; (v_i) ise bu etki büyüklüğüne ilişkin örnekleme varyansını göstermektedir.

Homojenlik varsayımı altında çalışmaların genel etkiyi temsil eden doğru çevresinde belirli bir uyum göstermesi beklenmektedir. Çalışmaların bu doğrudan uzaklaşması veya referans sınırlarının dışında konumlanması, heterojenliğe katkıda bulunabilecek ya da aykırı olabilecek çalışmaların belirlenmesinde görsel bir ipucu sağlamaktadır [@Borenstein2009; @Viechtbauer2010].

Bu yönüyle radyal grafik; aykırı çalışmaların belirlenmesi, çalışmalar arasındaki tutarsızlığa katkı sağlayabilecek araştırmaların görsel olarak incelenmesi ve çalışmaların genel dağılımla uyumunun değerlendirilmesi açısından kullanılabilmektedir. Bununla birlikte grafiksel değerlendirmeler, heterojenliğin varlığı veya düzeyi hakkında tek başına kesin bir karar vermek için yeterli değildir. Bu nedenle radyal grafik, sayısal heterojenlik ölçütlerini tamamlayıcı bir araç olarak değerlendirilmektedir [@HuedoMedina2006].

R ile Radyal Grafiğin Oluşturulması

Önceki bölümde korelasyon katsayıları escalc() fonksiyonu kullanılarak Fisher’ın z değerlerine dönüştürülmüş ve rma() fonksiyonu ile rastgele etkiler meta-analiz modeli oluşturulmuştur. Aynı model nesnesinden yararlanılarak radyal grafik oluşturulabilir. Radyal grafiğin elde edilmesi için aşağıdaki kod kullanılabilir:

library(metafor)
radial(res)

metafor paketindeki radial() fonksiyonu, daha önce oluşturulan meta-analiz modelinden hareketle radyal grafiğin elde edilmesini sağlamaktadır. Fonksiyonda yer alan res, önceki aşamada rma() fonksiyonu kullanılarak oluşturulan rastgele etkiler meta-analiz modelini ifade etmektedir. Böylece yeni bir model oluşturmaya gerek kalmadan aynı model üzerinden çalışmaların radyal grafikteki dağılımı incelenebilmektedir.

Rastgele etkiler modeli kullanıldığında radyal grafiğin yatay ekseninde çalışmaların toplam varyansa dayalı kesinliği yer almaktadır. Bu değer (1/) biçiminde ifade edilmektedir. Burada (v_i), ilgili çalışmanın örnekleme varyansını; (tau²) ise çalışmalar arası varyansı göstermektedir. Buna göre toplam varyansı daha düşük olan çalışmalar grafiğin sağ tarafına, toplam varyansı daha yüksek olan çalışmalar ise sol tarafına doğru konumlanmaktadır.

Grafiğin dikey ekseninde ise etki büyüklüğünün toplam varyansın kareköküne bölünmesiyle elde edilen standartlaştırılmış değer bulunmaktadır ve bu değer (y_i/) biçiminde gösterilmektedir. Grafikte yer alan merkez doğrusu meta-analitik model tarafından tahmin edilen genel eğilimi, kesikli sınırlar ise çalışmaların bu genel eğilim etrafındaki dağılımının değerlendirilmesinde kullanılan referans sınırlarını göstermektedir. Bu gösterim, çalışmalar arasındaki değişkenliğin ve genel eğilimden uzaklaşan çalışmaların görsel olarak incelenmesine olanak sağlamaktadır.

Grafik incelendiğinde, meta-analize dâhil edilen beş çalışmanın standartlaştırılmış etki büyüklüklerinin genel etki doğrusu çevresinde farklı konumlarda dağıldığı görülmektedir. Çalışmaların kesinlik düzeyleri de birbirinden farklılaşmakta ve bu farklılık çalışmaların yatay eksendeki konumlarına yansımaktadır.

Grafikte çalışmaların tamamının kesikli çizgilerle gösterilen referans sınırları içerisinde yer aldığı görülmektedir. Bununla birlikte noktaların genel etki doğrusu üzerinde veya bu doğruya çok yakın biçimde homojen bir kümelenme göstermediği, bazı çalışmaların doğrunun üstünde, bazılarının ise altında konumlandığı görülmektedir. Bu dağılım, çalışmaların etki büyüklükleri arasında değişkenlik bulunduğuna ilişkin görsel bir bulgu sunmaktadır.

Radyal grafikte bir çalışmanın referans sınırlarının dışında yer alması, söz konusu çalışmanın genel eğilimden belirgin biçimde ayrıldığına ve olası bir aykırı çalışma olarak ayrıca incelenebileceğine işaret edebilir. Bu uygulamada çalışmaların referans sınırlarının dışına çıkmadığı görülmektedir. Ancak çalışmaların tamamının sınırlar içerisinde bulunması, çalışmalar arasında heterojenlik bulunmadığı biçiminde yorumlanmamalıdır.

Radyal grafik çalışmalar arasındaki değişkenliğin ve genel eğilimden uzaklaşan çalışmaların görsel olarak değerlendirilmesine yardımcı olmakla birlikte, heterojenliğin istatistiksel anlamlılığı veya büyüklüğü hakkında tek başına yeterli bilgi sağlamamaktadır. Bu nedenle radyal grafikten elde edilen görsel bulguların istatistiksel heterojenlik ölçütleriyle birlikte değerlendirilmesi gerekmektedir. Bu amaçla kullanılan temel istatistiklerden biri Cochran’ın Q istatistiğidir.

Cochran’ın Q İstatistiği

Heterojenliğin istatistiksel olarak değerlendirilmesinde yaygın olarak kullanılan yöntemlerden biri Cochran’ın Q testidir. Q istatistiği, meta-analize dâhil edilen çalışmaların etki büyüklüklerinin birleşik etki büyüklüğü etrafında gösterdiği ağırlıklandırılmış değişkenliği değerlendirmektedir. Başka bir ifadeyle test, çalışmalar arasında gözlenen farklılıkların yalnızca örnekleme hatasından kaynaklanıp kaynaklanmadığının sınanmasına olanak sağlamaktadır [@Borenstein2009].

Cochran’ın Q istatistiği aşağıdaki eşitlikle hesaplanmaktadır:

\[Q=\sum_{i=1}^{k}w_{i}(y_{i}-\bar{y}_w)^2\]

Burada (w_i), i. çalışmanın ağırlığını; (y_i), i. çalışmanın etki büyüklüğünü; ($\bar{y}_w$) ise çalışmaların ağırlıklandırılmış ortalama etki büyüklüğünü göstermektedir. Buna göre her bir çalışmanın etki büyüklüğünün birleşik etki büyüklüğünden sapması belirlenmekte, bu sapmalar çalışmaların ağırlıkları dikkate alınarak bir araya getirilmektedir.

Q testi aşağıdaki hipotezlere dayanmaktadır:

\[H_{0}:\theta_1=\theta_2=\cdots=\theta_k\] \[H_{1}:\text{En az bir gerçek etki büyüklüğü farklıdır.}\]

Sıfır hipotezi (H₀), çalışmaların ortak bir gerçek etki büyüklüğünü paylaştığını ve gözlenen farklılıkların örnekleme hatasıyla açıklanabileceğini ifade etmektedir. Q testinin istatistiksel olarak anlamlı olması durumunda sıfır hipotezi reddedilmekte ve çalışmalar arasında örnekleme hatasıyla tek başına açıklanamayan değişkenlik bulunduğu sonucuna ulaşılmaktadır.

Q istatistiği yaklaşık olarak ki-kare (chi^2) dağılımına göre değerlendirilmekte ve serbestlik derecesi

\[sd=k-1\]

şeklinde hesaplanmaktadır. Burada (k), meta-analize dâhil edilen çalışma sayısını ifade etmektedir. Hesaplanan Q değeri, ilgili serbestlik derecesindeki ki-kare dağılımına göre değerlendirilerek p değeri elde edilmektedir [@Borenstein2009].

Bununla birlikte Q testinin çalışma sayısına duyarlı olduğu dikkate alınmalıdır. Meta-analize dâhil edilen çalışma sayısının az olması durumunda testin heterojenliği belirleme gücü düşebilir. Çalışma sayısının fazla olması durumunda ise görece küçük çalışmalar arası farklılıklar dahi istatistiksel olarak anlamlı sonuç verebilir. Bu nedenle bazı araştırmacılar heterojenliğin sınanmasında (alfa=0,05) yerine daha esnek bir ölçüt olarak (alfa=0,10) düzeyinin kullanılabileceğini belirtmektedir [@Sedgwick2015].

Q testi, heterojenliğin istatistiksel olarak saptanmasına yönelik bilgi sağlamakla birlikte heterojenliğin büyüklüğünü doğrudan göstermez. Bu nedenle Q istatistiğinin, heterojenliğin göreli büyüklüğünü ortaya koyan diğer ölçütlerle birlikte değerlendirilmesi önerilmektedir.

R ile Cochran’ın Q İstatistiğinin Hesaplanması

Önceki bölümlerde escalc() fonksiyonu ile hesaplanan etki büyüklükleri ve örnekleme varyansları kullanılarak oluşturulan meta-analiz modelinin çıktısında Cochran’ın Q istatistiği doğrudan raporlanmaktadır. Q testi, çalışmaların etki büyüklükleri arasında örnekleme hatasının ötesinde istatistiksel olarak anlamlı bir değişkenlik bulunup bulunmadığının değerlendirilmesinde kullanılmaktadır. Model sonuçlarına aşağıdaki kod aracılığıyla ulaşılabilir:

library(metafor)
dat <- escalc(
measure = "ZCOR",
ri = r,
ni = n,
data = veri
)
res <- rma(
yi = yi,
vi = vi,
data = dat,
method = "REML"
)
print(res)

## 
## Random-Effects Model (k = 5; tau^2 estimator: REML)
## 
## tau^2 (estimated amount of total heterogeneity): 0.0621 (SE = 0.0522)
## tau (square root of estimated tau^2 value):      0.2493
## I^2 (total heterogeneity / total variability):   86.34%
## H^2 (total variability / sampling variability):  7.32
## 
## Test for Heterogeneity:
## Q(df = 4) = 27.4025, p-val < .0001
## 
## Model Results:
## 
## estimate      se    zval    pval   ci.lb   ci.ub      
##   0.5433  0.1215  4.4710  <.0001  0.3051  0.7815  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

print(res) komutu oluşturulan meta-analiz modeline ilişkin sonuçların ekrana getirilmesini sağlamaktadır. Çıktıda birleşik etki büyüklüğünün yanı sıra çalışmalar arası varyans (tau^2), I² ve H² istatistikleri ile Cochran’ın Q istatistiği, serbestlik derecesi ve Q testine ilişkin p değeri yer almaktadır. Bu bölümde heterojenliğin istatistiksel anlamlılığının değerlendirilmesi amacıyla Q istatistiği üzerinde durulmaktadır.

Analiz çıktısında heterojenlik testi aşağıdaki biçimde raporlanmıştır:

Test for Heterogeneity:
Q(df = 4) = 27.4025, p-val < .0001

Analiz sonucunda Cochran’ın Q değeri 27,403 olarak elde edilmiştir. Meta-analize beş çalışma dâhil edildiğinden Q testinin serbestlik derecesi (df=k-1=5-1=4) olarak hesaplanmaktadır. Dört serbestlik derecesinde ve (alfa=0,05) anlamlılık düzeyinde ki-kare dağılımının kritik değeri yaklaşık 9,488’dir.

Elde edilen Q(4) = 27,403 değeri kritik değer olan 9,488’den büyüktür. Bununla birlikte Q testine ilişkin p değerinin de 0,001’den küçük olduğu görülmektedir (p < 0,001). Buna göre çalışmaların ortak bir gerçek etki büyüklüğünü paylaştığını ve gözlenen farklılıkların yalnızca örnekleme hatasından kaynaklandığını ifade eden homojenlik varsayımı reddedilmektedir. Bu sonuç, meta-analize dâhil edilen çalışmaların etki büyüklükleri arasında istatistiksel olarak anlamlı heterojenlik bulunduğunu göstermektedir.

Cochran’ın Q testi heterojenliğin istatistiksel olarak anlamlı olup olmadığına ilişkin bilgi sağlamakla birlikte, heterojenliğin büyüklüğünü doğrudan göstermemektedir. Bu nedenle çalışmalar arasındaki heterojenliğin düzeyinin değerlendirilmesinde Q istatistiğinin yanı sıra I² gibi heterojenlik ölçütlerinden de yararlanılmaktadır.

I² İstatistiği

Cochran’ın Q testi, çalışmalar arasında istatistiksel olarak anlamlı heterojenlik bulunup bulunmadığının değerlendirilmesine olanak sağlamakla birlikte heterojenliğin büyüklüğü hakkında doğrudan bilgi vermemektedir. Ayrıca Q testinin istatistiksel gücü meta-analize dâhil edilen çalışma sayısından etkilenmektedir. Bu sınırlılıklar nedeniyle heterojenliğin göreli büyüklüğünün değerlendirilmesinde I² istatistiğinden yararlanılmaktadır [@HigginsThompson2002].

I² istatistiği, çalışmaların etki büyüklüklerinde gözlenen toplam değişkenliğin yaklaşık ne kadarının örnekleme hatasından ziyade çalışmalar arasındaki gerçek farklılıklarla ilişkili olduğunu yüzde olarak ifade etmektedir. I² aşağıdaki eşitlik kullanılarak hesaplanmaktadır:

\[I^2=\frac{Q-df}{Q}\times100\]

Burada (Q), Cochran’ın heterojenlik istatistiğini; (df) ise Q testinin serbestlik derecesini göstermektedir. Serbestlik derecesi meta-analize dâhil edilen çalışma sayısına bağlı olarak (k-1) şeklinde hesaplanmaktadır. Hesaplanan değerin negatif olması durumunda I² değeri genellikle sıfır olarak kabul edilmektedir.

I² değeri %0 ile %100 arasında değişmektedir. Değerin yükselmesi, gözlenen değişkenliğin daha büyük bir bölümünün çalışmalar arasındaki heterojenlikle ilişkili olduğunu göstermektedir. Higgins ve arkadaşları [-@HigginsEtAl2003], I² değerlerinin yorumlanmasında yaklaşık bir rehber olarak %25’in düşük, %50’nin orta ve %75’in yüksek düzeyde heterojenliğe işaret edebileceğini belirtmiştir. Bununla birlikte bu değerlerin kesin sınırlar olmadığı ve araştırmanın alanı, çalışma sayısı, etki büyüklüklerinin yönü ve büyüklüğü gibi özellikler dikkate alınarak yorumlanması gerektiği unutulmamalıdır.

R ile I² İstatistiğinin Hesaplanması

Cochran’ın Q testi, çalışmalar arasında istatistiksel olarak anlamlı heterojenlik bulunup bulunmadığının değerlendirilmesine olanak sağlamakla birlikte heterojenliğin göreli büyüklüğünü doğrudan göstermemektedir. Bu amaçla meta-analiz çalışmalarında yaygın olarak I² istatistiğinden yararlanılmaktadır. I², gözlenen etki büyüklüklerindeki toplam değişkenliğin ne kadarının örnekleme hatasının ötesindeki çalışmalar arası farklılıklarla ilişkili olduğunu değerlendirmede kullanılan bir heterojenlik ölçütüdür.

Önceki bölümlerde oluşturulan meta-analiz modelinin çıktısında I² istatistiği doğrudan raporlanmaktadır. Model sonuçlarına aşağıdaki kod aracılığıyla ulaşılabilir:

library(metafor)
res <- rma(
yi = yi,
vi = vi,
data = dat,
method = "REML"
)
print(res)

## 
## Random-Effects Model (k = 5; tau^2 estimator: REML)
## 
## tau^2 (estimated amount of total heterogeneity): 0.0621 (SE = 0.0522)
## tau (square root of estimated tau^2 value):      0.2493
## I^2 (total heterogeneity / total variability):   86.34%
## H^2 (total variability / sampling variability):  7.32
## 
## Test for Heterogeneity:
## Q(df = 4) = 27.4025, p-val < .0001
## 
## Model Results:
## 
## estimate      se    zval    pval   ci.lb   ci.ub      
##   0.5433  0.1215  4.4710  <.0001  0.3051  0.7815  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

print(res) komutuyla elde edilen çıktıda birleşik etki büyüklüğü ve Cochran’ın Q istatistiğinin yanı sıra τ², τ, I² ve H² gibi heterojenlik ölçütleri de raporlanmaktadır.

Rastgele etkiler modeli sonucunda çalışmalar arası varyans τ² = 0,0621, bu değerin karekökü τ = 0,2493 ve I² değeri %86,34 olarak hesaplanmıştır. I² değerinin %86,34 olması, gözlenen değişkenliğin büyük bir bölümünün yalnızca örnekleme hatasıyla açıklanamayacak çalışmalar arası farklılıklarla ilişkili olduğuna işaret etmektedir.

Higgins ve arkadaşlarının [-@HigginsEtAl2003] önerdiği yaklaşık yorumlama ölçütlerine göre I² değerlerinin %25 civarında olması düşük, %50 civarında olması orta ve %75 civarında olması yüksek düzeyde heterojenliğe işaret etmektedir. Buna göre bu uygulamada elde edilen I² = %86,34 değeri çalışmalar arasında yüksek düzeyde heterojenlik bulunduğunu göstermektedir.

Bu bulgu, önceki bölümde elde edilen Cochran’ın Q testi sonucuyla birlikte değerlendirildiğinde heterojenliğe ilişkin daha bütüncül bilgi sağlamaktadır. Cochran’ın Q testinin anlamlı bulunması, Q(4) = 27,403, p < 0,001, çalışmaların etki büyüklükleri arasında istatistiksel olarak anlamlı heterojenlik bulunduğunu gösterirken I² değerinin %86,34 olması söz konusu heterojenliğin göreli büyüklüğünün yüksek olduğuna işaret etmektedir.

Böylece orman ve radyal grafikler aracılığıyla görsel olarak incelenen çalışmalar arası değişkenlik, Cochran’ın Q ve I² istatistikleriyle nicel olarak da değerlendirilmiş olmaktadır. Bununla birlikte heterojenliğin saptanması ve büyüklüğünün belirlenmesi, çalışmalar arasındaki farklılıkların hangi özelliklerden kaynaklandığını açıklamamaktadır.

Sosyal bilimlerde çalışmalar; örneklem özellikleri, kullanılan ölçme araçları, araştırma tasarımları, uygulama koşulları ve diğer yöntemsel veya bağlamsal özellikler bakımından farklılaşabilmektedir. Bu nedenle heterojenliğin belirlenmesinin ardından, çalışmalar arasındaki değişkenliğin hangi çalışma özellikleriyle ilişkili olduğunun incelenmesi önem taşımaktadır. Bu amaçla moderatör analizlerinden yararlanılmaktadır.

Moderatör Analizleri

Moderatör analizleri, çalışmalar arasında gözlenen etki büyüklüğü farklılıklarının belirli çalışma, örneklem, yöntem veya uygulama özellikleriyle ilişkili olup olmadığının incelenmesine olanak sağlamaktadır. Higgins ve Thompson [-@HigginsThompson2002] ile Huedo-Medina ve arkadaşları [-@HuedoMedina2006], etki büyüklükleri arasındaki değişkenliğin açıklanabilmesi için heterojenliğin olası kaynaklarının incelenmesinin meta-analitik sürecin önemli bir parçası olduğunu belirtmektedir.

Bu amaçla gerçekleştirilen moderatör analizleri, çalışmalar arasında gözlenen etki büyüklüğü farklılıklarının belirli çalışma, örneklem veya uygulama özellikleriyle ilişkili olup olmadığını incelemektedir. Moderatör değişken; etki büyüklüğünün yönü veya büyüklüğündeki çalışmalar arası farklılıkları açıklayabileceği düşünülen bir çalışma özelliği olarak ele alınabilir. Araştırma deseni, örneklem özellikleri, uygulama süresi, kullanılan ölçme aracı, yayın türü veya çalışmanın gerçekleştirildiği bağlam gibi özellikler potansiyel moderatör değişkenler olarak incelenebilir [@Borenstein2009].

Moderatör analizlerinde kullanılacak istatistiksel yöntem, moderatör değişkenin yapısına göre farklılaşmaktadır. Kategorik moderatör değişkenlerin incelenmesinde çalışmalar belirli alt gruplara ayrılarak bu grupların etki büyüklükleri karşılaştırılabilir. Meta-analizde bu yaklaşım genellikle alt grup analizi (Analog ANOVA) olarak adlandırılmaktadır. Örneğin çalışmaların yayın türünün makale ve tez şeklinde sınıflandırılması durumunda, bu iki grubun ortalama etki büyüklüklerinin farklılaşıp farklılaşmadığı incelenebilir.

Sürekli moderatör değişkenlerin etki büyüklükleriyle ilişkisini incelemek amacıyla ise meta-regresyon analizinden yararlanılmaktadır. Örneğin örneklem büyüklüğü, katılımcıların yaş ortalaması, uygulama süresi veya belirli bir katılımcı grubunun oranı gibi sayısal değişkenlerin etki büyüklüğündeki değişimle ilişkili olup olmadığı meta-regresyon aracılığıyla değerlendirilebilir. Birden fazla moderatör değişkenin aynı model içerisinde birlikte incelenmesi de meta-regresyon yaklaşımıyla gerçekleştirilebilir.

Dolayısıyla moderatör analizlerinin temel amacı yalnızca çalışmalar arasında heterojenlik bulunduğunu göstermek değil, bu heterojenliğin hangi çalışma özellikleriyle ilişkili olabileceğini açıklamaya çalışmaktır. Bununla birlikte moderatör ile etki büyüklüğü arasında belirlenen istatistiksel ilişkinin doğrudan nedensel bir ilişki olarak yorumlanmaması gerekir. Özellikle çalışma düzeyindeki moderatörler üzerinden elde edilen sonuçlar, çalışmalar arasındaki ilişkileri açıklamaya yönelik bulgular olarak değerlendirilmelidir.

Bu bölümde heterojenliğin olası kaynaklarının incelenmesinde moderatör değişkenin yapısına bağlı olarak iki yaklaşım ele alınmaktadır. Kategorik moderatör değişkenlerin değerlendirilmesinde Alt Grup Analizi (Analog ANOVA), sürekli moderatör değişkenlerin değerlendirilmesinde ise Meta-Regresyon Analizi kullanılacaktır.

Alt Grup Analizleri (Analog ANOVA)

Kategorik moderatör değişkenlerin incelenmesinde kullanılan yöntemlerden biri alt grup analizidir. Analog ANOVA olarak da adlandırılan bu yaklaşım, çalışmaların moderatör değişkenin kategorilerine göre alt gruplara ayrılmasına ve grupların ortalama etki büyüklüklerinin karşılaştırılmasına dayanmaktadır [@Borenstein2009; @LipseyWilson2001].

Analog ANOVA yaklaşımında meta-analize dâhil edilen çalışmalar; araştırma tasarımı, örneklem türü, ölçme aracı, yayın türü veya uygulama biçimi gibi kategorik moderatör değişkenlere göre alt gruplara ayrılmaktadır. Her bir alt grup için ağırlıklı ortalama etki büyüklüğü hesaplanmakta ve ardından grupların ortalama etki büyüklüklerinin istatistiksel olarak farklılaşıp farklılaşmadığı incelenmektedir [@HedgesOlkin1985].

Analog ANOVA’da çalışmalar arasındaki toplam heterojenlik (Q_T), gruplar arası heterojenlik (Q_B) ve grup içi heterojenlik (Q_W) olmak üzere iki bileşene ayrılmaktadır:

\[Q_{T}=Q_{B} + Q_{W}\]

Burada Q_T, bütün çalışmalar arasındaki toplam heterojenliği; Q_B, alt grupların ortalama etki büyüklükleri arasındaki heterojenliği; Q_W ise çalışmaların kendi alt grupları içerisinde gösterdiği heterojenliği ifade etmektedir.

Toplam heterojenlik,

\[Q_{T}=\sum_{i=1}^{k}w_i(EB_i-\overline{EB})^2\]

eşitliğiyle hesaplanmaktadır. Burada (w_i), i. çalışmanın ağırlığını; (EB_i), ilgili çalışmanın etki büyüklüğünü; ($\overline{EB}$) ise bütün çalışmaların ağırlıklı ortalama etki büyüklüğünü göstermektedir.

Grup içi heterojenlik ise:

\[Q_{W}= \sum_{j=1}^{m} \sum_{i=1}^{k_j} w_{ij}(EB_{ij}-\overline{EB}_j)^2\]

eşitliğiyle hesaplanmaktadır. Burada ($\overline{EB}_j$), j. alt grubun ağırlıklı ortalama etki büyüklüğünü göstermektedir. Dolayısıyla Q_W, her bir çalışmanın kendi grubunun ortalama etki büyüklüğünden ne ölçüde farklılaştığını ortaya koymaktadır.

Gruplar arası heterojenlik ise:

\[Q_{B}= \sum_{j=1}^{m} W_j(\overline{EB}_j-\overline{EB})^2\]

şeklinde ifade edilebilir. Eş değer bir hesaplama biçimi ise:

\[Q_{B}= \sum W_j\overline{EB}_j^2- \frac{\left(\sum W_j\overline{EB}_j\right)^2} {\sum W_j}\]

şeklindedir. Burada (W_j), j. alt gruptaki çalışmaların toplam ağırlığını göstermektedir.

Kategorik moderatörün istatistiksel olarak anlamlı olup olmadığının değerlendirilmesinde özellikle Q_B istatistiği önem taşımaktadır. Bu istatistik,

\[df_B=m-1\]

serbestlik derecesiyle ki-kare dağılımına göre değerlendirilmektedir. Q_B’nin istatistiksel olarak anlamlı olması, alt grupların ortalama etki büyüklüklerinin birbirinden farklı olduğuna ilişkin kanıt sağlamaktadır. Bununla birlikte bu sonuç, moderatör ile etki büyüklüğü arasında nedensel bir ilişki bulunduğu anlamına gelmemektedir. Ayrıca anlamlı bir Q_B, alt grupların kendi içlerinde homojen olduğunu da göstermez. Bu nedenle gruplar arası heterojenlikle birlikte grup içi heterojenliğin de değerlendirilmesi gerekmektedir [@Borenstein2009; @Card2012].

##R ile Analog ANOVA Uygulaması

Analog ANOVA uygulamasını göstermek amacıyla 12 liseye ait korelasyon katsayılarından oluşan veri seti kullanılmaktadır. Veri setinde altı çalışma devlet okullarına, altı çalışma ise özel okullara aittir. Bu uygulamada okul türü, devlet ve özel olmak üzere iki kategoriden oluşan moderatör değişken olarak ele alınmaktadır.

Tablo 7.3. Analog ANOVA uygulamasında kullanılan veri seti

No	Okul adı	r	n	Okul türü
1	Gazi Lisesi	0,76	100	Devlet
2	Mustafa Kemal Lisesi	0,80	50	Devlet
3	Ataturk Lisesi	0,90	100	Devlet
4	Sentepe Lisesi	0,60	100	Devlet
5	Cigdemtepe Lisesi	0,73	100	Devlet
6	Osmanbey Lisesi	0,44	100	Devlet
7	Afet İnan Lisesi	0,52	100	Özel
8	Orhan Sen Lisesi	0,36	100	Özel
9	Yaprak Lisesi	0,43	100	Özel
10	Basarı Lisesi	0,51	100	Özel
11	Ozel Harran	0,39	50	Özel
12	Cebir Lisesi	0,28	100	Özel

Tablo 7.3’te yer alan veri seti R’da aşağıdaki kodla oluşturulabilir:

dat <- data.frame(
  no = 1:12,
  okul = c(
    "Gazi Lisesi", "Mustafa Kemal Lisesi", "Ataturk Lisesi",
    "Sentepe Lisesi", "Cigdemtepe Lisesi", "Osmanbey Lisesi",
    "Afet İnan Lisesi", "Orhan Sen Lisesi", "Yaprak Lisesi",
    "Basarı Lisesi", "Ozel Harran", "Cebir Lisesi"
  ),
  r = c(.76, .80, .90, .60, .73, .44,
        .52, .36, .43, .51, .39, .28),
  n = c(100, 50, 100, 100, 100, 100,
        100, 100, 100, 100, 50, 100),
  okul_turu = c("devlet", "devlet", "devlet", "devlet", "devlet", "devlet",
                "ozel", "ozel", "ozel", "ozel", "ozel", "ozel")
)

Öncelikle veri setindeki değişken adları analizlerde daha kolay kullanılabilecek biçimde düzenlenerek okul türü kategorik bir değişken olarak tanımlanmıştır.

names(dat) <- c("no", "okul", "r", "n", "okul_turu")
dat$okul_turu <- factor(
dat$okul_turu,
levels = c("devlet", "ozel")
)
str(dat)

## 'data.frame':    12 obs. of  5 variables:
##  $ no       : int  1 2 3 4 5 6 7 8 9 10 ...
##  $ okul     : chr  "Gazi Lisesi" "Mustafa Kemal Lisesi" "Ataturk Lisesi" "Sentepe Lisesi" ...
##  $ r        : num  0.76 0.8 0.9 0.6 0.73 0.44 0.52 0.36 0.43 0.51 ...
##  $ n        : num  100 50 100 100 100 100 100 100 100 100 ...
##  $ okul_turu: Factor w/ 2 levels "devlet","ozel": 1 1 1 1 1 1 2 2 2 2 ...

table(dat$okul_turu)

## 
## devlet   ozel 
##      6      6

names() komutu veri setindeki değişkenlerin adlarını düzenlemektedir. factor() fonksiyonu ise okul türü değişkenini kategorik bir moderatör değişken olarak tanımlamaktadır. str() ve table() komutları kullanılarak veri setinin yapısı ve her bir okul türündeki çalışma sayısı kontrol edilebilmektedir. Bu veri setinde devlet ve özel okul gruplarının her birinde altışar çalışma bulunmaktadır.

Çalışmalara ait korelasyon katsayılarının Fisher’ın z değerlerine dönüştürülmesi ve örnekleme varyanslarının hesaplanması için metafor paketindeki escalc() fonksiyonundan yararlanılabilir:

library(metafor)
dat <- escalc(
measure = "ZCOR",
ri = r,
ni = n,
data = dat
)
dat

## 
##    no                 okul    r   n okul_turu     yi     vi 
## 1   1          Gazi Lisesi 0.76 100    devlet 0.9962 0.0103 
## 2   2 Mustafa Kemal Lisesi 0.80  50    devlet 1.0986 0.0213 
## 3   3       Ataturk Lisesi 0.90 100    devlet 1.4722 0.0103 
## 4   4       Sentepe Lisesi 0.60 100    devlet 0.6931 0.0103 
## 5   5    Cigdemtepe Lisesi 0.73 100    devlet 0.9287 0.0103 
## 6   6      Osmanbey Lisesi 0.44 100    devlet 0.4722 0.0103 
## 7   7     Afet İnan Lisesi 0.52 100      ozel 0.5763 0.0103 
## 8   8     Orhan Sen Lisesi 0.36 100      ozel 0.3769 0.0103 
## 9   9        Yaprak Lisesi 0.43 100      ozel 0.4599 0.0103 
## 10 10        Basarı Lisesi 0.51 100      ozel 0.5627 0.0103 
## 11 11          Ozel Harran 0.39  50      ozel 0.4118 0.0213 
## 12 12         Cebir Lisesi 0.28 100      ozel 0.2877 0.0103

escalc() fonksiyonunda yer alan measure = “ZCOR” parametresi, korelasyon katsayılarının Fisher’ın z dönüşümüne tabi tutulacağını belirtmektedir. ri = r çalışmalara ait korelasyon katsayılarını, ni = n ise örneklem büyüklüklerini göstermektedir. Fonksiyon sonucunda yi değişkeninde Fisher’ın z dönüşümlü etki büyüklükleri, vi değişkeninde ise bu etki büyüklüklerine ilişkin örnekleme varyansları elde edilmektedir.

Analog ANOVA uygulamasına geçmeden önce tüm çalışmalar için sabit etki ve rastgele etkiler modelleri aşağıdaki kodlarla oluşturulabilir:

model_sabit <- rma(
yi = yi,
vi = vi,
data = dat,
method = "FE"
)
model_rastgele <- rma(
yi = yi,
vi = vi,
data = dat,
method = "REML"
)
model_sabit

## 
## Fixed-Effects Model (k = 12)
## 
## I^2 (total heterogeneity / total variability):   91.07%
## H^2 (total variability / sampling variability):  11.20
## 
## Test for Heterogeneity:
## Q(df = 11) = 123.2301, p-val < .0001
## 
## Model Results:
## 
## estimate      se     zval    pval   ci.lb   ci.ub      
##   0.6890  0.0307  22.4752  <.0001  0.6289  0.7491  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

model_rastgele

## 
## Random-Effects Model (k = 12; tau^2 estimator: REML)
## 
## tau^2 (estimated amount of total heterogeneity): 0.1149 (SE = 0.0541)
## tau (square root of estimated tau^2 value):      0.3389
## I^2 (total heterogeneity / total variability):   91.03%
## H^2 (total variability / sampling variability):  11.15
## 
## Test for Heterogeneity:
## Q(df = 11) = 123.2301, p-val < .0001
## 
## Model Results:
## 
## estimate      se    zval    pval   ci.lb   ci.ub      
##   0.6939  0.1028  6.7477  <.0001  0.4923  0.8954  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Sabit etki modeli sonucunda ortalama etki büyüklüğü 0,689 (SH = 0,031; %95 GA [0,629; 0,749]), rastgele etkiler modeli sonucunda ise 0,694 (SH = 0,103; %95 GA [0,492; 0,895]) olarak elde edilmiştir. Her iki modelde de ortalama etki büyüklüğü istatistiksel olarak anlamlıdır (p < 0,001). Heterojenlik testi sonucunun Q(11) = 123,230, p < 0,001 olması, çalışmaların etki büyüklükleri arasında istatistiksel olarak anlamlı heterojenlik bulunduğunu göstermektedir.

Tablo 7.4. Sabit etki ve rastgele etkiler modellerine ilişkin sonuçlar

Model	k	EB	S.H.	Alt sınır	Üst sınır	Z	p	Q	sd	p
Sabit Etki	12	0,689	0,031	0,629	0,749	22,475	<0,001 1	23,230 1	1 <	0,001
Rastgele Etkiler	12	0,694	0,103	0,492	0,895	6,748	<0,001 1	23,230 1	1 <	0,001

Heterojenliğin istatistiksel olarak anlamlı bulunmasının ardından, çalışmalar arasındaki farklılığın okul türüyle ilişkili olup olmadığı Analog ANOVA yaklaşımıyla incelenebilir. Bu amaçla devlet ve özel okul gruplarının ortalama etki büyüklükleri ayrı ayrı hesaplanmakta ve ardından okul türünün moderatör etkisi değerlendirilmektedir.

Okul türlerine göre ortalama etki büyüklüklerinin incelenmesi amacıyla öncelikle devlet ve özel okul grupları için sabit etki modelleri oluşturulabilir.

Sabit etki modeli kapsamında devlet ve özel okul gruplarına ilişkin sonuçlar aşağıdaki kodlarla elde edilebilir:

# Sabit etki modeli - Devlet okulları
sabit_devlet <- rma(
yi = dat$yi[dat$okul_turu == "devlet"],
vi = dat$vi[dat$okul_turu == "devlet"],
method = "FE"
)
# Sabit etki modeli - Özel okullar
sabit_ozel <- rma(
yi = dat$yi[dat$okul_turu == "ozel"],
vi = dat$vi[dat$okul_turu == "ozel"],
method = "FE"
)
sabit_devlet

## 
## Fixed-Effects Model (k = 6)
## 
## I^2 (total heterogeneity / total variability):   91.08%
## H^2 (total variability / sampling variability):  11.21
## 
## Test for Heterogeneity:
## Q(df = 5) = 56.0475, p-val < .0001
## 
## Model Results:
## 
## estimate      se     zval    pval   ci.lb   ci.ub      
##   0.9289  0.0434  21.4263  <.0001  0.8440  1.0139  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

sabit_ozel

## 
## Fixed-Effects Model (k = 6)
## 
## I^2 (total heterogeneity / total variability):   15.72%
## H^2 (total variability / sampling variability):  1.19
## 
## Test for Heterogeneity:
## Q(df = 5) = 5.9328, p-val = 0.3128
## 
## Model Results:
## 
## estimate      se     zval    pval   ci.lb   ci.ub      
##   0.4491  0.0434  10.3584  <.0001  0.3641  0.5341  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Sabit etki modeli sonucunda devlet okullarında ortalama etki büyüklüğü 0,929, özel okullarda ise 0,449 olarak elde edilmiştir. Tüm çalışmalar için daha önce oluşturulan model_sabit nesnesi ise toplam sabit etki büyüklüğünü vermektedir.

Okul türünün kategorik moderatör olarak ele alındığı karma etkiler modeli aşağıdaki kodla oluşturulabilir:

res_mod <- rma(
yi = yi,
vi = vi,
mods = ~ okul_turu,
data = dat,
method = "REML"
)
res_mod

## 
## Mixed-Effects Model (k = 12; tau^2 estimator: REML)
## 
## tau^2 (estimated amount of residual heterogeneity):     0.0559 (SE = 0.0303)
## tau (square root of estimated tau^2 value):             0.2365
## I^2 (residual heterogeneity / unaccounted variability): 83.09%
## H^2 (unaccounted variability / sampling variability):   5.92
## R^2 (amount of heterogeneity accounted for):            51.32%
## 
## Test for Residual Heterogeneity:
## QE(df = 10) = 61.9803, p-val < .0001
## 
## Test of Moderators (coefficient 2):
## QM(df = 1) = 10.7498, p-val = 0.0010
## 
## Model Results:
## 
##                estimate      se     zval    pval    ci.lb    ci.ub      
## intrcpt          0.9398  0.1063   8.8378  <.0001   0.7314   1.1482  *** 
## okul_turuozel   -0.4930  0.1504  -3.2787  0.0010  -0.7878  -0.1983   ** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

mods = ~ okul_turu ifadesi okul türünün kategorik moderatör değişken olarak modele dâhil edilmesini sağlamaktadır. devlet referans kategori olduğundan model çıktısındaki sabit terim (intrcpt) devlet okullarının ortalama Fisher’ın z değerini, okul_turuozel katsayısı ise özel okullar ile devlet okulları arasındaki farkı göstermektedir.

Karma etkiler modeli kapsamında her iki okul türüne ait ortalama etki büyüklükleri ve güven aralıkları doğrudan predict() fonksiyonu kullanılarak elde edilebilir:

karma_gruplar <- predict(
res_mod,
newmods = matrix(c(0, 1), ncol = 1)
)
karma_gruplar

## 
##     pred     se  ci.lb  ci.ub   pi.lb  pi.ub 
## 1 0.9398 0.1063 0.7314 1.1482  0.4316 1.4480 
## 2 0.4467 0.1063 0.2383 0.6551 -0.0615 0.9549

Bu kodda 0 referans kategori olan devlet okullarını, 1 ise özel okulları temsil etmektedir. Analiz sonucunda devlet okulları için ortalama etki büyüklüğü 0,940, özel okullar için ise 0,447 olarak hesaplanmıştır. Toplam etki büyüklüğü için daha önce oluşturulan model_rastgele modelinin sonucu kullanılmaktadır.

Tablo 7.5. Okul türüne göre sabit etki ve karma etkiler modeli sonuçları

Model Türü	Okul Türü	k	EB	S.H.	%95 GA Alt	%95 GA Üst	Z	p
Sabit Etki	Devlet	6	0,929	0,043	0,844	1,014	21,426	<0,001
	Özel	6	0,449	0,043	0,364	0,534	10,358	<0,001
Karma Etkiler	Toplam Devlet	12 6	0,689 0,940	0,031 0,106	0,629 0,731	0,749 1,148	22,475 8,838	<0,001 <0,001
	Özel	6	0,447	0,106	0,238	0,655	4,202	<0,001
	Toplam	12	0,694	0,103	0,492	0,895	6,748	<0,001

Tablo 7.5. incelendiğinde hem sabit etki hem de karma etkiler modellerinde devlet okullarına ait ortalama etki büyüklüğünün özel okullara ait ortalama etki büyüklüğünden daha yüksek olduğu görülmektedir. Sabit etki modelinde ortalama etki büyüklüğü devlet okullarında 0,929, özel okullarda 0,449 olarak hesaplanmıştır. Karma etkiler modelinde ise bu değerler sırasıyla 0,940 ve 0,447 olarak elde edilmiştir.

Karma etkiler modelinde güven aralıklarının sabit etki modeline göre genişlediği görülmektedir. Bunun nedeni karma etkiler modelinde örnekleme varyansının yanı sıra çalışmalar arasında kalan heterojenliğin de dikkate alınmasıdır. Tüm çalışmalar birlikte değerlendirildiğinde ortalama etki büyüklüğü sabit etki modelinde 0,689, rastgele etkiler modelinde ise 0,694 olarak hesaplanmıştır.

R ile Analog ANOVA ve Heterojenliğin İncelenmesi

Analog ANOVA yaklaşımında toplam heterojenlik, grup içi heterojenlik ve gruplar arası heterojenlik olmak üzere bileşenlerine ayrılarak incelenmektedir. Bu uygulamada okul türü kategorik moderatör değişken olarak ele alınmakta ve çalışmalar devlet ve özel olmak üzere iki alt grupta değerlendirilmektedir.

Öncelikle tüm çalışmalara ilişkin toplam heterojenliğin elde edilmesi amacıyla sabit etki modeli kurulabilir:

sabit_model <- rma(
yi = yi,
vi = vi,
data = dat,
method = "FE"
)
sabit_model

## 
## Fixed-Effects Model (k = 12)
## 
## I^2 (total heterogeneity / total variability):   91.07%
## H^2 (total variability / sampling variability):  11.20
## 
## Test for Heterogeneity:
## Q(df = 11) = 123.2301, p-val < .0001
## 
## Model Results:
## 
## estimate      se     zval    pval   ci.lb   ci.ub      
##   0.6890  0.0307  22.4752  <.0001  0.6289  0.7491  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Model sonucunda tüm çalışmalara ilişkin heterojenlik değeri:

\[Q_T = 123,230\]

olarak elde edilmiştir. Meta-analizde 12 çalışma bulunduğundan toplam heterojenliğin serbestlik derecesi (k-1=11)’dir. Heterojenlik testi istatistiksel olarak anlamlıdır, (Q_T(11)=123,230, p<0,001).

Analog ANOVA kapsamında bir sonraki aşamada devlet ve özel okul gruplarındaki heterojenlik ayrı ayrı hesaplanabilir.

devlet_FE <- rma(
yi = dat$yi[dat$okul_turu == "devlet"],
vi = dat$vi[dat$okul_turu == "devlet"],
method = "FE"
)
ozel_FE <- rma(
yi = dat$yi[dat$okul_turu == "ozel"],
vi = dat$vi[dat$okul_turu == "ozel"],
method = "FE"
)
devlet_FE

## 
## Fixed-Effects Model (k = 6)
## 
## I^2 (total heterogeneity / total variability):   91.08%
## H^2 (total variability / sampling variability):  11.21
## 
## Test for Heterogeneity:
## Q(df = 5) = 56.0475, p-val < .0001
## 
## Model Results:
## 
## estimate      se     zval    pval   ci.lb   ci.ub      
##   0.9289  0.0434  21.4263  <.0001  0.8440  1.0139  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

ozel_FE

## 
## Fixed-Effects Model (k = 6)
## 
## I^2 (total heterogeneity / total variability):   15.72%
## H^2 (total variability / sampling variability):  1.19
## 
## Test for Heterogeneity:
## Q(df = 5) = 5.9328, p-val = 0.3128
## 
## Model Results:
## 
## estimate      se     zval    pval   ci.lb   ci.ub      
##   0.4491  0.0434  10.3584  <.0001  0.3641  0.5341  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Devlet okullarına ait altı çalışmada heterojenlik değeri (Q=56,048), özel okullara ait altı çalışmada ise (Q=5,933) olarak elde edilmiştir. Devlet okulları grubunda heterojenlik istatistiksel olarak anlamlıdır, (Q(5)=56,048,p<0,001). Özel okullar grubunda ise heterojenlik istatistiksel olarak anlamlı değildir, (Q(5)=5,933, p=0,313).

Analog ANOVA’da grup içi heterojenlik (Q_W), alt gruplara ait Q değerlerinin toplamından elde edilmektedir:

Q_devlet <- devlet_FE$QE
Q_ozel <- ozel_FE$QE
QW <- Q_devlet + Q_ozel
QW

## [1] 61.98031

Bu hesaplama sonucunda:

\[Q_W=56,048+5,933=61,980\]

değeri elde edilmektedir. İki alt grubun grup içi heterojenliklerine ilişkin serbestlik derecelerinin toplamı (5+5=10)’dur.

Toplam heterojenlik (Q_T) grup içi heterojenlik (Q_W) ve gruplar arası heterojenliğin (Q_B) toplamından oluşmaktadır:

\[Q_{T}=Q_{W} + Q_{B}\]

Dolayısıyla gruplar arası heterojenlik aşağıdaki şekilde hesaplanabilir:

QT <- sabit_model$QE
QB <- QT - QW
QB

## [1] 61.2498

Bu hesaplama sonucunda:

\[Q_B=123,230-61,980=61,250\]

değeri elde edilmektedir. İki okul türü bulunduğundan gruplar arası heterojenliğin serbestlik derecesi (2-1=1)’dir. Q_B değerine ilişkin p değeri aşağıdaki kodla hesaplanabilir:

df_B <- 1
p_QB <- pchisq(
QB,
df = df_B,
lower.tail = FALSE
)
p_QB

## [1] 5.027374e-15

Elde edilen Q_B(1)=61,250, p<0,001 sonucu, sabit etki yaklaşımında devlet ve özel okul gruplarının ortalama etki büyüklükleri arasında istatistiksel olarak anlamlı farklılık bulunduğunu göstermektedir.

Tablo 7.6. Sabit etki yaklaşımında Analog ANOVA heterojenlik sonuçları

Model Türü	Heterojenlik Kaynağı	Q	sd	p
Sabit Etki	Devlet	56,048	5	<0,001
	Özel	5,933	5	0,313
	Grup içi	61,980	10	<0,001
	Gruplar arası	61,250	1	<0,001
	Toplam	123,230	11	<0,001
Karma Etkiler	Gruplar arası	10,750	1	<0,001

Tablo 7.6. da toplam heterojenliğin 123,230 olduğu görülmektedir. Bu heterojenliğin Q_w =61,980’lik bölümü devlet ve özel okul gruplarının kendi içlerindeki değişkenlikten, Q_B=61,250’lik bölümü ise iki okul türünün ortalama etki büyüklükleri arasındaki farklılıktan kaynaklanmaktadır. Nitekim,

Q_T=Q_W + Q_B olduğundan,

\[123,230=61,980+61,250\]

eşitliği elde edilmektedir.

Gruplar ayrı ayrı incelendiğinde devlet okullarında anlamlı heterojenlik bulunduğu (Q=56,048, p<0,001), özel okullarda ise grup içi heterojenliğin anlamlı olmadığı (Q=5,933, p=0,313) görülmektedir. Bununla birlikte grup içi heterojenliğin toplamı (Q_w =61,980) olup istatistiksel olarak anlamlıdır (p<0,001).

Gruplar arası heterojenliğin Q_B(1)=61,250, p<0,001 olması ise devlet ve özel okul gruplarının ortalama etki büyüklükleri arasındaki farklılığın sabit etki yaklaşımında istatistiksel olarak anlamlı olduğunu göstermektedir.

Analog ANOVA, çalışmalar arasında gerçek etki büyüklüklerinin farklılaşabileceğinin kabul edildiği karma etkiler yaklaşımıyla da gerçekleştirilebilir. Bu amaçla okul türü kategorik moderatör değişken olarak modele dâhil edilmektedir:

res_mod <- rma(
yi = yi,
vi = vi,
mods = ~ okul_turu,
data = dat,
method = "REML"
)
res_mod

## 
## Mixed-Effects Model (k = 12; tau^2 estimator: REML)
## 
## tau^2 (estimated amount of residual heterogeneity):     0.0559 (SE = 0.0303)
## tau (square root of estimated tau^2 value):             0.2365
## I^2 (residual heterogeneity / unaccounted variability): 83.09%
## H^2 (unaccounted variability / sampling variability):   5.92
## R^2 (amount of heterogeneity accounted for):            51.32%
## 
## Test for Residual Heterogeneity:
## QE(df = 10) = 61.9803, p-val < .0001
## 
## Test of Moderators (coefficient 2):
## QM(df = 1) = 10.7498, p-val = 0.0010
## 
## Model Results:
## 
##                estimate      se     zval    pval    ci.lb    ci.ub      
## intrcpt          0.9398  0.1063   8.8378  <.0001   0.7314   1.1482  *** 
## okul_turuozel   -0.4930  0.1504  -3.2787  0.0010  -0.7878  -0.1983   ** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

mods = ~ okul_turu ifadesi okul türünün kategorik moderatör değişken olarak modele alınmasını sağlamaktadır. method = “REML” ise artık çalışmalar arası varyansın REML yöntemiyle tahmin edildiğini göstermektedir.

Analiz sonucunda aşağıdaki moderatör testi elde edilmiştir:

Test of Moderators (coefficient 2):

Q_M(df = 1) = 10.7498, p-val = 0,0010

Burada Q_M, karma etkiler modelinde okul türü moderatörüne ilişkin gruplar arası heterojenlik testini göstermektedir. Buna göre okul türünün moderatör etkisi istatistiksel olarak anlamlıdır, (Q_M(1)=10,750, p=0,001).

Aynı modelde artık heterojenliğe ilişkin sonuç ise:

Test for Residual Heterogeneity:

Q_E(df = 10) = 61.9803, p-val < 0,0001

biçiminde elde edilmiştir. Buna göre okul türü modele alındıktan sonra da açıklanamayan heterojenlik istatistiksel olarak anlamlıdır, (Q_E(10)=61,980, p<0,001). Dolayısıyla okul türü çalışmalar arasındaki heterojenliğin bir bölümünü açıklamakla birlikte heterojenliğin tamamını açıklamamaktadır.

Sonuç olarak hem sabit etki yaklaşımındaki gruplar arası heterojenlik testi hem de karma etkiler modelindeki moderatör testi okul türüne göre etki büyüklüklerinin farklılaştığını göstermektedir. Bununla birlikte karma etkiler modelinde artık heterojenliğin anlamlılığını sürdürmesi (Q_E(10)=61,980, p<0,001), çalışmalar arasındaki değişkenliğin yalnızca okul türü ile açıklanamadığını ve başka moderatör değişkenlerin de söz konusu heterojenlikle ilişkili olabileceğini göstermektedir.

R ile Grup İçi ve Gruplar Arası Heterojenliğin Hesaplanması

Analog ANOVA yaklaşımında toplam heterojenlik, grup içi heterojenlik (Q_W) ve gruplar arası heterojenlik (Q_B) olmak üzere iki bileşene ayrılmaktadır. Grup içi heterojenlik, her bir çalışmanın kendi grubunun ortalama etki büyüklüğünden ne ölçüde farklılaştığını; gruplar arası heterojenlik ise grupların ortalama etki büyüklüklerinin birbirinden ne ölçüde farklılaştığını göstermektedir.

Toplam heterojenlik ile bu iki bileşen arasındaki ilişki aşağıdaki biçimde ifade edilmektedir:

\[Q_{T}=Q_{w} + Q_{B}\]

Grup İçi Heterojenliğin (Q_w) Hesaplanması

Grup içi heterojenliğin hesaplanabilmesi için öncelikle her bir çalışmanın sabit etki ağırlığı belirlenmektedir. Sabit etki yaklaşımında çalışma ağırlıkları örnekleme varyansının tersi alınarak hesaplanmaktadır:

\[w_i=\frac{1}{v_i}\]

R ortamında bu hesaplama aşağıdaki kodla gerçekleştirilebilir:

dat$wi <- 1 / dat$vi

Daha sonra devlet ve özel okul gruplarının ağırlıklı ortalama etki büyüklükleri hesaplanmaktadır:

EB_devlet <- sum(
dat$wi[dat$okul_turu == "devlet"] *
dat$yi[dat$okul_turu == "devlet"]
) /
sum(dat$wi[dat$okul_turu == "devlet"])
EB_ozel <- sum(
dat$wi[dat$okul_turu == "ozel"] *
dat$yi[dat$okul_turu == "ozel"]
) /
sum(dat$wi[dat$okul_turu == "ozel"])
EB_devlet

## [1] 0.9289495

EB_ozel

## [1] 0.4490929

Analiz sonucunda devlet okullarının ağırlıklı ortalama etki büyüklüğü 0,9289, özel okulların ağırlıklı ortalama etki büyüklüğü ise 0,4491 olarak elde edilmiştir.

Her bir çalışmanın kendi grubunun ortalama etki büyüklüğünden sapmasını ve bu sapmanın grup içi heterojenliğe katkısını hesaplamak için aşağıdaki kodlar kullanılabilir:

# Her çalışmaya kendi grubunun ortalama etki büyüklüğünü atama
dat$EB_grup <- ifelse(
  dat$okul_turu == "devlet",
  EB_devlet,
  EB_ozel
)
# Etki büyüklüğünün grup ortalamasından farkı
dat$fark <- dat$yi - dat$EB_grup
# Farkın karesi
dat$fark_kare <- dat$fark^2
# Her çalışmanın grup içi Q değerine katkısı
dat$Q_katki <- dat$wi * dat$fark_kare
# Hesaplama tablosunun oluşturulması
QW_tablo <- data.frame(
  Calisma_No = dat$no,
  Okul_Turu = dat$okul_turu,
  wi = dat$wi,
  EBi = dat$yi,
  EB_Grup = dat$EB_grup,
  Fark = dat$fark,
  Fark_Kare = dat$fark_kare,
  Q_Katki = dat$Q_katki
)
QW_tablo

##    Calisma_No Okul_Turu wi       EBi   EB_Grup          Fark    Fark_Kare
## 1           1    devlet 97 0.9962151 0.9289495  0.0672655524 4.524655e-03
## 2           2    devlet 47 1.0986123 0.9289495  0.1696627587 2.878545e-02
## 3           3    devlet 97 1.4722195 0.9289495  0.5432699597 2.951422e-01
## 4           4    devlet 97 0.6931472 0.9289495 -0.2358023494 5.560275e-02
## 5           5    devlet 97 0.9287274 0.9289495 -0.0002221657 4.935759e-08
## 6           6    devlet 97 0.4722308 0.9289495 -0.4567187255 2.085920e-01
## 7           7      ozel 97 0.5763398 0.4490929  0.1272468659 1.619176e-02
## 8           8      ozel 97 0.3768859 0.4490929 -0.0722069879 5.213849e-03
## 9           9      ozel 97 0.4598967 0.4490929  0.0108037921 1.167219e-04
## 10         10      ozel 97 0.5627298 0.4490929  0.1136368803 1.291334e-02
## 11         11      ozel 47 0.4118000 0.4490929 -0.0372928546 1.390757e-03
## 12         12      ozel 97 0.2876821 0.4490929 -0.1614108166 2.605345e-02
##         Q_Katki
## 1  4.388915e-01
## 2  1.352916e+00
## 3  2.862880e+01
## 4  5.393467e+00
## 5  4.787686e-06
## 6  2.023342e+01
## 7  1.570601e+00
## 8  5.057434e-01
## 9  1.132203e-02
## 10 1.252594e+00
## 11 6.536558e-02
## 12 2.527185e+00

Bu hesaplamalar sonucunda her bir çalışmanın grup içi heterojenliğe yaptığı katkı Tablo 7.7. de gösterilmektedir.

Tablo 7.7. Gruplar İçi (Q_w) Q-Değerlerinin Hesaplanışı

Çalışma No	Okul Türü	W_i	EB_i	EB_j	(EB_j-EB_i)	(EB_j-EB_i)²	w_j(EB_j-EB_i)²
1	Devlet	97	0,996	0,929	0,067	0,005	0,439
2	Devlet	47	1,099	0,929	0,170	0,029	1,353
3	Devlet	97	1,472	0,929	0,543	0,295	28,629
4	Devlet	97	0,693	0,929	-0,236	0,056	5,393
5	Devlet	97	0,929	0,929	-0,000	0,000	0,000
6	Devlet	97	0,472	0,929	-0,457	0,209	20,233
Devlet toplamı							56,048
7	Özel	97	0,576	0,449	0,127	0,016	1,571
8	Özel	97	0,377	0,449	-0,072	0,005	0,506
9	Özel	97	0,460	0,449	0,011	0,000	0,011
10	Özel	97	0,563	0,449	0,114	0,013	1,253
11	Özel	47	0,412	0,449	-0,037	0,001	0,065
12	Özel	97	0,288	0,449	-0,161	0,026	2,527
Özel toplamı							5,933
Toplam (Q_w)							61,980

Tablo 7.7 de her bir çalışmanın kendi okul türünün ortalama etki büyüklüğünden sapması ve bu sapmanın grup içi heterojenliğe katkısı gösterilmektedir. Her çalışma için (w_J(EB_J-EB_İ)² değerinin hesaplanmasıyla çalışmanın kendi alt grubundaki heterojenliğe yaptığı katkı belirlenmektedir.

Devlet okullarına ait çalışmaların katkıları toplandığında (Q=56,048), özel okullara ait çalışmaların katkıları toplandığında ise (Q=5,933) elde edilmektedir. Dolayısıyla toplam grup içi heterojenlik:

\[Q_{w}=56,048+5,933=61,980\]

olarak hesaplanmaktadır.

Bu toplamlar R ortamında aşağıdaki kodlarla da kontrol edilebilir:

Q_devlet <- sum(
dat$Q_katki[dat$okul_turu == "devlet"]
)
Q_ozel <- sum(
dat$Q_katki[dat$okul_turu == "ozel"]
)
QW <- sum(dat$Q_katki)
Q_devlet

## [1] 56.0475

Q_ozel

## [1] 5.932811

QW

## [1] 61.98031

Çalışmaların grup içi heterojenliğe katkıları incelendiğinde devlet okulları grubunda en yüksek katkının 3 numaralı çalışmadan (28,629), ardından 6 numaralı çalışmadan (20,233) geldiği görülmektedir. Buna karşılık 5 numaralı çalışmanın etki büyüklüğü devlet okullarının grup ortalamasına oldukça yakın olduğundan heterojenliğe katkısı yaklaşık sıfırdır.

Özel okullar grubunda çalışmaların grup içi heterojenliğe katkılarının daha düşük olduğu görülmektedir. Bu grupta en yüksek katkı 12 numaralı çalışmadan (2,527), ardından 7 numaralı çalışmadan (1,571) gelmektedir. Bu sonuçlar, devlet okulları grubunda gözlenen grup içi değişkenliğin özel okullar grubuna göre daha yüksek olduğunu göstermektedir.

Daha önce gerçekleştirilen heterojenlik testleri de bu bulguyu desteklemektedir. Devlet okullarında heterojenlik istatistiksel olarak anlamlıdır, (Q(5)=56,048, p<0,001). Özel okullarda ise heterojenlik istatistiksel olarak anlamlı değildir, (Q(5)=5,933, p=0,313).

Gruplar Arası Heterojenliğin (Q_w) Hesaplanması

Grup içi heterojenliğin hesaplanmasının ardından devlet ve özel okul gruplarının ortalama etki büyüklükleri arasındaki farklılığın incelenmesi amacıyla gruplar arası heterojenlik (Q_B) hesaplanmaktadır.

Bu hesaplama için öncelikle her alt grubun toplam ağırlığı ve ağırlıklı ortalama etki büyüklüğü belirlenmektedir:

# Grupların toplam ağırlıkları
w_devlet <- sum(
dat$wi[dat$okul_turu == "devlet"]
)
w_ozel <- sum(
dat$wi[dat$okul_turu == "ozel"]
)
# Grupların ağırlıklı ortalama etki büyüklükleri
EB_devlet <- sum(
dat$wi[dat$okul_turu == "devlet"] *
dat$yi[dat$okul_turu == "devlet"]
) / w_devlet
EB_ozel <- sum(
dat$wi[dat$okul_turu == "ozel"] *
dat$yi[dat$okul_turu == "ozel"]
) / w_ozel
w_devlet

## [1] 532

w_ozel

## [1] 532

EB_devlet

## [1] 0.9289495

EB_ozel

## [1] 0.4490929

Analiz sonucunda hem devlet hem de özel okul gruplarının toplam ağırlığı 532 olarak elde edilmiştir. Ağırlıklı ortalama etki büyüklüğü devlet okulları için 0,9289, özel okullar için ise 0,4491’dir.

Gruplar arası heterojenliğin hesaplanmasında kullanılacak ara değerler aşağıdaki kodlarla oluşturulabilir:

QB_tablo <- data.frame(
  Okul_Turu = c("Devlet", "Özel"),
  wj = c(w_devlet, w_ozel),
  EBj = c(EB_devlet, EB_ozel)
)
# Ortalama etki büyüklüğünün karesi
QB_tablo$EBj_kare <- QB_tablo$EBj^2
# wj × EBj²
QB_tablo$wj_EBj_kare <- QB_tablo$wj * QB_tablo$EBj_kare
# wj × EBj
QB_tablo$wj_EBj <- QB_tablo$wj * QB_tablo$EBj
QB_tablo

##   Okul_Turu  wj       EBj  EBj_kare wj_EBj_kare   wj_EBj
## 1    Devlet 532 0.9289495 0.8629472    459.0879 494.2011
## 2      Özel 532 0.4490929 0.2016844    107.2961 238.9174

Elde edilen değerler Tablo 7.8. de gösterilmektedir.

Tablo 7.8. Gruplar Arası Q-Değerinin Hesaplanışı

Okul Türü	w_j	EB_j	EB²_j	w_jEB²_j	w_jEB_j
Devlet	532	0,929	0,863	459,088	494,201
Özel	532	0,449	0,202	107,296	238,917
Toplam	1064	1,378	1,065	566,384	733,119

Analiz sonucunda:

\[Q_{B}=61,2498\]

değeri elde edilmiştir.

İki alt grup bulunduğundan gruplar arası heterojenliğin serbestlik derecesi:

\[sd=J-1=2-1=1\]

olarak belirlenmektedir. Q_B değerine karşılık gelen p değeri aşağıdaki kodla hesaplanabilir:

sd_QB <- 1
p_QB <- pchisq(
QB,
df = sd_QB,
lower.tail = FALSE
)
p_QB

## [1] 5.027374e-15

R çıktısında p <0,001) olarak gösterilmektedir. Buna göre gruplar arası heterojenlik istatistiksel olarak anlamlıdır:

\[Q_{B} (1)=61,250,\quad p<0,001\]

Bu sonuç, sabit etki yaklaşımında devlet ve özel okul gruplarının ortalama etki büyüklüklerinin birbirinden istatistiksel olarak anlamlı düzeyde farklılaştığını göstermektedir. Devlet okullarının ağırlıklı ortalama Fisher’ın z etki büyüklüğü 0,929 iken özel okulların ortalama etki büyüklüğü 0,449’dur.

Son olarak grup içi ve gruplar arası heterojenlik değerlerinin toplam heterojenlikle ilişkisi kontrol edilebilir. Daha önce tüm çalışmalar için toplam heterojenlik:

\[Q_{T}=123,230\]

olarak elde edilmiştir. Analog ANOVA’da:

\[Q_{T}=Q_{W} + Q_{B}\]

olduğundan:

\[123,230=61,980+61,250\]

eşitliği elde edilmektedir. Dolayısıyla toplam heterojenliğin Q_W=61,980’lik bölümü devlet ve özel okul gruplarının kendi içlerindeki farklılıklardan, Q_B=61,250’lik bölümü ise iki okul türünün ortalama etki büyüklükleri arasındaki farklılıktan kaynaklanmaktadır. Gruplar arası heterojenliğin anlamlı olması, okul türünün etki büyüklüklerindeki farklılıklarla ilişkili bir kategorik moderatör olduğunu göstermektedir. Bununla birlikte özellikle devlet okulları grubunda anlamlı düzeyde grup içi heterojenliğin devam etmesi, çalışmalar arasındaki değişkenliğin yalnızca okul türüyle açıklanmadığına işaret etmektedir.

Meta-Regresyon

Meta-regresyon, sürekli moderatör değişkenlerin etki büyüklükleriyle ilişkisini incelemek ve gerektiğinde birden fazla moderatörü aynı model içerisinde değerlendirmek amacıyla kullanılan bir yöntemdir. Klasik regresyon analizine benzer bir mantığa sahip olmakla birlikte bağımlı değişken olarak bireysel katılımcılara ait gözlemler yerine çalışmalardan elde edilen etki büyüklüklerini kullanmaktadır. Böylece çalışma özellikleri ile etki büyüklükleri arasındaki ilişkiler istatistiksel olarak incelenebilmektedir (Borenstein vd., 2009; Higgins ve Thompson, 2002).

Meta-regresyonda her bir çalışmaya ait etki büyüklüğü bağımlı değişken, çalışma özelliklerini temsil eden moderatör değişkenler ise yordayıcı değişkenler olarak modele dâhil edilmektedir. Klasik regresyondan farklı olarak çalışmalar genellikle etki büyüklüğü tahminlerinin kesinliğine göre ağırlıklandırılmaktadır. Böylece örnekleme varyansı daha küçük ve dolayısıyla tahmini daha kesin olan çalışmalar analize daha fazla katkı sağlamaktadır [@LipseyWilson2001].

Sabit etki yaklaşımı altında tek bir moderatörün yer aldığı meta-regresyon modeli genel olarak:

\[y_i=\beta_0+\beta_1X_i+\varepsilon_i\]

şeklinde gösterilebilir. Burada (y_i), i. çalışmanın etki büyüklüğünü; (beta_0), sabit terimi; (X_i), i. çalışmaya ait moderatör değerini; (beta_1), moderatöre ilişkin regresyon katsayısını ve (varepsilon_i), örnekleme hatasını göstermektedir.

Birden fazla moderatörün yer aldığı model ise:

\[y_i=\beta_0+\beta_1X_{1i}+\beta_2X_{2i}+\cdots+\beta_pX_{pi}+\varepsilon_i\]

biçiminde genişletilebilir.

Meta-regresyonda özellikle moderatöre ilişkin regresyon katsayısının (beta) büyüklüğü, yönü ve istatistiksel anlamlılığı değerlendirilmektedir. Pozitif bir katsayı, moderatör değeri arttıkça etki büyüklüğünün artma eğiliminde olduğunu; negatif bir katsayı ise etki büyüklüğünün azalma eğiliminde olduğunu göstermektedir. Katsayının istatistiksel olarak anlamlı bulunması, moderatör değişken ile etki büyüklüklerindeki farklılıklar arasında istatistiksel bir ilişki bulunduğuna ilişkin kanıt sağlamaktadır.

Bununla birlikte bu ilişki nedensel bir etki olarak yorumlanmamalıdır. Meta-regresyon çalışma düzeyindeki özelliklerle etki büyüklükleri arasındaki ilişkiyi incelemektedir ve çalışma düzeyinde gözlenen bir ilişkinin birey düzeyinde de aynı biçimde geçerli olduğu sonucuna doğrudan ulaşılamaz.

Sabit ve Karma Etkiler Meta-Regresyonu

Meta-regresyon sabit etki veya karma etkiler yaklaşımı altında gerçekleştirilebilir. Sabit etki meta-regresyonunda moderatör değişkenler hesaba katıldıktan sonra çalışmalar arasında sistematik bir gerçek etki farklılığının kalmadığı varsayılmaktadır. Çalışmaların ağırlıkları temel olarak çalışma içi örnekleme varyansına göre belirlenmektedir:

\[w_i=\frac{1}{v_i}\]

Karma etkiler meta-regresyonunda ise moderatör tarafından açıklanmayan çalışmalar arası gerçek değişkenliğin bulunabileceği kabul edilmektedir. Model:

\[y_i=\beta_0+\beta_1X_i+u_i+\varepsilon_i\]

şeklinde ifade edilebilir. Burada (u_i), moderatörler tarafından açıklanamayan çalışmalar arası rastgele etkiyi; (varepsilon_i) ise çalışma içi örnekleme hatasını göstermektedir. Bu durumda çalışmaların ağırlıklandırılmasında hem örnekleme varyansı (v_i) hem de çalışmalar arası varyans (tau^2) dikkate alınmaktadır:

\[w_i^*=\frac{1}{v_i+\tau^2}\]

Karma etkiler meta-regresyonu böylece moderatörün etkisini değerlendirirken moderatör tarafından açıklanmadan kalan çalışmalar arası heterojenliği de modele dâhil etmektedir.

Meta-regresyon analizlerinin önemli sınırlılıklarından biri çalışma sayısına duyarlı olmasıdır. Özellikle az sayıda çalışmanın bulunduğu ve modele çok sayıda moderatörün dâhil edildiği durumlarda regresyon katsayılarının tahminleri kararsızlaşabilir ve istatistiksel güç azalabilir. Bu nedenle moderatör sayısı belirlenirken meta-analize dâhil edilen çalışma sayısının dikkate alınması ve sonuçların temkinli yorumlanması gerekmektedir [@Borenstein2009; @Card2012].

R ile Meta-Regresyon Uygulaması

Meta-regresyon analizinin uygulanmasını göstermek amacıyla 12 çalışmadan oluşan veri seti kullanılmaktadır. Önceki uygulamalardan farklı olarak bu veri setinde, çalışmaların etki büyüklüklerindeki farklılığı açıklamak amacıyla yaş değişkeni sürekli moderatör değişken olarak analize dâhil edilmektedir.

veri <- data.frame(
okul = c(
"Gazi Lisesi", "Mustafa Kemal Lisesi", "Ataturk Lisesi",
"Sentepe Lisesi", "Cigdemtepe Lisesi", "Osmanbey Lisesi",
"Afet İnan Lisesi", "Orhan Sen Lisesi", "Yaprak Lisesi",
"Basarı Lisesi", "Ozel Harran Lisesi", "Cebir Lisesi"
),
r = c(.76, .80, .90, .60, .73, .44,
.52, .36, .43, .51, .39, .28),
n = c(100, 50, 100, 100, 100, 100,
100, 100, 100, 100, 50, 100),
yas = c(15.00, 16.30, 16.40, 16.80, 16.10, 14.70,
14.80, 15.10, 14.90, 14.70, 14.50, 14.20)
)

Veri setinde r çalışmalara ait korelasyon katsayılarını, n örneklem büyüklüklerini, yas ise meta-regresyon analizinde sürekli moderatör olarak kullanılacak yaş değişkenini göstermektedir. Etki büyüklüklerinin ve örnekleme varyanslarının hesaplanmasında önceki uygulamalarda kullanılan Fisher’ın z dönüşümü esas alınmaktadır.

library(metafor)
dat <- escalc(
measure = "ZCOR",
ri = r,
ni = n,
data = veri
)

escalc() fonksiyonunda measure = “ZCOR” korelasyon katsayılarının Fisher’ın z dönüşümüne tabi tutulacağını, ri = r korelasyon katsayılarını ve ni = n çalışmaların örneklem büyüklüklerini göstermektedir. Fonksiyon sonucunda yi değişkeninde Fisher’ın z dönüşümlü etki büyüklükleri, vi değişkeninde ise bunların örnekleme varyansları elde edilmektedir.

Sabit Etki Modeline Göre Meta-Regresyon

Yaş ortalamasının etki büyüklükleriyle ilişkisini sabit etki yaklaşımı altında incelemek için aşağıdaki model kurulabilir:

meta_reg_FE <- rma(
yi = yi,
vi = vi,
mods = ~ yas,
data = dat,
method = "FE"
)
print(meta_reg_FE)

## 
## Fixed-Effects with Moderators Model (k = 12)
## 
## I^2 (residual heterogeneity / unaccounted variability): 84.22%
## H^2 (unaccounted variability / sampling variability):   6.34
## R^2 (amount of heterogeneity accounted for):            43.42%
## 
## Test for Residual Heterogeneity:
## QE(df = 10) = 63.3892, p-val < .0001
## 
## Test of Moderators (coefficient 2):
## QM(df = 1) = 59.8409, p-val < .0001
## 
## Model Results:
## 
##          estimate      se     zval    pval    ci.lb    ci.ub      
## intrcpt   -3.7350  0.5727  -6.5215  <.0001  -4.8575  -2.6125  *** 
## yas        0.2895  0.0374   7.7357  <.0001   0.2162   0.3628  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

rma() fonksiyonundaki yi ve vi sırasıyla Fisher’ın z dönüşümlü etki büyüklüklerini ve örnekleme varyanslarını göstermektedir. mods = ~ yas ifadesi yaş ortalamasının sürekli moderatör olarak modele dâhil edilmesini sağlamaktadır. method = “FE” ise sabit etki yaklaşımının kullanıldığını belirtmektedir.

Örnek veri setinden elde edilen sabit etki meta-regresyon sonuçları şöyledir:

Tablo 7.9. Sabit etki modeline göre meta-regresyon sonuçları

Katsayı	Tahmin	S.H.	Alt sınır	Üst sınır	Z	P
Sabit	-3,735	0,572	-4,857	-2,612	-6,521	<0,001
Eğim(YAŞ)	0,289	0,037	0,216	0,363	7,737	<0,001

Tablo 7.9. a göre yaş ortalamasına ilişkin regresyon katsayısı 0,289 ve pozitiftir. Katsayının istatistiksel olarak anlamlı olması (Z=7,737), (p<0,001), yaş ortalaması ile Fisher’ın z dönüşümlü etki büyüklükleri arasında pozitif ve istatistiksel olarak anlamlı bir ilişki bulunduğunu göstermektedir.

Buna göre regresyon eşitliği:

\[\widehat{EB}=-3,735+0,289(\text{Yaş Ortalaması})\]

şeklinde yazılabilir.

Regresyon katsayısı, yaş ortalamasındaki bir birimlik artışın, model tarafından tahmin edilen Fisher’ın z etki büyüklüğünde yaklaşık 0,289 birimlik artışla ilişkili olduğunu göstermektedir. Meta-regresyonda elde edilen bu ilişki nedensel olarak yorumlanmamalıdır; katsayı, çalışma düzeyinde yaş ortalaması ile etki büyüklüğü arasındaki istatistiksel ilişkiyi ifade etmektedir.

Sabit terim olan (-3,735), yaş ortalamasının sıfır olduğu durumda modelin tahmin ettiği Fisher’ın z değerini göstermektedir. Ancak yaş ortalamasının sıfır olması bu veri setinin gözlenen aralığının çok dışında bulunduğundan sabit terimin bu uygulamada doğrudan anlamlı bir yorumu bulunmamaktadır.

Meta-regresyonda yalnızca regresyon katsayısının anlamlılığı değil, modelin çalışmalar arasındaki heterojenlikle ilişkisi de değerlendirilmelidir. Sabit etki yaklaşımında toplam heterojenlik, model tarafından açıklanan ve modelden sonra kalan heterojenlik olmak üzere iki bileşene ayrılabilir:

\[Q_{T}=Q_{M} + Q_{E}\]

Burada Q_T toplam heterojenliği, Q_M meta-regresyon modelinin açıkladığı heterojenliği, Q_E ise model tarafından açıklanmadan kalan artık heterojenliği ifade etmektedir.

Örnek veri setinde sonuçlar şöyledir:

Tablo 7.10. Sabit etki modeline göre meta-regresyon heterojenlik sonuçları

Heterojenlik kaynağı	Q	sd	p
Model (Q_M)	59,841	1	<0,001
Artık değer (Q_E)	63,389	10	<0,001
Toplam (Q_T)	123,230	11	<0,001

Tablo 7.10 da görüldüğü üzere:

\[Q_{T}=Q_{M}+Q_{E}\] \[123,230=59,841+63,389\]

eşitliği sağlanmaktadır.

Model heterojenlik testinin anlamlı olması (Q_M=59,841), (sd=1), (p<0,001), yaş ortalamasının etki büyüklüklerindeki değişimle istatistiksel olarak anlamlı biçimde ilişkili olduğunu göstermektedir. Bu sonuç, yaş değişkenine ait regresyon katsayısının anlamlılığıyla da tutarlıdır.

Bununla birlikte artık heterojenlik de anlamlıdır:

\[Q_{E}=63,389,\quad sd=10,\quad p<0,001\]

Bu bulgu, yaş ortalaması modele dâhil edildikten sonra dahi etki büyüklükleri arasında açıklanamayan heterojenliğin devam ettiğini göstermektedir. Başka bir ifadeyle yaş ortalaması etki büyüklüklerindeki farklılığın bir bölümüyle ilişkili olmakla birlikte, çalışmalar arasındaki heterojenliğin tamamını açıklamamaktadır.

Bu veri setinde sabit etki ayrıştırmasına dayalı olarak modelin toplam (Q) içindeki payı yaklaşık:

\[\frac{59,841}{123,230}\times100\approx48,6\%\]

olarak hesaplanabilir. Bu oran, sabit etki yaklaşımında toplam Q heterojenliğinin model bileşeniyle ilişkili payını göstermektedir. Ancak rastgele/karma etkiler meta-regresyonunda raporlanan (R²) ile eşdeğer değildir; karma etkiler modellerinde açıklanan heterojenlik çalışmalar arası varyanstaki (tau²) azalma üzerinden değerlendirilmektedir.

Karma Etkiler Modeline Göre Meta-Regresyon

Çalışmalar arasında yaş ortalaması tarafından açıklanmayan gerçek etki farklılıklarının bulunabileceği kabul edildiğinde karma etkiler meta-regresyonundan yararlanılabilir. R ortamında karma etkiler meta-regresyon modeli aşağıdaki şekilde kurulabilir:

meta_reg_RE <- rma(
yi = yi,
vi = vi,
mods = ~ yas,
data = dat,
method = "REML"
)
print(meta_reg_RE)

## 
## Mixed-Effects Model (k = 12; tau^2 estimator: REML)
## 
## tau^2 (estimated amount of residual heterogeneity):     0.0570 (SE = 0.0308)
## tau (square root of estimated tau^2 value):             0.2388
## I^2 (residual heterogeneity / unaccounted variability): 83.38%
## H^2 (unaccounted variability / sampling variability):   6.02
## R^2 (amount of heterogeneity accounted for):            50.38%
## 
## Test for Residual Heterogeneity:
## QE(df = 10) = 63.3892, p-val < .0001
## 
## Test of Moderators (coefficient 2):
## QM(df = 1) = 10.4450, p-val = 0.0012
## 
## Model Results:
## 
##          estimate      se     zval    pval    ci.lb    ci.ub     
## intrcpt   -3.8453  1.4064  -2.7342  0.0063  -6.6017  -1.0889  ** 
## yas        0.2968  0.0919   3.2319  0.0012   0.1168   0.4769  ** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Modelde yi Fisher’ın z dönüşümlü etki büyüklüklerini, vi bu etki büyüklüklerine ilişkin örnekleme varyanslarını ifade etmektedir. mods = ~ yas ifadesi yaş ortalamasını sürekli moderatör değişken olarak modele dâhil etmektedir. method = “REML” ise moderatör değişken tarafından açıklanamayan çalışmalar arası varyansın (tau²) REML yöntemiyle tahmin edilmesini sağlamaktadır. Dolayısıyla karma etkiler meta-regresyonunda hem çalışmaların örnekleme hataları hem de moderatör değişken hesaba katıldıktan sonra kalan çalışmalar arası heterojenlik dikkate alınmaktadır.

Analiz sonucunda elde edilen regresyon katsayıları Tablo 7.11. de gösterilmektedir.

Tablo 7.11. Karma etkiler modeline göre meta-regresyon sonuçları

Katsayı	Tahmin	S.H.	Alt sınır	Üst sınır	Z	p
Sabit	-3,8453	1,4064	-6,6017	-1,0889	-2,7342	0,0063
Yaş	0,2968	0,0919	0,1168	0,4769	3,2319	0,0012

Tablo 7.11 e göre karma etkiler modelinde yaş değişkeninin regresyon katsayısı 0,2968 olarak elde edilmiş ve istatistiksel olarak anlamlı bulunmuştur (Z=3,232, p=0,0012). Yaş katsayısına ilişkin %95 güven aralığının [0,1168; 0,4769] olması ve sıfırı içermemesi de bu sonucu desteklemektedir. Buna göre yaş ortalaması ile Fisher’ın z dönüşümlü etki büyüklükleri arasında pozitif ve istatistiksel olarak anlamlı bir ilişki bulunmaktadır.

Modelin regresyon eşitliği aşağıdaki gibidir:

\[\widehat{EB}=-3,8453+0,2968(\text{Yaş})\]

Buna göre yaş ortalamasındaki bir yıllık artış, tahmin edilen Fisher’ın z dönüşümlü etki büyüklüğündeki yaklaşık 0,297 birimlik artışla ilişkilidir. Buradaki katsayı Fisher’ın z ölçeğindedir; dolayısıyla doğrudan korelasyon katsayısında 0,297’lik artış şeklinde yorumlanmamalıdır.

\[Q_{M}(1)=10,445,\quad p=0,0012\]

Yaş değişkeni modele dâhil edildikten sonra kalan heterojenlik ise artık heterojenlik testi Q_E ile değerlendirilmektedir. Analiz sonucunda:

olarak bulunmuştur. Buna göre yaş değişkeni dikkate alındıktan sonra da çalışmaların etki büyüklükleri arasında istatistiksel olarak anlamlı artık heterojenlik bulunmaktadır. Başka bir ifadeyle yaş, çalışmalar arasındaki heterojenliğin bir bölümünü açıklamakta ancak heterojenliğin tamamını açıklamamaktadır.

Meta-regresyon modelinde R² değeri %50,38 olarak hesaplanmıştır. Buna göre yaş değişkeninin modele dâhil edilmesi, çalışmalar arası heterojenliğin yaklaşık %50,38’lik bölümünün açıklanmasıyla ilişkilidir. Bununla birlikte Q_E testinin anlamlı olması, etki büyüklüklerindeki farklılıkların açıklanmasında yaş dışında başka çalışma özelliklerinin de rol oynayabileceğine işaret etmektedir.

Karma Etkiler Modelinde Heterojenlik

Karma etkiler meta-regresyon modelinde moderatör değişkenin etki büyüklüklerindeki değişkenliği açıklayıp açıklamadığı Q_M testiyle, moderatör modele dâhil edildikten sonra açıklanamayan heterojenlik ise Q_E testiyle değerlendirilmektedir. Bu değerlere oluşturulan meta-regresyon modelinden doğrudan ulaşılabilir:

meta_reg_RE$QM

## [1] 10.44495

meta_reg_RE$m

## [1] 1

meta_reg_RE$QMp

## [1] 0.001229851

meta_reg_RE$QE

## [1] 63.38917

meta_reg_RE$k - meta_reg_RE$p

## [1] 10

meta_reg_RE$QEp

## [1] 8.230813e-10

İlk üç komut sırasıyla moderatör testine ilişkin Q_M değerini, serbestlik derecesini ve p değerini; sonraki üç komut ise artık heterojenliğe ilişkin Q_E değerini, serbestlik derecesini ve p değerini vermektedir.

Tablo 7.12. Karma etkiler meta-regresyon modeline ilişkin heterojenlik sonuçları

Heterojenlik kaynağı	Q	sd	p
Model	10,445	1	0,0012
Artık değer	63,389	10	<0,001

Tablo 7.12. ye göre moderatör testinin anlamlı olduğu görülmektedir, (Q_M(1)=10,445), (p=0,0012). Bu sonuç, yaş ortalamasının etki büyüklüklerindeki değişkenlikle istatistiksel olarak anlamlı düzeyde ilişkili olduğunu göstermektedir.

Bununla birlikte artık heterojenlik testi de anlamlıdır, (Q_E(10)=63,389), (p<0,001). Buna göre yaş ortalaması modele dâhil edildikten sonra çalışmalar arasında açıklanamayan heterojenlik devam etmektedir. Dolayısıyla yaş ortalaması heterojenliğin bir bölümünü açıklamakla birlikte çalışmalar arasındaki değişkenliğin tamamını açıklamamaktadır.

Kaynakça

Yayım Yanlılığı
Tuba Caksız

Meta-analiz çalışmalarında elde edilen sonuçların geçerliliği, yalnızca analize dâhil edilen çalışmaların yöntemsel özelliklerine değil, ilgili konuda yürütülen araştırmaların literatürde ne ölçüde temsil edildiğine de bağlıdır. Yayım yanlılığı (publication bias), araştırma bulgularının yayımlanma ve dolayısıyla meta-analize ulaşma olasılığının elde edilen sonuçların yönü veya istatistiksel anlamlılığı gibi özelliklerle ilişkili olması sonucunda literatürün sistematik biçimde dengesiz temsil edilmesini ifade etmektedir. Özellikle istatistiksel olarak anlamlı veya beklenen yönde sonuçlara sahip çalışmaların yayımlanma olasılığının, istatistiksel olarak anlamlı olmayan ya da beklenen yönün dışında sonuçlar veren çalışmalara göre daha yüksek olması yayım yanlılığının ortaya çıkmasına neden olabilmektedir [@Rothstein2005].

Yayımlanan çalışmaların mevcut araştırmaların sistematik olarak seçilmiş bir bölümünü oluşturması, meta-analizde hesaplanan birleşik etki büyüklüğünün yanlı tahmin edilmesine yol açabilir. Bu durumda meta-analiz sonucu, araştırılan ilişkinin veya etkinin gerçek büyüklüğünü olduğundan daha yüksek ya da daha düşük gösterebilir. Dolayısıyla yayım yanlılığının değerlendirilmesi, meta-analiz sonuçlarının geçerliliğinin ve sağlamlığının incelenmesinde önemli bir aşamadır.

Yayım yanlılığının ve onunla ilişkili olabilecek küçük çalışma etkilerinin değerlendirilmesinde grafiksel ve istatistiksel çeşitli yöntemlerden yararlanılmaktadır. Bu bölümde huni grafiği (funnel plot), güvenli N (fail-safe N), Egger regresyon testi, Begg ve Mazumdar sıra korelasyonu, Duval ve Tweedie’nin kırp ve doldur yöntemi (trim and fill) ve ağırlıklandırılmış seçim yöntemi ele alınacaktır. Bu yöntemler yayım yanlılığı olasılığını farklı açılardan değerlendirdiğinden, elde edilen bulguların tek bir yönteme dayalı olarak değil, yöntemlerin varsayımları ve sınırlılıkları dikkate alınarak birlikte yorumlanması önemlidir.

Özellikle huni grafiğinde gözlenen asimetri veya buna dayalı istatistiksel testlerin anlamlılığı tek başına yayım yanlılığının kesin kanıtı olarak değerlendirilmemelidir. Heterojenlik, çalışmalar arasındaki yöntemsel farklılıklar, örneklem özellikleri ve küçük çalışma etkileri gibi başka etkenler de benzer örüntülere yol açabilir. Bu nedenle bu bölümde kullanılan yöntemler, yayım yanlılığını kesin olarak kanıtlayan araçlardan çok, olası yanlılığın ve sonuçların buna karşı duyarlılığının değerlendirilmesini sağlayan tamamlayıcı yaklaşımlar olarak ele alınacaktır.

Bu bölümde ele alınan yayım yanlılığı yöntemlerinin R ortamındaki uygulamalarını göstermek amacıyla 12 çalışmadan oluşan veri setinden yararlanılacaktır. Veri setinde her bir çalışmaya ilişkin korelasyon katsayısı (r) ve örneklem büyüklüğü (n) bulunmaktadır. Korelasyon katsayıları analizlerde Fisher’ın z değerlerine dönüştürülerek kullanılacaktır. Aynı veri setinin bölüm boyunca kullanılması, farklı yayım yanlılığı yöntemlerinden elde edilen bulguların birbiriyle karşılaştırılmasına olanak sağlayacaktır.

R ortamında bölüm boyunca kullanılacak veri seti ve Fisher’ın z dönüşümlü etki büyüklükleri aşağıdaki şekilde oluşturulabilir:

library(metafor)

## Zorunlu paket yükleniyor: Matrix

## Zorunlu paket yükleniyor: metadat

## Zorunlu paket yükleniyor: numDeriv

## 
## Loading the 'metafor' package (version 5.2-1). For an
## introduction to the package please type: help(metafor)

veri <- data.frame(
okul = c("Gazi Lisesi", "Mustafa Kemal Lisesi",
"Ataturk Lisesi", "Sentepe Lisesi",
"Cigdemtepe Lisesi", "Osmanbey Lisesi",
"Afet İnan Lisesi", "Orhan Sen Lisesi",
"Yaprak Lisesi", "Basarı Lisesi",
"Ozel Harran", "Cebir Lisesi"),
r = c(.76, .80, .90, .60, .73, .44,
.52, .36, .43, .51, .39, .28),
n = c(100, 50, 100, 100, 100, 100,
100, 100, 100, 100, 50, 100)
)
dat <- escalc(
measure = "ZCOR",
ri = r,
ni = n,
data = veri
)

Burada measure = “ZCOR” seçeneği korelasyon katsayılarının Fisher’ın z değerlerine dönüştürülmesini sağlamaktadır. İşlem sonucunda yi değişkeninde Fisher’ın z dönüşümlü etki büyüklükleri, vi değişkeninde ise bunlara ilişkin örnekleme varyansları elde edilmektedir. Sonraki uygulamalarda aynı veri ve etki büyüklüğü nesneleri kullanılacaktır.

Huni Grafiği

Huni grafiği (funnel plot), meta-analizde çalışmaların etki büyüklükleri ile bu tahminlerin kesinliği arasındaki ilişkiyi görsel olarak incelemek amacıyla kullanılan grafiksel yöntemlerden biridir. Yayım yanlılığının değerlendirilmesinde yaygın olarak kullanılan bu grafik, özellikle küçük ve büyük çalışmaların etki büyüklüklerinin dağılımını karşılaştırmaya ve olası asimetrinin belirlenmesine yardımcı olmaktadır [@LightPillemer1984].

Huni grafiğinde yatay eksende genellikle çalışmaların etki büyüklükleri, dikey eksende ise etki büyüklüğü tahminlerinin standart hatası veya kesinliğiyle ilişkili başka bir ölçüt yer almaktadır. Standart hatanın dikey eksende kullanıldığı bir huni grafiğinde, örneklem büyüklüğü yüksek ve standart hatası düşük olan çalışmalar grafiğin üst bölümünde daha dar bir alanda toplanırken; örneklem büyüklüğü daha düşük ve standart hatası daha yüksek olan çalışmalar alt bölümde daha geniş bir dağılım göstermektedir. Bu yapı grafiğe ters çevrilmiş bir huni görünümü kazandırmaktadır.

Yayım yanlılığının ve diğer küçük çalışma etkilerinin bulunmadığı ideal koşullarda çalışmaların birleşik etki büyüklüğü çevresinde yaklaşık simetrik bir dağılım göstermesi beklenmektedir. Buna karşılık grafiğin belirli bir bölümünde çalışmaların görece eksik olması veya çalışmaların birleşik etki büyüklüğünün bir tarafında daha yoğun biçimde toplanması huni grafiği asimetrisine işaret edebilir. Özellikle küçük çalışmaların belirli bir yönde eksik görünmesi, seçici yayımla uyumlu bir örüntü oluşturabilir.

Bununla birlikte, huni grafiğinde gözlenen asimetri tek başına yayım yanlılığının kanıtı olarak değerlendirilmemelidir. Çalışmalar arasındaki heterojenlik, örneklem ve yöntem farklılıkları, etki büyüklüğünün örnekleme özellikleri ve diğer küçük çalışma etkileri de asimetrik bir dağılıma neden olabilir. Benzer şekilde, yaklaşık simetrik bir huni grafiği de yayım yanlılığının bulunmadığını kesin olarak göstermemektedir. Bu nedenle huni grafiğinden elde edilen görsel bulguların diğer istatistiksel yöntemlerle birlikte değerlendirilmesi önerilmektedir [@Sterne2011].

R ile Huni Grafiğinin Oluşturulması

Huni grafiği, çalışmaların etki büyüklükleri ile bu etki büyüklüklerine ilişkin standart hatalar arasındaki dağılımın görsel olarak incelenmesine olanak sağlamaktadır. Bu bölümde huni grafiğinin oluşturulması için metafor paketinden yararlanılacaktır. Analizde korelasyon katsayıları etki büyüklüğü olarak kullanıldığından, öncelikle bu katsayıların Fisher’ın z değerlerine dönüştürülmesi ve bunlara ilişkin örnekleme varyanslarının hesaplanması gerekmektedir. Ardından meta-analitik model oluşturularak huni grafiği elde edilebilir.

Bu işlemler R ortamında aşağıdaki kodlarla gerçekleştirilebilir:

dat <- escalc(
measure = "ZCOR",
ri = r,
ni = n,
data = veri
)
res <- rma(
yi = yi,
vi = vi,
data = dat,
method = "REML"
)
funnel(
res,
xlab = "Fisher z Degeri",
ylab = "Standart Hata"
)

Grafik incelendiğinde, çalışmaların birleşik etki büyüklüğü çevresinde tam olarak simetrik bir dağılım göstermediği görülmektedir. Çalışmaların önemli bir bölümü grafiğin orta bölümünde toplanmakla birlikte, özellikle daha yüksek Fisher’ın z değerlerine sahip bazı çalışmaların grafiğin sağ tarafında yer aldığı ve bu çalışmaların sol tarafta benzer uzaklıklarda karşılıklarının bulunmadığı dikkati çekmektedir. Bu görünüm, huni grafiğinde belirli düzeyde asimetrik bir dağılım olabileceğini düşündürmektedir. Bununla birlikte huni grafiğindeki bu görsel örüntü, tek başına yayım yanlılığının varlığına ilişkin yeterli kanıt oluşturmamaktadır. Çalışma sayısının sınırlı olması, çalışmalar arasındaki heterojenlik ve küçük çalışma etkileri de grafiğin dağılımını etkileyebileceğinden, gözlenen asimetrinin istatistiksel yöntemlerle birlikte değerlendirilmesi gerekmektedir.

Huni grafiği, olası yayım yanlılığının görsel olarak değerlendirilmesine olanak sağlamakla birlikte, çalışmaların dağılımındaki simetri veya asimetri her zaman belirgin olmayabilir. Özellikle sınırda kalan görsel örüntülerde grafiğin yorumlanması araştırmacının öznel değerlendirmesinden etkilenebilmektedir [@SenYildirim2023]. Bu nedenle huni grafiğinden elde edilen görsel bulguların istatistiksel yöntemlerle desteklenmesi önem taşımaktadır.

Güvenli N

Meta-analizlerde elde edilen sonuçların olası yayımlanmamış veya analize ulaşılamamış çalışmalara karşı ne ölçüde dayanıklı olduğunu değerlendirmek amacıyla kullanılan yöntemlerden biri güvenli N (fail-safe N) yaklaşımıdır. Bu yaklaşımın temelinde, meta-analizde elde edilen sonucun belirli bir ölçüte göre değişmesi için analize kaç ek çalışmanın dâhil edilmesi gerektiğinin belirlenmesi bulunmaktadır. Rosenthal [-@Rosenthal1979], istatistiksel olarak anlamlı olmayan araştırma sonuçlarının yayımlanma olasılığının daha düşük olması nedeniyle literatürde görünür hâle gelmemesini “dosya çekmecesi problemi” (file drawer problem) kapsamında ele almıştır.

Güvenli N değeri, mevcut meta-analitik bulgunun belirlenen bir ölçüte göre değişmesi için gerekli olan varsayımsal ek çalışma sayısını göstermektedir. Dolayısıyla bu değer, gerçekte kaç çalışmanın yayımlanmadığını veya meta-analize dâhil edilemediğini tahmin etmemektedir. Bunun yerine meta-analitik bulgunun, belirli varsayımlar altında eksik olduğu varsayılan çalışmalara karşı ne ölçüde dayanıklı olduğunun değerlendirilmesine olanak sağlamaktadır [@Becker2005].

Güvenli N’nin hesaplanmasına yönelik farklı yaklaşımlar geliştirilmiştir. Bunlar arasında Rosenthal’ın güvenli N yöntemi ve Orwin’in güvenli N yöntemi yaygın olarak bilinen iki yaklaşımdır. Her iki yöntem de mevcut meta-analitik sonucun değişmesi için gerekli ek çalışma sayısını belirlemeyi amaçlamakla birlikte, sonucun değişmesini tanımlamak için kullandıkları ölçüt bakımından birbirinden ayrılmaktadır.

Rosenthal’ın Güvenli N Yöntemi

Rosenthal’ın güvenli N yöntemi istatistiksel anlamlılığı esas almaktadır. Bu yöntemde, meta-analizde elde edilen istatistiksel olarak anlamlı bir sonucun belirlenen anlamlılık düzeyinde artık istatistiksel olarak anlamlı olmaması için kaç ek çalışmanın gerekli olduğu hesaplanmaktadır [@Rosenthal1979]. Bununla birlikte yöntemin istatistiksel anlamlılığı temel alması, etki büyüklüğünün uygulama açısından önemini doğrudan dikkate almaması ve ek çalışmaların sonuçlarına ilişkin belirli varsayımlara dayanması önemli sınırlılıklarındandır [@Becker2005].

Bu sınırlılıklardan özellikle etki büyüklüğünün dikkate alınmaması, güvenli N’nin farklı bir biçiminin geliştirilmesine yol açmıştır. Orwin [-@Orwin1983], istatistiksel anlamlılık yerine doğrudan etki büyüklüğünü esas alan alternatif bir güvenli N yaklaşımı önermiştir.

Orwin’in Güvenli N Yöntemi

Orwin’in güvenli N yöntemi, Rosenthal’ın yaklaşımından farklı olarak istatistiksel anlamlılığı değil, etki büyüklüğünü temel almaktadır. Bu yöntemde araştırmacı öncelikle meta-analizde elde edilen birleşik etki büyüklüğünün düşürülmek istendiği ve uygulama açısından önemsiz kabul edilen bir hedef etki büyüklüğü belirlemektedir. Ardından mevcut birleşik etki büyüklüğünün bu hedef değere ulaşması için belirli bir ortalama etki büyüklüğüne sahip kaç ek çalışmanın gerekli olduğu hesaplanmaktadır [@Orwin1983].

Orwin yaklaşımının Rosenthal yönteminden temel farkı, meta-analitik sonucun değişimini istatistiksel anlamlılık üzerinden değil, araştırmacı tarafından belirlenen etki büyüklüğü üzerinden değerlendirmesidir. Böylece birleşik etkinin uygulama açısından önemsiz kabul edilen bir düzeye indirilebilmesi için gerekli ek çalışma sayısı belirlenebilmektedir. Bununla birlikte elde edilen güvenli N değeri, seçilen hedef etki büyüklüğüne ve eksik olduğu varsayılan çalışmalar için kabul edilen ortalama etki büyüklüğüne bağlıdır. Bu nedenle kullanılan değerlerin analizde açık biçimde belirtilmesi önem taşımaktadır [@Orwin1983; @Becker2005].

Bu bölümde gerçekleştirilen uygulamada Orwin güvenli N hesabı için hedef etki büyüklüğü 0,001 olarak belirlenmiştir.

R ile Güvenli N Analizinin Uygulanması

Güvenli N yöntemlerinin R ortamındaki uygulamasında bölümün başında oluşturulan dat veri nesnesinden yararlanılacaktır. Rosenthal ve Orwin yaklaşımlarına göre güvenli N değerleri ayrı ayrı hesaplanmaktadır.

Rosenthal ve Orwin güvenli N değerleri fsn() fonksiyonu kullanılarak aşağıdaki şekilde hesaplanabilir:

# Rosenthal güvenli N
fsn_rosenthal <- fsn(
x = dat$yi,
vi = dat$vi,
type = "Rosenthal",
alpha = .05
)
fsn_rosenthal

## 
## Fail-safe N Calculation Using the Rosenthal Approach
## 
## Observed Significance Level: <.0001
## Target Significance Level:   0.05
## 
## Fail-safe N: 2213

# Orwin güvenli N
fsn_orwin <- fsn(
x = dat$yi,
vi = dat$vi,
type = "Orwin",
target = .001
)
fsn_orwin

## 
## Fail-safe N Calculation Using the Orwin Approach
## 
## Average Effect Size: 0.6890
## Target Effect Size:  0.0010
## 
## Fail-safe N: 8257

fsn() fonksiyonu güvenli N değerlerinin hesaplanmasını sağlamaktadır. İlk analizde type = “Rosenthal” Rosenthal’ın güvenli N yönteminin kullanılacağını, alpha =0,05 ise sonucun değerlendirilmesinde esas alınan anlamlılık düzeyini göstermektedir. Bu analizde meta-analizde elde edilen istatistiksel olarak anlamlı sonucun (alpha=0,05) düzeyinde anlamlılığını yitirmesi için gerekli ek çalışma sayısı belirlenmektedir.

İkinci analizde type = “Orwin” Orwin’in güvenli N yönteminin kullanılacağını, target = 0,001 ise birleşik etki büyüklüğünün düşürülmek istendiği hedef etki büyüklüğünü göstermektedir. Dolayısıyla Rosenthal ve Orwin analizlerinde elde edilen güvenli N değerleri aynı ölçüte dayanmamakta; ilki istatistiksel anlamlılığa, ikincisi ise belirlenen hedef etki büyüklüğüne göre hesaplanmaktadır.

Uygulamada Rosenthal’ın güvenli N yöntemine göre güvenli N değeri 2213 olarak elde edilmiştir. Bu bulgu, yöntemin varsayımları altında meta-analizde elde edilen istatistiksel olarak anlamlı sonucun (alpha=0,05) düzeyinde istatistiksel olarak anlamlı olmayan duruma gelmesi için 2213 ek çalışmanın analize dâhil edilmesi gerektiğini göstermektedir.

Orwin’in güvenli N yöntemine göre ise güvenli N değeri 8257 olarak belirlenmiştir. Buna göre mevcut birleşik etki büyüklüğünün 0,001 olarak belirlenen hedef etki büyüklüğüne düşürülebilmesi için yöntemin varsayımları altında 8257 ek çalışmanın analize dâhil edilmesi gerekmektedir. Rosenthal ve Orwin yöntemlerinden elde edilen değerlerin farklı olması beklenen bir durumdur; çünkü Rosenthal yöntemi istatistiksel anlamlılığı, Orwin yöntemi ise belirlenen hedef etki büyüklüğünü esas almaktadır [@Rosenthal1979; @Orwin1983].

Her iki yöntemde elde edilen yüksek güvenli N değerleri, meta-analitik bulgunun kullanılan ölçütler ve varsayımlar altında ek çalışmalara karşı dayanıklı olduğuna işaret etmektedir. Bununla birlikte yüksek güvenli N değerleri yayım yanlılığının bulunmadığının kanıtı olarak değerlendirilmemelidir. Güvenli N yöntemleri gerçekte yayımlanmamış çalışma sayısını tahmin etmemekte ve eksik çalışmaların varlığını doğrudan test etmemektedir. Bu nedenle güvenli N sonuçlarının huni grafiği ve diğer yayım yanlılığı değerlendirme yöntemleriyle birlikte ele alınması daha uygun olacaktır [@Becker2005].

Regresyon Analizi (Egger Testi)

Huni grafiği, meta-analizlerde olası yayım yanlılığının görsel olarak değerlendirilmesine olanak sağlamakla birlikte, grafikteki simetri veya asimetrinin her zaman açık biçimde belirlenememesi yorumlamayı güçleştirebilmektedir. Bu nedenle huni grafiğinde gözlenen olası asimetrinin istatistiksel olarak değerlendirilmesine yönelik çeşitli yöntemler geliştirilmiştir. Bu yöntemlerden biri Egger regresyon testidir [@Egger1997].

Egger testi, çalışmaların etki büyüklükleri ile bu tahminlerin kesinlikleri arasındaki ilişkiyi doğrusal regresyon yaklaşımıyla incelemektedir. Yöntemde her bir çalışmanın etki büyüklüğünün standart hatasına bölünmesiyle elde edilen standartlaştırılmış etki değeri bağımlı değişken, standart hatanın tersiyle ifade edilen kesinlik değeri ise bağımsız değişken olarak kullanılmaktadır [@Egger1997]. Bu ilişki genel olarak aşağıdaki regresyon modeliyle ifade edilebilir:

\[z_i = \beta_0 + \beta_1 (\text{Kesinlik}_i) + \varepsilon_i\]

Egger testinde temel olarak regresyon modelinin sabit terimi (β₀) değerlendirilmektedir. Huni grafiğinin simetrik olduğu durumda sabit terimin sıfıra yakın olması beklenmektedir. Sabit terimin sıfırdan istatistiksel olarak anlamlı biçimde farklılaşması ise çalışmaların etki büyüklükleri ile kesinlikleri arasında küçük çalışma etkileriyle uyumlu sistematik bir ilişkinin ve dolayısıyla huni grafiği asimetrisinin bulunabileceğine işaret etmektedir [@Egger1997].

Bununla birlikte Egger testinden elde edilen istatistiksel olarak anlamlı bir sonuç, tek başına yayım yanlılığının kesin kanıtı olarak değerlendirilmemelidir. Heterojenlik, çalışmalar arasındaki yöntemsel farklılıklar ve diğer küçük çalışma etkileri de huni grafiğinde asimetriye neden olabilir. Benzer biçimde test sonucunun istatistiksel olarak anlamlı olmaması, yayım yanlılığının bulunmadığını kesin olarak göstermemektedir. Özellikle az sayıda çalışmanın yer aldığı meta-analizlerde asimetri testlerinin istatistiksel gücü sınırlı olabileceğinden sonuçların diğer yayım yanlılığı değerlendirme yöntemleriyle birlikte ele alınması önerilmektedir [@Sterne2011].

R ile Egger Testinin Uygulanması

Egger testinin R ortamındaki uygulamasında, daha önce rma() fonksiyonu ile oluşturulan res meta-analiz modelinden yararlanılabilir. metafor paketindeki regtest() fonksiyonu, huni grafiği asimetrisine ilişkin regresyon testini doğrudan gerçekleştirmektedir.

library(metafor)
egger_test <- regtest(
res,
predictor = "sei"
)
egger_test

## 
## Regression Test for Funnel Plot Asymmetry
## 
## Model:     mixed-effects meta-regression model
## Predictor: standard error
## 
## Test for Funnel Plot Asymmetry: z = 0.2457, p = 0.8059
## Limit Estimate (as sei -> 0):   b = 0.5163 (CI: -0.9161, 1.9487)

regtest() fonksiyonunda res daha önce oluşturulan meta-analiz modelini, predictor = “sei” ise regresyon modelinde çalışmaların standart hatalarının yordayıcı olarak kullanılacağını göstermektedir. Bu uygulamada test, karma etkiler meta-regresyon modeli üzerinden gerçekleştirilmektedir.

Analiz sonucunda aşağıdaki R çıktısı elde edilmiştir:

Regression Test for Funnel Plot Asymmetry

Model: mixed-effects meta-regression model; Predictor: standard error

Test for Funnel Plot Asymmetry: z = -5.0582, p < .0001 Limit Estimate (as sei -> 0): b = 1.4527 (CI: 1.1291, 1.7764)

Egger regresyon testi sonucunda huni grafiği asimetrisine ilişkin test istatistiği z = -5,0582 ve p değeri p < 0,001 olarak elde edilmiştir. Test sonucunun istatistiksel olarak anlamlı olması, bu veri setinde huni grafiği asimetrisiyle uyumlu küçük çalışma etkilerine ilişkin istatistiksel bir bulgu bulunduğunu göstermektedir.

Bununla birlikte Egger regresyon testinin anlamlı olması, gözlenen asimetrinin tek başına yayım yanlılığından kaynaklandığını göstermemektedir. Heterojenlik, yöntemsel farklılıklar ve çalışma büyüklüğüyle ilişkili diğer özellikler de huni grafiği asimetrisine yol açabilir. Bu nedenle sonuç, huni grafiği ve diğer yayım yanlılığı değerlendirme yöntemleriyle birlikte yorumlanmalıdır.

Begg ve Mazumdar Sıra Korelasyonu

Begg ve Mazumdar sıra korelasyonu, meta-analizlerde huni grafiği asimetrisinin istatistiksel olarak değerlendirilmesinde kullanılan yöntemlerden biridir. Begg ve Mazumdar [-@BeggMazumdar1994] tarafından geliştirilen bu yaklaşım, çalışmaların etki büyüklükleri ile bunların örnekleme varyansları arasındaki ilişkiyi Kendall’ın sıra korelasyon katsayısı (𝜏) aracılığıyla değerlendirmektedir.

Yöntemin temelinde, çalışma büyüklüğü veya kesinliği ile etki büyüklüğü arasında sistematik bir ilişkinin bulunup bulunmadığının incelenmesi yer almaktadır. Huni grafiğinin simetrik olduğu bir dağılımda küçük ve büyük çalışmaların etki büyüklükleri arasında sistematik bir sıralama ilişkisinin bulunmaması beklenmektedir. Buna karşılık sıra korelasyonunun istatistiksel olarak anlamlı olması, çalışma sonuçlarının büyüklük veya kesinlikle ilişkili biçimde değiştiğine ve dolayısıyla huni grafiği asimetrisiyle uyumlu bir örüntü bulunduğuna işaret edebilir.

Bununla birlikte Begg ve Mazumdar sıra korelasyonunun istatistiksel olarak anlamlı sonuç vermesi tek başına yayım yanlılığının kesin kanıtı olarak değerlendirilmemelidir. Benzer biçimde anlamlı olmayan bir sonuç da yayım yanlılığının bulunmadığını göstermemektedir. Özellikle az sayıda çalışmanın yer aldığı meta-analizlerde testin istatistiksel gücü sınırlı olabileceğinden, sonuçların huni grafiği ve diğer yayım yanlılığı değerlendirme yöntemleriyle birlikte ele alınması daha uygundur.

R ile Begg ve Mazumdar Sıra Korelasyonunun Uygulanması

Önceki analizlerde oluşturulan res meta-analiz modeli kullanılarak sıra korelasyonu testi metafor paketindeki ranktest() fonksiyonu ile gerçekleştirilebilir:

ranktest(res)

## 
## Rank Correlation Test for Funnel Plot Asymmetry
## 
## Kendall's tau = 0.1101, p = 0.6674

ranktest() fonksiyonu, huni grafiği asimetrisini sıra korelasyonuna dayalı olarak değerlendirmektedir. Fonksiyonun çıktısında Kendall’ın tau katsayısı ve bu katsayıya ilişkin p değeri verilmektedir. Böylece ayrıca Kendall’ın tau katsayısının standart hatasının, z istatistiğinin ve p değerinin manuel olarak hesaplanmasına gerek kalmamaktadır.

Analiz sonucunda aşağıdaki R çıktısı elde edilmiştir:

Rank Correlation Test for Funnel Plot Asymmetry

Kendall's tau = 0.11, p = 0.667

Begg ve Mazumdar sıra korelasyonu testi sonucunda Kendall’ın tau katsayısı 0,11 ve p değeri 0,667 olarak elde edilmiştir. Elde edilen p değerinin 0,05’ten büyük olması, sıra korelasyonunun istatistiksel olarak anlamlı olmadığını göstermektedir. Buna göre 12 çalışmadan oluşan veri setinde Begg ve Mazumdar sıra korelasyonu testine göre huni grafiği asimetrisine ilişkin istatistiksel olarak anlamlı bir bulgu elde edilmemiştir. Bununla birlikte bu sonuç, yayım yanlılığının bulunmadığının kanıtı olarak değerlendirilmemelidir. Özellikle çalışma sayısının sınırlı olduğu meta-analizlerde testin istatistiksel gücü düşük olabileceğinden, bulgunun diğer yayım yanlılığı değerlendirme yöntemleriyle birlikte ele alınması gerekmektedir.

Duval ve Tweedie’nin Kırp ve Doldur Yöntemi

Duval ve Tweedie’nin kırp ve doldur yöntemi (trim and fill), meta-analizlerde huni grafiğindeki asimetrinin değerlendirilmesi ve olası eksik çalışmaların genel etki büyüklüğü üzerindeki etkisinin incelenmesi amacıyla geliştirilmiş bir yöntemdir. Yöntem, huni grafiğinin asimetrik olması durumunda dağılımın bir tarafında eksik olabileceği düşünülen çalışmaların sayısını tahmin etmekte ve bu çalışmaların eklenmesi durumunda genel etki büyüklüğünde meydana gelebilecek değişimi ortaya koymaktadır [@DuvalTweedie2000].

Kırp ve doldur yöntemi iki temel aşamadan oluşmaktadır. İlk aşama olan kırpma (trim) işleminde, huni grafiğindeki asimetriye katkıda bulunan çalışmalar belirlenerek geçici olarak analizden çıkarılmakta ve dağılımın merkezi yeniden tahmin edilmektedir. İkinci aşama olan doldurma (fill) işleminde ise yeniden belirlenen merkez esas alınarak huni grafiğinin eksik olduğu tahmin edilen tarafına varsayımsal çalışmalar eklenmektedir. Ardından gözlenen ve eklenen çalışmalar birlikte değerlendirilerek düzeltilmiş genel etki büyüklüğü hesaplanmaktadır [@DuvalTweedie2000].

Bu yöntemde özellikle tahmin edilen eksik çalışma sayısı, bu çalışmaların huni grafiğinin hangi tarafında yer aldığı ve ekleme işleminden sonra genel etki büyüklüğünde meydana gelen değişim dikkate alınmaktadır. Eksik çalışma tahmin edilmemesi durumunda gözlenen genel etki büyüklüğünde herhangi bir düzeltme yapılmamaktadır. Eksik çalışma tahmin edilmesi durumunda ise bu çalışmaların eklenmesiyle genel etki büyüklüğü yeniden hesaplanmaktadır. Böylece gözlenen etki büyüklüğü ile düzeltilmiş etki büyüklüğü karşılaştırılarak meta-analiz sonucunun olası eksik çalışmalara karşı duyarlılığı değerlendirilebilmektedir.

Ayrıca huni grafiğindeki asimetrinin heterojenlik gibi yayım yanlılığı dışındaki nedenlerden de kaynaklanabilmesi, yöntemin sonuçlarının dikkatli yorumlanmasını gerektirmektedir. Bu nedenle kırp ve doldur yöntemiyle elde edilen düzeltilmiş etki büyüklüğünün “gerçek” etki büyüklüğü olarak değil, olası eksik çalışmaların meta-analiz sonucunu ne ölçüde değiştirebileceğini gösteren bir duyarlılık analizi olarak değerlendirilmesi daha uygundur [@DuvalTweedie2000; @Sterne2011].

R ile Duval ve Tweedie’nin Kırp ve Doldur Yönteminin Uygulanması

Duval ve Tweedie’nin kırp ve doldur yöntemi, önceki analizlerde oluşturulan rastgele etkiler meta-analiz modeli üzerinden trimfill() fonksiyonu kullanılarak uygulanabilir. Bu uygulamada kaynak analizle karşılaştırılabilir sonuçlar elde etmek amacıyla olası eksik çalışmaların yönü side = “right” parametresiyle sağ taraf olarak belirlenmiştir. Dolayısıyla eksik çalışmaların yönü, R tarafından kendiliğinden saptanmış bir sonuç değil, analizde kullanılan bir tercihtir. Eksik çalışma sayısının tahmininde L0 tahmincisi kullanılmıştır.

Kırp ve doldur analizinin gerçekleştirilmesi için aşağıdaki R kodu kullanılabilir:

library(metafor)
tf <- trimfill(
res,
estimator = "L0",
side = "right"
)
tf

## 
## Estimated number of missing studies on the right side: 1 (SE = 2.3675)
## 
## Random-Effects Model (k = 13; tau^2 estimator: REML)
## 
## tau^2 (estimated amount of total heterogeneity): 0.1224 (SE = 0.0548)
## tau (square root of estimated tau^2 value):      0.3499
## I^2 (total heterogeneity / total variability):   91.60%
## H^2 (total variability / sampling variability):  11.90
## 
## Test for Heterogeneity:
## Q(df = 12) = 144.2258, p-val < .0001
## 
## Model Results:
## 
## estimate      se    zval    pval   ci.lb   ci.ub      
##   0.7314  0.1017  7.1948  <.0001  0.5321  0.9306  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

# Tahmin edilen eksik çalışma sayısı
tf$k0

## [1] 1

Kodda trimfill() fonksiyonu kırp ve doldur analizini gerçekleştirmektedir. res, önceki aşamalarda oluşturulan rastgele etkiler meta-analiz modelini; estimator = “L0”, eksik çalışma sayısının tahmininde L0 tahmincisinin kullanılmasını; side = “right” ise olası eksik çalışmaların huni grafiğinin sağ tarafında aranmasını sağlamaktadır. tf$k0 komutu, yöntem tarafından tahmin edilen eksik çalışma sayısını göstermektedir.

Analiz sonucunda huni grafiğinin sağ tarafında bir eksik çalışma tahmin edilmiştir. Bu varsayımsal çalışmanın analize eklenmesiyle çalışma sayısı 12’den 13’e yükselmiştir. Kırp ve doldur işlemi sonrasında düzeltilmiş birleşik etki büyüklüğü Fisher’ın z ölçeğinde 0,7314, %95 güven aralığı ise [0,5321; 0,9306] olarak elde edilmiştir.

Kırp ve Doldur Huni Grafiğinin Oluşturulması

Kırp ve doldur işleminin çalışmaların dağılımı üzerindeki etkisini görsel olarak değerlendirmek amacıyla huni grafiğinden yararlanılabilir. Önceki bölümde oluşturulan huni grafiğinden farklı olarak bu grafikte, gözlenen çalışmalar ile yöntem tarafından eklenen varsayımsal çalışmanın birbirinden ayırt edilmesi amaçlanmaktadır.

Bu amaçla gözlenen çalışmalar siyah dairelerle, varsayımsal çalışma ise kırmızı üçgenle gösterilmiştir. Grafik açıklamalarının eksen başlıklarıyla çakışmasını önlemek için ayrı bir açıklama alanı oluşturulmuştur.

Grafiğin R ortamında oluşturulması için aşağıdaki kod kullanılabilir:

layout(
matrix(c(1, 2), nrow = 2),
heights = c(5, 1.5)
)
par(mar = c(4, 5, 2, 2))
funnel(
tf,
xlab = "Fisher z Degeri",
ylab = "Standart Hata",
pch = 19,
col = "black",
legend = FALSE
)
if (tf$k0 > 0) {
points(
tf$yi[tf$fill],
sqrt(tf$vi[tf$fill]),
pch = 17,
col = "red",
cex = 1.5
)
}
par(mar = c(0, 0, 0, 0))
plot.new()
legend(
"center",
legend = c(
"Gozlenen calismalar",
"Varsayimsal calisma"
),
pch = c(19, 17),
col = c("black", "red"),
horiz = FALSE,
bty = "n",
cex = 0.85
)

layout(1)

funnel() fonksiyonu kırp ve doldur işlemi sonrasında elde edilen huni grafiğini oluşturmaktadır. tf nesnesi, gözlenen çalışmaların yanı sıra yöntem tarafından eklenen varsayımsal çalışmayı da içermektedir. points() fonksiyonu aracılığıyla varsayımsal çalışma kırmızı üçgenle belirginleştirilmekte, legend() fonksiyonuyla grafikte kullanılan sembollerin açıklaması verilmektedir. layout() fonksiyonu ise grafik ve açıklama alanlarının ayrı bölümlerde gösterilmesini sağlamaktadır.

Şekil incelendiğinde, gözlenen çalışmaların siyah noktalarla, kırp ve doldur yöntemi tarafından eklenen varsayımsal çalışmanın ise kırmızı üçgenle gösterildiği görülmektedir. Varsayımsal çalışmanın huni grafiğinin sağ tarafında konumlanması, analizde eksik çalışmaların bu tarafta aranmasına yönelik yapılan tercihle uyumludur.

Grafikte bir varsayımsal çalışmanın eklenmesi sonucunda birleşik etki büyüklüğü Fisher’ın z ölçeğinde 0,6939’dan 0,7314’e yükselmiştir. Birleşik etki büyüklüğündeki 0,0375 birimlik artış, mevcut veri setinde uygulanan kırp ve doldur senaryosunun genel etki büyüklüğü üzerindeki etkisinin sınırlı olduğunu göstermektedir.

Bununla birlikte grafikte eklenen çalışma, gerçekte yayımlanmamış bir araştırmayı değil, yöntemin varsayımları altında tahmin edilen varsayımsal bir çalışmayı temsil etmektedir. Bu nedenle kırp ve doldur yöntemiyle elde edilen sonuçlar, yayım yanlılığının varlığına ilişkin kesin bir kanıt olarak değil, olası eksik çalışmaların birleşik etki büyüklüğü üzerindeki etkisini değerlendirmeye yönelik bir duyarlılık analizi olarak yorumlanmalıdır.

Kırp-doldur işlemi sonrasında düzeltilmiş sonuçlar için aşağıdaki R kodu kullanılabilir:

sonuc <- data.frame(
Model = c("Gözlenen", "Düzeltilmiş"),
k = c(res$k, tf$k),
EB = c(as.numeric(res$b), as.numeric(tf$b)),
Alt_Sinir = c(res$ci.lb, tf$ci.lb),
Ust_Sinir = c(res$ci.ub, tf$ci.ub),
Q = c(res$QE, tf$QE)
)
sonuc

##         Model  k        EB Alt_Sinir Ust_Sinir        Q
## 1    Gözlenen 12 0.6938840 0.4923360 0.8954319 123.2301
## 2 Düzeltilmiş 13 0.7313736 0.5321374 0.9306099 144.2258

Bu kodda res nesnesinden kırp ve doldur işlemi öncesindeki gözlenen sonuçlar, tf nesnesinden ise işlem sonrasındaki düzeltilmiş sonuçlar alınmaktadır. k analize dâhil edilen çalışma sayısını, EB birleşik etki büyüklüğünü, Alt_Sinir ve Ust_Sinir %95 güven aralığının sınırlarını, Q ise heterojenliğe ilişkin Cochran’ın Q istatistiğini göstermektedir.

Tablo 8.1. Duval ve Tweedie Kırp ve Doldur Yöntemine Ait Sonuçlar

	k	EB	Alt sınır	Üst sınır	Q
Gözlenen	12	0,6939	0,4923	0,8954	123,2301
Düzeltilmiş	13	0,7314	0,5321	0,9306	144,2258

Not: EB değerleri Fisher’ın z ölçeğindedir.

Tablo 8.1. incelendiğinde, kırp ve doldur işlemi öncesinde 12 çalışmaya dayalı birleşik etki büyüklüğünün 0,6939 olduğu ve %95 güven aralığının [0,4923; 0,8954] arasında bulunduğu görülmektedir. Duval ve Tweedie yöntemi huni grafiğinin sağ tarafında bir eksik çalışma tahmin etmiş ve bu varsayımsal çalışmanın eklenmesiyle analizdeki çalışma sayısı 13’e yükselmiştir. Düzeltilmiş birleşik etki büyüklüğü 0,7314, %95 güven aralığı ise [0,5321; 0,9306] olarak hesaplanmıştır. Buna göre kırp ve doldur işlemi sonrasında birleşik etki büyüklüğünde 0,0375 birimlik bir artış meydana gelmiştir.

Heterojenliğe ilişkin Q istatistiği de gözlenen modelde 123,2301 iken kırp ve doldur işlemi sonrasında 144,2258 olarak elde edilmiştir. Dolayısıyla yöntemin tahmin ettiği çalışmanın eklenmesi yalnızca birleşik etki büyüklüğünü değil, analize dâhil edilen çalışmaların toplam heterojenlik miktarını da değiştirmiştir.

Ağırlıklandırılmış Seçim Yöntemi

Ağırlıklandırılmış seçim yöntemi (weight-function/selection model), meta-analizlerde olası yayım yanlılığını değerlendirmek amacıyla çalışmaların literatürde yer alma olasılıklarının araştırma sonuçlarına bağlı olarak değişebileceği varsayımına dayanmaktadır. Bu yaklaşımda özellikle istatistiksel olarak anlamlı ve anlamlı olmayan sonuçların yayımlanma ya da seçilme olasılıklarının farklı olabileceği dikkate alınmaktadır [@Hedges1992; @VeveaHedges1995].

Yöntemin temelinde, gözlenen etki büyüklüklerinin yalnızca gerçek etki ve örnekleme hatasından değil, aynı zamanda çalışmaların seçilme sürecinden de etkilenebileceği düşüncesi bulunmaktadır. Örneğin istatistiksel olarak anlamlı sonuçlara sahip çalışmaların yayımlanma olasılığının anlamlı olmayan sonuçlara sahip çalışmalardan daha yüksek olması durumunda, literatürde yer alan çalışmalar tüm araştırmaların dengeli bir temsilini oluşturmayabilir. Seçim modelleri bu olası seçilme mekanizmasını istatistiksel modele dâhil ederek genel etki büyüklüğünü yeniden tahmin etmeyi amaçlamaktadır [@VeveaHedges1995].

Ağırlıklandırılmış seçim yönteminde çalışmalar genellikle p-değerlerine göre belirlenen aralıklara ayrılmakta ve her aralık için farklı bir seçim ağırlığı tahmin edilmektedir. Bu ağırlıklar, belirli sonuçlara sahip çalışmaların diğerlerine kıyasla gözlenme olasılıklarını temsil etmektedir. Böylece yayım sürecindeki olası seçicilik hesaba katılarak düzeltilmiş bir genel etki büyüklüğü elde edilebilmektedir.

Yöntemin değerlendirilmesinde gözlenen verilere dayalı genel etki büyüklüğü ile seçim mekanizmasının dikkate alındığı düzeltilmiş genel etki büyüklüğünün karşılaştırılması önem taşımaktadır. İki tahminin birbirine yakın olması, genel etki büyüklüğünün varsayılan seçim mekanizmasına karşı daha az duyarlı olduğunu; belirgin biçimde farklılaşması ise sonucun olası seçici yayıma karşı daha duyarlı olabileceğini düşündürebilir.

Bununla birlikte seçim modelinden elde edilen sonuçlar, modelde kullanılan seçim mekanizmasına ve p-değeri aralıklarına ilişkin varsayımlara bağlıdır. Bu nedenle düzeltilmiş etki büyüklüğü, yayım yanlılığından tamamen arındırılmış gerçek etki büyüklüğü olarak değerlendirilmemelidir. Seçim modellerinin de diğer yayım yanlılığı yöntemleriyle birlikte bir duyarlılık analizi çerçevesinde ele alınması daha uygundur [@VeveaHedges1995].

Yayım Yanlılığı Bulgularının Genel Değerlendirilmesi

Yayım yanlılığının değerlendirilmesinde kullanılan yöntemler farklı varsayımlara ve ölçütlere dayandığından, bu bölümde elde edilen bulguların tek bir yönteme göre yorumlanması uygun değildir. Güvenli N analizlerinde Rosenthal yaklaşımına göre 2213, Orwin yaklaşımına göre ise hedef etki büyüklüğü 0,001 kabul edildiğinde 8257 ek çalışma gerektiği hesaplanmıştır. Bu yüksek değerler, meta-analitik bulgunun ilgili yöntemlerin varsayımları altında varsayımsal ek çalışmalara karşı dayanıklı olduğuna işaret etmekle birlikte yayım yanlılığının bulunmadığını göstermemektedir.

Asimetri testleri aynı yönde sonuç vermemiştir. Egger regresyon testi huni grafiği asimetrisine ilişkin istatistiksel olarak anlamlı bir bulgu ortaya koymuştur (z = -5,0582, p < 0,001). Buna karşılık Begg ve Mazumdar sıra korelasyonu testi anlamlı bulunmamıştır (Kendall’ın tau = 0,11, p = 0,667). Bu farklılık, yöntemlerin dayandıkları istatistiksel yaklaşımların ve özellikle sınırlı çalışma sayısında test güçlerinin farklı olabileceğini göstermektedir. Ayrıca anlamlı Egger sonucu tek başına yayım yanlılığının kanıtı olarak yorumlanmamalıdır; heterojenlik ve diğer küçük çalışma etkileri de asimetriye katkıda bulunabilir.

Duval ve Tweedie’nin kırp ve doldur yöntemi, uygulamada sağ tarafta bir varsayımsal eksik çalışma tahmin etmiş; bu çalışmanın eklenmesiyle birleşik Fisher z değeri 0,6939’dan 0,7314’e yükselmiştir. Değişimin sınırlı olması, birleşik etki büyüklüğünün bu özel kırp-doldur senaryosuna karşı görece duyarlı olmadığını düşündürmektedir. Bununla birlikte eklenen çalışma gerçek bir yayımlanmamış araştırmayı değil, yöntemin varsayımları altında tahmin edilen varsayımsal bir çalışmayı temsil etmektedir.

Sonuçlar birlikte değerlendirildiğinde, veri setinde küçük çalışma etkileri ve huni grafiği asimetrisi açısından yöntemler arası tam bir tutarlılık bulunmamaktadır. Bu nedenle yayım yanlılığının varlığı ya da yokluğu hakkında tek ve kesin bir yargıya ulaşmak yerine, Egger testindeki anlamlı asimetri bulgusu; Begg-Mazumdar testinin anlamlı olmaması, yüksek güvenli N değerleri, kırp-doldur duyarlılık analizi ve çalışmalardaki yüksek heterojenlik ile birlikte değerlendirilmelidir.

Kaynakça

Güvenirlik Genellemesi Meta-Analizi
Salih Göcen

İncelenmek istenen bir ölçeğin güvenirlik değerleri referans alınarak yapılan meta-analiz türü güvenirlik genellemesi meta-analizi olarak adlandırılır [@vacha1998reliability]. Bu analizin temel amacı, araştırmacıları veri setlerinden elde edilecek puanların beklenen güvenirliği ile ölçek formatı ve uygulama koşullarının bu tahminleri nasıl etkilediği konusunda bilgilendirmektir [@sanchez2021improving]. Tipik meta-analizler; gruplar arası farkları veya değişkenler arasındaki ilişkileri belirlemek için korelasyon katsayısı, olasılık oranları ve standartlaştırılmış ortalama farkı gibi istatistikleri kullanır. Güvenirlik genellemesi meta-analizinde ise temel etki büyüklüğü olarak güvenirlik tahminleri temel alınmaktadır [@sanchez2021improving]. Güvenirlik genellemesi çalışmaları, tamamen literatürdeki mevcut veriler üzerine kuruludur [@vacha2000sample]. Güvenirlik genellemesi meta-analizi, literatürde ilk örneklerinden bugüne kadar geniş bir uygulama alanı bulmuştur [@gocen2025reliability; @caruso2000reliability; @helms1999another; @yin2000assessing]. Bu yöntem yalnızca psikoloji ile sınırlı kalmamış; tıp [@brannick2011systematic], fizik tedavi [@meseguer2017inter], hemşirelik [@barlow2010meta], spor bilimleri [@demeta], eğitim [@yeo2011reliability] ve pazarlama [@homburg2012drives] gibi hem sosyal hem de sağlık bilimlerinin farklı disiplinlerinde yaygınlık kazanmıştır.

Güvenirlik genellemesi analizlerinde temel olarak sabit etkiler, rastgele etkiler ve değişen katsayılar modellerinden yararlanılmaktadır [@borenstein2021introduction; @sanchez2013some]. Sabit etkiler ve değişen katsayılar modelleri, genellikle benzer karakteristik özelliklere sahip çalışmaların sentezlenmesinde tercih edilir. Buna karşın, elde edilen bulguların daha geniş bir evrene genelleştirilmesinin amaçlandığı durumlarda rastgele etkiler modeli kullanılmalıdır [@hedges1983random]. Sosyal bilimler alanındaki araştırmaların doğası gereği yüksek çeşitlilik barındırması nedeniyle, bu alanda daha gerçekçi ve esnek bir yaklaşım sunan rastgele etkiler modelinin kullanılması önerilmektedir [@field2010meta].

Ortalama Güvenirlik Katsayısının Hesaplanması

Birincil araştırmalarda güvenirlik katsayısı olarak çoğunlukla Cronbach alfa değerinin raporlanması, bu katsayıyı güvenirlik genellemesi meta-analizlerinde en yaygın kullanılan veri türü haline getirmiştir [@sanchez2021improving]. Bazı araştırmacılar, analizlerin herhangi bir dönüşüm yapılmadan doğrudan ham güvenirlik katsayıları üzerinden yürütülmesini önermektedir. [@henson2002characterizing; @leach2006reliability; @mason2007meta]. Ham katsayı kullanımının aksine, pek çok araştırmacı alfa dağılımlarının sola çarpık doğası gereği bu verilerin doğrudan analiz edilmesine karşı çıkmaktadır [@feldt2006averaging; @rodriguez2006meta; @sawilowsky2000reliability]. Ham güvenirlik katsayılarının analize uygun hale getirilmesi amacıyla literatürde farklı istatistiksel dönüştürme formülleri geliştirilmiştir [@bonett2002sample; @fisher1932booms; @hakstian1976k]. Fisher z dönüşümü $Z_i = \frac{1}{2} \ln \left( \frac{1 + \alpha_i}{1 - \alpha_i} \right)$, güvenirlik katsayısını korelasyon temelli kabul eden bir yaklaşıma dayanır. Bu nedenle genellikle test–tekrar test güvenirliği için kullanılırken, iç tutarlılığa dayalı olan alfa güvenirlik katsayıları için önerilmemektedir [@book]. Hakstian ve Whalen dönüşümü $T_i = (1 - \alpha_i)^{1/3}$ dönüşümü, alfa katsayıları için önerilse de varyans değişkenliği ile ilgili bir çözüm sunamamıştır [@hakstian1976k]. Buna karşılık Bonett tarafından önerilen $L_i = \ln(1 - |\alpha_i|)$ dönüşümü [@bonett2002sample], hem normalleştirme hem de varyans stabilizasyonunu sağladığı için Cronbach alfa katsayılarının sentezlenmesinde diğer yöntemlere göre daha etkili bir yaklaşım olarak kabul edilmektedir [@sanchez2013some].

Güvenirlik genellemesi meta-analizinde, farklı çalışmalardan elde edilen Cronbach alfa katsayılarının sentezlenmesi süreci iki temel aşamadan oluşur: katsayıların analize uygun forma dönüştürülmesi ve bu değerlerin istatistiksel bir model çerçevesinde birleştirilmesi. Bu bölümde, metafor [@viechtbauer2010conducting] paketi kullanılarak ilgili analizlerin R ortamında nasıl uygulanacağı, data veri setinde yer alan değişkenler üzerinden açıklanmaktadır. Veri setinde yer alan $a_i$ değişkeni güvenirlik katsayısını, $m_i$ madde sayısını, $n_i$ ise örneklem büyüklüğünü temsil eder. “kadın” sütunu gruptaki kadın oranını yüzdece verirken, “okulduz” katılımcıların eğitim seviyesini, “ulke” ise çalışmanın yürütüldüğü ülkeyi “yayım” sütunu çalışmanın türünü, “yıl” sütunu ise yayım tarihini belirtir. Bu bölümdeki tüm analizler data veri seti üzerinden gerçekleştirilmiştir.

Ham Alfa Değerleri İle Ortalama Güvenirlik Katsayısının Hesaplanması ve Heterojenlik Analizleri

Veri setinin R ortamına aktarılması için readxl paketinin aktif hale getirilmesi gerekmektedir. readxl paketindeki read_excel() fonksiyonu kullanılarak veri seti data nesnesine aktarılmıştır. Veri setinin ilk 6 satırı head() fonksiyonuyla yazdırılmıştır.

# Gerekli paketlerin ve veri setinin yüklenmesi
library(metafor)
library(readxl)
data <- read_excel("data.xlsx")
head (data)

metafor paketindeki rma() Rastgele Etkiler Model Analizi (“Random-effects Model Analysis”) anlamına gelir. measure = "ARAW" etki büyüklüğü ölçütü olarak “Alpha, Raw” (Ham Cronbach Alfa) kullanıldığını belirtir. $a_i$ , $m_i$ , $n_i$ değişekenleri her bir çalışmanın genel sentez içerisindeki ağırlığının belirlenmesinde kritik rol oynamaktadır. Analiz modelinde yer alan method = "REML" (Restricted Maximum-Likelihood) parametresi, çalışmalar arası heterojenliğin tahmin edilmesinde rastgele etkiler modelinin benimsendiğini göstermektedir. Son aşamada kullanılan print(rg_ham) komutu ise sentezlenmiş ortalama güvenirlik değerini, bu değerin güven aralıklarını ve çalışmalar arasındaki heterojenlik miktarını gösteren istatistiksel çıktıları sunmaktadır.

rg_ham <- rma(measure = "ARAW", 
               ai = ai,    # Güvenirlik katsayıları sütunu
               mi = mi,    # Madde sayıları sütunu
               ni = ni,    # Örneklem büyüklükleri sütunu
               data = data, 
               method = "REML") # Rastgele Etkiler Modeli 

# Sonuçları yazdır
print(rg_ham)

Model sonuçları (model results) incelendiğinde, çalışmaların genelini temsil eden ortalama güvenirlik katsayısı (estimate) .926 olarak bulunmuştur. Bu tahmine ilişkin standart hata (se) .0079, test istatistiği (zval) ise 117.37 olarak belirlenmiş olup sonuç istatistiksel olarak anlamlıdır (p < .0001). Hesaplanan ortalama güvenirlik değerinin %95 güven aralığı .911 (ci.lb) ile .942 (ci.ub) sınırları arasında yer almaktadır. Elde edilen tüm bu bulgular, incelenen çalışmalar genelinde ölçeğin oldukça yüksek ve istatistiksel olarak güvenilir bir iç tutarlılık sergilediğini kanıtlamaktadır.

Analiz kapsamında kullanılan rastgele etkiler modeli (random-effects model) sonucunda, çalışmalar arasındaki gerçek varyansı ifade eden $tau^2$ değeri .0012, gözlenen toplam değişkenliğin ne kadarının gerçek farklılıklardan kaynaklandığını gösteren $I^2$ değeri ise %97.05 olarak hesaplanmıştır. Heterojenlik testi (test for heterogeneity) kapsamında elde edilen $Q$ istatistiğinin anlamlı çıkması (Q = 314.04, p < .0001), güvenirlik katsayılarının çalışmalar arasında istatistiksel olarak farklılaştığını, yani yüksek düzeyde bir heterojenlik barındırdığını doğrulamaktadır. Bu durum, sentezlenen güvenirlik katsayılarının birbirinden önemli ölçüde ayrıştığını ve tek bir ortak değer etrafında toplanmadığını göstermektedir. Dolayısıyla söz konusu varyansın sadece şans faktörüne veya örnekleme hatasına bağlı olmadığı; ölçme aracının uygulandığı örneklem özellikleri, madde sayısı veya uygulama koşulları gibi farklı moderatör değişkenlerden kaynaklanabileceği anlaşılmaktadır. Ayrıca çalışmalar arasındaki heterojenliğin gösterilmesi için orman grafi kullanılabilir.

rg_hamnesnesi rma() fonksiyonu ile oluşturulmuş rastgele etkiler modelinin sonuçlarını içerir. slab = data$calisma grafikteki her bir çalışmanın etiketini belirler. xlab = "Cronbach Alfa" x ekseninin etiketini belirler. mlab = "Rastgele Etki Modeli" meta-analiz özet etkisinin etiketidir. addpred = TRUE tahmin aralığını grafiğe ekler. header = c("Yazar(lar) ve Yil", "Cronbach Alfa [95% GA]") grafiğin üst kısmında görünen sütun başlıklarını tanımlar.

forest(
  rg_ham,
  slab = data$calisma,
  xlab = "Cronbach Alfa",
  mlab = "Rastgele Etki Modeli",
  addpred = TRUE,
  header = c("Yazar(lar) ve Yıl", "Cronbach Alfa [95% GA]"),
)

Fisher Dönüşümü İle Ortalama Güvenirlik Katsayısının Hesaplanması ve Heterojenlik Analizleri

measure = "ZCOR" parametresi, ham alfa değerlerini Fisher z birimine dönüştürerek varyansın stabilize edilmesini sağlamaktadır. Modelde yer alan $r_i$ (korelasyon olarak tanımlanan alfa) ve $n_i$ değişkenleri, her bir çalışmanın örnekleme hatasını normalize ederek sentez içerisindeki ağırlığının belirlenmesinde kritik rol oynamaktadır. res_f model çıktısında yer alan heterojenlik göstergeleri, ham alfa analizlerinde olduğu gibi aynı mantıkla yorumlanmaktadır.

res_f <- rma(measure = "ZCOR", 
            ri = data$ai,   # Alfa değerlerini korelasyon (ri) olarak tanımlıyoruz
            ni = data$ni,   # Örneklem büyüklüğü
            data = data, 
            method = "REML")  # Rastgele Etkiler Modeli 

# Sonuçları yazdır
print(res_f)

Fisher z dönüşümü sonrasında elde edilen dönüştürülmüş ortalama alfa ve güven aralıkları, z skorları olduğu için 0 ile 1 aralığında değildir. Bu nedenle, elde edilen bulguların pratik olarak anlamlandırılabilmesi için ters dönüşüm işlemine tabi tutulması gerekmektedir. Bu süreçte, analiz çıktılarındaki z birimindeki değerleri tekrar orijinal Cronbach Alfa birimine dönüştürmek amacıyla matematiksel olarak Fisher z dönüşümünün tersi olan hiperbolik tanjant (tanh) fonksiyonundan yararlanılmaktadır. R içerisinde yer alan transf = transf.ztor veya transf = tanh komutu ile gerçekleştirilen bu işlem, sentezlenen korelasyon katsayılarının literatürle uyumlu, yorumlanabilir ve doğrudan değerlendirilebilir hale gelmesini sağlar. Aşağıdaki kod bloğunda, predict() fonksiyonu kullanılarak Fisher z transformasyonu ile analiz edilen ortalama korelasyon katsayısının ters dönüşümü gerçekleştirilmiş ve digits = 3 komutu ile sonuçlar üç ondalık basamağa yuvarlanarak sunulmuştur

predict(res_f,  transf = transf.ztor, digits = 3)

Ortalama korelasyon (alfa) katsayısı (pred) .930 olarak hesaplanmıştır. Bu değer, ölçeğin mükemmel düzeyde güvenilir olduğunu göstermektedir. Güven aralığı sonuçları, alt sınır (ci.lb) .916 ve üst sınır (ci.ub) .941 olarak belirlenmiştir. Bu dar aralık, ortalama güvenirlik katsayısının kesin bir tahmin olduğunu ve populasyondaki gerçek değerin yüzde doksan beş olasılıkla bu aralıkta yer aldığını göstermektedir. Tahmin aralığı ise alt sınır (pi.lb) .853 ve üst sınır (pi.ub) .967 arasındadır. Tahmin aralığının güven aralığından belirgin şekilde daha geniş olması, çalışmalar arası önemli heterojenlik olduğuna işaret etmektedir. Çalışmalar arasındaki heterojenliğin gösterilmesi için orman grafi ile ilgili kod aşağıda verilmektedir. res_f Fisher z dönüşümü kullanılarak hesaplanmış olan model nesnesini temsil eder. transf.ztor fonksiyonu, istatistiksel işlemler için normalize edilen verilerin tekrar yorumlanabilir katsayılara dönüştürülmesini sağlamıştır.

forest(
  res_f,
  slab = data$calisma,
  xlab = "Cronbach Alfa",
  mlab = "Rastgele Etkiler Modeli",      
  addpred = TRUE,
  header = c("Yazar(lar) ve Yıl", "Cronbach Alfa [95% GA]"),
  transf = transf.ztor
)

Hakstian ve Whalen Dönüşümü ile Ortalama Güvenirlik Katsayısının Hesaplanması ve Heterojenlik Analizleri

measure = "AHW" parametresi, ham alfa değerlerine küp kök dönüşümü uygular. $a_i$ , $m_i$ , $n_i$ değişekenleri her bir çalışmanın genel sentez içerisindeki ağırlığının belirlenmesinde kritik rol oynamaktadır.res_hw model çıktısında yer alan heterojenlik göstergeleri, ham alfa analizlerinde olduğu gibi aynı mantıkla yorumlanmaktadır.

res_hw <- rma(measure = "AHW", 
              ai = ai,      # Veri setindeki alfa sütun adı
              mi = mi,      # Veri setindeki madde sayısı sütun adı
              ni = ni,      # Veri setindeki örneklem sayısı sütun adı
              data = data,  # Veri setinizin adı
              method = "REML")  # Rastgele Etkiler Modeli 

# Sonuçları yazdır
summary(res_hw)

Hakstian ve Whalen dönüşümü sonrasında elde edilen dönüştürülmüş ortalama alfa katsayısı ve güven aralıkları, 0 ile 1 aralığında yer almaz. Bu nedenle, elde edilen bulguların pratik olarak anlamlandırılabilmesi için ters dönüşüm işlemine tabi tutulması gerekmektedir. Hakstian ve Whalen dönüşümünün matematiksel tersi olan $f(x) = 1 - x^3$ fonksiyonundan yararlanılmaktadır. R içerisinde yer alan transf = function(x) 1 - x^3 komutu ile gerçekleştirilen bu işlem, sentezlenen güvenirlik katsayılarının yorumlanabilir ve doğrudan değerlendirilebilir hale gelmesini sağlar. digits = 3 komutu ile sonuçlar üç ondalık basamağa yuvarlanarak sunulmuştur.

ters_donusum <- predict(res_hw, 
                                  transf = function(x) 1 - x^3, 
                                  digits = 3)
print(ters_donusum)

Ortalama alfa katsayısı (pred) .799 olarak hesaplanmıştır. Güven aralığı sonuçları, alt sınır (ci.lb) .771 ve üst sınır (ci.ub) .824 olarak belirlenmiştir. Tahmin aralığı ise alt sınır (pi.lb) .661 ve üst sınır (pi.ub) .893 arasındadır. Tahmin aralığının güven aralığından belirgin şekilde daha geniş olması, çalışmalar arası önemli heterojenlik olduğuna işaret etmektedir. Çalışmalar arasındaki heterojenliğin gösterilmesi için orman grafi ile ilgili kod aşağıda verilmektedir. res_hw Fisher z dönüşümü kullanılarak hesaplanmış olan model nesnesini temsil eder. function(x) 1 - x^3 fonksiyonu, istatistiksel işlemler için normalize edilen verilerin tekrar yorumlanabilir katsayılara dönüştürülmesini sağlamıştır.

forest(
  res_hw,
  slab = data$calisma,
  xlab = "Cronbach Alfa",
  mlab = "Rastgele Etkiler Modeli",      
  addpred = TRUE,
  header = c("Yazar(lar) ve Yıl", "Cronbach Alfa [95% GA]"),
  transf = function(x) 1 - x^3
)

Bonett Dönüşümü ile Ortalama Güvenirlik Katsayısının Hesaplanması ve Heterojenlik Analizleri

measure = "ABT" Bonett tarafından önerilen logaritmik dönüşümü ifade eder. $a_i$ , $m_i$ , $n_i$ değişekenleri her bir çalışmanın genel sentez içerisindeki ağırlığının belirlenmesinde kritik rol oynamaktadır.res_b model çıktısında yer alan heterojenlik göstergeleri, ham alfa analizlerinde olduğu gibi aynı mantıkla yorumlanmaktadır.

res_b <- rma(measure = "ABT",
            ai = ai,
            mi = mi,
            ni = ni,
            data = data)
res_b

Bonett dönüşümü sonrasında elde edilen dönüştürülmüş ortalama alfa katsayısı ve güven aralıkları, 0 ile 1 aralığında yer almaz. Bu nedenle, elde edilen bulguların pratik olarak anlamlandırılabilmesi için ters dönüşüm işlemine tabi tutulması gerekmektedir. Bonett modelinde alfa değerleri logaritmik olarak dönüştürüldüğü için, transf.ilogit komutu bu değerleri tekrar orijinal 0 ile 1 aralığındaki Cronbach Alfa birimine geri döndürür. digits = 3 komutu ile sonuçlar üç ondalık basamağa yuvarlanarak sunulmuştur.

predict(res_b, transf = transf.ilogit, digits = 3)

Ortalama alfa katsayısı (pred) .935 olarak hesaplanmıştır. Güven aralığı sonuçları, alt sınır (ci.lb) .924 ve üst sınır (ci.ub) .945 olarak belirlenmiştir. Tahmin aralığı ise alt sınır (pi.lb) .871 ve üst sınır (pi.ub) .968 arasındadır. Tahmin aralığının güven aralığından belirgin şekilde daha geniş olması, çalışmalar arası önemli heterojenlik olduğuna işaret etmektedir. Çalışmalar arasındaki heterojenliğin gösterilmesi için orman grafi ile ilgili kod aşağıda verilmektedir. res_b Bonett dönüşümü kullanılarak hesaplanmış olan model nesnesini temsil eder. transf.ilogit komutu, istatistiksel işlemler için normalize edilen verilerin tekrar yorumlanabilir katsayılara dönüştürülmesini sağlamıştır.

forest(
  res_b,
  slab = data$calisma,
  xlab = "Cronbach Alfa",
  mlab = "Rastgele Etkiler Modeli",      
  addpred = TRUE,
  header = c("Yazar(lar) ve Yıl", "Cronbach Alfa [95% GA]"),
  transf = transf.ilogit
)

Yayım Yanlılığı Analizleri

İstatistiksel olarak anlamlı bulunan çalışmaların, anlamlı bulunmayan çalışmalara göre daha çok yayımlanma eğiliminde olması yayım yanlılığına neden olmaktadır [@petitti2000meta]. Yayım yanlılığının sorgulanması amacıyla birçok yöntem geliştirilmiştir. @light1984summing, yayım yanlılığını sorgulamak için grafiksel ve yarı istatistiksel bir teknik olan huni grafiğini (funnel plot) önermektedir. Yatay (x) ekseninde etki büyüklüğü değeri, dikey (y) ekseninde standart hata veya örneklem büyüklüğü değerleri bulunmaktadır. Yatay ve dikey eksenlerdeki değerlerin simetrikliği ve genel üçgeni şeklini sağlaması gerekmektedir. Simetrikliğin olmadığı durumlarda yayım yanlılığından bahsedilebilir. Korumalı N değeri, @rosenthal1979file tarafından çalışmalarda yayım yanlılığının sorgulanması için önerilmiştir. Bu yöntem yayım yanlılığının değerlendirilmesinde yaygın olarak kullanılan bir yöntemdir. Korumalı N, istatistiksel olarak anlamlı bulunan popülasyon etki büyüklüğü değerini istatistiksel olarak anlamlı olmayan duruma getirebilmek için gerekli olan yayımlanmamış çalışma sayısını verir. Bu sayı ne kadar büyükse yayım yanlılığı o kadar azdır. . Rosenthal ayrıca $NR$ >5k+10 olması durumunda yayım yanlılığı olasılığının minimum olacağını ifade etmektedir. $NR$ Rosenthal yöntemiyle elde edilen N sayısını, k ise meta-analize katılan çalışma sayısını temsil etmektedir [@book]. @egger1997bias, yayım yanlılığını değerlendirmek için doğrusal regresyon analizine dayanan bir test geliştirmiştir. Bu test sonucunda elde edilen p değeri, alfa düzeyinden (p<.05) düşük bulunursa yayım yanlılığının olduğu sonucuna ulaşılır. @begg1994operating, müdahele etkisi tahminleri ile örnekleme varyansları arasındaki sıra korelasyonuna dayalı parametrik olmayan bir test önermiştir. Test sonucunda elde edilen değer etki büyüklüğü ile örneklem büyüklüğü arasındaki ilişkiyi yansıtır. İstatistiksel olarak anlamlı bir korelasyon bulunursa (p<.05) yayım yanlılığı olduğu söylenebilir.

Huni Grafiği

Bonett dönüşümü temel alınarak oluşturulan huni grafiğinde, funnel(res_b, ...) komutu her bir çalışmayı etki büyüklüğü ve hassasiyet derecesine göre konumlandırmaktadır. transf = transf.ilogit parametresi, yatay eksendeki teknik logaritmik değerleri orijinal Cronbach Alfa birimine dönüştürerek sonuçların doğrudan yorumlanmasına olanak tanır. Grafiğin yatay ekseni xlab Bonett yöntemiyle hesaplanan güvenirlik katsayılarını, dikey ekseni ylab ise çalışmaların hassasiyetini simgeleyen standart hatayı temsil etmektedir; bu doğrultuda grafiğin üst kısmında yer alan çalışmalar, daha düşük hata payı ve yüksek güvenilirliğe sahip tahminleri işaret etmektedir. Huni grafiğinin simetrik dağılması yayım yanlılığı olmadığını gösterir.

funnel(res_b,
       transf = transf.ilogit,
       xlab = " Cronbach Alfa (Bonett, 2002)",
       ylab = "Standart Hata")

Rosenthal’in Korumalı N Yöntemi

fsn(), Korumalı N hesaplamalarını gerçekleştiren ana fonksiyondur. Bu fonksiyon, analize dahil edilen çalışmaların toplam etkisini “bozmak” için gereken hayali çalışma sayısını hesaplar. res_b Bonett dönüşümü kullanılarak oluşturulmuş olan model nesnesini temsil eder. type = "Rosenthal" hesaplama yöntemini belirler.

fsn(res_b, type = "Rosenthal")

Analiz sonuçlarında görülen Fail-safe N: 3697 değeri mevcut sentezlenmiş güvenirlik sonucunu geçersiz kılmak için tam 3697 adet etkisiz çalışmanın “çekmecelerde bekliyor” olması gerektiği anlamına gelir. Rosenthal tarafından önerilen tolerans düzeyi $5k + 10$ formülü ile hesaplanır. Örnek veri setinde $k = 20$ olduğu için kritik eşik 110’dur ($5 \times 20 + 10$). Elde edilen 3697 değeri, 110 olan kritik eşiğin çok üzerinde olduğu için sonuçların yayım yanlılığından etkilenmediği güvenle söylenebilir.

Begg ve Mazumdar’ın Sıra Korelasyon Testi

Bu test, çalışmalardaki “etki büyüklüğü” ile “standart hata” arasındaki ilişkiyi inceler. Eğer küçük çalışmalar sadece büyük ve anlamlı sonuçlar bulduklarında yayımlanıyorsa, bu durum bir yanlılık yaratır. Modele ait $H_0$ hipotezi şu şekildedir. $H_0$: Etki büyüklüğü ile standart hata arasında ilişki yoktur (yayım yanlılığı yoktur).

ranktest(res_b)

Elde edilen p değeri (p = .974), .05 anlamlılık düzeyinden büyük olduğu için sonuç istatistiksel olarak anlamlı bulunmamıştır. Bu durum, $H_0$ hipotezini reddedemeyeceğinizi gösterir. Dolayısıyla, analiz edilen çalışmalar arasında yayım yanlılığının olmadığı söylenebilir.

Egger’ın Doğrusal Regresyon Testi

Egger testi, çalışmanın hassasiyeti (örneğin standart hatası) ile etki büyüklüğü arasındaki ilişkiyi inceler. Eğer yayım yanlılığı yoksa, regresyon doğrusunun “kesim noktası” (intercept) sıfıra yakın olmalıdır. Eğer bu kesim noktası sıfırdan anlamlı şekilde uzaklaşırsa, bu durum huni grafiğinde bir asimetri olduğu, yani küçük çalışmaların yanlı bir şekilde seçildiği anlamına gelir. Test ilişkin $H_0$ hipotezi şu şekildedir.

$H_0$: Regresyon doğrusunun kesim noktası sıfıra eşittir.

regtest(res_b, model = "rma")

Elde edilen p değeri (p = .4444), .05 anlamlılık eşiğinden büyüktür. İstatistiksel olarak bu durum, $H_0$ hipotezinin reddedilemediğini gösterir. Yani, huni grafiğinde anlamlı bir asimetri yoktur. Dolayısıyla, analiz edilen çalışmalar arasında yayım yanlılığının olmadığı söylenebilir.

Moderatör Değişken Analizleri

Heterojenliğin yüksek olduğu çalışmalarda moderatör değişken analizlerinin gerçekleştirilmesi gerekmektedir. Bu yüzden data veri setinde belirlenen moderatör değişkenlerden kategorik ve sürekli birer değişken belirlenerek örnek analizler gerçekleştirilmiştir. Moderatör değişkenlerin alt grup değişkenleri arasında istatistiksel olarak anlamlı bir farklılık olup olmadığını ortaya çıkarmak için kategorik değişkenler analog ANOVA yaklaşımıyla, sürekli değişkenler ise meta-regresyon yöntemiyle analiz edilmektedir. Aşağıdaki kod bloklarında bu analizlerin R ortamında nasıl gerçekleştirileceği açıklanmaktadır.

Kategorik Moderatör Değişken Analizi

Çalışmaların yayım türünün (makale ve tez), hesaplanan ortalama güvenirlik (alfa) değerleri üzerindeki olası moderatör etkisini belirlemek amacıyla analiz modeli güncellenmiştir. Bu doğrultuda, başlangıçta kurulan rastgele etkiler modeli res_b, ‘yayim’ değişkeni kategorik bir moderatör olarak tanımlanarak mods = ~ factor(yayim) parametresi ile yeniden yapılandırılmış ve res_b_katyayim nesnesi altında analiz edilmiştir.


res_b_katyayim <- update(res_b, mods = ~ factor(yayim)) 

res_b_katyayim

Model katsayıları incelendiğinde, makale grubu için hesaplanan regresyon sabitinin (2.69) istatistiksel olarak anlamlı olduğu görülmüştür. Tez grubunun makale grubundan sapmasını temsil eden katsayı ise -.17 olarak saptanmıştır. Ancak bu farkın istatistiksel olarak anlamlı olmadığı belirlenmiştir (z = -.69, p = .49). Bu bulgu, yayım türünün incelenen ortalama değerler üzerinde belirleyici bir moderatör etkisi yaratmadığını doğrulamaktadır.

Modelden elde edilen alfa katsayılarının anlamlı bir şekilde yorumlanabilmesi için predict() fonksiyonu kullanılarak her bir kategori için kestirimler yapılmıştır. Bu süreçte, “Makale” ve “Tez” kategorilerini içeren bir veri çerçevesi data.frame üzerinden bir tasarım matrisi model.matrix oluşturulmuş; predict() fonksiyonunun sabit terimi otomatik olarak eklemesi nedeniyle matrisin ilk sütunu ([, -1]) dışarıda bırakılmıştır. İstatistiksel analiz aşamasında kullanılan logit değerleri, sonuçların orijinal ölçekte sunulabilmesi için transf = transf.ilogit parametresiyle ters-logit dönüşümüne tabi tutulmuştur.

predict(
  res_b_katyayim,
  newmods = model.matrix(~ factor(yayim), 
                          data = data.frame(yayim = c("Makale", "Tez")))[, -1],
  transf = transf.ilogit
)

Sürekli Moderatör Değişken Analizi

Çalışmalardaki kadın katılımcı oranının, sentezlenen ortalama güvenirlik (alfa) değerleri üzerindeki olası moderatör etkisini belirlemek amacıyla analiz modeli güncellenmiştir. Bu doğrultuda, başlangıçta kurulan model res_kadin nesnesi altında yeniden yapılandırılmıştır. Modelde, ‘kadin’ değişkeni sürekli bir moderatör olarak mods = ~ kadin parametresi ile işleme alınmış ve çalışmalar arası heterojenliğin tahmininde REML (Restricted Maximum Likelihood/Kısıtlanmış Maksimum Olabilirlik) metodu kullanılmıştır. Bu işlem, örneklemdeki cinsiyet dağılımının ölçme aracından elde edilen alfa katsayıları üzerinde istatistiksel olarak anlamlı bir değişim yaratıp yaratmadığını, yani heterojenliğin ne kadarının bu demografik değişkene bağlı olduğunu test etmeyi amaçlamaktadır.

res_kadin <- rma(measure = "ABT", 
                 ai = ai, 
                 mi = mi, 
                 ni = ni, 
                 mods = ~ kadin, 
                 data = data, 
                 method = "REML")
res_kadin

Meta-regresyon analizi, kadın katılımcı oranı arttıkça alfa katsayılarının da istatistiksel olarak anlamlı şekilde yükseldiğini göstermiştir ($\beta = 0.0108, z = 2.12, p = 0.033$). Bu pozitif yönlü ilişki, çalışmalar arasındaki toplam heterojenliğin $\%16.62$’sini ($R^2$) tek başına açıklamaktadır. Kadın katılımcı oranı moderatör değişkenindeki bir puanlık artış, puanların güvenilirliğinde .0108’lik beklenen bir artma ile sonuçlanacaktır.

Meta-Analiz: Kuram ve Uygulama

Sedat ŞEN

Burak AYDIN

Tuğçe KADER

Tuba CAKSIZ

Salih GÖCEN

2026-10-17

Meta-Analiz: Kuram ve Uygulama

Önsöz

Yazar Bilgileri

Meta-Analiz Nedir?Sedat Şen

Araştırma sentezi ve meta-analizin bilimsel bilgi içindeki yeri

Meta-analiz, sistematik derleme ve meta-sentez arasındaki farklar

Meta-analizin tarihsel gelişimi

Meta-analiz ne zaman kullanılır?

Meta-analizin güçlü yönleri ve sınırlılıkları

Meta-analizin temel kavramları

Meta-analizin adımları

Araştırma probleminin ve sorusunun oluşturulması

Protokol ve ölçütlerin oluşturulması

Sistematik literatür taraması

Çalışmaların taranması ve seçimi

Veri çıkarma ve kodlama

Çalışma kalitesi veya yanlılık riskinin değerlendirilmesi

Etki büyüklüklerinin hesaplanması ve ortak ölçekte ifade edilmesi

Model seçimi ve birleştirme

Heterojenlik ve ek analizler

Yayın yanlılığının incelenmesi

Bulguların yorumlanması ve raporlanması

Kaynakça

Meta-Analitik İstatistiksel ModellerBurak Aydın

İstatistiksel Modeller

Meta-Analitik İstatistiksel Modeller

Sabit Etkiler Modeli (Fixed-Effects Model)

Rassal Etkiler Modeli (Random-Effects Model)

Çok Düzeyli Meta-analitik Modeller (Multilevel Meta-analysis)

Kaynakça

Etki Büyüklüğü Nedir?Tuğçe Kader

Ortalama Farkına Dayalı Etki Büyüklükleri

Standartlaştırılmamış ortalama farkı

Standartlaştırılmış ortalama farkı

Ortalama farkına dayalı meta-analiz - örnek uygulama

Korelasyona Dayalı Etki Büyüklüğü

Diğer Etki Büyüklükleri

Kaynakça

HeterojenlikTuba Caksız

Orman Grafiği (Forest Plot)

R ile Çalışmalara Ait Etki Büyüklükleri ve Güven Aralıkları

R ile Orman Grafiğinin Oluşturulması

Radyal Grafik

R ile Radyal Grafiğin Oluşturulması

Cochran’ın Q İstatistiği

R ile Cochran’ın Q İstatistiğinin Hesaplanması

I² İstatistiği

R ile I² İstatistiğinin Hesaplanması

Moderatör Analizleri

Alt Grup Analizleri (Analog ANOVA)

R ile Analog ANOVA ve Heterojenliğin İncelenmesi

R ile Grup İçi ve Gruplar Arası Heterojenliğin Hesaplanması

Grup İçi Heterojenliğin (Qw) Hesaplanması

Gruplar Arası Heterojenliğin (Qw) Hesaplanması

Meta-Regresyon

Sabit ve Karma Etkiler Meta-Regresyonu

R ile Meta-Regresyon Uygulaması

Sabit Etki Modeline Göre Meta-Regresyon

Karma Etkiler Modeline Göre Meta-Regresyon

Karma Etkiler Modelinde Heterojenlik

Kaynakça

Yayım YanlılığıTuba Caksız

Huni Grafiği

R ile Huni Grafiğinin Oluşturulması

Güvenli N

Rosenthal’ın Güvenli N Yöntemi

Orwin’in Güvenli N Yöntemi

R ile Güvenli N Analizinin Uygulanması

Regresyon Analizi (Egger Testi)

R ile Egger Testinin Uygulanması

Begg ve Mazumdar Sıra Korelasyonu

R ile Begg ve Mazumdar Sıra Korelasyonunun Uygulanması

Duval ve Tweedie’nin Kırp ve Doldur Yöntemi

Meta-Analiz Nedir?
Sedat Şen

Meta-Analitik İstatistiksel Modeller
Burak Aydın

Etki Büyüklüğü Nedir?
Tuğçe Kader

Heterojenlik
Tuba Caksız

Grup İçi Heterojenliğin (Q_w) Hesaplanması

Gruplar Arası Heterojenliğin (Q_w) Hesaplanması

Yayım Yanlılığı
Tuba Caksız

Güvenirlik Genellemesi Meta-Analizi
Salih Göcen