KTÜ ÖÖM MODÜL 4 YÜKSEKÖĞRETİMDE ÖLÇME-DEĞERLENDİRME STRATEJİLERİ

DOÇ. DR. BURAK AYDIN - EGE ÜNİVERSİTESİ

SUNUM İÇERİĞİ

  • D1: Ölçme-değerlendirme temel kavramlar
  • D2: Ölçme araçları
  • D3: Geçerlik tanımları (Zumbo 2025 özeti)
  • D4: Temel istatistik dersi tecrübe paylaşımı
  • D5: YZ destekli ölçme-değerlendirme örnekleri
  • D6: Yükseköğretimde ölçme-değ. eğilimleri

D1a: TEMEL KAVRAMLAR (MAE-1)

  • Ölçme 📝 : Measurement refers to the practice of quantifying a physical feature or an attribute Coombe(2018, s.29). Kaynak

  • Durum belirleme 📈 : Assessment is the process of measuring an individual’s performance on a given task in order to make inferences about their abilities. Coombe(2018, s.10)

  • Değerlendirme 🧑‍🎓: Evaluation refers to the process of utilizing assessment results to gauge and support learning. Decision making. Coombe(2018, s.20)

D1a: TEMEL KAVRAMLAR (MAE-2)

  • Değerlendirme 🧑‍🎓 - YZ çağında değerlendirme 🤹‍♀️ ?

D1a: TEMEL KAVRAMLAR (MAE-3)

  • Değerlendirme 🧑‍🎓 - YZ çağında değerlendirme 🤹‍♀️ ? Kaynak

D1b:TEMEL KAVRAMLAR - ÇERÇEVENİN ÖNEMİ

  • Çerçeve (framework) nedir?
  • Akreditasyon süreçlerinde ölçme-değerlendirme konusunda nelerle karşılaştık?
    • Türkiye Yükseköğretim Yeterlilikler Çer. (TYYÇ)
    • Program ve ders çıktıları nasıl belirleniyor?
    • Taksonomiler nasıl kullanılıyor?
  • Talebeler ne talep ediyorlar?

D2a: GELENEKSEL ÖLÇME ARAÇLARI

  • Geleneksel ölçme araçlarına örnekler neler?
    • Yanıt seçmeli sınavlar
    • Kısa yanıtlı sınavlar
    • Yazılı yoklamalar
      • Hale etkisi
      • Aktarma etkisi
      • Şişirme
      • Yorgunluk
  • Tamamlayıcı/alternatif değerlendirmede kullanılan araçlar

D2b: DİJİTAL ÖLÇME ARAÇLARI

D3a GEÇERLİK TANIMLARI (Zumbo25-0)

  • Kaynak

  • 1900’lerin başından günümüze 5 farklı geçerlik kavramsallaştırmasına değinelim

D3a GEÇERLİK TANIMLARI (Zumbo25-1)

  • “Bir sınav, yordama yapabilen bir araç veya bir stenografidir . Bu nedenle, geçerlik, bir sınavın iyi bir yordama aracı veya stenografi olup olmadığını belirlemekle ilgilidir.”

D3a GEÇERLİK TANIMLARI (Zumbo25-2)

  • “Garrett’e göre (1937) geçerlik, bir sınavın ölçmeyi amaçladığı yapıyı ne derecede ölçtüğüdür. (bir geçerleme süreci ima etmez)”.

D3a GEÇERLİK TANIMLARI (Zumbo25-3)

  • “Cronbach & Meehl (1955) ve mantıksal ampiristler, “nomolojik ağ” ve “yapısal geçerlik” yaklaşımını benimsedi. Bu, sınavların sadece “yordayıcı araçlar” olmaktan çıkıp, örtük bir özelliğin “işareti” haline geldiğini gösterdiği için önemlidir. (geçerlik: ampirik olarak nomolojik ağın oluşturulması)”

D3a GEÇERLİK TANIMLARI (Zumbo25-4)

  • “Messick (1970’ler - 1999) ve AERA/NCME/APA (1999) Sınav Standartları: “Geçerlik şu soruyu sorar: Sınavı kullanma amacımız dikkate alındığında bir sınav puanından çıkardığımız sonuçları savunmak için yeterli kanıt ve teorik desteğe sahip miyiz?”

D3a GEÇERLİK TANIMLARI (Zumbo25-5)

  • “Zumbo (2005, 2007, 2009, 2017), “geçerlik” kavramını madde ve test puanı varyasyonunun açıklaması olarak, “geçerleme” kavramını ise bu açıklamaların geliştirilmesi ve sınanması süreci olarak ele almıştır.”

D3b GEÇERLİK GÜVENİRLİK KULLANIŞLILIK

D3b GEÇERLİK GÜVENİRLİK KULLANIŞLILIK

D4a TEMEL İSTATİSTİK DERSİ (TİD)

  • Ders içi etkinlikler

  • Ders sonrası forum soruları

  • Bireysel ödevler

  • Evde çöz final sınavı

D4b DERS İÇİ ETKİNLİKLER (TİD-1)

  • Her ders en az iki mentimetre sorusu

D4c EGEDERS FORUM (TİD-2)

  • Her ders sonrası forum soruları

D4d BİREYSEL ÖDEVLER (TİD-3)

  • Dönem boyunca 6 bireysel ödev

D4e EVDE-ÇÖZ (TİD-4)

  • 17 açık uçlu soru

  • Ör: Bireysel ödev ikinin sonuçlarını APA formatına uygun olarak akademik özenle kısaca raporlayınız.

  • Dönem sonu notu = %20 forum katılımı + %50 bireysel ödevler + %30 evde-çöz

D5 YZ DESTEKLİ ÖLÇME-DEĞERLENDİRME (YZDÖD)

  • “The Duolingo English Test is the first and only high-stakes test to use AI and machine learning end-to-end at every step of the process” Kaynak

  • Çerçeve/taksonomi

  • Soru üretimi

  • Uygulama / gözetmenlik

  • Puanlama

  • Kalite kontrolleri

D5a YZDÖD - SORU ÜRETİMİ

  • “Soru, sınavlarda yer alan ve sınava girenlerin seçerek, oluşturarak veya görev tamamlayarak yanıt verdikleri ifadeler, alıştırmalar veya görevler olarak tanımlanmaktadır ( Eğitim ve Psikoloji Alanında Sınavların Standartları, 2014 )”

  • Model veya şablondan soru üretimi

  • Tamamen yapay zeka ile soru üretimi

D5b YZDÖD - OTOMATİK PUANLAMA

  • “Otomatik puanlama genel olarak, öğrencilerin bilişsel performanslarını bilgisayar aracılığıyla performans-kalite nitelendirmelerine dönüştürmedir” Kaynak

  • Kompozisyon puanlama Örnek

  • Kısa yanıt puanlama Örnek

  • Diğer veri türleri

D6 YÜKSEKÖĞRETİMDE YZDÖD EĞİLİMLERİ

Consensus Deep Search

TEŞEKKÜRLER