R Programlama Serisi - Bölüm 8.1: Sayıların Ardındaki Sezgi - Makine Öğrenmesi Atölyesi-İkinci Kısım

3. Akademideki En Büyük İkilem: Ezberlemek mi, Tembellik mi?

Machine Learning Academy’deki en önemli derslerden biri, denge sanatıdır. İyi bir öğrenci (model), ne sınavdaki her soruyu virgülüne kadar ezberlemeli, ne de derslere hiç girmeyip konunun ana fikrini bile kaçırmalıdır. Bu iki aşırı uca, makine öğrenmesi literatüründe Overfitting (Aşırı Uyum) ve Underfitting (Eksik Uyum) diyoruz.

Bu ikilemi, akademideki en çalışkan öğrencimiz olan yeşil saçlı Gözetimli Öğrenme Uzmanı üzerinden bir metaforla anlatalım.

a) Tehlike 1: Ezberlemek (Overfitting)

Overfitting, bir modelin eğitim verisindeki ana deseni öğrenmek yerine, verideki gürültüyü, tesadüfi dalgalanmaları ve her bir detayı ezberlemesi durumudur (James vd., 2023).

Öğrencimizin, ders notlarındaki (eğitim verisi) her bir soruyu ve cevabını virgülüne kadar ezberlediğini düşünün. Notlardaki her örneği hatasız bir şekilde çözer. Ancak, konunun mantığını kavramadığı için, final sınavında (test verisi) daha önce görmediği sorularda çuvallar. İşte bu öğrencimiz “overfit” olmuştur.

Overfitting’e Lütfen Dikkat

Yukarıdaki görselde, öğrencimizin eğitim verisindeki her bir noktaya takıntılı bir şekilde uyan, aşırı karmaşık bir “kural çizgisi” çizdiğini görüyoruz. Bu çizgi, eğitim setinde mükemmel çalışır ama verinin genel “trendini” kaçırdığı için gerçek dünyada işe yaramaz.

Teknik Dilde: Overfitting, modelin yüksek varyansa (high variance) sahip olduğu bir durumdur. Model, eğitim verisindeki en ufak bir değişikliğe bile aşırı tepki verir (“aşırı hassastır”) ve bu yüzden genelleme yapamaz (Goodfellow, Bengio & Courville, 2016).

b) Tehlike 2: Tembellik Etmek (Underfitting)

İkilemin diğer ucunda ise Underfitting bulunur. Bu, modelin çok basit kalması ve eğitim verisindeki temel deseni bile tam olarak öğrenememesi durumudur (Goodfellow vd., 2016).

Underfitting’e Lütfen Dikkat

Bu sefer, öğrencimizin ders çalışmaya hiç motive olmadığını ve konuyu anlamak için yeterli çabayı göstermediğini düşünün. Sadece “tüm cevaplar ortalama bir değerdedir” gibi aşırı basit bir kural öğrenir. Bu öğrencimiz, hem ders notlarında (eğitim verisi) hem de final sınavında (test verisi) başarısız olur. İşte bu öğrencimiz de “underfit” olmuştur.

Teknik Dilde: Underfitting, modelin yüksek yanlılığa (high bias) sahip olduğu bir durumdur. Model, verinin karmaşıklığını yakalayamayacak kadar “ön yargılıdır” ve aşırı basit varsayımlar yapar (Goodfellow, Bengio & Courville, 2016).

c) Çözüm: Altın Oran ve Yanlılık-Varyans Dengesi

İyi bir model ne overfit ne de underfit olmalıdır. Amacımız, verideki temel ve genelleştirilebilir deseni yakalayan, ancak gürültüyü görmezden gelen “altın oranı” bulmaktır.

Altın Oran: Ne ezberci, ne tembel. Verinin ana trendini yakalayan ideal model.

Bu görselde, Gözetimli Öğrenme öğrencimizin artık ne aşırı karmaşık ne de aşırı basit, tam kararında, verinin genel trendini mükemmel bir şekilde yakalayan bir “kural çizgisi” bulduğunu görüyoruz. Bu model, hem eğitim verisinde “yeterince iyi”dir hem de yeni verileri tahmin etme konusunda “sağlam”dır.

Makine öğrenmesindeki asıl sanat, “ezbercilik” ile “tembellik” arasında, yani teknik terimlerle Yanlılık (Bias) ile Varyans (Variance) arasında doğru dengeyi kurmaktır. Bu meşhur kavrama Bias-Variance Trade-off (Yanlılık-Varyans Dengesi) denir. * Modeli çok basitleştirirsek, yanlılık artar (underfitting). * Modeli çok karmaşıklaştırırsak, varyans artar (overfitting). * İyi bir mimar, bu iki zıt gücü dengeleyerek en sağlam yapıyı inşa eden kişidir.

Peki, bir modelin bu “altın oranı” yakalayıp yakalamadığını, yani “gerçekten öğrendiğini” mi yoksa sadece “ezberlediğini” mi nasıl anlarız?

4. İkilemin Çözümü: Sınav Gününe Hazırlık (Eğitim ve Test Veri Seti Mantığı)

Bir önceki bölümde sorduğumuz o kritik soruyu tekrar hatırlayalım: Bir modelin “altın oranı” yakalayıp yakalamadığını, yani “gerçekten öğrendiğini” mi yoksa sadece “ezberlediğini” mi nasıl anlarız?

Cevap, akademideki öğrencilik hayatımızdan çok tanıdık bir stratejide yatar: Final Sınavı!

Veri setini bölmek: Modelin sınava gireceği soruları, çalışma notlarından ayırmak.

Bir öğrencinin konuyu gerçekten anlayıp anlamadığını, sadece ders notlarındaki soruları çözme becerisine bakarak ölçemeyiz. Bu yanıltıcı olur. Onu, daha önce hiç görmediği sorulardan oluşan bir final sınavına tabi tutmamız gerekir. Öğrenci, notlarındaki örneklerde %100 başarılı olsa bile, asıl başarısı final sınavındaki performansıyla ölçülür.

Makine öğrenmesinde de mantık tamamen aynıdır. Elimizdeki tüm veri setini modele “çalışması için” vermeyiz. Bunun yerine, veri setimizi stratejik olarak ikiye böleriz (James vd., 2023):

1. Eğitim Veri Seti (Training Set): Genellikle verinin daha büyük bir kısmıdır (örneğin, %80’i). Bu, modelimizin “ders notlarıdır”. Model, bu veriye bakarak desenleri, ilişkileri ve kuralları öğrenir. Tıpkı öğrencimizin final sınavına hazırlanırken çalıştığı notlar gibi. Model bu setteki her noktayı “görme” ve ondan öğrenme iznine sahiptir.

2. Test Veri Seti (Test Set): Verinin daha küçük bir kısmıdır (örneğin, %20’si). Bu, modelin öğrenme aşamasında kesinlikle görmediği, adeta kilitli bir kasada saklanan verilerdir. Bu bizim “final sınavımızdır”. Modelin ne kadar iyi öğrendiğini, yani genelleme yeteneğini, bu yepyeni veri seti üzerindeki performansıyla, yansız bir şekilde ölçeriz.

Neden Bu Kadar Önemli? Sınav Sonuçlarını Yorumlama

Bu ayrım, Overfitting ve Underfitting’i teşhis etmemizi sağlayan bir “doktor stetoskobu” gibidir:

• Overfitting Teşhisi (Ezberci Öğrenci):

  • Eğitim Seti Performansı: Çok Yüksek (örn: %99 başarı)
  • Test Seti Performansı: Düşük (örn: %60 başarı)
  • Yorum: Modelimiz ders notlarını ezberlemiş ama konunun ruhunu anlamamış. Yeni sorularla karşılaşınca çuvallıyor.

• Underfitting Teşhisi (Tembel Öğrenci):

  • Eğitim Seti Performansı: Düşük (örn: %55 başarı)
  • Test Seti Performansı: Düşük (örn: %50 başarı)
  • Yorum: Modelimiz derslere hiç çalışmamış. Ne ders notlarındaki soruları ne de final sınavındaki soruları çözebiliyor.

• İdeal Model (Altın Oran):

  • Eğitim Seti Performansı: Yüksek (örn: %88 başarı)
  • Test Seti Performansı: Yüksek ve Eğitime Yakın (örn: %86 başarı)
  • Yorum: Modelimiz konuyu gerçekten öğrenmiş! Hem ders notlarına hakim hem de final sınavında öğrendiklerini başarıyla uygulayabiliyor. İşte bu, genelleme yeteneği yüksek, sağlam bir modeldir.

Bu “eğitim/test” ayrımı, modern makine öğrenmesinin en temel ve en vazgeçilmez prensibidir. Bir sonraki bölümde, tidymodels ile ilk modelimizi kurarken yapacağımız ilk iş, bu stratejiyi R’da initial_split() fonksiyonuyla hayata geçirmek olacak.

5. Akademik Titizlik ve Kaynakça

Bu bölümde, makine öğrenmesinin temel sezgilerini aktarırken, bu alanı şekillendiren öncü isimlerin ve temel eserlerin bilgeliğinden yararlandık. Bir mimarın, kendinden önceki büyük ustaların eserlerini incelemesi gibi, biz de bu temel kaynaklara saygımızı sunarak kendi bilgi temelimizi sağlamlaştırıyoruz.

Bilgi, kendinden önceki devlerin omuzlarında yükselir.

Başvurulan Temel Eserler

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT press.

Hastie, T., Tibshirani, R., & Friedman, J. (2008). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). Springer.

James, G., Witten, D., Hastie, T., & Tibshirani, R. (2023). An introduction to statistical learning: With applications in R (2nd ed.). Springer.

Sutton, R. S., & Barto, A. G. (2018). Reinforcement learning: An introduction (2nd ed.). MIT press.

Bölüm 8.1 Özeti: Mimarlığın Temel Kuralları

Harika bir iş çıkardık dostlar!

Bu bölümde, hiç kod yazmadan, makine öğrenmesi dünyasının arkasındaki en temel kavramsal sezgileri inşa ettik. Artık biliyoruz ki:

• Makine öğrenmesi, bir “gurme şef” gibi veriden öğrenerek kendi kurallarını çıkarmaktır.
• Öğrenmenin üç ana felsefesi vardır: Denetimli, Denetimsiz ve Pekiştirmeli.
• İyi bir model, ne “ezberci” (overfitting / yüksek varyans) ne de “tembel” (underfitting / yüksek yanlılık) olmalıdır; Bias-Variance Dengesi’ni sağlayarak “altın oranı” bulmalıdır.
• Bir modelin genelleme başarısını ölçmenin en güvenilir yolu, onu daha önce hiç görmediği bir “final sınavına” (test seti) tabi tutmaktır.

Artık mimarlığın temel prensiplerini anladığımıza göre, baretlerimizi takıp, planlarımızı açıp, RStudio’da ilk projemizin temelini atma zamanı geldi. Teoriyi pratiğe dökme vakti!

Bir sonraki durağımız, Bölüm 8.2: İlk Planımız - Lineer Regresyon İnşa Etmek (tidymodels ile)!

Veriyle kalın, lütfen takipte kalın dostlar…