R Programlama Serisi Bölüm 8.6: K-En Yakın Komşu (k-NN) Algoritması - Sezgisel ve Tehlikeli Bir Yolculuk Kısım 1
1. Giriş: Makine Öğreniminde k-NN’in Yeri ve Temel Kavramlar
Merhaba Dostlar,
Giriş:
Şimdiye kadar doğrusal ilişkileri modellemek için Lineer Regresyon ve sınıflandırma için Lojistik Regresyon gibi parametrik modellere odaklandık. Bu modeller, verilerdeki belirli bir matematiksel denklemi veya ilişkiyi öğrenmeye çalışır. Ancak her zaman veriler bu kadar düzenli bir matematiksel yapıya sahip olmayabilir. İşte tam bu noktada, farklı bir felsefeye sahip, parametrik olmayan modeller devreye girer. K-En Yakın Komşu (k-NN) algoritması, bu parametrik olmayan modellerin en temel ve sezgisel örneklerinden biridir.
k-NN Algoritmasına İlk Adım: Komşu Kavramı
K-NN’in kalbinde “komşuluk” kavramı yatar. Günlük hayatta hepimiz, bir konu hakkında bilgi edinmek istediğimizde çevremizdeki insanlara, yani “komşularımıza” danışırız. Örneğin, yeni bir şehre taşındığınızda iyi bir restoran bulmak için en yakınınızdaki komşularınıza sormak, k-NN’in çalışma prensibine oldukça benzer.
“Yakınlık” veya “Benzerlik” Ne Anlama Gelir?
Makine öğreniminde “yakınlık” veya “benzerlik” kavramı, veri noktaları arasındaki mesafelerle ölçülür. Bir veri noktası, özellik uzayında (örneğin, 2 boyutlu bir grafikteki x ve y koordinatları gibi) diğer bir noktaya ne kadar az uzaklıktaysa, o kadar “yakın” veya “benzer” kabul edilir. Bu mesafe, genellikle Öklid veya Manhattan gibi matematiksel metriklerle hesaplanır.
Sezgisel Olarak Neden Komşular Önemlidir?
Makine öğreniminde de aynı mantık geçerlidir: Eğer bir veri noktası, belirli bir özelliğe (etiket veya sınıf) sahip başka noktalara çok yakınsa, bu yeni noktanın da benzer bir özelliğe sahip olma olasılığı yüksektir. Örneğin, belirli yaş ve maaş aralığındaki insanların belirli bir ürünü alma olasılığı yüksekse, benzer yaş ve maaşa sahip yeni bir kişinin de bu ürünü alma olasılığının yüksek olduğunu varsayarız.
Temel Tanımlar ve Terminoloji
Makine öğrenimi algoritmalarını anlamak için bazı temel terimlerini tekrar bir hatırlayalım:
-Özellikler (Features): Bir veri noktasını tanımlayan öznitelikler veya değişkenlerdir. Örneğin, bir kişinin yaşı, maaşı, eğitim seviyesi gibi bilgiler birer özelliktir. Bu özellikler, modelin tahmin yapmak için kullandığı girdilerdir.
-Hedef Değişken (Target Variable): Modelin tahmin etmeye çalıştığı değişkendir. Sınıflandırma problemlerinde “etiket” (label) veya “sınıf” (class), regresyon problemlerinde ise sürekli bir değerdir. Örneğin, bir kişinin belirli bir ürünü alıp almayacağı (Evet/Hayır) veya bir evin fiyatı hedef değişkendir.
-Eğitim Seti (Training Set): Modelin öğrenme veya “eğitim” yaptığı veri kümesidir. Algoritma, bu set üzerindeki özellikler ve hedef değişken arasındaki ilişkileri öğrenir.
-Test Seti (Test Set): Modelin eğitim sonrası performansını değerlendirmek için kullanılan, eğitim setinde görülmemiş bağımsız veri kümesidir. Bu set, modelin genelleme yeteneğini ölçmek için kritiktir.
-Etiket (Label) / Sınıf (Class): Özellikle sınıflandırma problemlerinde, bir veri noktasının ait olduğu kategoridir. Örneğin, “iyi müşteri” veya “kötü müşteri” birer etikettir.
Neden k-NN? Avantajları ve Dezavantajları (İlk Bakış)
Her algoritmanın kendine özgü avantajları ve dezavantajları vardır. k-NN’in temel özelliklerine kısa bir göz atalım:
Avantajları:
-Basitlik ve Yorumlanabilirlik: K-NN’in çalışma prensibi oldukça basittir ve kolayca anlaşılabilir. “Komşuya sor” mantığı, karmaşık matematiksel denklemlerden uzak, sezgisel bir yaklaşım sunar.
-Esneklik: Parametrik bir model olmadığı için, verilerdeki karmaşık ve doğrusal olmayan ilişkileri yakalayabilir. Belirli bir veri dağılımı varsayımı yapmaz.
-Bellek Tabanlı (Lazy Learner): Eğitim aşamasında model oluşturmaz, bu da onu “tembel” bir öğrenici yapar. Bu durum, veri yapısının önceden bilinmediği durumlarda faydalı olabilir.
Dezavantajları:
-Hesaplama Maliyeti: Özellikle büyük veri setlerinde, her yeni tahmin için tüm eğitim verisi taranıp mesafelerin hesaplanması gerektiğinden hesaplama açısından pahalı olabilir.
-Boyutluluk Laneti (Curse of Dimensionality): Özellik sayısı arttıkça, veri noktaları arasındaki mesafeler anlamsızlaşmaya başlar, bu da algoritmanın performansını düşürür. Bu, k-NN için önemli bir problemdir ve ilerleyen bölümlerde detaylandıracağız.
-Ölçeklendirmeye Duyarlılık: Farklı ölçeklerdeki özellikler, mesafe hesaplamalarını bozabilir. Bu nedenle, k-NN kullanmadan önce özellik ölçeklendirme hayati öneme sahiptir.
2. Temeller ve Felsefe
K-En Yakın Komşu (k-NN), makine öğreniminin en basit ve en sezgisel algoritmalarından biridir. Temel prensibi, yeni bir veri noktasının sınıfını veya değerini, ona en yakın olan k adet komşusunun etiketlerine bakarak belirlemektir.
Neden “Tembel Öğrenme”?
K-NN, diğer birçok algoritmanın aksine, eğitim aşamasında bir model oluşturmak veya parametre öğrenmek için karmaşık hesaplamalar yapmaz. Bunun yerine, tüm eğitim verisini olduğu gibi saklar. “Öğrenme” süreci, yeni bir veri noktası geldiğinde, yani tahmin yapılması gerektiğinde gerçekleşir. Bu nedenle “tembel öğrenme” (lazy learning) olarak adlandırılır.
“Lazy in Training, Eager in Prediction” (Eğitimde tembel, tahminde hevesli) ifadesi, K-En Yakın Komşular (k-NN) gibi bazı makine öğrenmesi algoritmalarını tanımlamak için kullanılan kısa ve etkileyici bir sözdür.
Anlamı:
Lazy in Training (Eğitimde tembel):
kNN modeli, klasik anlamda bir eğitim (training) sürecinden geçmez. Veriyi sadece hafızasında tutar (örneğin: eğitim verilerini kaydeder) ama bu aşamada model parametrelerini öğrenmez, karmaşık hesaplamalar yapmaz.
- Yani “tembel” çünkü hiçbir şey öğrenmez, sadece bekler.
Eager in Prediction (Tahminde hevesli):
Ancak tahmin (prediction) zamanı geldiğinde oldukça “aktif” olur. Yeni bir örnek geldiğinde, tüm eğitim verisine bakar, en yakın komşuları bulur, uzaklıkları hesaplar ve sınıf kararını verir.
- Yani “hevesli” çünkü o anda tüm işi birden yapar.
| Aşama | kNN’nin davranışı | Açıklama |
|---|---|---|
| Eğitim (Training) | Tembel | Sadece veriyi saklar, model oluşturmaz |
| Tahmin (Prediction) | Hevesli | Her yeni veri geldiğinde tüm eğitim verisine göre hesaplama yapar |
Bu yüzden kNN, “lazy learner (tembel öğrenci)” olarak da bilinir.
“Benzer Komşular, Benzer Etiketlere Sahiptir” Varsayımı
K-NN’in temel varsayımı, bir veri noktasının, özellik uzayında (feature space) kendine yakın olan noktalarla benzer bir etikete (sınıf veya değer) sahip olması gerektiğidir. Bu, dünyadaki birçok olguda geçerli olan yaygın bir prensiptir; örneğin, coğrafi olarak yakın olan insanların benzer tercihlere sahip olması beklenebilir.
Karar Sınırı’nın Oluşumu
K-NN’in karar sınırı (decision boundary), Lojistik Regresyon gibi parametrik modellerin aksine, doğrusal olmak zorunda değildir. Veri dağılımına göre oldukça esnek ve karmaşık olabilir. Aslında, k-NN’in karar sınırı, bölgeleri komşuluk ilişkilerine göre ayıran Voronoi diyagramlarına benzer bir yapıya sahiptir.
Aşağıdaki görsel, k-NN’in temel prensibini ve farklı k değerlerinde karar sınırının nasıl değişebileceğini göstermektedir.
k Değerinin Esnekliğe Etkisi ve Riski:
k değerinin seçimi, modelin esnekliği ve genellenebilirlik yeteneği üzerinde doğrudan bir etkiye sahiptir. Yanlış k değeri seçimi, modelin aşırı veya yetersiz öğrenmesine (overfitting/underfitting) yol açabilir:
Çok küçük bir k değeri seçilmesi durumunda “overfitting” (aşırı öğrenme) riski:
Model, eğitim verisindeki gürültüye ve aykırı değerlere aşırı duyarlı hale gelir. Karar sınırları çok girintili ve çıkıntılı olur, eğitim verisine mükemmel uyar ancak yeni, görünmeyen verilerde kötü performans gösterir. Model, eğitim verisinin “ezberini” yapar, ancak genel örüntüleri öğrenmez.
Çok büyük bir k değeri seçilmesi durumunda ise “underfitting” (yetersiz öğrenme) riski:
