Araştırma Tasarımı, Yanlılık (Bias) ve Veri Toplama Yöntemleri
Hiçbir algoritma kötü toplanmış veriyi kurtaramaz. Bunu defalarca duymuşsundur ama gerçek anlamını ancak ilk büyük projende bir modelin sahada çuvalladığını görünce kavrarsın. Çünkü sorun genellikle modelde değil, verinin nasıl üretildiğinde yatar.
Bu derste modelleme öncesi aşamaya bakıyoruz: soruyu nasıl sorarsın, veriyi nasıl toplarsın ve hangi yanlılıklar sonucu sessizce bozar?
Araştırma Tasarımı Neden Önemli?
Veri analizi aşamasında yapılan hataların çoğu düzeltilebilir. Veri toplama aşamasında yapılan hataların çoğu düzeltilemez. Yanlış kişilere sorduysan, yanlış soruyu sorduysan ya da gruplar baştan farklıysa sonradan yapacağın hiçbir hesap bunu geri getirmez.
İyi bir tasarım üç soruyla başlar:
- Hangi anakütle hakkında konuşmak istiyorum?
- Hangi değişkenleri, hangi ölçekte ölçeceğim?
- Sonuçtan nedensel bir iddia mı çıkaracağım, yoksa sadece ilişkiyi mi göstereceğim?
Üçüncü soru seni iki ana yöntemden birine yönlendirir.
Gözlemsel Çalışma mı, Deney mi?
Gözlemsel Çalışma
Olanı olduğu gibi gözlemlersin, kimseye müdahale etmezsin. Müşterilerin geçmiş satın alma kayıtlarını incelemek buna örnektir.
- Avantajı: Ucuz, hızlı, çoğu zaman elinde hazır.
- Dezavantajı: Gruplar baştan farklı olabilir. Karıştırıcı değişkenler (confounders) nedeniyle nedensellik iddia etmek zordur.
Deney (Experiment)
Bir müdahaleyi sen uygularsın ve katılımcıları gruplara rastgele atarsın. A/B testleri tipik deneydir.
- Avantajı: Rastgele atama sayesinde gruplar ortalamada benzer olur. Fark çıkarsa müdahaleye bağlama şansın artar.
- Dezavantajı: Maliyetli olabilir, etik sınırlamaları olabilir, bazı müdahaleler uygulanamaz.
Rastgele atamanın gücü şuradan gelir: sen bilmediğin ve ölçemediğin faktörleri bile iki gruba eşit dağıtır.
Python ile Rastgele Atama
import numpy as np
rng = np.random.default_rng(7)
kullanicilar = np.arange(1000)
karisik = rng.permutation(kullanicilar)
kontrol = karisik[:500]
test = karisik[500:]
print(len(kontrol), len(test))Küçük bir kod ama ciddi bir kural: gruplara manuel ya da “ilk gelenler A, sonrakiler B” şeklinde atama yapma. Sabah gelen kullanıcılar akşam gelenlerden farklı olabilir.
Yanlılık (Bias) Nedir?
Yanlılık, tahminlerinin gerçek değerden sistematik olarak aynı yönde sapmasıdır. Rastgele hata, bir seferde yukarı bir seferde aşağı gider ve ortalamada kendini dengeler. Yanlılık dengelenmez. Örneklem büyüdükçe daha da inandırıcı bir şekilde yanlış sonuç verir.
Veri biliminde sık karşılaşılan yanlılık türleri şunlar:
Seçilim Yanlılığı (Selection Bias)
Örneklemin anakütleyi temsil etmeyen bir mekanizmayla seçilmesi. Ders 3’teki kredi örneği buradaydı.
Hayatta Kalma Yanlılığı (Survivorship Bias)
Yalnızca “ayakta kalanlara” bakıp elenenleri görmezden gelmek. Başarılı girişimlerin ortak özelliklerini inceleyip aynı özellikleri taşıyan ama batmış binlerce girişimi unutmak buna örnektir.
Yanıt Yanlılığı (Non-response Bias)
Ankete kimlerin yanıt verdiğinin rastgele olmaması. Çok memnun ya da çok kızgın olanlar daha çok yanıtlar.
Ölçüm Yanlılığı (Measurement Bias)
Ölçüm aracının sistematik olarak yanlış ölçmesi. Bozuk bir sensör, kötü sorulmuş bir anket sorusu ya da farklı bölgelerde farklı tanımlanan bir metrik.
Doğrulama Yanlılığı (Confirmation Bias)
Analisti, kafasındaki sonucu doğrulayan veriyi seçmeye yönlendirmesi. En tehlikelisi çünkü kendini fark etmezsin.
Bilgi Sızıntısı (Data Leakage)
Makine öğrenmesine özgü bir bozulma. Tahmin edeceğin şeyin gelecekteki bilgisinin özellikler arasına karışması. Örneğin ödeme yapılıp yapılmadığını tahmin ederken “tahsilat tarihi” sütununu modele vermek.
Simülasyon: Yanıt Yanlılığı Sonucu Nasıl Bozar?
Bir uygulamanın memnuniyet anketini düşün. Memnun olanlar ankete daha kolay yanıt veriyor.
import numpy as np
rng = np.random.default_rng(11)
# 10.000 kullanıcının gerçek memnuniyeti (0-10)
memnuniyet = np.clip(rng.normal(6, 2, 10_000), 0, 10)
# Memnuniyet arttıkça anket doldurma olasılığı artıyor
yanit_olasiligi = memnuniyet / 10
yanitladi = rng.random(10_000) < yanit_olasiligi
print("Gerçek ortalama: ", round(memnuniyet.mean(), 2))
print("Yanıt verenlerin ort.: ", round(memnuniyet[yanitladi].mean(), 2))
print("Yanıt veren sayısı: ", yanitladi.sum())Yanıt verenlerin ortalaması gerçek ortalamadan yukarıda çıkacak. Anket sayısını on katına çıkarsan yanlılık yok olmaz, sadece daha emin görünen bir yanlış elde edersin.
Veri Toplama Yöntemleri
Hangi yöntemi seçeceğin sorunun doğasına bağlıdır.
- Anketler: Büyük gruplardan algı ve tutum verisi toplamak için. Soru ifadesine çok duyarlıdır.
- Gözlem ve kayıt verileri: Log, işlem, sensör verileri. Hacimlidir ama kimin kayıtta olduğuna dikkat et.
- Deneyler: Nedensel iddia için. Rastgele atama şarttır.
- Görüşme ve odak grupları: Derinlemesine, nitel bilgi için. İstatistiksel genelleme için uygun değildir.
- İkincil veriler: Resmî kurumlar, açık veri portalları, mevcut veri tabanları. Verinin nasıl toplandığını mutlaka sorgula.
Soru Yazarken Dikkat Edilecekler
- Yönlendirici sorulardan kaçın: “Harika olan yeni tasarımımızı nasıl buldunuz?”
- Çift namlulu sorular sorma: “Fiyat ve kalitemizden memnun musunuz?”
- Ölçekleri tutarlı tut ve her seçenek net tanımlı olsun.
Acı Tecrübe: Karıştırıcı Değişkeni Görmemek
Bir e-ticaret firmasında “uygulamayı indiren müşteriler, indirmeyenlerden %40 fazla harcıyor” analizi yapılmıştı. Yönetim, uygulama indirme kampanyası için büyük bütçe ayırdı. Sonuç: harcamada ciddi bir değişim olmadı. Çünkü uygulamayı indiren kullanıcılar baştan sadık ve aktif müşterilerdi. Uygulama onları sadık yapmamıştı, sadık oldukları için uygulamayı indirmişlerdi. Gözlemsel veriden nedensel sonuç çıkarmanın bedeli buydu.
Ders 5 Kontrol Listesi
- Gözlemsel çalışma ile deney arasındaki farkı anlatabiliyorum.
- Rastgele atamanın neden önemli olduğunu biliyorum.
- Seçilim, hayatta kalma, yanıt ve ölçüm yanlılığını birer örnekle açıklayabiliyorum.
- Büyük örneklemin yanlılığı gidermediğini biliyorum.
- Anket sorularında yönlendirme ve çift namlulu soru hatalarını fark edebiliyorum.
- Veri sızıntısının ne olduğunu ve neden tehlikeli olduğunu biliyorum.
Sıkça Sorulan Sorular
Yanlılık (bias) nedir?
Tahminlerin ya da ölçümlerin gerçek değerden sistematik olarak aynı yönde sapmasıdır. Rastgele hatadan farklı olarak ortalamada kendini düzeltmez.
Rastgele hata ile yanlılık arasındaki fark nedir?
Rastgele hata yönü belli olmayan sapmadır ve örneklem büyüdükçe azalır. Yanlılık sistematik bir sapmadır ve örneklem büyüklüğüyle azalmaz.
Gözlemsel veriyle nedensellik kanıtlanabilir mi?
Kolay değildir. Karıştırıcı değişkenler yüzünden dikkatli olmak gerekir. Nedensel iddia için rastgele deney en güvenilir yoldur. Gözlemsel veri için ileri nedensel çıkarım teknikleri gerekir.
Rastgele atama ile rastgele örnekleme aynı şey mi?
Hayır. Rastgele örnekleme anakütleden kimlerin çalışmaya gireceğini belirler ve genellenebilirliği sağlar. Rastgele atama katılımcıların hangi gruba gideceğini belirler ve nedensellik iddiasını güçlendirir.
Veri sızıntısı nasıl fark edilir?
Modelin şüpheli derecede yüksek başarı göstermesi bir işaret olabilir. Özellik önem sıralamasında beklenmedik bir değişkenin tek başına baskın çıkıyorsa onun zamanlamasını sorgula.
İlk modülü tamamladın. Bir sonraki derste betimsel istatistiklere geçiyoruz. Veriyi özetlemenin ilk adımı olan merkezi eğilim ölçülerini, yani ortalama, medyan ve modun ne zaman hangisinin seçileceğini inceleyeceğiz.







