Aykırı Değerler (Outliers): İstatistiksel Tespiti ve Veriye Etkisi
Aykırı değerler hakkında sana en önemli şeyi baştan söyleyeyim: aykırı değer bir hata olabilir, bir keşif olabilir, ya da verinin kendisi olabilir. Hangisi olduğunu anlamadan sildiysen, bilgiyi çöpe atmış olabilirsin.
Aykırı Değer Nedir?
Aykırı değer (outlier), verinin genel örüntüsünden belirgin biçimde uzakta duran gözlemdir. “Belirgin” kelimesi tartışmalı, çünkü kesin bir tanım yok. İstatistiksel kurallar yalnızca “bu değer şüpheli, bak” der. Karar sana ait.
Aykırı Değerler Nereden Gelir?
- Veri giriş hataları: Yaş sütununda 250, fiyat sütununda fazladan sıfır.
- Ölçüm hataları: Bozuk sensör, kopan bağlantı.
- Sistem kaynaklı değerler: -999 ya da 9999 gibi “bilinmiyor” kodları. Bunlar aykırı değer değil, eksik veridir.
- Gerçek ama nadir olaylar: Kampanya günü satışı, bir VIP müşterinin alışverişi, dolandırıcılık işlemi.
- Farklı bir alt gruba ait gözlemler: Kurumsal müşteriyle bireysel müşteri aynı tabloda ise ikisi farklı populasyondur.
İlk üçü temizlenir ya da düzeltilir. Son ikisi çoğu zaman analizin en değerli kısmıdır. Kredi kartı sahtekârlığını tespit eden bir modelin işi tam olarak aykırı değeri bulmaktır.
Tespit Yöntemleri
1. Görselleştirme
Önce boxplot, histogram ve dağılım grafiğine bak. Sayısal bir kural uygulamadan önce gözünle görmek, kuralın seni yanıltıp yanıltmadığını anlaman için ilk adımdır.
2. IQR Kuralı (Tukey Çitleri)
Ders 7’de gördüğümüz çeyrekler açıklığı burada işe yarar.
- Alt sınır: Q1 − 1,5 × IQR
- Üst sınır: Q3 + 1,5 × IQR
Bu sınırların dışındaki gözlemler aykırı adayıdır. Çarpık verilerde ve normal olmayan dağılımlarda ilk tercih olmalı çünkü ortalamaya ve standart sapmaya değil, çeyreklere dayanır. Daha katı bir ölçüt için 3 × IQR kullanılabilir.
3. Z-Skoru Yöntemi
Her değerin ortalamadan kaç standart sapma uzakta olduğunu hesaplarsın:
z = (x − x̄) / s
Genelde |z| > 3 olanlar aykırı kabul edilir. Normal dağılıma yakın verilerde iyi çalışır.
Ama bu yöntemin ciddi bir zaafı var. Ortalama ve standart sapma, aykırı değerin kendisinden etkilenir. Aykırı değer standart sapmayı şişirir ve kendi z-skorunu küçültür. Buna maskeleme (masking) denir.
4. Değiştirilmiş Z-Skoru (MAD)
Ortalama yerine medyan, standart sapma yerine medyan mutlak sapma (MAD) kullanır. Aykırı değerlere karşı çok daha dayanıklıdır.
M = 0,6745 × (x − medyan) / MAD
| M | > 3,5 olan değerler aykırı adayıdır. |
|---|
Uygulama: Üç Yöntem Yan Yana
Ders 7’deki teslimat süreleri verisini tekrar kullanalım. Dokuz sipariş 4 ile 7 dakika arasında, bir sipariş 90 dakika sürmüş.
import numpy as np
import pandas as pd
sure = pd.Series([4, 5, 6, 5, 7, 6, 5, 4, 6, 90])
# IQR kuralı
q1, q3 = sure.quantile(0.25), sure.quantile(0.75)
iqr = q3 - q1
alt, ust = q1 - 1.5 * iqr, q3 + 1.5 * iqr
print("IQR kuralı ile aykırı:", sure[(sure < alt) | (sure > ust)].tolist())
# Z-skoru
z = (sure - sure.mean()) / sure.std()
print("Z-skoru (90 için):", round(z.iloc[-1], 2))
print("|z|>3 ile aykırı:", sure[abs(z) > 3].tolist())
# Değiştirilmiş z (MAD)
medyan = sure.median()
mad = (sure - medyan).abs().median()
mz = 0.6745 * (sure - medyan) / mad
print("MAD ile aykırı:", sure[abs(mz) > 3.5].tolist())Burada çarpıcı bir sonuç göreceksin:
- IQR kuralı ve MAD 90’ı yakalar.
- Z-skoru 90 için yaklaşık 2,84 verir. 3’ü geçemez, yani yöntem 90’ı kaçırır.
Küçük örneklemde tek bir uç değer standart sapmayı öyle şişirir ki kendisini gizler. Sadece z-skoruna güvenen bir analizci bu satırı fark etmeyebilir.
R’da IQR kuralı:
sure <- c(4, 5, 6, 5, 7, 6, 5, 4, 6, 90)
b <- boxplot.stats(sure)
b$out # aykırı değerler
# Elle IQR
q <- quantile(sure, c(0.25, 0.75))
iqr <- q[2] - q[1]
sure[sure < q[1] - 1.5*iqr | sure > q[2] + 1.5*iqr]Aykırı Değerin Veriye Etkisi
Bu veride 90’ı çıkarırsan şunlar olur:
- Ortalama 13,8 dakikadan 5,3 dakikaya düşer.
- Medyan 5,5 dakikada kalır. Zaten ondan etkilenmemişti.
- Standart sapma yaklaşık 26,8’den 1,0’a iner.
Tek gözlem, ortalamayı yaklaşık 2,6 katına çıkarmış. Regresyonda ise bir aykırı değer eğim çizgisini kendine doğru çeker. Özellikle düşük örneklemde modelin tamamını bozabilir. Bu etki için “kaldıraç (leverage)” ve “etkili gözlem (influence)” kavramlarını Modül 7’de göreceğiz.
Aykırı Değerlerle Ne Yapılır?
Seçeneklerin şunlar:
- Araştır: Önce nereden geldiğini bul. Bu her zaman ilk adımdır.
- Düzelt: Açık bir giriş hatasıysa (örneğin ondalık hatası) doğru değerle değiştir.
- Eksik veri olarak işaretle: Sistem kodları (-999) buraya girer.
- Dönüştür: Log dönüşümü uç değerlerin etkisini sıkıştırır.
- Sınırlandır (winsorizing): Uç değerleri belirli bir yüzdelik değere çekersin. Örneğin %99’un üzerini %99’luk değere eşitlersin.
- Dayanıklı yöntemler kullan: Medyan, IQR, dayanıklı regresyon (Huber gibi) ya da ağaç tabanlı modeller.
- Olduğu gibi bırak: Gerçek ve anlamlıysa ve analiz hedefin buysa.
- Sil: Yalnızca açık bir gerekçe varsa. Gerekçeni belge halinde yaz.
# Winsorizing örneği
from scipy.stats.mstats import winsorize
sinirli = winsorize(sure.values, limits=[0, 0.1])
print(sinirli)Acı Tecrübe: Körü Körüne Silmek
Bir perakende projesinde “|z| > 3 olanları sil” kuralını otomatik uygulayan bir boru hattı kurmuştum. Birkaç hafta sonra pazarlama ekibi, modelin büyük kampanya günlerini hiç tahmin edemediğinden yakındı. Neden? Kampanya günü satışları “aykırı” diye eğitim verisinden atılmıştı. Model o günleri hiç görmemişti ve doğal olarak ne olacağını bilmiyordu.
Aykırı değer silmek bir iş kararıdır. Otomatik temizlik adımı gibi davranmak, hem bilgiyi hem de modelin yeteneğini kaybettirir.
Ders 9 Kontrol Listesi
- Aykırı değerin olası kaynaklarını (hata, sistem kodu, gerçek nadir olay) ayırt edebiliyorum.
- IQR kuralını hesaplayabiliyorum.
- Z-skorunun maskeleme sorununu ve neden küçük örneklemde yanıltabileceğini biliyorum.
- MAD tabanlı yöntemin neden dayanıklı olduğunu açıklayabiliyorum.
- Silmeden önce araştırma yapmam gerektiğini biliyorum.
- Winsorizing ve dönüşümün alternatif olarak mümkün olduğunu biliyorum.
Sıkça Sorulan Sorular
Aykırı değer nedir?
Verinin genel örüntüsünden belirgin şekilde uzakta duran gözlemdir. Hata olabileceği gibi gerçek ve önemli bir olayı da temsil edebilir.
Aykırı değerler her zaman silinmeli mi?
Hayır. Yalnızca hata olduğundan eminsen ya da analizin kapsamı dışındaysa silinir. Gerçek ve anlamlı bir değeri silmek bilgiyi yok eder.
IQR kuralı ile z-skoru arasındaki fark nedir?
IQR kuralı çeyreklere dayanır ve çarpık verilerde de dayanıklıdır. Z-skoru ortalama ve standart sapmaya dayanır, aykırı değerin kendisinden etkilenir ve normal dağılım varsayar.
Aykırı değerler makine öğrenmesi modelini nasıl etkiler?
Doğrusal regresyon ve mesafe tabanlı algoritmalar (k-NN, k-means) aykırı değerlere çok duyarlıdır. Karar ağaçları ve rastgele ormanlar daha dayanıklıdır.
Winsorizing nedir?
Uç değerleri silmek yerine belirli bir yüzdelik değerle sınırlandırma işlemidir. Gözlem sayısı korunur ama uç değerlerin etkisi azalır.
Sıradaki dersle Modül 2’yi bitiriyoruz: frekans tabloları ve çapraz tablolar ile kategorik verileri özetlemeyi göreceğiz.







