İstatistik Nedir? Veri Bilimi ve Analitiğindeki Kritik Rolü
Bir veri bilimi ekibinde ilk haftanı düşün. Önüne 200 bin satırlık bir müşteri tablosu konuyor ve “Churn’ü tahmin eden bir model kur” deniyor. Kütüphaneyi import ediyorsun, modeli eğitiyorsun, doğruluk %93 çıkıyor. Herkes mutlu. Üç hafta sonra model canlıya çıkıyor ve ilk ayda neredeyse hiçbir şeyi doğru bilemiyor.
Ne oldu? Veride müşterilerin yalnızca %4’ü ayrılmıştı. Model herkese “kalacak” deseydi zaten %96 doğruluk yakalardı. Bunu gören biri istatistik bilen biriydi.
Bu seriye o yüzden istatistikle başlıyoruz. Kod yazmayı sonra da öğrenirsin, ama verinin ne söylediğini ve neyi söyleyemediğini anlamadan yazdığın her model bir tahmin değil, bir şans oyunudur.
İstatistik Nedir?
İstatistik, veriyi toplama, düzenleme, özetleme ve yorumlama bilimidir. Belirsizlik altında karar vermenin yöntemini de kapsar. Bu ikinci kısım çoğu zaman gözden kaçar.
Dünyayı hiçbir zaman tam olarak görmeyiz. Tüm müşterilerini değil bir kısmını ölçersin. Tüm hastaları değil çalışmaya katılanları incelersin. İstatistik, elindeki sınırlı parçadan bütün hakkında ne kadar emin konuşabileceğini hesaplayan araç setidir.
İstatistiğin İki Ana Dalı
- Betimsel (tanımlayıcı) istatistik: Elindeki veriyi özetler. Ortalama, medyan, standart sapma, grafikler, frekans tabloları bu dala girer.
- Çıkarımsal (yorumlayıcı) istatistik: Elindeki küçük parçadan, görmediğin büyük bütün hakkında sonuç çıkarır. Güven aralıkları, hipotez testleri ve regresyon buraya aittir.
Bu serinin ilk iki modülü betimsel tarafa, sonrası çıkarımsal tarafa yoğunlaşıyor. Veri biliminde ikisini de ezbere bilmek gerekir.
Veri Biliminde İstatistik Tam Olarak Nerede Kullanılır?
Genelde “istatistik teori, veri bilimi pratik” diye bir ayrım yapılır. Bence bu ayrım yanlış. İşin pratik kısmının neredeyse her adımında bir istatistik kavramı çalışıyor.
| Veri bilimi adımı | Kullanılan istatistik |
|---|---|
| Veriyi tanımak (EDA) | Ortalama, medyan, dağılım, çarpıklık, aykırı değer analizi |
| Veri temizleme | Eksik veri mekanizmaları, aykırı değer kuralları |
| Özellik mühendisliği | Standardizasyon, korelasyon, boyut indirgeme |
| Modelleme | Regresyon, olasılık dağılımları, Bayes teoremi |
| Model değerlendirme | Güven aralıkları, çapraz doğrulama, hipotez testleri |
| Ürün kararları | A/B testleri, etki büyüklüğü, güç analizi |
Bir lojistik regresyon modelini kuruyorsan aslında bir istatistik modeli kuruyorsundur. Bir A/B testi sonucuna bakıyorsan hipotez testi yorumluyorsundur. “Makine öğrenmesi” ve “istatistik” arasındaki sınır, çoğu zaman amaçta yatar. İstatistik açıklamaya ve çıkarıma, makine öğrenmesi tahmine daha çok yaslanır. Ama aynı matematiğin üzerinde çalışırlar.
Küçük Bir Uygulama: Veri Önce Özetlenir
Şimdi ilk pratiğimizi yapalım. Bir e-ticaret sitesinin sepet tutarlarından oluşan küçük bir veri seti düşün. Sayıları ben uydurdum ama gerçek dünyadaki gibi sağa çarpık olsun diye birkaç yüksek sepet bıraktım.
import pandas as pd
sepet = pd.Series([120, 95, 130, 110, 105, 98, 140, 125, 115, 2400])
print(sepet.describe())
print("Medyan:", sepet.median())Çıktıya bak. Ortalama yaklaşık 344 TL çıkacak, medyan ise 117.5 TL. Aralarındaki bu uçurum, tek bir 2400 TL’lik sepetin yarattığı sapma. Rapora “ortalama sepet tutarımız 344 TL” yazarsan, pazarlama ekibi bütçesini yanlış bir müşteri profiline göre yapar.
R ile aynı şeyi şöyle yaparsın:
sepet <- c(120, 95, 130, 110, 105, 98, 140, 125, 115, 2400)
summary(sepet)
sd(sepet)Burada öğrenmen gereken şey komutlar değil. Tek bir sayıyla yetinmemek gerektiği. Ortalama, medyan ve yayılım birlikte okunmadan veri anlaşılmış sayılmaz. Bunları Modül 2’de ayrıntısıyla işleyeceğiz.
Acı Tecrübeler: İstatistik Bilmeyenlerin Düştüğü Tuzaklar
Kariyerimin ilk yıllarında bunların neredeyse hepsini bizzat yaşadım. Sana bir sürü hata yapmadan öğrenme şansı veriyorum, değerlendir.
1. p-değerini “kesin doğru” sanmak
Bir testten p = 0.03 çıktı diye “fark gerçek” demek cazip gelir. Oysa p-değeri, farkın gerçek olma olasılığını söylemez. Sadece “H0 doğru olsaydı bu kadar uç bir sonucu görme ihtimalim ne olurdu” sorusunu cevaplar. İki ayrı soru bunlar. Modül 6’da bunu uzun uzun konuşacağız.
2. Korelasyonu nedensellikle karıştırmak
Bir keresinde dondurma satışlarıyla boğulma vakaları arasında güçlü bir ilişki bulan bir analiz okumuştum. Her ikisi de sıcak havalarla artıyordu. Gizli değişken (hava sıcaklığı) devredeydi. Böyle bir yanılgıyla, “dondurma yasaklansın” diyen bir öneri bile yazılabilir.
3. Verinin normal dağıldığını varsaymak
Pek çok test normal dağılım ister. Peki gerçek veri bunu ister mi? Gelir, sepet tutarı, bekleme süresi gibi değişkenler neredeyse hiçbir zaman normal dağılmaz. Histogram çizmeden test seçmek, hasta muayene etmeden ilaç yazmaya benzer.
4. Aykırı değerleri körü körüne silmek
Yukarıdaki 2400 TL’lik sepeti sil ve sonuçları “temizle”. Ama o sepet, şirketin en değerli müşterisine ait olabilir. Aykırı değer silmek bir karardır, bir otomatik temizlik adımı değildir. Önce neden oluştuğunu anlamalısın.
5. Güven aralığını yanlış okumak
“%95 güven aralığı, gerçek değerin %95 ihtimalle bu aralıkta olduğunu söyler” cümlesi çok yaygın. Ve teknik olarak yanlış. Doğru yorumu Modül 5’te detaylandıracağız, şimdilik sadece şunu bil: bu cümleyi her duyduğunda içinden bir ses “dur” desin.
Bu Serinin Sana Kazandıracağı Bakış Açısı
Önümüzdeki 48 derste şunları yapacağız:
- Veriyi tanıyıp doğru ölçek ve tipte ele almayı öğreneceğiz.
- Betimsel istatistikle veriyi özetleyip görselleştireceğiz.
- Olasılık ve dağılımlarla belirsizliğin matematiğini kuracağız.
- Örnekleme ve güven aralıklarıyla küçük parçadan büyük resmi okuyacağız.
- Hipotez testleriyle gerçek kararlar vereceğiz.
- Korelasyon ve regresyonla ilişkileri modelleyeceğiz.
- Lojistik regresyon, PCA ve zaman serileriyle makine öğrenmesinin eşiğine ulaşacağız.
Her derste önce kavramı, sonra veri biliminde nerede kullanıldığını, ardından kodunu göreceksin.
Ders 1 Kontrol Listesi
- İstatistiği tek cümleyle tanımlayabiliyorum.
- Betimsel ve çıkarımsal istatistiğin farkını biliyorum.
- Bir veri bilimi projesinin hangi adımında hangi istatistiksel araca ihtiyaç duyulduğunu sayabiliyorum.
- Ortalama ile medyanın neden bazen çok farklı çıkabileceğini açıklayabiliyorum.
- Yukarıdaki 5 klasik hatayı tanıyorum.
Sıkça Sorulan Sorular
İstatistik ile veri bilimi aynı şey mi?
Hayır. İstatistik, veri biliminin temel disiplinlerinden biridir. Veri bilimi buna programlama, alan bilgisi ve veri mühendisliği becerilerini ekler. İstatistik bilmeden veri bilimi yapmak mümkün ama güvenilir sonuç üretmek çok zor.
Veri bilimi için hangi istatistik konuları şart?
Betimsel istatistik, olasılık, dağılımlar, örnekleme, güven aralıkları, hipotez testleri ve regresyon çekirdeği oluşturur. Seri bu sırayla ilerliyor.
İstatistik için matematik düzeyim ne olmalı?
Lise düzeyi cebir yeterli bir başlangıç. Türev ve integrale ihtiyaç duyan kısımları sezgisel anlatacağım, formülleri kodla somutlaştıracağım.
R mı Python mı öğrenmeliyim?
İkisi de iş görür. Python veri bilimi ekosisteminde daha yaygın, R ise istatistiksel analizde çok güçlü. Bu seride ikisini de göreceksin.
Makine öğrenmesi varken klasik istatistik hâlâ gerekli mi?
Evet. Model değerlendirmeden A/B testine, veri kalitesi kontrolünden belirsizlik ölçümüne kadar pek çok kritik adım istatistiksel düşünce ister.
Bir sonraki derste, verinin ham maddesini inceleyeceğiz: veri tipleri ve ölçek türleri. Bir sütunun sayı olması, sayı gibi davranması gerektiği anlamına gelmez.







