İstatistikler Ne Zaman Yanıltır? Dürüst Hatadan Kasıtlı Manipülasyona

Geniş anlamda istatistiksel hata

İstatistiksel hata dediğimizde genellikle temelde dürüst bir bilimsel süreç içindeki yanlışları düşünürüz: uygun olmayan örneklem, ölçüm hatası, yanlış model, korelasyonun nedensellikle karıştırılması veya aşırı ekstrapolasyon. İnsanlar gerçeği doğru betimlemeye çalışır ama hata yapar.

Bu, sorunun yalnızca bir bölümüdür. Hesaplamanın kendisi doğru olsa bile sayılar yanlış bir tablo yaratabilir. Araştırmacının beklentileri, kariyer teşvikleri, sponsorlar, siyasi hedefler, ideoloji, seçici yayın ve bilinçli sunum, hangi sayıların görünür olacağını belirleyebilir.

1. Dürüst bir bilim insanı da önyargılı olabilir

Bilim insanları da insandır. Bir hipotezi makul bulan araştırmacı, farkında olmadan beklenen sonucu destekleyen kararlar verebilir: Hangi gözlem aykırı değer sayılacak? Hangi alt grup analiz edilecek? Hangi sonuç değişkeni öne çıkarılacak? Veri toplama ne zaman bitecek? İstatistiksel olarak savunulabilir yöntemlerden hangisi seçilecek?

Bu seçimler otomatik olarak sahtekârlık değildir. Çok sayıda analiz seçeneği denenip yalnızca çarpıcı sonuç raporlandığında sorun büyür. Bununla ilişkili bir uygulama HARKingdir — “Hypothesizing After the Results are Known”: hipotezin sonuçlar görüldükten sonra oluşturulup daha sonra baştan planlanmış gibi sunulması. Norbert Kerr bu terimi 1998’de ortaya koydu.

Dolayısıyla dürüst hata ile kasıtlı çarpıtma arasında önemli bir gri alan vardır. Araştırmacı titiz çalıştığına gerçekten inanabilir; yine de beklentileri analiz seçimini ve yorumu etkileyebilir.

2. Önyargı ne zaman bilimsel usulsüzlüğe dönüşür?

Veriler uydurulduğunda, değiştirildiğinde veya araştırma kaydı gerçekte olanı artık doğru yansıtmayacak biçimde kasıtlı olarak çıkarıldığında daha açık bir sınır aşılmış olur. ABD Office of Research Integrity, fabrication (veri/sonuç uydurma), falsification (malzeme, süreç veya verileri yanıltıcı biçimde değiştirme ya da çıkarma) ve intihali dürüst hatadan açıkça ayırır.

Bu yüzden tüm vakaları “kötü bilim insanları” başlığı altında toplamak doğru değildir. Bilinçsiz doğrulama önyargısından tartışmalı araştırma uygulamalarına ve kasıtlı aldatmaya uzanan bir süreklilik vardır; bilinçli sahtekârlık suçlaması kanıt gerektirir.

3. Sponsor: on araştırma — ama yalnızca biri görünür mü?

Bir şirketin ürününün zararsız, hatta yararlı olup olmadığını bilmek istediğini düşünelim. On araştırmayı finanse ediyor. Dokuzu yarar bulmuyor veya beklenen mesaja ters düşüyor; biri olumlu sonuç veriyor. Eğer kamuoyuna, medyaya ve siyasetçilere esas olarak bu tek çalışma gösterilirse genel tablo radikal biçimde çarpıtılabilir.

Buradaki “on” belirli bir olayı anlatan sayı değil, düşünce deneyidir. Ancak alttaki mekanizmalar — yayın yanlılığı ve seçici raporlama — iyi belgelenmiştir. Bir Cochrane incelemesi, pozitif sonuçlu klinik çalışmaların negatif veya null sonuçlu çalışmalara göre çok daha sık yayımlandığını buldu. Başka bir Cochrane incelemesi, endüstri sponsorlu ilaç ve tıbbi cihaz çalışmalarının, başka kaynaklarla finanse edilen çalışmalara kıyasla sponsorun ürünü lehine etkinlik sonuçları ve sonuç cümleleri bildirmeye daha yatkın olduğunu gösterdi.

ABD FDA’ya kayıtlı 74 antidepresan çalışmasının analizi özellikle öğreticidir. Yayımlanmış literatürde yayımlanan çalışmaların %94’ü pozitif görünüyordu. FDA değerlendirmesine göre ise kayıtlı çalışmaların yalnızca %51’i pozitifti. Negatif veya kuşkulu 22 çalışma yayımlanmamıştı; 11 çalışma ise yazarların değerlendirmesine göre pozitif sonuç izlenimi verecek biçimde yayımlanmıştı. Araştırmacılar, bu çarpıtmanın yazarlar, sponsorlar, dergiler ya da bunların bir birleşiminden mi kaynaklandığını verilerinin belirleyemediğini özellikle vurguladı.

Tütün: şüphe üretmek

Tütün sektörü olağanüstü iyi belgelenmiş bir örnektir; çünkü davalar sonucunda çok sayıda iç şirket belgesi kamuya açıldı. Dünya Sağlık Örgütü, bilimsel araştırmayı itibarsızlaştırma, araştırmayı finanse etme ve politikayı etkileme stratejilerini anlatır. Almanya’ya odaklanan bir çalışma, iç belgelerde görülen mekanizmaları beş başlıkta topladı: suppression, dilution, distraction, concealment ve manipulation.

Amaç her zaman açıkça yanlış bir karşı iddiayı kanıtlamak olmayabilir. Bilimin hâlâ tamamen belirsiz olduğu izlenimini yaratmak yeterli olabilir. Belirsizlik üretilirse, güçlü kanıt siyasi olarak olduğundan daha zayıf görünebilir.

Alkol: sahtekârlık varsaymadan çıkar çatışmasını görmek

Alkol endüstrisinin bilimle ilişkisi konusunda da bilimsel tartışmalar vardır. Alkol araştırma topluluğunun görüşlerini inceleyen sistematik bir derleme; üniversite araştırmacılarına ve merkezlerine doğrudan finansman, sözleşmeli araştırma, bilimsel kuruluşların desteklenmesi ve araştırma ile alkol politikası hakkındaki kamu algısını etkileme girişimleri gibi kaygıları ele alır. Bu, endüstri tarafından finanse edilen her çalışmanın yanlış olduğunu kanıtlamaz. Ancak finansman, çalışma tasarımı, sonuçların eksiksiz raporlanması ve bilimsel bağımsızlığın özellikle dikkatle incelenmesi için nedendir.

4. Önyargılı bir sistem için sahtekâr gerekmez

Kolayca gözden kaçan önemli bir nokta şudur: Kimse veri uydurmasa bile bilimsel literatür önyargılı hale gelebilir. Araştırmacılar şaşırtıcı sonuçları daha sık gönderebilir, dergiler pozitif sonuçları daha ilginç bulabilir, kariyer ve fonlama yeniliği ödüllendirebilir, null sonuçlar ise çekmecede kalabilir.

Sonuç bir filtredir. Tamamlanan her çalışmanın görünür literatüre girme şansı aynı değildir. Daha sonra yalnızca yayımlanmış makalelere bakan kişi sistematik olarak çarpılmış bir kanıt bütünü görebilir.

Buna karşı geliştirilen yöntemlerden biri Registered Reports yaklaşımıdır. Araştırma sorusu ve yöntem, sonuçlar bilinmeden önce hakem değerlendirmesinden geçer; böylece yayın kararı sonucun çarpıcı veya “pozitif” olmasına daha az bağlı olur.

5. İstatistiğin siyasi ve ideolojik kullanımı

Siyasi manipülasyon için sayı uydurmak gerekmez. Tanımlar, paydalar, zaman aralıkları veya karşılaştırılan ülkeler tercih edilen hikâyeyi destekleyecek biçimde seçilebilir. İşsizlik tanıma göre değişir; kamu harcaması mutlak toplam olarak başka, GSYH yüzdesi olarak başka görünür; suç sayıları 100.000 kişi başına oranlardan farklı bir izlenim verir; grafiğin 2019 yerine 2020’de başlaması trendi değiştirebilir.

Resmî istatistiklerin kalitesi de siyasi ve kurumsal bir meseleye dönüşebilir. IMF, 2013’te Arjantin’e yanlış TÜFE ve GSYH verileri nedeniyle resmî kınama uyguladı; metodolojik iyileştirmelerden sonra 2016’da bu kınama kaldırıldı. Eurostat 2010’da Yunanistan’ın kamu açığı ve borç istatistiklerindeki kalite ve yöntem sorunları hakkında ayrıntılı rapor yayımladı. Bu örnekler bağımsız ve şeffaf istatistik kurumlarının önemini gösterir. Ancak tek başlarına belirli bir kişinin kasıtlı niyetini kanıtlamazlar; niyet, verinin yanlışlığından ayrı olarak gösterilmelidir.

6. Cherry-picking: bütün sayılar doğru, hikâye yine de yanlış

Yanıltmak için istatistiği uydurmak gerekmez. Şunları seçebilirsiniz:

• uygun başlangıç veya bitiş yılını,
• tüm nüfus yerine olumlu görünen bir alt grubu,
• mutlak risk yerine göreli riski,
• medyan yerine ortalamayı — ya da tersini,
• kişi başına oran yerine mutlak sayıyı,
• enflasyondan arındırılmış değer yerine nominal tutarı,
• daha geniş ve çelişkili literatür içinden tek bir olumlu çalışmayı.

Tek tek her ifade doğru olabilir. Manipülasyon aritmetikte değil, çerçevenin seçiminde bulunur.

7. Sunum yoluyla manipülasyon

Seçimden sonra sunum gelir. Kesilmiş bir y-ekseni küçük bir farkı devasa gösterebilir. Başlangıç değeri verilmeden sunulan yüzdelik değişimler dramatik etki izlenimi yaratabilir. Kümülatif toplam güncel oran gibi gösterilebilir. Üç boyutlu çubuklar ve alanlar oranları görsel olarak bozabilir. Çok uzun zaman ekseni kısa vadeli düşüşü gizleyebilir; çok kısa eksen onu felaket gibi gösterebilir.

Yararlı soru şudur: Aynı verinin başka, aynı derecede doğru hangi sunumu bende farklı bir ilk izlenim yaratırdı?

8. Hiç toplanmamış istatistik

Daha temel soru, hangi verilerin baştan toplandığıdır. Ölçülmeyen, sınıflandırılmayan veya yayımlanmayan bir olgu kamusal tartışmada neredeyse görünmez olabilir. Eksik veri için komplo gerekmez: maliyet, kötü raporlama sistemleri, tutarsız tanımlar veya teknik sınırlamalar yeterlidir. Ama kurumun neyi ölçüp neyi ölçmediği, sonradan “nesnel” kanıt olarak tartışılabilecek alanın sınırını belirler.

Kendimizi nasıl koruyabiliriz?

• Finansmanı ve çıkar çatışmalarını kontrol edin. Belirli bir sonuçtan kim yararlanıyor?
• Ön kayıt ve çalışma kayıtlarını arayın. Yapılmış ama yayımlanmamış çalışmaları gösterebilirler.
• Birincil sonlanımları ve ilk analiz planlarını karşılaştırın. Soru sonuçlar görüldükten sonra mı değişti?
• Null ve çelişkili bulguları arayın. Tek çalışma nadiren bütün kanıttır.
• Mutlak ve göreli sayıları karşılaştırın.
• Alternatif zaman aralıkları, paydalar ve görselleştirmeler deneyin.
• Yöntem ve veriyi yorumdan ayırın. Sonuç cümlesi veriden daha güçlü olabilir.
• Bağımsız tekrar, açık veri ve şeffaf yöntemleri tercih edin.

Hesaplama hatasından bilgi mimarisine

Dar anlamda istatistiksel hata ölçüm veya analiz sorunudur. Geniş anlamda çarpıtma en az beş düzeyde girebilir:

1. Ölçüm: Ne ve nasıl ölçülüyor?
2. Analiz: Hangi modeller, testler ve alt gruplar seçiliyor?
3. Seçim: Hangi çalışmalar ve sonuçlar görünür oluyor?
4. İletişim: Sayılar nasıl çerçeveleniyor ve görselleştiriliyor?
5. Çıkar ve niyet: Hangi kişisel, ticari, siyasi veya ideolojik hedefler önceki aşamaları etkiliyor?

Böylece temel soru değişir. Artık yalnızca “İstatistik matematiksel olarak doğru mu?” değil, aynı zamanda: “Bu belirli istatistiği hangi süreç üretti — ve ben hangi alternatif bilgiyi görmüyorum?”

Kaynaklar ve ileri okuma

1. U.S. Office of Research Integrity (ORI): Definition of Research Misconduct — Bilimsel usulsüzlüğü tanımlar; veri uydurma ve çarpıtmayı dürüst hatadan açıkça ayırır.
2. Lundh et al., Cochrane: Industry sponsorship and research outcome — Endüstri sponsorluğu ile sponsor lehine sonuçlar ya da yorumlar arasındaki ilişkiyi inceleyen sistematik derleme.
3. Hopewell et al., Cochrane: Publication bias in clinical trials — Pozitif çalışma sonuçlarının negatif veya null sonuçlara göre daha sık yayımlandığına ilişkin ampirik kanıt.
4. Turner et al. (2008): Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy, New England Journal of Medicine — FDA’ya kayıtlı 74 antidepresan çalışmasının yayımlanmış literatürle karşılaştırılması.
5. World Health Organization: Tobacco industry interference with tobacco control — Tütün endüstrisinin bilimi ve politikayı etkilemek için belgelenmiş stratejilerine genel bakış.
6. Grüning et al. (2006): Tobacco Industry Influence on Science and Scientists in Germany — Özellikle Almanya’ya odaklanan iç tütün endüstrisi belgeleri analizi.
7. McCambridge et al. (2018): Alcohol industry involvement in science — Alkol araştırmalarında çıkar çatışmaları ve endüstri katılımına ilişkin kaygıların sistematik derlemesi.
8. Kerr (1998): HARKing — Hypothesizing After the Results are Known — HARKing kavramını ortaya koyan temel çalışma.
9. International Monetary Fund (2013): Statement on Argentina — Yanlış TÜFE ve GSYH verileriyle ilgili resmî kınama.
10. Eurostat (2010): Report on Greek government deficit and debt statistics — Yunanistan’ın açık ve borç istatistiklerindeki kalite ve yöntem sorunlarına ilişkin rapor.
11. Center for Open Science: Registered Reports — Araştırma sorusu ve yöntemlerin sonuçlar bilinmeden önce değerlendirildiği yayın modeli.

Örnekler mekanizmaları göstermek içindir. Belgelenmiş veri kalitesi sorunları veya istatistiksel çarpıtmalar, ilgili herkesin kasıtlı olarak aldattığını otomatik biçimde kanıtlamaz; niyet ayrıca kanıtlanmalıdır.