Seçim anketleri gerçeği ne kadar temsil ediyor?

Bir yıldır anketlerle yatıp anketlerle kalkıyoruz. Haber programları, köşe yazıları, tartışma programları seçim anketleri ile dolu. Yanısıra çizgi grafikleri ya da yuvarlak diyagramlar… Sonra bunların “halka uygun” açıklamaları ve yorumları. Benim denk geldiğim en az yirmi anket şirketi bu işleri yapıyor, birbirlerine benzer, biraz farklı ya da çok farklı sonuçlar buluyorlar. Sonuçlar farklı olunca bu sefer anket şirketlerinin güvenilirliği üzerine tartışmalar çıkıyor. Bazı şirketlerin, Nevşin Mengü’nün tabiriyle “candaş ya da yandaş” oldukları ima ediliyor. Sonuçta herkes ruh haline ve politik tandansına göre bazılarına inanıyor, bazılarına inanmıyor.

Buraya kadar iş, meraklısı için seçim öncesi zihin egzersizi olarak düşünülebilir. Çok önemli değil. Ama iş orada kalmıyor ve politik karar vericilerin, yani parti yöneticilerinin çok önemli kararları bu anketlerin sonuçlarına göre vermesi gerektiği önerilerine, hatta öyle yaptıkları “kulis bilgilerine” kadar geliyor. Bu önerilerin sahipleri anket sonuçlarının gerçeği tamı tamına yansıttığına inanıyor olmalılar.

İstatistik olasılıkları söyler

Bütün bu tartışmaları tırnaklarımı ısırarak izliyorum. Ben çalışma hayatımın önemli bir bölümünü sağlık alanında karar veren yöneticilere, kanıta ve veriye dayalı politikalar geliştirmenin iyi bir şey olduğunu söyleyerek geçirdim. O anlamda bizim politikacılarımızın da en azından seçimler konusunda sayısal veri toplanmasına ve analizine önem vermelerini takdirle karşılıyorum. Ancak iş yalnızca buna niyet etmekle bitmiyor. Veriye dayalı kararlar verilecekse, bütün bu veri toplama ve analiz süreci hakkında bazı temel ilkelerin farkında olmak lazım.

İstatikçilerin kendi aralarında sık yaptıkları bir espri vardır. İstatistik “sayılarla yalan söyleme bilimidir” derler. Bu espriyi ve kasıtlı olarak sayıları eğip bükenleri bir kenara bırakalım. Ama istatistik bir olasılıklar bilimidir. Mutlak doğru yoktur. Doğruya çok yaklaşabilirsiniz, gerekli titizliği gösterir, masraftan da kaçınmazsanız daha da çok yaklaşabilirsiniz. Ama o kadar, sınırlarınızı bilmeniz, sonuçları da o sınırlar içinde değerlendirmeniz gerekir.

Seçim anketi yapan bir çok dürüst araştırmacı olduğunu düşünüyorum. Onlar işlerini ciddiyetle yapmaya çalışıyor ama biz sonuçları nasıl anlıyoruz? Kastettiğim grafikleri ya da yuvarlak diyagramları anlamak değil, yapılan işin, bize söylediği olasılığın ve hata paylarının ne kadar farkındayız?

Seçim anketleri ve temsil etmeme riski

Seçim anketleri ve daha birçok araştırma bir temel varsayıma dayanır: elimizdeki örneğin bütün evreni temsil ettiğine. Yani anket şirketinin görüşme yaptığı, 1500 civarında vatandaşın (benim gözlediğim hepsi bu civarda kişiyle görüşüyor) Türkiye’deki tüm seçmenlere -mümkün olduğunca- benzediğine. Bunun için de hesaplanmış, ispatlanmış bazı yöntemler kullanır. Bu yöntemler büyük bir yetkinlikle doğru olarak kullanıldığında bile varılan sonuçların bütün seçmen kitlesinin fikirlerini yüzde yüz temsil ettiği söylenemez.

Örneklem büyüklüğüne (1500 civarında vatandaş) bakarsak, araştırma şirketlerinin hemen hepsinin, sonuçlarının yüzde 95 güven aralığında ve yüzde 2-3 hata payıyla yorumlanması gerekir. Bunun anlamı şudur; her bir parti için ilan edilen yüzdeler, yüzde 3 daha az ya da daha çok olabilir. Yani aralarında 5 puan fark olan A Partisi (yüzde 29) ve B Partisinin (yüzde 24) sıralaması pekala tersine de olabilir A Partisi (yüzde 26) ve B Partisi (yüzde 27). Buna bazı araştırmacılar sunumları sırasında dikkat çekiyorlar. Dikkat çekmedikleri nokta ise buldukları sonuçların yüzde 95 oranında gerçek nüfusu temsil ediyor olması. Yani yüzde beş olasılıkla buldukları sonuçlar, gerçek nüfusu temsil etmiyor. Pek az değil, yirmide bir. Bu temsil etmeme riskini azaltmak, örneğin yüzde bire indirmek mümkün, ama o zaman, örneklem sayılarını yani görüştükleri vatandaş sayısını en az iki katına çıkarmaları gerekir. Bu da çok daha pahalı olur ve daha fazla zaman alır.

Şirketler yeterince titiz çalışıyor mu?

Örnekleminizin bütün seçmenleri temsil ettiğini iddia edebilmek için, görüşme yapacağınız her bir kişinin rasgele (randomize) seçilmesi gerekir. Bu seçimleri şirketler nasıl yapıyor bilmiyorum. Örneğin telefon numaralarına dayanarak seçim yapıyorlarsa, örneklemleri baştan hatalı olur. Zira herkesin cep telefonu yok. Kadınların, yoksulların, yaşlıların, eğitim düzeyi düşük olanların, cep telefonunun çekmediği uzak bölgelerde oturanların cep telefonu sahibi olma olasılığı daha düşüktür ve bunlar kaçınılmaz olarak anketin dışında kalırlar.

Yüz yüze görüşme yapıyor ve hane bazlı (örneğin elektrik dağıtım kayıtlarını kullanarak) örneklem oluşturuyorlarsa haneye ulaştıklarında kiminle görüşüyorlar? Herkesle? O sırada evde bulunan kişiyle? Aile “reisiyle”? Bu düzenlemelerin nasıl yapıldığı da sonuçları etkiler. Bazı araştırma şirketleri yalnızca belli sayıda ilde görüşme yaptıklarını söylüyorlar. Bu iller hangi kriterlerle, nasıl seçiliyor? Türkiye genelini temsil ettikleri konusunda nasıl bir sağlama yapılıyor?

Belki abonelerine ve araştırmayı yaptıranlara bu konularda ayrıntılı bilgi veriyorlardır, ama kamuya yaptıkları açıklamalarda bu bilgiler yer almıyor. Dolayısıyla doğruyu yaptıklarına ve bu tür hataları en aza indirdiklerine iman etmemiz gerekiyor.

Cevap vermeyen katılımcılar

Anketlerde en önemli sorunlardan biri cevap vermeyenlerdir. Genellikle cevap vermeyenler verenlerden farklıdır. Örneğin daha meşguldürler, belki daha az sosyaldirler, daha çekingendirler vb. Yaptığınız anket, sevdiğiniz renk nedir gibi sorular içeriyorsa, cevap vermeyenlerin oranının yüksek olması çok önemli olmayabilir. Ama bir seçim anketi yapıyorsanız, cevap vermeyenlerin oranı çok önemlidir.

Benim çok önemli bulduğum bu bilgi de genellikle kamuya açıklanmıyor. Yalnız bir keresinde, bir tartışma programında araştırmacılardan birinin cevap vermeme oranlarının genellikle yüzde elli civarında olduğunu söyledi! Yüzde elli. Eğer bir şekilde, ister telefonda, ister yüz yüze ulaştığınız vatandaşların yarısı ankete katılmayı kabul etmiyorsa, örneklem grubunuzun seçmen kitlesini temsil ettiğini söyleyemezsiniz. Hepimiz bu ülkede yaşıyoruz, ankete katılmayı kabul etmeyenlerin politik tercihlerinin, kabul edenlerinkine çok benzediği varsayımını kabul etmemiz çok zor.

Anketsiz kalmayın, ama

Son söz olarak, anketleri hiç önemsemediğimi söylemiyorum. Tersine yararlı olduklarını düşünüyorum. “Yurtdışından işinin ehli bir anket şirketi getirmeyi” önerenlerin tersine Türkiye’de bu işi hakkıyla yapmaya çalışan ve bu konuda birikimi olan birçok araştırmacı olduğuna inanıyorum. Ama yukarıda saydığım nedenlerle, anketsiz kalmayın, ama kamuya açıklanan anketlerdeki yüzde beşlik farklara da çok fazla değer vermeyin, birbirinden farklı sonuçlar bulan her şirketi “candaşlık ve yandaşlık”la suçlamayın diyorum.

Umuyorum ki politik karar vericiler, bu anketlerdeki yüzde üçlük, beşlik farkları mutlak kabul etmeyecekler. Yukarıdaki hatalar yapılsa bile, her şirketin benzer hataları benzer şekillerde yaptıklarını varsayarak, zaman içindeki değişim trendleri önemli olabilir. Daha iyi yöntemlerle (örneğin daha büyük örneklemle, daha iyi örneklem seçimiyle ve daha düşük cevapsızlık oranlarıyla) yapılan araştırmalar gerçeğe bir nebze daha yaklaşacaklardır.

Ama sonuçta siyasi kararlar, siyasi değerlendirmeyle alınır. Halkın nabzını elinde tutma yeteneğindeki politikacılar başarılı olur.

Demirel ya da Ecevit anket mi yaptırıyordu?