Yeniden anket sonuçlarındaki farklar üzerine

Cumhurbaşkanı ve milletvekili genel seçimlerine yaklaşık 5 ay kaldı. Seçime giderken anketler yine gündemde. Anket sonuçları doğal olarak birbirinden çok farklı ve bu farklılıklar anketlerin “yanlı” olduğu tartışmalarına yol açıyor.

Nuriye Ortaylı, YetkinReport’ta yayımlanan “Seçim anketleri gerçeği ne kadar temsil ediyor?” yazısında anketlerin hangi nedenlerle hatalı olabileceğini anlatmıştı. Özetlemek gerekirse, tüm seçmenleri temsil eden rasgele (randomize) seçilmiş bir örneklem ile yapılan her ideal anket bir “örneklem hatası” içerir. Anket yapılan kişi sayısına bağlı olarak örneklemin hata payı “yüzde 95 güven aralığında ±yüzde 2” gibi bir ifade ile açıklanır. Burada kastedilen, tahmin edilen oy oranı yüzde 40 ise, örneklem hatasından dolayı gerçek değerin yüzde 95 olasılıkla yüzde 38-42 arasında olacağıdır. Doğal olarak anket yapılan kişi sayısı azaldıkça hata payı da artar.

Seçim anketleri ve hata etkenleri

Özellikle siyasi kutuplaşmanın arttığı koşullarda tahminlerde hataya yol açan bir başka etken de cevapsızlık. Rasgele seçilen seçmenlerin önemli bir kısmı, örneğin çekindikleri için, ankete cevap vermeyebilir. Cevap vermeyen seçmenler ile cevap veren seçmenler arasında sistemli bir farklılık varsa (ki bu durumda vardır), bu farklılığın etkisini giderecek tedbirlerin alınması gerekir.

Bu iki faktöre ek olarak, yanlış örneklem ve uygulama, tercihlerin değişmesi, ankete yanlış cevap verilmesi gibi nedenlerle de anket sonuçları gerçeği yansıtmayabilir.

Örneklem dışındaki etkenler tüm anket yapan firmalar için aynı şekilde geçerli olduğundan, farklı firmaların yaptığı anket sonuçları arasında sistematik bir fark olmamalıdır. Anket firmalarının sonuçlarındaki sistematik farklar, bu firmaların uygulamalarında (örneklem seçimi, anket yöntemi, cevapsızlık analizi, vb) sistematik fark olabileceğini gösterir.

Anket sonuçlarının karşılaştırması

Aşağıda parlamento seçimlerine ilişkin 2022 ve 2023’de yapılan anket sonuçlarını karşılaştıracağız. 35 firmanın yaptığı 198 anketin sonuçlarına ilişkin verileri Wikipedia’nın ilgili sayfasından 18 Ocak günü indirdik.

Aşağıdaki şekillerde AK Parti, CHP, HDP, İYİ Parti ve MHP’nin tahmin edilen oy oranları yer alıyor. Düz çizgi “ortalama” oranı gösteriyor. Her nokta bir anket sonucunu gösteriyor ve noktaların büyüklüğü anketin örneklem büyüklüğü ile orantılı. Bu dönemde 7’den az anket yapan tüm firmaları “Diğer” grubu olarak tanımladık.[1]

Ortalama değerlere bakılınca, 2022 başından Temmuz ayına kadar AK Parti’nin oy oranının düştüğü (yaklaşık yüzde 32’den yüzde 31’e) fakat Temmuz 2023’den sonra artmaya (yüzde 33) başladığı görülüyor.

CHP’nin oy oranı yüzde 26-27 aralığında kalmakla birlikte Eylül ayından itibaren kısmi bir düşme eğilimi var.

HDP’nin oy oranı 2022 boyunca yüzde 10-11 bandında oldukça istikrarlı duruyor, fakat son aylarda yukarı doğru bir eğilimin başladığı söylenebilir.

İYİ Parti oy oranını 2022 başlarında yüzde 13 düzeyinden yıl ortasına kadar yüzde 15’e çıkarmış. İYİ Parti’nin oy oranı Eylül-Ekim’e kadar yaklaşık 1 puan düştükten sonra yeniden toparlanma eğiliminde.

MHP’nin oy oranında ise yavaş fakat sürekli bir düşüş gözleniyor (yaklaşık yüzde 7). Kalan tüm partilerin toplam oy oranı yaklaşık yüzde 10.

Farklar istatistiksel olarak anlamlı mı?

Anket firmalarının sonuçları arasında sistematik farklılıklar var mı? Sonuçlara bakıldığında net farklılıklar görülüyor. Örneğin genelde kırmızı tonları ile gösterilen firmaların AK Parti tahminleri sürekli bir şekilde ortalamanın üzerinde olurken, mavi ile gösterilen firmaların tahminleri de ortalamanın altında kalıyor.

Fakat anket sonuçları ittifaklar bazında güçlü bir ayrışma göstermiyor. Örneğin AK Parti oylarını ortalamanın altında tahmin eden firmaların hemen hepsi İYİ Parti oylarını ortalamanın üstünde tahmin etmiş fakat bunların önemli bir kısmı da CHP’nin oylarını ortalamanın altında gösteriyor. Benzer şekilde AK Parti’yi fazla tahmin edenler, MHP’yi de fazla tahmin ediyor, fakat AK Parti’yi az tahmin edenlerin hepsi MHP’yi az tahmin etmiyor.

Anket firmaları arasındaki farkların istatistiksel olarak anlamlı olup olmadığını test etmek için basit bir regresyon analizi yaptık. Bu analizde bağımlı değişken anket firmasının tahminlerinin ortalamadan farkları, açıklayıcı değişkenler de anket firma kukla değişkenleri.[2] Regresyon sonuçları, ilgili istatistikler ile birlikte, yazının ekindeki tabloda yer alıyor. Sonuçları daha rahat yansıtabilmek için tahmin edilen katsayılardan aşağıdaki şekli oluşturduk.

Bu şekilde anket firması bazında partilerin oy oranlarının genel ortalamadan ne kadar farklı tahmin edildiği görülüyor. Örneğin Areda firması AK Parti’nin oy oranını ortalamadan 5.7 puan daha yüksek, CHP’nin oy oranını da 2.4 puan daha düşük tahmin etmiş ve bu farklar istatistiksel olarak yüzde 1 düzeyinde anlamlı.

Partilerin oy oranlarındaki farklar

Yukarıdaki şekilde (ve Ek’teki tabloda) açık olarak görüldüğü gibi Areda, Optimar ve ASAL firmalarının tahminlerine göre AK Parti ve MHP’nin oy oranları tüm anketlerin ortalamasından yüksek, CHP ve İYİ Parti’nin oranları ise daha düşük ve bu farklar istatistiksel olarak anlamlı. MetroPoll tahminlerinde ise AK Parti yüksek, CHP düşük, fakat İYİ Parti ve MHP ortalamaya yakın.

ORC ve ALF firmalarının anketlerinde İYİ Parti ortalamadan yüksek iken, AK Parti ortalamanın altında, fakat burada da ttifaklar bazında net bir ayrım yok. Örneğin ORC’nin İYİ Parti oranı ortalamadan yüksek iken CHP tahmini çok düşük. CHP’nin oranını en yüksek tahmin eden firma Avrasya (ortalamanın 3.8 puan üstünde), bunu Yöneylem (2.5) ve Aksoy (2.2) izliyor.

HDP’nin oy oranını ortalamadan yüksek (MetroPoll ve Artıbir) veya düşük (MAK, ORC ve ALF) tahmin eden firmalar bulunuyor fakat HDP tahminleri ile diğer parti tahminleri arasında güçlü bir ilişki yok. Burada sadece HDP tahminleri ile İYİ Parti tahminleri arasında kısmen ters ilişki olduğu söylenebilir, yani İYİ Parti’nin oy oranını daha yüksek tahmin eden firmaların HDP’nin oy oranını daha düşük tahmin etme olasılığı yüksek.

Anket tahminlerinde sistematik farklar

Özetlersek, regresyon analizi sonuçları anket firmalarının tahminleri arasında sistematik farklar olduğunu gösteriyor. Bu sonuç firmaların uygulamaları arasında sistematik farklar olabileceğini işaret ediyor. Firmaların anket uygulamalarına ilişkin (telefon veya yüz yüze anket, örneklem seçimi ve tabakalama, cevapsızlık analizi gibi) bilgileri paylaşmaları durumunda bu farklılıkların nedenlerini de test etmek mümkün olabilecek.

Anket yapılan günde “gerçek” oy oranlarını bilemediğimiz için burada anket firmalarının sonuçlarını tüm firmaların ortalamaları ile karşılaştırdık. Özellikle vurgulayalım, bu durum ortalamadan farklı sonuçların “yanlış” olduğu anlamına gelmiyor. Bir başka deyişle, ortalamadan farklı olan bir firmanın sonuçları aslında daha “doğru” ve “güvenilir” olabilir.

Ek 1. Anket firmalarının ortalamadan sapma düzeyi

Notlar

[1] Verisi olmayan anketlerin örneklem büyüklüğü 2000 alındı.
[2] “Ortalama” değer olarak, şekillerde çizgi ile gösterilen ve LOESS yöntemiyle hesaplanan değerler kullanıldı. Regresyon modeline anket tarihi ve örneklem büyüklüğü değişkenleri de ekledi fakat bu değişkenlerin katsayıları anlamlı çıkmadı.