Karl Popper’in Askerleriyiz*

by Onur Yavuz

Ateş, Su, Toprak, Anket**

Yazının bu ikinci bölümünde Konda, Metropoll ve Ipsos’un Gezi Parkı eylemleri ve bunların ulusal siyasete izdüşümüne ilişkin yaptıkları araştırmaları ele alacağız. İlk yazıda da bahsettiğimiz üzere, bu araştırmaların hepsinde az ya da çok değişmekle birlikte ciddi metodoloji ve raporlama hataları, eksikleri bulunuyor. “Tüm bunların en iyi ihtimalle hiçbir şey, en kötü ihtimalle ise manipülatif yanlış bulgular anlatarak kamuoyunda “uzman” araştırmalar olarak kabul görmesi ve bu şekilde halkın siyasi olayları yorumlamasına doğrudan etki etmesi ise işin en üzücü kısmı.” diyerek ilk yazının sonunda, bu araştırmaları detaylı ve herkesin anlayabileceği şekilde eleştirmeye karar verme motivasyonumuzu ifade etmiştik. Buna mukabil bu ikinci yazıya başlamadan önce ilk yazıya, özel veya genel kanallardan gelen bazı tepkileri paylaşmak ve bunlara dair kısa birkaç çift söz etmeyi uygun buluyoruz.

İlk gelen şikayetçi yorumlardan biri “muktedir varken mazluma vurmuşsunuz, adil olmamış” minvalinde idi. Öncelikle belirtelim ki, “mazlum olmak yahut olmamak” gibi argümanlar bilimsel kalite tartışmasını ilgilendirmezler. Bir materyalin bilimsel sayılabilmesi için belli kriterlere uyması gerekir, uymuyorsa gereken akademik değerlendirme yapılır.  İlaveten, bu temel prensibi bir kenara bıraktığımızı varsayalım. Bu çalışmayı alıntılayan medya kanalları ve hatta takribi 3 hafta içinde Gezi Parkı eylemleri hakkında yazdığı kitapta Bilgiç ve Kafkaslı’nın araştırmasını bilimsel materyal olarak alıntıladığını (sosyal medya aracılığıyla) öğrendiğimiz sosyolog Prof. Emre Kongar’ı tabloya dâhil ettiğimizde, yazılan bu standart altı ve yanlış yönlendirici materyalin yarattığı “kamuoyu” ile hiç de iddia edildiği kadar mazlum olmadığını düşünüyoruz.Eğer mazlum bu ise, on yıllardır Türkiye’de makale ve kitapları sansürlenen, medya kanalları kapatılan, öldürülen, işkence gören entelektüel ve muhalif Türkiyelilere uygun düşen sıfat nedir acaba, kara kara düşünmek durumundayız[1].

Öne çıkan bir diğer yorum da “Gezi eylemcilerinin” özgürlükçü vb. niyetlerle orada olması iddiasından, ihtimalinden neden rahatsız olduğumuzdu. Öncelikle, böyle bir rahatsızlığımız yok (niye olsun?). Zaten böyle bir rahatsızlığın olacağı da var ise öncelikle “özgürlükçü vb. niyetler” savının şüpheye yer bırakmayacak şekilde doğrulanmış olması gerekir ve problem de burada başlıyor. Bu sav doğrulanmış değil. Dolayısıyla, Gezi Parkı eylemcileri ve onlara sempati duyan insanların, “bu kitle içinde milliyetçi, ulusalcı, militarist unsurlar olduğu” iddiasına karşı yaklaşık 8 haftadır verdiği “ama heterojenliği unutmayın” cevabının “acaba gerçekten çoğunluk itibariyle özgürlükçüler mi” sorusu sorulduğu anda “bunu sormaktaki amacınız nedir?” tarzı tepkiler vererek bu sefer tam tersine kitleyi kendi zihinlerinde homojenleştirme eğiliminde oldukları da bir diğer gözlemimiz.

İlkin belirtmek gerekiyor ki, heterojenlik tek başına “her parçanın eşit kuvvet ve yoğunlukta yer bulduğu, temsil edildiği durum” anlamına gelmemekte. Dolayısıyla “bu heterojenlik içinde ağır basan parçalar var mıdır, var ise kimlerdir, motivasyonları, düşünceleri nelerdir?” sorusu olduğu gibi ortada duruyor. Bu soruyu cevaplayan güvenilir ve somut verilerin toplanmamış oluşu, Türkiye’nin yakın tarihinde pek görülmemiş cinsten bir protesto olayı hakkında aradan geçen iki aydan sonra hala tepeden inmeci ve hamasi yorumlardan fazlasının yapılmamasının temelinde yatan şey. Belki de gerek kimi Gezi eylemleri sempatizanları, gerek kimi Gezi eylemleri karşıtları da bu “bulanıklık” halinden memnunlar ve böyle kalmasını istiyorlar. Çünkü bu bulanıklık hali tam da iki tarafın olayı hudutsuzca kendi istediği perspektiften yorumlayabilmesi ve topluma kendi teorisini dayatması için serbesti yaratıyor. Bir taraf iki aydır “Gezi ruhu”, “Y kuşağı”, “artık hiçbir şey eskisi gibi olmayacak” gibi içini tutarlı biçimde doldurma ihtiyacı bile hissetmedikleri beylik sözler ve soyut kavramlarla olayları mitolojikleştirme ve protestoların içeriğini istediği renge boyamaktayken, diğer taraf da gene ortada nesnel verinin olmamasını fırsat bilerek toptancı bir biçimde herkesi cuntacı ilan etmek gibi bir eğilimde ve bunu da gene hiçbir bilimsel veriye dayanmayan, tamamen keyfi, altına imza atan bilim insanı için utanç verici, sözüm ona “analiz raporları” ile yapmakta beis görmüyor. Bunlara örnek olarak Haziranda yayınlanmış olan Stratejik Düşünce Enstitüsü Raporu gösterilebilir. Söz konusu rapor “yanlış istatistik” bile içermeyen, tamamen keyfilikle kaleme alınmış kamuoyu oluşturmaya yönelik değersiz bir laf kalabalığı olduğundan biz de burada ciddiye alıp yazı dizimizde eleştirme gereği bile görmedik. Ama merak edenler şuradan ulaşabilir. Dolayısıyla içinde bulunduğumuz durum, herkesin bir şekilde kendi teorisini dayattığı, en az aranan şeyin hakikat olduğu ve gelen eleştirilere “benim dezenformasyonum iyidir” tavrıyla cevap verdiği bir durum. Biz de bu durumda inatla nesnelliği ve hakikati, doğru şekilde aramanın önemini vurgulamaya kararlıyız.

Konda, Ipsos ve Metropoll Araştırmalarındaki Sorunlar

Başlangıç itibarıyla belirtmek gerekir ki, bu üç araştırma kuruluşu içinde eksikleri ve metodolojik problemleri olmakla birlikte diğer ikisine nazaran görece olarak tahammül edilebilir olan araştırma Konda’nın Gezi anketi. Konda bugüne dek seçim anketlerinde de oldukça düzgün bir grafik çizdiğinden bu bizi çok şaşırtmadı ama bu kalibrede bir kuruluştan beklenemeyecek eksiklikler ve ciddi hatalar, burada da mevcut. Ipsos ve Metropoll ise doğrudan “ne yaptığını, ne söylediğini bilmeyenler” kategorisinde incelememiz gereken, istatistiği ve sosyal araştırma metodolojisini handiyse tepe taklak etmiş 2 anket ile karşımıza çıkıyor. Bu araştırmaları görece detaylı biçimde ele almadan önce bazı ortak problemlerden bahsetmeyi uygun buluyoruz.

Bilgi Üniversitesi (Bilgiç & Kafkaslı, 2013) tarafından yapılan araştırmaya dair ilk yazımızda eleştirdiğimiz “hiçbir öncel veri ve teoriye dayanmadan keyfi soru/cevap kategorileri belirleyerek bunları deneklere dayatma” pratiği bu üç çalışmada da devam ediyor. Gerek Gezi Parkı’nda yapılan mülakatlar (Konda, 2013), gerek Ipsos ve Metropoll’un telefonla mülakatlarda deneklere sorulan “neden buradasınız”, “protestoların şiddetlenmesinin nedeni nedir” gibi soruların hiçbirinin cevap alternatifleri öncel veriye atıf yapılmadan belirlenmiş ve dayatılmış (Ipsos, 2013; Metropoll, 2013). Ipsos araştırmasında sunulan alternatiflerin sonuna bir de “diğer” kategorisi eklendiği belirtilmiş ama bu kategoriye toplanan verilere dair bir sunum mevcut değil. Yani ilk yazıda belirttiğimiz gibi aslında araştırmacıların elinde hipotez türetip sorgulamalarına izin verecek somut veri yokken, naif tahmin ve gözleme dayanarak birtakım hipotezler ortaya atılmış. Ardından bu naif varsayımlar üzerinden soru/cevap alternatifleri geliştirilerek deneklere bunlar arasında seçim yapılması dayatılmış. Özetle bu üç araştırmanın da aynı Bilgi Üniversitesi araştırmasında olduğu gibi “içeriksel manipülasyon” sorunu mevcut. Bu da söz konusu sorulardan elde edilen verilerin güvenilirliğini yok eden bir faktör. Buna ek olarak Konda’nın raporunda soruların hangi formatta sorulduğuna, dolayısıyla verinin nasıl ve hangi ölçekte toplandığına dair bir açıklama raporda yok. Bu sebeple verinin toplanma aşamasında ne kadar manipüle edilmiş olabileceğine dair ancak tahminde bulunabiliyoruz.  Oysa yapılması gereken öncelikle çok daha küçük bir numune grubu ile tamamen açık sorulardan oluşan bir mülakat ile öncel veri toplamak ve daha sonra bunlardan yola çıkılarak hipotezler ve ankette kullanılan türden kapalı format soruların geliştirilmesi olmalıydı. Ayrıca soruların formülasyonlarında ilk yazıda da bahsettiğimiz psikolojik tetikleme (priming) ve telkin (suggestion) ile yönlendirme bu araştırmalarda da mevcut. Bu tür dayatmacı soru/cevap örneklerinden bazılarını aşağıda sunuyoruz.

konda01

Verinin açık sorularla kalitatif olarak mı, yoksa keyfi olarak formüle edilmiş ve dayatılmış kapalı format sorularla nominal ölçekte mi toplandığının belli olmadığı grafiklerden biri (Konda, 2013, S. 10). Maalesef raporda açık formatta niteleyici veri toplandığını düşünmemizi gerektirecek bir ipucuna rastlamadığımızdan ötürü manzara, ilk yazıda da bahsettiğimiz türden bir içeriksel manipülasyon hüviyetinde.

ipsos01

Ipsos kuramsal arka plana sahip olmayan kendi cevap seçeneklerini deneklere dayatırken (2013, S. 19)

metro01

Metropoll yukarıda bahsedilen sorunların ötesinde anket sorularında psikolojik tetikleme ve telkin ile yönlendirmenin en berbat örneklerinden bazılarını veriyor (2013, S. 12)

Bunlar dışında aşağıda daha detaylı biçimde ele alacağımız, Metropoll ve Ipsos araştırmalarını istatistiki olarak baştan aşağı geçersiz, değersiz ve yanıltıcı hale getiren çok temel başka bir hata var. İlk yazıya da damgasını vurmuş olan “numune/örneklem” hatası. Ipsos ve Metropoll’un denek seçilim stratejisi ve dolayısıyla hatası Bilgiç ve Kafkaslı’nın amatörce yürütülmüş çalışmasından daha farklı olduğundan ayrıca ele alacağız. Ayrıştırıcı bir not daha düşmek gerekirse, bu yazıda ele aldığımız üç çalışmanın da en azından “keşifsel” olmak gibi bir iddiası yok, sade anketler halinde kurgulanmış çalışmalar. Gelgelelim bu “basitlik” durumu Ipsos ve Metropoll açısından durumu daha da trajik hale getiriyor, çünkü bu şirketlerin basit bir anketi bile doğru metodoloji ile kurgulamakta güçlük çektikleri görülüyor.

Konda Araştırmasına Özel Hatalar

Konda aslında sosyo-demografik verilerin toplanması ve sunumu noktasında oldukça temiz bir çalışma ortaya koyuyor. Yalnız yukarıda bahsedilen içeriksel soru/cevap kurgu ve sunumu sorunları dışında kullanılan kavramlara dair bazı sorunlar göze çarpıyor. Örneğin siyasi sınıflandırılmada sıkça kullanılmış olan bir “sade vatandaş” kalıbı mevcut. Bu kalıp anlaşılan “herhangi bir oluşumu temsilen gelmeyen” anlamında kullanılmış ama oldukça talihsiz bir formülasyon ve sadeliğin nerede bitip katıklılığın nerede başladığına dair bir ibare yok. Dolayısıyla, bu grubun herhangi bir oluşuma üye olmamakla birlikte, falanca oluşuma kendini yakın hissedip hissetmeme durumuna dair veri toplanmamış. Yani “sade vatandaş” kategorisi bu haliyle sadece yanıltıcı ve eksik… Üstelik kitlenin siyasi yönelimlerine dair değerli veri elde edilebilecekken bunun bu şekilde bir kenara atılmış olması anlamsız.  Ayrıca “siyasi katılım” başlığı altında “parti üyesi/parti üyesi değil” formatında aşağıda görüldüğü üzere iki seçenekli (binary) bir kategorizasyon yapılmış. Daha sonra bu kategoriler altında “oy verme eğilimi” hakkında “kararlı/kararsız/oy vermek niyetinde değil” ayrımlarıyla veri toplanmış.

konda02

Siyasi Katılımın Gezi Parkı’ndaki dağılımı (Konda, 2013, S. 13)

Öncelikle oy vermeye niyetli olup olmamak ile oyu konusunda kararsız olmanın tek bir kategoriye indirgenmiş olması çok ciddi bir metodolojik ve içeriksel hata. “Oy vermeye niyetli olmamak” seçime dair genel bir tutumu kapsarken, “oyunu kime vereceği konusunda kararsız olmak” hâlihazırdaki seçim sisteminin içinde yer alan politik bir tutuma tekabül ediyor. Dolayısıyla birbirinden kesinkes ayrılan iki davranış alternatifinin aynı torbaya atılmış olması tekrar yanıltıcı veriler yaratıyor. Buna mukabil, oyunu kime vereceği konusunda kararsız olan kişilerin “arasında kararsız kaldıkları alternatifler” hakkında bilgi toplamamış olmak hatayı daha da ciddileştiriyor. Zira buradaki kararsızlık, siyasi ilgisizlik anlamına gelmek zorunda değil. Bu kişilerin kendilerini (belki kısmen) temsil ettiklerini düşündükleri birden fazla parti arasında çeşitli sebeplerle kararsız kalma ihtimalleri göz ardı edilemeyecek kadar büyük. Dolayısıyla bu yöndeki verinin toplanması “oyu konusunda kararsız” olarak nitelenen kitlenin ideolojik yelpazedeki konumu, hangi parti ve siyasetler arasında kararsız kaldıkları ve Gezi Parkı protestocularının siyasi karakteristiklerine dair önemli ve ayrıntılı bilgi sağlayabilirdi. Öte yandan,  “oy vermeye niyetli olmayan” kitlenin de bu tutumlarının sebebine dair veri toplanmamış olması, bu iki grubun ayrı ayrı değerlendirilmemesi yukarıdaki grafiği fuzuli ve yanıltıcı kılan bir diğer faktör.

Bunlardan sonraki grafiklerde Konda sürekli aynı hatayı yapıyor, bir önceki grafikte bulduğu, açıkladığı grupları bir kenara koyarak tekrar en başa dönüyor, elindeki bilgiyi derinleştirip anlamlı kılmak yerine deneklerin toplamının hangi partiye oy verdiğine/vereceğine dair ve saire bilgi toplamaya çalışıyor (yani içeriksel olarak anlam taşıyan veri toplamak bağlamında yerinde sayıyor). Bu minvalde, önceki analizde denekler içinde keşfedilmiş olan yönelimler ve gruplaşmalar anlamını yitirerek kayboluyor, çünkü bu önceki bulgulara herhangi bir ciddi atıf yok. Örneğin “eyleme ilk gelenler” kategorisindeki kişilere özel bir “siyasi yönelim/kime oy verdiler/verirlerdi” analizi yok. Dolayısıyla eyleme en başından beri iştirak etmiş kişiler ve sonrakiler içindeki siyasi dağılımı, benzerlikleri, farkları bilemiyoruz.

Bir diğer problem ise Konda’nın soru/cevap kurgusunda ve bu ilk yazımızda bahsettiğimiz “cevap seçeneklerinde sunulan kavramların herkes tarafından farklı anlaşılıp, farklı nedenlerle seçilmesi” durumu. Örneğin “Neden Parktalar” başlığı altında sunulan “Özgürlükler için”, “Hak talebi için, “Diktatörlüğe karşı” gibi cevap seçeneklerine verilen cevaplar içeriksel olarak hiçbir anlam ifade etmiyor (Konda, 2013, S. 11) . Çünkü “özgürlük için” seçeneğini işaretleyen kişinin “özgürlükler” kavramından ne anladığını, özgürlüğü kimler için istediğini bilmiyoruz (bu konuyu ilk yazıda oldukça detaylı ele almıştık), Konda da ilgilenmemiş olacak ki bu konuda hiçbir veri toplanmamış. “Diktatörlüğe ve baskıya karşı” seçeneği doğrudan bir psikolojik telkin ve araştırmacı tarafından siyasi tutum içeriyor, bu yüzden sorunlu ve geçersiz bir item. Buna ek olarak örneğin “Demokrasi ve barış” ve buna benzeyen “aynı soru içinde sunulan birden fazla kavram/kategori” barındıran seçenek formatı, evrensel literatürde hangi dilde, hangi kitaba baksanız “sosyal araştırmalarda yapılmaması gereken hatalar” (Diekmann, 2006) listesinde bulunmasına karşın inatla kullanılmış. Demokrasinin de, örneğin özgürlük gibi bireysel olarak farklı yorumlanabilen soyut bir kavram olmasının dışında, kendini Türkiye’de demokrat olarak tanımlayan herkesin örneğin PKK ile bir barış isteyip istemediğini bilemeyiz. Böyle bir zorunluluk yok, dolayısıyla birbirine determinist biçimde bağlı olmayan iki ya da daha fazla kavramı yahut kategoriyi tek sorunun içine sığdırıp, bir defada tüm bu kategorilere dair “doğru” veri toplamaya çalışmak çok büyük ve kabul edilemez bir hata. Bu ve bunun gibi çok kavramlı/kategorili itemların hepsi teknik olarak sorunlu, içeriksel olarak yanlış, uzak durulması gereken şeyler. Ama besbelli ki Konda’nın bu temel item kurgulama prensibinden haberi yok. Çünkü araştırmada bu tür itemlar bolca mevcut (aynı durum kısmen Metropoll’ün araştırması için de geçerli). Konda araştırmasına dair nihai değerlendirmemiz: Örneklem vb. kurgusal hatalar barındırmasa bile sonra aşamalarda çok ciddi metodolojik ve içeriksel hatalara sahip, anlamlı veri toplama konusunda eksikleri büyük, güvenilir olmayan, kesinlikle referans alınmaması gereken bir çalışma.

Ipsos ve Metropoll Araştırmalarına Özel Hatalar

Bu son bölümde elden geldiğince kısa biçimde geriye kalan iki araştırma üzerinde duracağız.

Öncelikle en baştan belirtmek gerekiyor ki, Ipsos ve Metropoll’ün araştırmaları baştan aşağı hatalı kurgulanmış ve yürütülmüş iki çalışma. Dolayısıyla ikisi de %100 geçersiz anketler. Metropoll’ün çalışmasında iki profesör ve bir doçentin imzası bulunduğunu düşünürsek manzaranın Türkiye’deki araştırma kalitesi ve ciddiyetine dair ne kadar düşündürücü bir durum teşkil ettiğini sanırım herkes anlayacaktır.

Ipsos ve Metropoll’un araştırmaları neden geçersiz? Çünkü numune/örneklem (sampling) için seçtikleri metot “Kotalı Numune” metodu ve bu metot “temsili” (representative) numune/örneklem kazanmaya engel oluyor. Yani araştırmaları için seçtikleri deneklerden edinilecek sonuç genel Türkiye kamuoyunu temsil edecek bir sonuç değil. Böyle olması, bu metotla imkânsız (Diekmann, 2006; Lewin, 1986). Kotalı numunenin “asla temsili olmayacağı”, dünyanın yuvarlak olduğunun tartışmaya kapalı olması kadar sabit bir teknik hakikattir, her teknik kaynakta yazmaktadır ve her araştırmacının, istatistikçinin bilmesi zorunludur. Ama işin daha trajik yani şu ki, her iki şirket de “Kotalı Numune” metodunu tam da bu sabit teknik hakikatin tersine “temsili numune” kazanmak için kullanıyor (bunu Ipsos aşağıdaki görselde görüldüğü gibi garip bir biçimde bir de açıkça itiraf ediyor). Her iki şirket de temsili örneklem için hangi metodu seçmeleri gerektiği gibi en temel araştırma kuralları hakkında bilgi sahibi değil[2]. Yaptıkları tüm çıkarımlar da deneklerinin Türkiye için temsili olduğu varsayımına dayandığı için, raporlarında sundukları sonuçlar tepeden tırnağa hem teknik, hem de içeriksel olarak geçersiz ve değersiz ve yanıltıcı. İşin daha da komik bir uzantısı ise Der Spiegel’in Gezi eylemlerine dair çıkardığı son sayısında Metropoll’ün bu baştan aşağı hatalı ve geçersiz istatistiğini alıntılayıp, bundan Türkiye’ye dair siyasi çıkarım yapmış olması. Kitlesel saçmalamanın hudutsuzluğunu görmeniz açısından bunu da not düşmeyi uygun bulduk.

Peki, numune seçim sürecinde aslında ne yapılmalıydı? Eğer ki temsili numune/örneklem kazanmak istiyorsanız ve görece küçük/lokal bir nüfus ile çalışıyorsanız bir telefon rehberinden tamamen rastgele seçilmiş isimler ile numune/örneklem kurgulamanız yetecektir. Ülke çapında ise işler biraz daha karışık. Bu noktada kümesel, çok aşamalı rastgele numune/örneklem (cluster sampling) metodu kullanmalısınızdır. Yani genel nüfusu en başta bölgelere/şehirlere bölerek bu bölgeler içinden, bölge nüfusunu temsil edecek numune miktarları hesaplanarak her bölgeden bir adet “tamamen rastlantısal seçilmiş numune” yapmak ve duruma göre bölgeler için “numune ağırlıkları” (sampling weights) hesaplamak zorundasınızdır (tek bir genel numune sayısı ve buna bölgesel vb. kotalar koyarak değil). Rastlantısal olarak yapılmış ve temsili olan bir numune için kadın/erkek, işsiz/çalışan gibi kotalar koymanız normalde gereksizdir. Zira zaten temsili olan numunede tüm bu özelliklerin dağılımı (temsiliyet gerçeği sayesinde), bu özelliklerin aşağı yukarı genel nüfustaki dağılımına yakın olacaktır[3].

Yazının bundan sonraki kısmında Ipsos’un oldukça kötü bir İngilizceyle yazılmış olan, diğer araştırmalar özelinde de çokça değindiğim, burada da Ipsos ve Metropoll’ün tekrarladığı manipülatif, anlamsız soru/cevap alternatifleriyle ve bunlardan yaptıkları anlamsız çıkarımlarla uğraşmayacağım. Sadece Metropoll’ün yanlış numune ile yaptığı absürt seçim istatistiğindeki absürtlüğü kendisi de fark ettikten sonra durumu kurtarmak için uydurduğu ibretlik “matematiksel kuyruklu yalan” ile devam edip sonlandıracağım. Zira zaten önceki yazıda da bahsettiğimiz gibi en baştan yanlış kurgulanmış, geçerliliğini yitirmiş bu çalışmalar için daha fazla vakit harcamanın bir anlamı yok. Son bir not olarak Ipsos’a ulusal siyasi içerikli bir ankette hangi mantıkla 15-17 yaş arası katılımcıları numuneye dâhil ettiğini sormak durumundayız (bunun yarattığı istatistikî teknik problemlere girmiyoruz bile).

ipsos02

Ipsos farkında olmadan saçmaladığını itiraf ederken görüntüleniyor: “Temsili numune sağlayabilmek için bölge, yaş ve cinsiyet kotaları ile çalıştık”. (Ipsos, 2013, S. 10)

metro02

Metropoll “Niceliksel Araştırma Metotları 101” sınavından kalırken. Kotalı, yani rastlantısal olmayan numune için güven aralığı hesaplama çabasının anlamsızlığı, yanlışlığı dışında, hangi standarda göre 31 il seçildiği de meçhul[4] (Metropoll, 2013, S. 2)

Metropoll garip biçimde bu araştırmasını bir süredir devam eden bir trend analizinin parçası gibi sunuyor (elbette bunun da bir geçerliliği yok, zaten ortada trend analizi yok). Bunu nasıl mı yapıyor? Tahminen aynı sorularla bundan birkaç ay önce yaptığı anketlerde verilen cevap yüzdeleriyle Haziran anketindeki cevap yüzdelerini karşılaştırarak. Yalnız şöyle bir sorun var, bu ulusal düzeydeki araştırmalarda numunelerin hepsi kotalı, yani numuneler temsili değil ve dolayısıyla bütün önceki sonuçlar da zaten hatalı. Gene dolayısıyla farklı anketlerde verilen cevaplar arasındaki relatif (yüzdelik) farklılıkların sanki birbirlerinin ardılı imiş gibi birbirileriyle karşılaştırılmaları hatalı. Bu yetmiyormuş gibi Metropoll saçma sapan seçim anketi sonucunu kurtarmak için aşağıdaki garipliğe imza atıyor.

metro03

Alttaki metinde Metropoll hiçbir istatistik kitabında bugüne dek rastlamadığımız, herhalde cahilliğimizden ötürü bilemediğimiz “Ateş, Su, Toprak, Tahta” formülü ile “yaklaşık tahmin” uydurmaya çalışırken. (Metropoll, 2013, S. 20).

Yukarıdaki görselde “tahmini oy oranını bulmak için” tarif edilen formül neden hatalı, neden absürt, neden geçersiz? Birincisi, belli istisnai durumlar dışında (örneğin aynı numune/örneklem içinde çapraz doğrulama yaparken) “yüzdelerin” birbirleriyle toplanıp, çarpılması, bölünmesi, ortalama alınması gibi işlemlerin matematiksel olarak hiçbir anlamı olmamasından, bunun yanlış olmasından ve uzak durulması gerektiğinden dolayı. Yüzdeler standardize edilmiş relatif değerlerdir ve sadece “ortak duruma veya veri grubuna ait yüzdeler” söz konusuysa aritmetik işleme tabi tutulmaları anlamlıdır ki bu bile genellenebilir bir kural değil (Chen & Rao, 2007). Bunun dışındaki işlemler sadece yanıltıcı ve geçersiz sonuçlar üretirler. Elimizdeki örnekte bir ortak veri grubu yok (birden fazla kotalı numune/örneklem ile yapılmış anketler var). Ama zaten böyle olsa bile yüzdeleri birbiriyle toplayıp çıkartarak “tahmini oy oranı” uydurmaya gerek yok. Doğru istatistik yaptıysanız, yani doğru numune kurgulayarak, doğru seçilmiş, temsili numuneye “kimin yüzde kaç oy alacağı” sorusunu sorduysanız Pazar günü seçim olsa ülke çapında kimin yüzde kaç oy alacağını 1-2 puan hata payı ile zaten bulursunuz. Yani temsili numune ile çalışmanız genellenebilir bir seçim anketi için yeterlidir, insanlara “kime oy verirdiniz” diye basitçe sormanız da doğru sonuç için yeterli olacaktır. Numune/örneklem kurgusunda “temsiliyet” kriteri zaten bunun için, bulguları tüm nüfusa genelleyebilmek için vardır. Birtakım toplama çıkarmalar ve doğaçlama, uyduruk, anlamsız formüller ile durumu kurtarmaya çalışmanıza lüzum kalmaz.

Bu halihazırda %100 geçersiz araştırmalarda geriye kalan absürt soru ve çıkarımları tek tek incelemeye mecalimiz ve motivasyonumuz olmadığından bu yazı dizisini bu paragrafla sonlandırıyoruz ve bu yazdıklarımızın Türkiye’deki bilimsel kalitenin trajik durumunu topluma anlatmak bağlamında faydalı olacağını umuyoruz. Bu minvalde son bir cümle ile okuyucularımıza veda etmek istedik: Türkiye’de yapılmış bir anketle karsılaştığınızda güvenmeden önce iki defa düşünün ve esen kalın.

* Başlıktaki Karl Popper atfı, ortodoks pozitivist metotlara bir övgü içermemektedir.
** Yazının çeşitli aşamalarında öneri ve eleştirileriyle katkıda bulunmuş Güneş Aşık ve Ayda Erbal ve Ali Duran Topuz’a teşekkür ediyorum.

 

Referanslar

Bilgiç, E. E., & Kafkaslı, Z. (2013). Gencim, Özgürlükçüyüm, Ne İstiyorum? #direngeziparkı Anketi Sonuç Raporu.  Istanbul: Istanbul Bilgi Üniversitesi Yayınları

Chen, H. A., & Rao, A. R. (2007). When Two Plus Two Is Not Equal to Four: Errors in Processing Multiple Percentage Changes. Journal of Consumer Research, 34, 1–15.

Diekmann, A. (2006). Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. Berlin: Rowohlt.

Ipsos. (2013). Public Opinion Survey about Gezi Park Protests.

Konda. (2013). Gezi Parkı Araştırması.

Lewin, M. (1986). Psychologische Forschung im Umriß (German Edition). Heidelberg: Springer.

Metropoll. (2013). Türkiye’nin Nabzı, Haziran 2013.

[1] Bugün bu ülkede devlet kurumlarının bile doğru istatistik yapamadığı iddia ediliyorsa, burada da gene dönüp bakılması gereken yer, bu kurumlarda çalışan ve çalışacak personeli eğiten üniversitelerden, onların istihdam ettiği “eğitimcilerden” başkası değil. Dolayısıyla, burada mazlum derken kastedilen aktör, net asgari ücretin aylık 803 TL olduğu ülkede, 2013/2014 eğitim yılı itibariyle İngilizce hazırlık programı için yıllık yaklaşık 30.000 TL, bunun haricinde standart eğitim programlarının her biri için de gene yaklaşık 30.000 TL tahsil eden, devlet tarafından tanınan ve onun erkini paylaşan, bir özel eğitim kurumu olarak Bilgi Üniversitesi. Bunun bir parçası olarak da geriye kalan mazlumlar ekibini “akademik pozisyon” işgal ederek en azından doğrudan öğrencileri üzerinde akademik erk sahibi olan Bilgiç ve Kafkaslı oluşturuyor. Tüm bu “kurumsal masraflılık” karşılığında üretilen ve üniversite etiketiyle piyasaya sürülen materyalin hiçbir evrensel standartta kabul görmeyecek kadar kötü ve bilimsellikten uzak oluşunu sorgulamak yerine “mazluma vurmuşsunuz”, “aslında akademik iddia ile yazılmamış” gibi bahaneler bularak durumu (en iyi ihtimalle zararsızlaştırmanın) mantıki ve ahlaki bir yanını göremiyoruz.

[2] Kotalı numune seçimi sadece çok özel koşullarda, “numunenin genel nüfus için temsili olmayacağının bilinci ve kabulü içinde”, belli bir teorik plan dâhilinde “özel grupları araştırma numunesi içinde birbirlerine denk ağırlıkta inceleyebilmek için” kullanılan ve sadece buna göre dürüstçe sonuç çıkarımı yapılan, rastlantısal olmayan bir örnekleme metodudur.

[3] İstisnai, örneğin nüfus içindeki “alt grupları” özel olarak incelemek istediğiniz durumlar dışında ek bir müdahaleye gerek yoktur ve bu istisnası durumlarda ise gene rastlantısal ‘tabakalandırılmış’ (stratified) örneklem yapılır, kotalı değil.

[4] TÜİK tarafından da ulusal boyutta istatistikler için kullanılmakta olan Avrupa Birliği Bölgesel Sınıflandırma Sistemi NUTS standardındaki il sayılarına buradan ulaşılabilir: NUTS

12 Responses to “Karl Popper’in Askerleriyiz*”

  1. açıkçası yazıyı okumadım bile, ctrl+f yapıp nerede niçin popper referansı verilmiş diye baktım. başlıkta ve sonda. peki niye popper? metodoloji veya epistemoloji tartışması yapılıyor diye mi? ee, lakatos, feyereband, kuhn, ve diğer yüzlercesi de olurdu. burada yöntem konusunda, hele de böyle survey soruları konusunda popper ne söyledi ki??!!! kaldı ki yöntem sorununa bilgi felsefesi değil, sosyal bilimcilerden örnek vermek gerekirdi. bu resmen yapılmış güzel bir esprinin -afedersiniz- bokunun çıkarılması. ayrıyeten de popper’i biliyorum demek alttan alta. ama gel gör ki popper’in eserlerinden birini bile okumadım demek.

  2. Onur Yavuz’un iki yazısını da okudum. İstatistik veya anket uzmanı olduğumu iddia edemem ama bazı kavramları bilirim. İki yazıyı da anladığım kanaatindeyim ve genel olarak eleştirilerine katılıyorum. Aslında Yavuz’un da dediği gibi bunlar ankete dair o kadar temel doğrular/yanlışlar ki bir anlamda katılmamak mümkün değil. Sarkastik üslup zaman zaman rahatsız etse de anlaşılan muhatapları yaptıkları vahim derecesindeki hatalarla bunu bir ölçüde hak etmişler deyip geçebilirim. Yazmamın sebebi olayların başından beri kafamı kurcalayan bir soru sormak ve naçizane bir öneride bulunmak. Soru şu: Gezi hareketi diye nitelenen eylemler dizisine katılanların sosyal profili ve eylemlere katılımlarıyla ilgili keşfedici bir anket yapmak istersek ve herşeyin başı doğru örneklem elde etmekse (yanlış örneklemle doğru sonuç çıkmaz) hangi örneklem metodu uygulanmalıdır? En temsili örneklemin rastlantısal örneklem olduğu malum ama katılımın dalgalı olduğu, farklı şehirler ölçeğinde mekansal düzlemde yayılmış, amorf diyebileceğimiz, sınırlarını belirlemesi kolay olmayan “Gezi kitlesi” gibi bir popülasyondan nasıl rastlantısal örneklem elde edebiliriz? ‘Sampling frame’miz nasıl olacak? Yavuz ikinci yazıda bir örnek vermiş ama yanlış anlamadıysam onun söylediği ancak Türkiye popülasyonunun Gezi eylemleri (veya aslında herhengi bir şey) hakkındaki yaklaşım ve fikirlerini öğrenmek amacıyla yapılacak bir ankette rastlantısal örneklem metodu olarak kullanılabilir. Eğer Gezi kitlesinden rastlantısal örneklem almak mümkün değilse, “ikinci en iyi” metod hangisidir? Kota olamayacağını Yavuz da söylemiş. E tabi ki ‘snowball’ da olmaz. Clustered sampling desen onun için de eninde sonunda bir sampling frame ihtiyacı olmayacak mı? Açık uçlu sorularla derinlemesine mülakat da aynı örneklem sorunundan muzdarip olacaktır.

    İkinci nokta, ele alınan anketlerdeki yönlendirici (prompting), ideolojik bagajı yüklü, “nötr” olmayan sorular meselesi. Yavuz, bu noktada yaptığı eleştirilerinde de birçoğunda haklı gözüküyor. Gel gelelim, şunu da teslim etmek gerekir ki, her ankette etkisini sıfıra indiremeyeceğiniz bir paradoks vardır. Siz ne kadar nötr ifadeler ve terimler kullandığınızı da düşünseniz, “denek” denilen kişilerin farklı geçmiş yaşam tecrübeleri ve zihinsel bagajları yüzünden, sorulan her soru yanıtlayanlar tarafından tamamen aynı biçimde algılanmayacaktır. Tabii bu, Yavuz’un getirdiği eleştirilerin doğruluğuna halel getirmez. Fakat, demem o ki, zaten böyle bir genel paradoks varken bir de Gezi kompleks gibi bir olayı anlamak için sorulacak soruların ideale yaklaşması hayli zor gibime geliyor.

    Bu iki noktayı birleştirerek, eğer Onur Yavuz haddimi aştığımı düşünmezse, yukarıda bahsettiğim önerim şu: Yavuz bu iki eleştiri yazısına ek olarak, yukarıda zikrettiğim noktaları da açıklayan, Gezi gibi bir olay karşısında nasıl anket yapılır bunu anlatan bir üçüncü yazı yazabilir mi acaba? Örnek soruları ortaya koyan, nasıl örneklem yapılacağını anlatan…Bu noktalara, diğer anketlerdeki yanlışların eleştirileri üzerinden iki yazıda değinildiği olmuş ama “Gezi araştırması nasıl yapılır?” sorusuna daha derli toplu cevap teşkil edecek, yanlışlar değil doğrular üzerinden giden bir metin kastediyorum. Hatta, acaba ilk iki yazıyla birleştirilerek bir kitapçık haline getirilebilir mi? Belki araştırma metodları dersinde bile kullanılabilir ama o zaman sarkastik dilden arındırmak gerekir tabii.

    Öte yandan bütün bunları geçersiz kılacak başka bir nokta da var: yoksa Gezi’yi anlamak için anket veya derinlemesine mülakat geçersiz metodlar mıdır? Tabii o zaman anketlerdeki yanlışları eleştirmek de anlamsızlaşır bir ölçüde, çünkü bu bağlamda anket yapmanın kendisi anlamsızdır. Belki de en doğrusu katılımcı gözlem gibi daha etnografik metodlardır; onun için de sokaklarda, barikatlarda bulunmak gerekir. Bunu yapmadan teslim edeceğiniz tek şey Gezi’nin karmaşık, homojen ve çelişkili bir sosyal durum olduğudur gibime geliyor.

  3. Onur Bey, Size ulaşabileceğimiz başka bir adresinizi bulamadık. O nedenle buraya not düşüyoruz. Ipsos’a referans verdiğiniz rapor kamuoyu ve medya ile paylaşılmadı. Raporda, medya ve üçüncü partilerle paylaşılamayacağı, kaynak gösterilerek bile alıntı yapılamayacağı ifade edildi. Buna rağmen kısmen sızdırılması ile ilgili konuyu hukukçularımız inceliyor. Kamuoyunu yönlendirme gibi bir amacı olamaz. Temel amacı tüketici davranışlarının nasıl gelişebileceğini anlamaktır. Bizimle iletişime geçerseniz raporun teknik kalitesi konusunda uzmanlarımızla konuşmanızı da sağlamak isteriz. Ipsos Kurumsal İletişim

    • Merhaba

      Ipsos’a referans verdiğiniz rapor kamuoyu ve medya ile paylaşılmadı. Raporda, medya ve üçüncü partilerle paylaşılamayacağı, kaynak gösterilerek bile alıntı yapılamayacağı ifade edildi.” demişsiniz. Bu noktada şöyle bir hatırlatmayı uygun buluyoruz: Yaman Törüner, 25 Haziran 2013. Eğer bu söylediğiniz tüm raporlarınız için geçerliyse daha düşündürücü bir durum mevcut, zira şu ana kadar Milliyet gazetesi pek çok raporunuzu 75 milyon insanın ulaşabileceği şekilde “kamuya detaylı biçimde ifşa etmiş”. Zaten biz de bu şekilde haberdar olduk. Nitekim Milliyet gazetesi aracılığıyla detaylı biçimde kamuya açılan raporunuza ulaşmak için basit bir Google araması yetiyor. Örneğin gene Haziran ayı itibariyle kamuya açılmış olan bir link (Linkteki şahsın kim olduğunu bilmiyoruz ve zaten ilgilenmiyoruz) http://groups.yahoo.com/group/emeklirotaractlar/message/1745

      Biz bu tabloda, halihazırda 2 ay önce basın yoluyla detaylı biçimde kamuya sunulmuş bir araştırmanızı, bilgi alma ve doğrulama özgürlüğü kapsamında, kısmen analizimize dahil ederek bilimsel görevimizi yaptık ve atıfta bulunduk. Yani, akademik ya da sair meraklarla ilgilenen kişiler için tamamen kamuya açık hale gelmiş, alenileşmiş bir rapora, tamamen bilimsel maksatlarla ve metodolojik ilkeler çerçevesinde atıf yapmış olmakla, ne alenileştirme yasağınızı çiğnemiş olduğumuzu düşündük, ne de raporun ticari kullanım değerine bir etkide bulunmayı aklımıza getirdik. Nitekim makalemiz ne sadece o rapora yaslanıyor, ne münhasıran o raporun analizini hedefliyor.

      Raporun teknik kalitesi konusunda tartışmak istediğiniz bir şey varsa (örneğin bu makalenin altındaki yorum bölümünde) kamuya açık bir biçimde uzmanlarınızın makaleye yönelik teknik ve bilimsel nitelikteki görüşlerini okumaya, duymaya ve gerekli görürsek yanıt vermeye hazırız. Zira bilim insanları olarak, bilimsel kalite tartışmalarının doğal olarak kamuya açık ve yararlı bir biçimde sürdürülmesi gerektiğini savunuyoruz.

      İyi akşamlar.

  4. Benim eleştirimi lütfen bağlamından koparmadan ifade edin. Buydu… “Bilgi’nin iletişimci yüksek lisansçılarının amatör bir çalışmasını değil de işi ziyayedesiyle istatistik olması gereken TÜİK’in herhangi bir raporunu ele alarak yazılması gerekirdi…Muktedir dururken zayıfa vurulmuş!”

    • Merhaba Alper

      Detaylı açıklamanız için teşekkür ediyorum. Bizim üniversite ve araştırma sistemindeki duruma, bunun profesyonel dünyadaki izdüşümüne dair yazıdaki yorumumuz bu tarif ettiğiniz durum içerisinde de geçerli.

      Sevgiler

  5. Selamlar,
    İlki gibi bu yazı da gayet anlamlı ve yerinde. katkı olması amacıyla aşağıdaki linkte bulunan kısa kitabı da dikkatinize sunuyorum. Yazar TRT ve RTÜK tarafından yapılan araştırmalardaki sorunları ele alarak benzer bir analiz yapıyor.
    http://www.irfanerdogan.com/kitaplar/trt2007book.pdf

  6. Bazı universitelerimizin ve araştırma şirketlerinizin içler acısı durumunu yazdığınız için çok teşşekürler. Asla bilimsellikten vazgeçmemiz gerekiyor. Konda , Metropoll ve IPSOS gibi markalara yakışmadı. Bu şirketlerin genel müdürlerine tavsiyem derhal konuyla ilgili teknik uzmannların işten çıkarmak ve sizi işe almak olurdu.

  7. Popper.. Bilim felsefesi üzerine çalışmaları nedeni ile atıf yapılmış..
    Bilimi aidiyet ve hırsları uğruna eğip büken.. Zavallılar.. Popper sizi kovalardı.. Minvalinde..
    CTRL+f yanında google + mantık da iyi gider..

  8. 4 yılı aşkın bir süredir internet üzerinden Türkiye’ de faliyet gösteren yerli ve yabancı araştırma şirketlerinin anketlerine katılıyorum.ve burada bahsettiğiniz sorunların tamamı hatta daha fazlası karşımıza çıkmakta.Sadece GEZİ anketlerine mahsus bir durum değil malesef…

Trackbacks

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: