Apakah ada bias yang diketahui dengan polling telepon di AS?

Saya sedang melihat jajak pendapat WashingtonTimes / ABC, dan hasilnya rusak, terutama berdasarkan usia, tampak mengejutkan bagi saya. Jadi saya pergi mencari bias.

Dikatakan: "jajak pendapat dilakukan melalui telepon 11-14 Desember 2014, di antara sampel acak 1.000 orang dewasa. Wawancara dilakukan dalam bahasa Inggris dan Spanyol pada telepon rumah dan ponsel."

Jajak pendapat itu tidak memberi saya jumlah responden di setiap kelompok umur, dan pikiran pertama saya adalah anak seperti apa berusia 18-29 tahun yang bisa menjawab telepon ?! OK, mereka termasuk seluler, yang membuatnya sedikit lebih adil. Tapi tetap saja, seperti apa 18-29 tahun menjawab ponsel mereka, ditanya apakah mereka ingin mengambil survei, dan mengatakan "ya, tentu".

(Saya tidak bermaksud itu sebagai pertanyaan retoris; firasat saya adalah bahwa kelompok-kelompok tertentu lebih mungkin, misalnya seseorang dengan harga diri yang rendah mungkin menikmati proses diminta pendapatnya oleh orang asing melalui telepon.)

Jadi, apakah ada penelitian tentang topik ini? Apakah organisasi yang tertarik memanipulasi opini publik memilih jajak pendapat telepon, jajak pendapat online, atau wawancara di jalan, jika mereka setelah bias tertentu?

Ada penelitian bagus oleh Pew yang melihat seberapa banyak tingkat respons menurun, dan juga apa pengaruhnya.

http://www.people-press.org/2012/05/15/assessing-the-representativeness-of-public-opinion-surveys/

"Sebuah studi baru oleh Pew Research Center untuk People & Press menemukan bahwa, meskipun tingkat responsnya menurun, survei telepon yang mencakup sambungan telepon rumah dan ponsel dan ditimbang agar sesuai dengan komposisi demografis penduduk terus memberikan data akurat pada sebagian besar politik. , langkah-langkah sosial dan ekonomi. Hal ini melengkapi dengan catatan akurasi yang konsisten yang dicapai oleh jajak pendapat utama dalam hal memperkirakan hasil pemilu, antara lain.

"Ini bukan untuk mengatakan bahwa penurunan tingkat respons tanpa konsekuensi. Salah satu area signifikan dari bias non-respons yang diidentifikasi dalam penelitian ini adalah bahwa peserta survei cenderung lebih terlibat secara signifikan dalam kegiatan sipil daripada mereka yang tidak berpartisipasi, mengkonfirmasikan apa yang sebelumnya Penelitian telah menunjukkan: Orang yang sukarela lebih cenderung setuju untuk mengambil bagian dalam survei daripada mereka yang tidak melakukan hal-hal ini. Hal ini memiliki implikasi serius bagi kemampuan survei untuk secara akurat mengukur perilaku yang berkaitan dengan kesukarelaan dan kegiatan sipil. Misalnya, survei telepon dapat melebih-lebihkan perilaku seperti kehadiran di gereja, menghubungi pejabat terpilih, atau menghadiri acara kampanye. "

Apakah ada bias yang diketahui dengan polling telepon di AS?

Ya, ada bias yang diketahui dengan polling telepon di AS: ponsel.

Untuk waktu yang lama, standar emas pemungutan suara telepon acak di AS adalah pemanggilan angka acak: mesin menghasilkan nomor telepon acak dan pengumpul pertanyaan menanyakan siapa pun yang mengangkat. Dengan asumsi semua orang memiliki satu dan hanya satu telepon, jajak pendapat adalah sampel acak sederhana dari pemilik telepon.

Namun, kedatangan telepon seluler mengubah hal itu: banyak orang, terutama yang muda, tidak memiliki telepon rumah. Bahkan dalam demografi tertentu (kelompok usia, jenis kelamin, ras), populasi yang hanya menggunakan telepon seluler ini memiliki sikap politik yang berbeda dari populasi dengan sambungan telepon rumah atau kedua jenis telepon. Karena ilegal untuk dialer otomatis untuk memanggil ponsel, ini mendatangkan malapetaka dengan jajak pendapat.

Untuk lembaga survei, ini berarti mereka harus menggunakan manusia untuk memanggil semua ponsel, yang jelas jauh lebih mahal. Jadi lembaga survei harus, apriori , memutuskan berapa banyak ponsel yang mereka butuhkan untuk mengendalikan biaya. Jumlah panggilan telepon seluler harus diseimbangkan dengan jumlah panggilan telepon rumah otomatis dengan cara yang terdengar ilmiah - menyambungkan nomor telepon rumah seluler saja, rumah khusus telepon rumah dan rumah-rumah yang keduanya sebanding dengan kejadiannya dalam populasi, semuanya tidak melebihi anggaran mereka!

Efek ponsel mungkin bukan sumber bias potensial.

Saya menduga bahwa lembaga survei bahwa jajak pendapat Washington Times / ABC digunakan adalah menyadari semua ini, karena bagaimana membangun sampel acak dalam terang "efek ponsel" itu cukup banyak yang topik bahwa semua polling politik kontemporer adalah berurusan dengan hari ini. Jadi, sepertinya para pengumpul survei mengambil langkah untuk mengurangi "efek ponsel" dalam polling ini. Namun, mungkin lembaga survei mengalami hari yang buruk dan panggilan acak nomor ponsel mereka tidak menghasilkan respons aktual yang cukup.

Jika ada bias, bisa jadi itu bobot sampel.

Sumber bias potensial lain dalam jajak pendapat ini adalah bobot sampel. Tujuan pembobotan sampel adalah untuk mengurangi jumlah orang yang perlu Anda jangkau dalam berbagai (kombinasi) kelompok demografis dengan mengaitkan bobot yang berbeda dengan segmen populasi yang berbeda. Ini, tentu saja, mengarah pada pertanyaan "bagaimana Anda tahu Anda telah menimbang sampel dengan benar?" Inilah sebabnya mengapa beberapa perusahaan pemungutan suara akan memiliki perkiraan yang secara konsisten di atas / di bawah mereka dari perusahaan pemungutan suara lainnya: mereka memiliki metode berbeda untuk menimbang sampel mereka, dan yang secara konsisten menarik hasilnya ke arah tertentu.

Ini adalah contoh dari trade-off bias-varians. Lembaga survei dapat menggunakan sampel acak kecil dan sederhana untuk mencapai perkiraan varians tinggi. Atau mereka dapat menggunakan bobot untuk mengurangi varian estimasi dari sampel kecil, tetapi dengan biaya (statistik) bias.

Lembaga survei (dan ahli statistik pada umumnya) semua harus bergulat dengan pertukaran bias-varians dengan satu atau lain cara. Itu tidak selalu berarti bahwa mereka jahat atau berusaha memanipulasi publik.

Penjelasan alternatif berlimpah.

Ada banyak cara untuk mengacaukan polling, secara tidak sengaja atau sengaja. Mengulang pertanyaan dapat menghasilkan jawaban yang berbeda di antara kelompok yang berbeda. Polling push, di mana pertanyaan dibingkai untuk memperoleh respon tertentu, adalah contoh yang paling jelas dan jahat dari ini.

Apakah organisasi yang tertarik memanipulasi opini publik memilih jajak pendapat telepon, jajak pendapat online, atau wawancara di jalan, jika mereka setelah bias tertentu?

Pertanyaan ini tidak sepenuhnya bersifat statistik, karena ia menyerukan spekulasi tentang motif dan metode beberapa entitas hipotetis yang jahat. Saya hanya bisa menjawabnya sebagian.

Mewawancarai orang-orang di jalan tidak benar-benar acak, dan mungkin bias (dalam arti bahwa itu akan cenderung mencakup beberapa kelompok dengan proporsi yang lebih besar daripada yang lain).

Tujuan dari panggilan angka-acak adalah untuk mencapai keadaan di mana setiap orang memiliki probabilitas pemilihan yang sama. Pergi ke sudut jalan dan mewawancarai orang-orang tidak cukup mencapai ini, karena Anda akan cenderung melibatkan orang-orang yang tinggal dan bekerja di dekatnya. Jika Anda pergi ke jalan di Washington, DC, Anda akan memiliki hampir kesempatan untuk memilih orang yang bukan dari DC, Maryland atau Virginia.

Selain itu, pertimbangkan jalan mana yang Anda tuju. Mewawancarai orang-orang di jalan, katakanlah, lingkungan Cleveland Park di Washington, DC akan sangat berbeda dari mewawancarai orang-orang di jalan di Anacostia: tempat-tempat ini memiliki komposisi demografis yang sangat berbeda.

Polling orang online tidak benar-benar acak, tetapi tidak jelas apakah itu lebih buruk daripada polling telepon.

Populasi orang yang memilih untuk mengikuti jajak pendapat online adalah populasi yang memilih sendiri, tidak harus diambil secara acak dari semua responden potensial. Lembaga survei tradisional yang cenderung menyukai pemungutan suara melalui telepon sangat skeptis terhadap pemilihan online karena alasan ini. Namun, orang-orang seperti Andrew Gelman kurang yakin bahwa hasil akhir dari jajak pendapat yang dilakukan secara acak dan jajak pendapat online yang dipilih sendiri sangat berbeda. Ini adalah area penelitian yang sangat terbuka.

Apakah organisasi yang tertarik memanipulasi opini publik memilih jajak pendapat telepon, jajak pendapat online, atau wawancara di jalan, jika mereka setelah bias tertentu?

Semua metode pemungutan suara dapat menjadi bias, termasuk beberapa yang tidak disebutkan dalam pertanyaan.

Untuk lebih mewakili sudut pandang yang lebih tua, pilih jajak pendapat telepon dan 'lupa' untuk menormalkan kelompok kuota usia, mengetahui bahwa responden yang lebih muda kurang terwakili.

Polling jalanan tanpa pengaturan kuota dan normalisasi mungkin akan menjadi cara termudah untuk mendapatkan bias. Sesuai Sycorax, cukup pilih jalan Anda. Polling dalam jam kerja atau keluar dari mereka juga akan mengubah hasilnya. Saya pernah menjadi pewawancara jalanan. Kami bekerja dengan kuota ketat yang menggabungkan rentang usia, jenis kelamin dan kelas sosial, tetapi dalam hal ini saya sadar akan kecenderungan saya sendiri untuk mendekati orang-orang dalam kuota yang saya sukai tampilan (orang-orang yang sedikit seperti saya, jika Anda suka) daripada orang-orang dalam kuota yang memiliki daya tarik visual yang kurang langsung. Dan saya tidak berpikir mereka memiliki kuota untuk tipe pewawancara!

Koran-koran tabloid Inggris secara teratur melakukan 'survei' pemilihan sendiri ya / tidak dari pembaca mereka sendiri, biasanya pada pertanyaan utama yang emosional, melaporkan hasilnya seolah-olah mereka adalah perwakilan survei yang asli dari populasi, dan seringkali dengan keunggulan lebih besar daripada yang layak, secara etis melakukan survei.

Seperti yang dikomentari Andy Jones, ada banyak cara yang lebih mudah untuk bias dalam suatu jajak pendapat. Pilihan tanggal dan waktu, penyesuaian kata-kata (terutama dalam survei Sebelum dan Setelah), pertanyaan utama, pengaturan suasana hati direktif sebelum atau menyaring pertanyaan, asumsi reduksionis, pilihan respons terbatas dan sebagainya. Di London, berbagai manajemen lalu lintas dewan, manajemen parkir dan bagian konsultasi publik tampaknya menjadikan teknik curang seperti itu sebagai spesialisasi mereka.

Biasanya, jika mereka membawa pembatasan lalu lintas, mereka akan berkonsultasi hanya dengan penduduk di daerah yang sempit di dekatnya, dan pengemudi tidak sama sekali. Penghuni akan mendapatkan kartu kotak centang melalui pintu mereka, atau mungkin dua kartu di properti tua besar yang dibagi menjadi lima atau tujuh flat terpisah.

Bentuk bias polling yang benar-benar tidak terkalahkan, meskipun bukan bagian dari proses polling itu sendiri, adalah untuk melakukannya dengan cara apa pun (misalnya dengan sempurna) dan kemudian menekan hasilnya jika tidak sesuai. Asosiasi warga untuk daerah tempat saya pernah tinggal, dikendalikan dengan tangan besi oleh seorang pejabat serikat buruh yang sangat manipulatif, melakukan hal itu.

Akhirnya, pada tahun 2004, kembali dari liburan di bandara Stansted saya menemukan diri saya dihadang oleh "pintu" yang terdiri dari dinding perspex ganda dan detektor gerakan. Penumpang diundang untuk berjalan melalui pintu opsional ini jika mereka ingin mewujudkan Olimpiade di London. Minoritas opini publik yang cukup besar pada waktu itu tidak antusias untuk mendapatkan tagihan besar-besaran untuk acara kesombongan, mengingat beban fiskal Yunani dan korupsi di Utah, dan tim London Back the Bid berusaha mengumpulkan dukungan.

Anda dapat berjalan melewati pintu sebanyak yang Anda inginkan untuk mendaftarkan 'suara' (disebut demikian) setiap kali untuk Olimpiade, untuk kesenangan keluarga dengan anak-anak muda. Sayangnya, mereka lupa memberikan pintu kedua untuk orang-orang yang tidak menginginkan tagihan besar selama 30 tahun, atau untuk orang-orang seperti saya yang berpikir bahwa Paris layak untuk acara tersebut.

Anehnya, hasil gaya Soviet adalah bahwa 100% orang Inggris menginginkan Olimpiade. Saya akan tetap membayar mereka lama sampai pensiun. Hal-hal yang berguna, polling.