Hasil Pemilu AS 2016: Apa yang salah dengan model prediksi?

Pertama adalah Brexit , sekarang pemilihan AS. Banyak model prediksi yang dibuat dengan selisih yang lebar, dan apakah ada pelajaran yang bisa dipelajari di sini? Sampai jam 4 sore PST kemarin, pasar taruhan masih mengunggulkan Hillary 4 banding 1.

Saya menganggap bahwa pasar taruhan, dengan uang nyata di telepon, harus bertindak sebagai ansambel semua model prediksi yang tersedia di luar sana. Jadi tidak masuk akal untuk mengatakan model ini tidak melakukan pekerjaan dengan sangat baik.

Saya melihat satu penjelasan adalah pemilih tidak mau mengidentifikasi diri mereka sebagai pendukung Trump. Bagaimana model menggabungkan efek seperti itu?

Satu penjelasan makro yang saya baca adalah kebangkitan populisme . Pertanyaannya kemudian adalah bagaimana model statistik dapat menangkap tren makro seperti itu?

Apakah model prediksi ini di luar sana memberikan terlalu banyak data pada jajak pendapat dan sentimen, tidak cukup dari posisi negara dalam 100 tahun pandangan? Saya mengutip komentar seorang teman.

Singkatnya, pemungutan suara tidak selalu mudah. Pemilihan ini mungkin yang paling sulit.

Setiap kali kami mencoba melakukan inferensi statistik, pertanyaan mendasar adalah apakah sampel kami adalah representasi yang baik dari populasi yang diminati. Asumsi khas yang diperlukan untuk banyak jenis inferensi statistik adalah bahwa sampel kami menjadi sampel yang benar-benar acak dari populasi yang diminati (dan seringkali, kami juga membutuhkan sampel untuk mandiri). Jika asumsi ini benar, kita biasanya memiliki ukuran ketidakpastian yang baik berdasarkan teori statistik.

Tapi kami secara definitif tidak memiliki asumsi-asumsi ini sesuai dengan jajak pendapat! Kami memiliki tepat 0 sampel dari populasi yang kami minati: suara yang diberikan pada hari pemilihan. Dalam hal ini, kita tidak bisa membuat inferensi valid apa pun tanpa asumsi lebih lanjut yang tidak dapat diuji tentang data. Atau setidaknya, tidak dapat diuji sampai setelah hari pemilihan.

Apakah kita sepenuhnya menyerah dan berkata "50% -50%!"? Biasanya tidak. Kita dapat mencoba membuat apa yang kita yakini sebagai asumsi yang masuk akal tentang bagaimana suara akan diberikan. Sebagai contoh, mungkin kita ingin percaya bahwa jajak pendapat adalah perkiraan yang tidak bias untuk suara hari pemilihan, ditambah beberapa kebisingan temporer tertentu yang tidak bias (yaitu, mengembangkan opini publik seiring berjalannya waktu). Saya bukan ahli dalam metode polling, tapi saya percaya ini adalah jenis model yang digunakan 538. Dan pada 2012, itu bekerja dengan cukup baik. Jadi asumsi itu mungkin cukup masuk akal. Sayangnya, tidak ada cara nyata untuk mengevaluasi asumsi-asumsi itu, di luar alasan kualitatif. Untuk diskusi lebih lanjut tentang topik yang sama, lihat topik hilangnya Ketidaktahuan.

Teori saya mengapa jajak pendapat memiliki kinerja yang sangat buruk pada tahun 2016: jajak pendapat itu bukan estimasi perilaku hari pemilih yang tidak bias. Yaitu, saya kira para pendukung Trump (dan kemungkinan juga pendukung Brexit) jauh lebih tidak percaya pada lembaga survei. Ingatlah bahwa Tn. Trump secara aktif mengecam pemilihan. Karena itu, saya pikir pendukung Trump cenderung melaporkan niat memilih mereka ke lembaga survei daripada pendukung lawan-lawannya. Saya akan berspekulasi bahwa ini menyebabkan bias berat yang tak terduga dalam jajak pendapat.

Bagaimana analis dapat memperhitungkan hal ini ketika menggunakan data jajak pendapat? Berdasarkan data jajak pendapat saja, tidak ada cara nyata untuk melakukan ini secara kuantitatif. Data jajak pendapat tidak memberi tahu Anda apa pun tentang mereka yang tidak berpartisipasi. Namun, orang mungkin dapat memperbaiki jajak pendapat secara kualitatif, dengan memilih asumsi yang lebih masuk akal (tetapi tidak dapat diuji) tentang hubungan antara data jajak pendapat dan perilaku hari pemilihan. Ini non-sepele dan bagian yang benar-benar sulit untuk menjadi pengumpul pendapat yang baik (catatan: Saya bukan pengumpul informasi). Juga perhatikan bahwa hasilnya sangat mengejutkan para pakar juga, jadi tidak seperti ada tanda-tanda yang jelas bahwa asumsi-asumsi itu sangat tidak masuk akal kali ini.

Pemungutan suara bisa sulit.

Ada sejumlah sumber kesalahan pemungutan suara:

• Anda menemukan beberapa orang sulit dijangkau

  Ini dikoreksi dengan melakukan analisis demografis, kemudian mengoreksi bias pengambilan sampel Anda. Jika analisis demografis Anda tidak mencerminkan hal-hal yang membuat orang sulit dijangkau, koreksi ini tidak memperbaiki kerusakan.

• Orang berbohong

  Anda dapat menggunakan kurs historis tempat orang berbohong kepada lembaga survei untuk memengaruhi model Anda. Sebagai contoh, secara historis orang menyatakan mereka akan memilih partai ke-3 jauh lebih banyak daripada yang sebenarnya mereka lakukan pada hari pemilihan. Koreksi Anda bisa salah di sini.

  Kebohongan ini juga dapat mengacaukan koreksi Anda yang lain; jika mereka berbohong tentang memilih dalam pemilihan terakhir, mereka dapat dihitung sebagai pemilih yang mungkin meskipun mereka tidak, misalnya.

• Hanya orang-orang yang memilih yang akhirnya menghitung

  Seseorang dapat memiliki banyak dukungan, tetapi jika pendukung mereka tidak muncul pada hari pemilihan, itu tidak masuk hitungan. Inilah sebabnya mengapa kami telah mendaftarkan pemilih, kemungkinan pemilih, dll model. Jika model ini salah, semuanya tidak berfungsi.

• Polling membutuhkan uang

  Melakukan jajak pendapat itu mahal, dan jika Anda tidak mengharapkan (katakanlah) Michigan untuk mundur, Anda mungkin tidak terlalu sering melakukan jajak pendapat. Hal ini dapat menyebabkan Anda terkejut ketika negara bagian yang Anda jajak pendapat 3 minggu sebelum pemilihan tidak terlihat seperti itu pada hari pemilihan.

• Orang-orang berubah pikiran

  Selama beberapa menit, jam, hari, minggu atau bulan, orang-orang berubah pikiran. Jajak pendapat tentang "apa yang akan Anda lakukan sekarang" tidak banyak membantu jika mereka berubah pikiran sebelum diperhitungkan. Ada beberapa model yang memperkirakan kira-kira tingkat perubahan pendapat orang berdasarkan jajak pendapat historis.

• Menggiring

  Jika semua orang menyatakan bahwa Hillary adalah +3 dan Anda mendapatkan polling yang menunjukkan Hillary +11 atau Donald +1, Anda mungkin mempertanyakannya. Anda dapat melakukan pass lain dan melihat apakah ada kegagalan analisis. Anda bahkan mungkin membuangnya dan melakukan jajak pendapat lain. Saat Anda mendapatkan polling Hillary +2 atau +4, Anda mungkin tidak melakukannya. Pencilan besar-besaran, bahkan jika model statistik mengatakan itu kadang-kadang terjadi, dapat membuat Anda "terlihat buruk".

  Suatu bentuk yang sangat buruk dari ini terjadi pada hari pemilihan, di mana setiap orang yang merilis sebuah polling secara ajaib bertemu dengan nilai yang sama; mereka mungkin jajak pendapat outlier, tapi tidak ada yang ingin menjadi orang yang mengatakan (katakanlah) Hillary +11 sehari sebelum pemilihan ini. Menjadi salah dalam kawanan kurang menyakitkan bagi Anda.

• Kesalahan pengambilan sampel yang diharapkan

  Jika Anda memiliki 1 juta orang dan Anda bertanya 100 orang secara acak dan setengahnya mengatakan "Apple" dan setengah mengatakan "Oranye", kesalahan yang diharapkan akan Anda dapatkan dari sampel adalah +/- 10 atau lebih, bahkan jika tidak ada masalah di atas terjadi. Bit terakhir ini adalah apa jajak pendapat menggambarkan sebagai mereka margin of error. Jajak pendapat jarang menggambarkan faktor koreksi apa yang bisa menyebabkan kesalahan.

Nate Silver di 538 adalah salah satu dari sedikit agregator pemungutan suara yang menggunakan cara konservatif (hati-hati) untuk menangani kemungkinan jenis kesalahan di atas. Dia memperhitungkan kemungkinan kesalahan berkorelasi sistemik dalam model pemungutan suara.

Sementara agregator lain memprediksi 90% + kemungkinan HC dipilih, Nate Silver menyatakan 70%, karena jajak pendapat berada dalam "kesalahan polling normal" dari kemenangan Donald.

Ini adalah ukuran historis kesalahan model , yang bertentangan dengan kesalahan sampling statistik mentah; bagaimana jika model dan koreksi pada model itu salah?

Orang-orang masih menghitung angka-angkanya. Tapi, hasil awal menunjukkan sebagian besar dari itu adalah model partisipasi. Pendukung Donald muncul ke tempat pemungutan suara dalam jumlah yang lebih besar, dan pendukung Hillary dalam jumlah yang lebih sedikit, daripada yang ditunjukkan oleh model pemungutan suara (dan keluar dari pemungutan suara!).

Latino memberikan suara lebih banyak untuk Donald daripada yang diperkirakan. Orang kulit hitam lebih memilih Donald daripada yang diperkirakan. (Sebagian besar keduanya memilih Hillary). Perempuan kulit putih memilih lebih banyak untuk Donald daripada yang diharapkan (lebih banyak dari mereka memilih untuk Donald daripada Hillary, yang tidak diharapkan).

Jumlah pemilih pada umumnya rendah. Demokrat cenderung menang ketika ada jumlah pemilih yang tinggi, dan Partai Republik ketika ada yang rendah.

Ini disebutkan dalam komentar pada jawaban yang diterima (hat-tip untuk Mehrdad ), tapi saya pikir itu harus ditekankan. 538 sebenarnya melakukan ini dengan cukup baik pada siklus ini ^* .

538 adalah agregator pemungutan suara yang menjalankan model terhadap setiap negara bagian untuk mencoba memprediksi pemenang. Perjalanan terakhir mereka memberi Trump peluang 30% untuk menang. Itu berarti jika Anda menjalankan tiga pemilihan dengan data seperti ini, Anda akan mengharapkan Tim Merah untuk memenangkan salah satunya. Itu bukan peluang yang sangat kecil. Ini tentu saja merupakan hal yang cukup besar sehingga saya mengambil tindakan pencegahan (misalnya: Jumat sebelum saya meminta hari Rabu libur ke-9 di tempat kerja, mengingat kemungkinannya cukup dekat untuk menjadi larut malam).

Satu hal yang 538 akan memberitahu Anda jika Anda nongkrong di sana adalah bahwa jika jajak pendapat dimatikan, ada kemungkinan mereka semua akan pergi ke arah yang sama. Ini karena beberapa alasan.

• Kemungkinan model pemilih. Jajak pendapat harus disesuaikan dengan jenis pemilih yang benar-benar akan muncul pada hari pemilihan. Kami memiliki model historis, tetapi ini jelas bukan pasangan calon Anda, jadi memprediksi berdasarkan data masa lalu akan selalu menjadi omong kosong.
• Akhir pemilu menggiring . Tak seorang pun ingin menjadi jajak pendapat yang paling buruk meniup pemilu. Jadi, sementara mereka tidak keberatan menjadi pencilan di tengah kampanye, pada akhirnya semua jajak pendapat cenderung mengubah diri mereka sehingga mereka mengatakan hal yang sama. Ini adalah salah satu hal yang disalahkan karena pemilihan yang begitu buruk dalam kekalahan mengejutkan Eric Cantor pada tahun 2014, dan untuk hasil yang sangat mengejutkan dari perlombaan Senat Virginia 2014 juga.

^{* - 538 sekarang telah memposting analisis mereka sendiri . Sebagian besar cocok dengan apa yang dikatakan di atas, tetapi layak dibaca jika Anda ingin lebih banyak detail.}

Sekarang sedikit spekulasi pribadi. Saya sebenarnya skeptis dengan peluang% terakhir 538 untuk 3 hari terakhir. Alasannya kembali ke peluru kedua di atas. Mari kita lihat sejarah model mereka untuk pemilihan ini (dari situs web mereka)

(Sayangnya, label-label itu mengaburkannya, tetapi setelah ini kurva-kurva itu menyimpang lagi selama tiga hari terakhir, lebih dari 70% peluang untuk Clinton)

Pola yang kita lihat di sini adalah divergensi berulang diikuti oleh pembusukan kembali ke arah Trump. Gelembung Clinton semua disebabkan oleh peristiwa. Yang pertama adalah konvensi (biasanya ada beberapa hari jeda setelah acara untuk itu mulai muncul di pemungutan suara). Yang kedua tampaknya telah dimulai oleh debat pertama, kemungkinan dibantu oleh rekaman TMZ. Lalu ada titik belok ketiga yang saya tandai di gambar.

Itu terjadi pada 5 November, 3 hari sebelum pemilihan. Peristiwa apa yang menyebabkan ini? Beberapa hari sebelumnya itu adalah kobaran email lagi, tetapi itu seharusnya tidak menguntungkan Clinton.

Penjelasan terbaik yang bisa saya sampaikan saat itu adalah penggembalaan jajak pendapat. Hanya 3 hari sebelum pemilihan, 2 hari sebelum jajak pendapat akhir, dan jajak pendapat akan mulai khawatir tentang hasil akhir mereka. "Kebijaksanaan konvensional" seluruh pemilihan ini (sebagaimana dibuktikan oleh model taruhan) adalah kemenangan mudah bagi Clinton. Jadi sepertinya ada kemungkinan berbeda bahwa ini sama sekali bukan infleksi yang sebenarnya. Jika itu masalahnya, kurva sebenarnya dari 5 November pada kemungkinan besar merupakan kelanjutan dari ini menuju konvergensi.

Butuh matematikawan yang lebih baik daripada saya untuk memperkirakan kurva ke depan di sini tanpa titik belok akhir yang mencurigakan ini, tetapi jika saya perhatikan, 8 November saya akan berada di dekat titik persilangan . Di depan atau di belakang tergantung pada seberapa banyak kurva itu sebenarnya nyata.

Sekarang saya tidak bisa mengatakan dengan pasti ini yang terjadi. Ada penjelasan lain yang sangat masuk akal (misalnya: Trump membuat para pemilihnya jauh lebih baik daripada yang diperkirakan oleh pemberi polling) Tapi itu adalah teori saya untuk apa yang sedang terjadi pada saat itu, dan itu jelas terbukti prediktif.

Pertama adalah Brexit, sekarang pemilihan AS

Bukan yang pertama, misalnya pemilihan presiden Prancis, 2002 "menyebabkan diskusi serius tentang teknik pemungutan suara".

Jadi tidak masuk akal untuk mengatakan model ini tidak melakukan pekerjaan dengan sangat baik.

Sampah masuk sampah keluar.

Saya melihat satu penjelasan adalah pemilih tidak mau mengidentifikasi diri mereka sebagai pendukung Trump. Bagaimana model menggabungkan efek seperti itu?

Lihat bias tanggapan , dan bias keinginan sosial tertentu . Bacaan menarik lainnya: mayoritas diam dan efek Bradley .

Jajak pendapat USC / LA Times memiliki angka yang akurat. Mereka memperkirakan Trump akan memimpin. Lihat jajak pendapat USC / LA Times yang terlewatkan oleh survei lain: Gelombang dukungan Trump

http://www.latimes.com/politics/la-na-pol-usc-latimes-poll-20161108-story.html

Mereka memiliki angka akurat untuk 2012 juga.

Anda mungkin ingin mengulas: http://graphics.latimes.com/usc-presidential-poll-dashboard/

Dan NY Times mengeluh tentang bobot mereka: http://www.nytimes.com/2016/10/13/upshot/how-one-19-year-old-illinois-man-is-distorting-national-polling-averages. html

Tanggapan LA Times: http://www.latimes.com/politics/la-na-pol-daybreak-poll-questions-20161013-snap-story.html

Tidak ada tempat tinggi yang diklaim di sini. Saya bekerja di bidang (Pemantauan dan Evaluasi) yang penuh dengan pseudo-sains seperti ilmu sosial lainnya yang bisa Anda sebutkan.

Tapi ini kesepakatannya, industri pemungutan suara seharusnya dalam 'krisis' hari ini karena mendapat prediksi pemilu AS yang salah, ilmu sosial secara umum memiliki 'krisis' yang dapat ditiru dan kembali pada akhir 2000-an kita memiliki 'krisis' keuangan dunia karena beberapa praktisi percaya bahwa turunan hipotek sub-prime adalah bentuk data keuangan yang valid (jika kita memberi mereka keuntungan dari keraguan ...).

Dan kita semua hanya melakukan kesalahan terlepas. Setiap hari saya melihat konstruk peneliti yang paling dipertanyakan yang digunakan sebagai pendekatan pengumpulan data, dan karenanya akhirnya digunakan sebagai data (mulai dari skala kuasi-ordinal hingga kategori respons tetap yang sepenuhnya memimpin). Sangat sedikit peneliti yang tampaknya menyadari bahwa mereka perlu memiliki kerangka kerja konseptual untuk konstruksi seperti itu sebelum mereka dapat berharap untuk memahami hasil mereka. Seolah-olah kita telah melihat pendekatan pasar 'penelitian' dan memutuskan untuk hanya mengadopsi kesalahan terburuk mereka, dengan tambahan sedikit numerologi di samping.

Kami ingin dianggap sebagai 'ilmuwan', tetapi kekakuannya agak terlalu sulit untuk diganggu, jadi kami mengumpulkan data sampah dan berdoa kepada dewa statistik seperti Loki untuk secara ajaib menunggang aksioma GIGO.

Tetapi seperti yang dikutip oleh Mr. Feynman yang dikutip dengan berat:

“Tidak masalah seberapa indah teorimu, tidak masalah seberapa pintar dirimu. Jika tidak setuju dengan eksperimen, itu salah ”.

Ada cara-cara yang lebih baik untuk menangani data kualitatif yang sering membuat kita terjebak, tetapi mereka mengambil sedikit lebih banyak pekerjaan dan konstruk peneliti yang bagus itu sering kali lebih mudah untuk dimasukkan ke dalam SPSS. Kenyamanan tampaknya mengalahkan ilmu pengetahuan setiap saat (tidak ada permainan kata-kata yang dimaksudkan).

Singkatnya, jika kita tidak mulai serius tentang kualitas data mentah, saya pikir kita hanya membuang-buang waktu dan uang semua orang, termasuk kita sendiri. Jadi, apakah ada yang ingin berkolaborasi pada 'inisiatif kualitas data' dalam kaitannya dengan metode ilmu sosial (ya, ada banyak buku teks tentang hal-hal seperti itu, tetapi tampaknya tidak ada yang memperhatikan sumber itu setelah ujian mereka).

Siapa pun yang memiliki gravitasi paling akademis akan menjadi yang terdepan! (Itu bukan aku.)

Untuk memperjelas jawaban saya di sini: Saya sering melihat masalah mendasar dengan tipe data mentah yang 'dibuat-buat', sehingga saya ingin menyarankan perlunya memulai dari awal. Jadi bahkan sebelum kita khawatir tentang pengambilan sampel atau tes mana yang akan dijalankan pada data, kita perlu melihat validitas / batasan tipe data yang kami kumpulkan sehubungan dengan model yang kami usulkan. Kalau tidak, model prediksi keseluruhan tidak didefinisikan secara lengkap.

Polling cenderung memiliki margin kesalahan 5% yang tidak bisa Anda singkirkan, karena ini bukan kesalahan acak, tetapi bias. Bahkan jika Anda rata-rata di banyak jajak pendapat, itu tidak jauh lebih baik. Ini ada hubungannya dengan kelompok-kelompok pemilih disalahpahami, kurangnya mobilisasi, ketidakmampuan untuk pergi ke pemungutan suara pada hari kerja, keengganan untuk menjawab, keengganan untuk menjawab kanan , keputusan-menit terakhir spontan, ... karena bias ini cenderung "berkorelasi" lintas jajak pendapat, Anda tidak dapat menyingkirkannya dengan lebih banyak jajak pendapat; Anda juga tidak bisa menghilangkannya dengan ukuran sampel yang lebih besar; dan Anda juga tidak dapat memprediksi bias ini, karena perubahannya terlalu cepat (dan kami memilih presiden terlalu jarang).

Karena prinsip pemenang-mengambil-semua yang bodoh masih ada di hampir semua negara bagian, kesalahan 5% dapat menyebabkan hasil yang sangat berbeda: Asumsikan jajak pendapat selalu memperkirakan 49-51, tetapi hasil sebenarnya adalah 51-49 (jadi kesalahan dari hanya 2%), hasilnya 100% off; karena pemenang-mengambil-itu-semua.

Jika Anda melihat status masing-masing, sebagian besar hasil berada dalam margin kesalahan yang diprediksi!

Mungkin yang terbaik yang dapat Anda lakukan adalah sampel bias ini (+ -5%), terapkan pemenang-take-all extreme, lalu agregat hasilnya. Ini mungkin mirip dengan apa yang 538 lakukan; dan dalam 30% sampel, Donald Trump menang ...

$\small 400,000$

Pada akhirnya, itu mengekspos kegagalan kolosal analisis numerik untuk menebus kurangnya pengetahuan tentang materi pelajaran. Orang-orang malu pada diri mereka sendiri untuk secara eksplisit merangkul kandidat yang menang karena alasan yang jelas.

Model komputer terburuk bisa lebih dekat dengan hasilnya jika ada orang yang repot-repot melakukan jajak pendapat pendahuluan tatap muka, mengetuk pintu. Berikut ini sebuah contoh: Grup Trafalgar (tidak ada afiliasi atau pengetahuan selain yang berikut) memiliki Trump memimpin di PA, FL, MI, GA, UT dan NV (negara bagian terakhir ini akhirnya biru) satu hari sebelum pemilihan. Apa sihirnya?

kombinasi dari responden survei untuk kedua tes suara standar dan tes suara yang mengukur [sic] di mana tetangga responden berdiri. Ini membahas bias yang mendasari jajak pendapat tradisional, di mana responden tidak sepenuhnya jujur ​​tentang posisi mereka mengenai kandidat yang sangat kontroversial.

Cukup berteknologi rendah, termasuk kurangnya periksa ejaan, menunjukkan banyak hal tentang sifat manusia. Inilah perbedaan dalam PA :

Pennsylvania yang bersejarah - sejauh ini dianggap sebagai sedotan terakhir dalam kekalahan Demokrat hanya beberapa jam sebelum realisasi penutupan ini pada pukul 1:40 pagi pada tanggal 9 November 2016:

Salah satu alasan ketidakakuratan jajak pendapat dalam pemilihan AS, selain beberapa orang karena alasan apa pun jangan katakan kebenarannya, adalah bahwa efek "pemenang mengambil semuanya" membuat prediksi menjadi lebih mudah. Perbedaan 1% dalam satu negara dapat menyebabkan pergeseran kondisi yang lengkap dan sangat mempengaruhi keseluruhan hasil. Hillary memiliki lebih banyak pemilih seperti Al Gore vs Bush.

Referendum Brexit bukanlah pemilihan yang normal dan karenanya juga lebih sulit untuk diprediksi (Tidak ada data historis yang baik dan semua orang seperti pemilih pertama kali dalam hal ini). Orang yang selama beberapa dekade memilih partai yang sama menstabilkan prediksi.

(Hanya menjawab bagian ini, karena jawaban yang lain tampaknya telah mencakup semua yang lain.)

Sampai jam 4 sore PST kemarin, pasar taruhan masih mengunggulkan Hillary 4 banding 1. Saya menganggap bahwa pasar taruhan, dengan uang sungguhan di telepon, harus bertindak sebagai ensembel dari semua model prediksi yang tersedia di luar sana.

Tidak ... tapi secara tidak langsung ya.

Pasar taruhan dirancang agar bandar judi mendapat untung apa pun yang terjadi. Misalnya, peluang yang dikutip saat ini adalah 1-4 di Hilary, dan 3-1 di Trump. Jika sepuluh orang berikutnya semuanya bertaruh $ 10 untuk Hilary, maka $ 100 yang diambil akan dikenakan biaya $ 25 jika Hilary menang. Jadi mereka mempersingkat Hilary menjadi 1-5, dan meningkatkan Trump menjadi 4-1. Lebih banyak orang sekarang bertaruh pada Trump, dan keseimbangan dipulihkan. Yaitu itu murni didasarkan pada bagaimana orang bertaruh, bukan pada para pakar atau model prediksi.

Tapi, tentu saja, pelanggan bandar judi melihat jajak pendapat itu, dan mendengarkan para pakar itu. Mereka mendengar bahwa Hilary unggul 3%, sertifikat mati untuk menang, dan memutuskan cara cepat untuk menghasilkan $ 10 adalah bertaruh $ 40 untuknya.

Secara tidak langsung para pakar dan jajak pendapat menggerakkan peluang.

(Beberapa orang juga melihat semua teman mereka di tempat kerja akan memilih Trump, jadi bertaruh padanya; yang lain melihat semua posting teman Facebook mereka pro-Hilary, jadi bertaruh padanya, jadi ada sedikit kenyataan yang memengaruhi mereka, dengan cara itu.)

Tidak mengherankan bahwa upaya ini gagal, ketika Anda mempertimbangkan perbedaan antara informasi apa yang dimiliki oleh model dan informasi apa yang mendorong perilaku di tempat pemungutan suara. Saya berspekulasi, tetapi modelnya mungkin mempertimbangkan:

• berbagai hasil polling sebelum pemilihan
• kecenderungan keadaan historis (biru / merah)
• hasil historis dari pemilihan sebelumnya dengan kecenderungan / proyeksi negara saat ini

Namun, jajak pendapat pra-pemilihan tidak dapat diandalkan (kami telah melihat kegagalan konstan di masa lalu), negara dapat membalik, dan belum ada siklus pemilu yang cukup dalam sejarah kami untuk menjelaskan banyak situasi yang dapat, dan memang, muncul .

Komplikasi lain adalah pertemuan suara rakyat dengan perguruan tinggi pemilihan. Seperti yang kita lihat dalam pemilihan ini, pemungutan suara rakyat bisa sangat dekat dalam suatu negara bagian, tetapi begitu negara dimenangkan, semua suara diberikan kepada satu kandidat, itulah sebabnya peta tersebut memiliki warna merah.

Model pemungutan suara tidak mempertimbangkan berapa banyak Libertarian yang mungkin beralih dari Johnson ke Trump ketika datang ke pemungutan suara yang sebenarnya. Negara-negara bagian yang dimenangkan dengan selisih tipis dimenangkan berdasarkan persentase suara yang didapat Johnson. PA (yang mendorong Trump melewati 270 pada malam pemilihan) hanya memberikan 2% untuk Johnson. NH (yang pergi ke Clinton) memberi 4% + kepada Johnson. Johnson memberikan suara pada 4% -5% sehari sebelum pemilihan dan dia mendapat sekitar 3% pada hari pemilihan.

Jadi mengapa Libertarian, tiba-tiba, beralih pada hari pemilihan? Tidak ada yang mempertimbangkan apa yang menjadi masalah utama pemilih Libertarian. Mereka cenderung memandang interpretasi literal Konstitusi sebagai kanon. Kebanyakan orang yang memilih Clinton tidak berpikir bahwa penolakannya terhadap hukum merupakan prioritas yang cukup tinggi untuk dipertimbangkan. Tentu saja, tidak lebih tinggi dari semua yang mereka tidak suka tentang Trump.

Terlepas dari apakah masalah hukumnya penting atau tidak bagi orang lain, mereka akan menjadi penting bagi Libertarian. Mereka akan menempatkan prioritas yang sangat tinggi untuk mencegah seseorang dari kantor yang memandang kepatuhan hukum sebagai opsional, paling baik. Jadi, bagi sebagian besar dari mereka, mengusir Clinton dari jabatannya akan menjadi prioritas yang lebih tinggi daripada membuat pernyataan bahwa filsafat Libertarian adalah filsafat politik yang layak.

Banyak dari mereka mungkin bahkan tidak menyukai Trump, tetapi jika mereka berpikir bahwa dia akan lebih menghormati aturan hukum daripada Clinton, pragmatisme akan memenangkan prinsip-prinsip untuk banyak dari mereka dan menyebabkan mereka beralih suara ketika tiba saatnya untuk benar-benar memilih.

Jajak pendapat bukanlah tren historis. Seorang Bayesian akan menanyakan tren sejarah. Sejak Abraham Lincoln, telah ada partai Republik dan partai Demokrat yang memegang jabatan presiden. Tren perubahan partai 16 kali sejak itu dari Wikipedia memiliki fungsi massa kumulatif berikut

$x$

Apa yang membuat jurnalis, partai Demokrat, dan lembaga survei berpikir bahwa peluangnya untuk memenangkan liberal mungkin merupakan angan-angan. Perilaku mungkin dapat diprediksi, dalam batas-batas, tetapi dalam kasus ini Demokrat berharap bahwa orang tidak akan memilih perubahan, dan dari perspektif sejarah, tampaknya lebih mungkin akan ada satu daripada tidak.

Saya pikir hasil jajak pendapat diekstrapolasi ke tingkat publik dengan asumsi demografi pemilih akan sama dengan demografi pemilih dan akan menjadi representasi yang baik dari seluruh populasi. Misalnya, jika 7 dari 10 minoritas mendukung Hillary dalam jajak pendapat, dan jika minoritas itu mewakili 30% dari populasi AS, mayoritas jajak pendapat mengasumsikan 30% pemilih akan diwakili oleh minoritas itu dan diterjemahkan ke dalam perolehan 21% untuk Hillary. Pada kenyataannya, pria kulit putih, kelas menengah ke atas lebih terwakili di antara para pemilih. Kurang dari 50% orang yang memenuhi syarat memberikan suara dan ini tidak berarti 50% dari semua jenis kelamin, ras, dll.

Atau, jajak pendapat mengasumsikan pengacakan sempurna dan mendasarkan model mereka pada itu tetapi dalam kenyataannya data pemilih bias terhadap laki-laki kelas menengah ke atas yang lebih tua.

Atau, jajak pendapat tidak benar-benar menganggap pengacakan sempurna tetapi parameter ekstrapolasi mereka meremehkan heterogenitas demografi pemilih.

ETA: Jajak pendapat dari dua pemilihan sebelumnya berkinerja lebih baik karena meningkatnya perhatian pada pemilihan oleh kelompok-kelompok yang biasanya tidak terwakili dengan baik.

HoraceT dan CliffAB (maaf terlalu lama untuk komentar) Saya khawatir saya punya banyak contoh, yang juga mengajarkan saya bahwa saya harus sangat berhati-hati dengan penjelasan mereka, jika saya ingin menghindari menyinggung orang. Jadi, sementara saya tidak ingin kesenangan Anda, saya meminta kesabaran Anda. Ini dia:

Untuk memulai dengan contoh ekstrem, saya pernah melihat pertanyaan survei yang diajukan yang meminta petani desa buta huruf (Asia Tenggara), untuk memperkirakan 'tingkat pengembalian ekonomi' mereka. Mengesampingkan opsi tanggapan untuk saat ini, semoga kita semua dapat melihat bahwa ini adalah hal yang bodoh untuk dilakukan, tetapi secara konsisten menjelaskan mengapa itu bodoh tidak begitu mudah. Ya, kita dapat mengatakan bahwa itu bodoh karena responden tidak akan mengerti pertanyaan itu dan menganggapnya sebagai masalah semantik. Tetapi ini benar-benar tidak cukup baik dalam konteks penelitian. Fakta bahwa pertanyaan ini pernah disarankan menyiratkan bahwa para peneliti memiliki variabilitas yang melekat pada apa yang mereka anggap 'bodoh'. Untuk mengatasi hal ini secara lebih objektif, kita harus mundur dan secara transparan mendeklarasikan kerangka kerja yang relevan untuk pengambilan keputusan tentang hal-hal seperti itu. Ada banyak opsi seperti itu,

Jadi, mari kita asumsikan secara transparan bahwa kita memiliki dua tipe informasi dasar yang dapat kita gunakan dalam analisis: kualitatif dan kuantitatif. Dan bahwa keduanya terkait oleh proses transformatif, sehingga semua informasi kuantitatif dimulai sebagai informasi kualitatif tetapi melalui langkah-langkah (disederhanakan) berikut:

1. Pengaturan konvensi (mis. Kita semua memutuskan bahwa [terlepas dari bagaimana kita melihatnya secara individual], bahwa kita semua akan memanggil warna langit terbuka siang hari “biru”.)
2. Klasifikasi (mis. Kami menilai segala sesuatu di ruangan oleh konvensi ini dan memisahkan semua item ke dalam kategori 'biru' atau 'tidak biru')
3. Hitung (kami menghitung / mendeteksi 'jumlah' benda biru di dalam ruangan)

Perhatikan bahwa (di bawah model ini) tanpa langkah 1, tidak ada yang namanya kualitas dan jika Anda tidak memulai dengan langkah 1, Anda tidak akan pernah bisa menghasilkan kuantitas yang berarti.

Setelah dinyatakan, ini semua terlihat sangat jelas, tetapi seperangkat prinsip pertama itulah yang (saya temukan) paling sering diabaikan dan karenanya menghasilkan 'Sampah Masuk'.

Jadi 'kebodohan' dalam contoh di atas menjadi sangat jelas dapat didefinisikan sebagai kegagalan untuk menetapkan konvensi umum antara peneliti dan responden. Tentu saja ini adalah contoh ekstrem, tetapi kesalahan yang jauh lebih halus dapat sama-sama menghasilkan sampah. Contoh lain yang saya lihat adalah survei petani di pedesaan Somalia, yang bertanya, "Bagaimana perubahan iklim memengaruhi mata pencaharian Anda?" Amerika Serikat akan merupakan kegagalan serius untuk menggunakan konvensi umum antara peneliti dan responden (yaitu apa yang diukur sebagai 'perubahan iklim').

Sekarang mari kita beralih ke opsi tanggapan. Dengan memungkinkan responden untuk memberi tanggapan sendiri terhadap kode dari serangkaian opsi pilihan ganda atau konstruksi serupa, Anda mendorong masalah 'konvensi' ini ke dalam aspek pertanyaan ini juga. Ini mungkin baik-baik saja jika kita semua berpegang pada konvensi 'universal' yang efektif dalam kategori respons (mis. Pertanyaan: di kota mana Anda tinggal? Kategori respons: daftar semua kota di area penelitian [plus 'tidak di area ini']). Namun, banyak peneliti yang tampaknya bangga dengan nuansa halus pertanyaan dan kategori respons mereka untuk memenuhi kebutuhan mereka. Dalam survei yang sama dengan pertanyaan 'laju pengembalian ekonomi' muncul, peneliti juga meminta responden (penduduk desa miskin), untuk menyediakan sektor ekonomi mana yang mereka beri kontribusi: dengan kategori respons 'produksi', 'layanan', 'manufaktur' dan 'pemasaran'. Sekali lagi masalah konvensi kualitatif jelas muncul di sini. Namun, karena ia membuat tanggapan yang saling eksklusif, sehingga responden hanya bisa memilih satu opsi (karena "lebih mudah untuk memberi makan ke SPSS seperti itu"), dan petani desa secara rutin menghasilkan tanaman, menjual tenaga kerja mereka, membuat kerajinan tangan dan mengambil segalanya untuk pasar lokal sendiri, peneliti khusus ini tidak hanya memiliki masalah konvensi dengan respondennya, ia memiliki satu dengan kenyataan itu sendiri.

Inilah sebabnya mengapa bor tua seperti saya akan selalu merekomendasikan pendekatan yang lebih intensif untuk menerapkan pengkodean ke data setelah pengumpulan - karena setidaknya Anda dapat melatih pembuat kode secara memadai dalam konvensi yang diadakan oleh peneliti (dan perhatikan bahwa mencoba memberikan konvensi semacam itu kepada responden di ' instruksi survei 'adalah permainan mug - cukup percayalah pada yang ini untuk saat ini). Juga perhatikan juga bahwa jika Anda menerima 'model informasi' di atas (yang, sekali lagi, saya tidak mengklaim Anda harus), itu juga menunjukkan mengapa skala respons kuasi-ordinal memiliki reputasi buruk. Ini bukan hanya masalah matematika dasar di bawah konvensi Steven (yaitu Anda perlu mendefinisikan asal yang bermakna bahkan untuk tata cara, Anda tidak dapat menambahkan dan meratakannya, dll.), itu juga bahwa mereka sering tidak pernah melalui proses transformatif yang dinyatakan secara transparan dan konsisten secara logis yang akan berjumlah 'kuantifikasi' (yaitu versi diperpanjang dari model yang digunakan di atas yang juga mencakup generasi 'kuantitas ordinal' [-ini tidak sulit melakukan]). Lagi pula, jika tidak memenuhi persyaratan informasi kualitatif atau kuantitatif, maka peneliti sebenarnya mengklaim telah menemukan jenis informasi baru di luar kerangka kerja, dan oleh karena itu tanggung jawabnya adalah pada mereka untuk menjelaskan dasar konseptual fundamental sepenuhnya ( yaitu secara transparan mendefinisikan kerangka kerja baru).

Akhirnya mari kita lihat masalah pengambilan sampel (dan saya pikir ini sejalan dengan beberapa jawaban lain yang sudah ada di sini). Misalnya, jika seorang peneliti ingin menerapkan konvensi tentang apa yang merupakan pemilih 'liberal', mereka perlu memastikan bahwa informasi demografis yang mereka gunakan untuk memilih rezim pengambilan sampel mereka konsisten dengan konvensi ini. Tingkat ini biasanya yang paling mudah untuk diidentifikasi dan ditangani karena sebagian besar berada dalam kendali peneliti dan paling sering merupakan jenis konvensi kualitatif yang diasumsikan secara transparan dalam penelitian. Inilah sebabnya mengapa tingkat ini biasanya didiskusikan atau dikritik, sementara masalah yang lebih mendasar tidak terselesaikan.

Jadi, sementara para pengamat tetap pada pertanyaan-pertanyaan seperti 'siapa yang Anda rencanakan untuk memilih pada saat ini?', Kita mungkin masih baik-baik saja, tetapi banyak dari mereka yang ingin mendapatkan lebih 'lebih mewah' daripada ini ...