Apakah interval kepercayaan berlaku untuk pengambilan sampel kuota?

Lembaga pemungutan suara Prancis saat ini menghadapi krisis besar setelah mereka baru-baru ini menerbitkan apa yang hanya bisa disebut polling paling konyol sejauh ini pada pacuan kuda pemilihan presiden 2012. Senat Prancis sekarang mempertimbangkan untuk membuat undang-undang tentang masalah ini dengan memaksa lembaga pemungutan suara untuk menerbitkan, antara lain, interval kepercayaan untuk hasil mereka.

Namun, beberapa lembaga survei menentang langkah tersebut, mengklaim bahwa interval kepercayaan tidak berlaku untuk pengambilan sampel kuota , yang merupakan metode yang digunakan oleh lembaga polling di Prancis. Karena pengambilan sampel kuota secara formal adalah sampel non-probabilistik, ada beberapa kebenaran dalam klaim tersebut. Tetapi karena pengambilan sampel kuota adalah pengambilan sampel secara stratifikasi secara fundamental , interval kepercayaan harus diterapkan, bukan?

Bolehkah saya meminta pengalaman tentang masalah ini di luar Perancis, di negara-negara di mana lembaga survei juga menggunakan pengambilan sampel kuota?

sampling polling

— Fr.
sumber

Pengambilan sampel kuota berbeda dari pengambilan sampel bertingkat tepat dalam hal ini: tidak seperti pemilihan dalam sampel bertingkat, kurangnya keacakan dalam pengambilan sampel kuota berarti kita tidak dapat memastikan kurangnya bias. Jadi: mungkin Anda tidak dapat mendirikan CI untuk perkiraan dari pengambilan sampel kuota, tetapi Anda dapat menetapkan interval untuk bias. Sayangnya, kecuali ketika sampel adalah proporsi besar populasi, bias meluas dari hampir -100% menjadi hampir + 100%. Inilah sebabnya mengapa sampel kuota telah lama didiskreditkan ("Dewey mengalahkan Truman", dll.). Kaisar peringatan.

— whuber

Lembaga survei mengklaim bahwa pengambilan sampel kuota, yang merupakan standar industri di Prancis, juga tersebar luas di Inggris dan negara-negara Eropa Selatan. Saya ingin tahu apakah Inggris benar-benar menggunakan pengambilan sampel kuota, dan mengapa menggunakan pengambilan sampel kuota di tempat pertama jika bias tidak dapat diperbaiki?

— Fr.

Pengambilan sampel kuota lebih mudah dilakukan daripada pengambilan sampel acak: jajak pendapat dapat menentukan jenis subjek apa yang dibutuhkan dan berapa banyak yang akan diwawancarai, mengirim pewawancara ke jalan dengan instruksi ini, dan dengan mudah memeriksa apakah pekerjaan itu dilakukan dengan benar: tidak perlu untuk melakukan pekerjaan yang sulit dalam membangun kerangka pengambilan sampel, mengambil sampel probabilitas darinya, memburu para anggotanya, mengejar yang bukan responden, dll . Pengambilan sampel kuota adalah anak poster buku teks untuk metode pengambilan sampel yang ketinggalan zaman dan dikenal buruk: lihat math.uah.edu/stat/data/1948Election.pdf misalnya.

— whuber

@whuber: Terima kasih atas detailnya. Saya tahu tentang kisah "Dewey mengalahkan Truman". Saya masih ragu bahwa lembaga pemungutan suara Inggris memang menggunakan kuota sampling, seperti yang diklaim oleh dokumen yang dikutip sebelumnya, dan harus memeriksa. Akan menarik untuk mengetahui apa perbedaan standar industri di negara-negara terbesar. Saya tahu fakta bahwa sebagian besar data yang saya unduh dari ICPSR adalah Random Digit Dialing.

— Fr.

Banyak non-ahli (yaitu orang-orang yang tidak memahami teori statistik di balik pengambilan sampel) melemparkan istilah "pengambilan sampel kuota" tanpa benar-benar tahu apa artinya. Itu mungkin menjelaskan klaim bahwa itu adalah praktik umum di Inggris dan Eropa Selatan.

— Abe

Jawaban:

Seperti yang dikatakan whuber, jawaban singkatnya adalah bahwa sampel kuota adalah "anak poster untuk metode pengambilan sampel yang sudah ketinggalan zaman, yang dikenal buruk" dan "telah lama didiskreditkan." Jawaban yang lebih panjang adalah bahwa mungkin ada kondisi di mana sampel "seperti kuota" dapat bekerja dengan baik.

Bukti A di sini adalah karya terbaru tentang merekonstruksi hasil yang representatif dari panel Internet opt-in. Makalah ini memberikan landasan statistik untuk pendekatan ini. Untuk membuat cerita panjang pendek, skema pengambilan sampel yang khas 1) menggambar sampel acak, 2) berusaha merekrut subjek, dan kemudian 3) menambahkan bobot pasca-stratifikasi untuk mengkompensasi perbedaan dalam siapa yang merespons. Dalam pendekatan keikutsertaan, Anda 1) merekrut subjek secara tidak acak, 2) membandingkan respons terhadap baseline yang representatif, dan 3) menambah bobot untuk mengkompensasi perbedaan.

Dalam hal praktik, opt-in sampling mirip dengan kuota sampling, tetapi dasar statistik lebih berkembang. Sisi positifnya adalah Anda dapat membuat klaim tentang pengambilan sampel representatif, interval kepercayaan, dll. Kelemahannya adalah bahwa klaim Anda didasarkan pada asumsi yang sulit diverifikasi tentang cara orang memilih sendiri ke dalam sampel Anda.

Banyak orang skeptis tentang metode ini - mereka terdengar terlalu banyak seperti pengambilan sampel kuota. Tetapi beberapa bukti menunjukkan bahwa opt-in sampling dapat bekerja dengan baik setidaknya beberapa waktu. Jadi terlepas dari kontroversi tersebut, Polimetrix / YouGov (pengadopsi awal model pengambilan sampel opt-in) tampaknya berjalan cukup baik. Antara lain, mereka telah melakukan semua pengumpulan data untuk Cooperative Congressional Election Study , serangkaian studi akademik nasional AS baru-baru ini.

(Saya cukup yakin ICPSR membawa data ini. Jika tidak, dataverse ilmu sosial Harvard tentu saja melakukannya. Banyak akademisi menggunakan data dari sampel ini.)

Lagi pula, Anda bertanya tentang pengambilan sampel kuota. Seperti yang sudah Anda lihat di utas komentar di sini, semua pemberi survei yang terlatih akan memberi tahu Anda bahwa pengambilan sampel kuota adalah bunk. Juri masih keluar pada opt-in sampling. Untuk saat ini, jika Anda ingin menggambar interval kepercayaan di sekitar sampel kuota, saya akan mengatakan metode ini adalah taruhan terbaik Anda.

— Abe
sumber

Terima kasih atas jawaban terinci. Saya menandai poin-poin berikut di dalamnya: (1) Pengambilan sampel kuota digunakan untuk pengambilan sampel Internet dalam contoh Anda. Di luar konteks itu, tidak ada alasan untuk menggunakannya melalui pengambilan sampel acak melalui RDD atau teknik yang setara. (2) Bahkan dalam konteks yang Anda gambarkan, itu masih sangat kontroversial. Jadi, untuk kembali ke pertanyaan saya, jajak pendapat Perancis membenarkan pengambilan sampel kuota untuk semua pekerjaan mereka hanya konyol, atau tidak tahu teori sampling, atau keduanya.

— Fr.

"Petugas survei Prancis membenarkan pengambilan sampel kuota untuk semua pekerjaan mereka hanya konyol, atau tidak tahu tentang teori sampel, atau keduanya." Kedengarannya benar bagi saya.

— Abe

Baiklah, saya sedang memeriksa "Dijawab" untuk yang itu. Terima kasih atas waktu dan referensi terperinci Anda.

— Fr.

Dalam sebagian besar konteks survei non-wajib, ada masalah besar dengan nonresponse. Ini dari tahun 2002: "perkiraan tingkat kerjasama survei yang baru-baru ini dilaporkan dari CMOR, Dewan Riset Pasar dan Opini [AS], rata-rata hanya 14,7 persen." dan dari Paul Gerhold, "Saya percaya masih mungkin untuk mengambil sampel acak. Saya hanya tidak percaya bahwa itu mungkin untuk mengeksekusi mereka." Dalam konteks ini, fakta bahwa SAMPEL acak tidak terlalu relevan, karena data yang dihasilkan tidak.
Ini membuat penyesuaian bias menjadi masalah utama dalam estimasi yang valid, dan desain metode lapangan merupakan komponen penting. Cara-cara di mana seseorang mungkin ingin melakukan ini, dan perkiraan keyakinan yang dihasilkan, jauh melampaui apa yang bisa dibahas di sini.

— zbicyclist
sumber