Apakah hasil ujian adalah binomial?

31

Ini pertanyaan statistik sederhana yang saya terima. Saya tidak begitu yakin saya memahaminya.

X = jumlah poin yang diperoleh dalam ujian (pilihan ganda dan jawaban yang benar adalah satu poin). Apakah X binomial didistribusikan?

Jawaban profesor adalah:

Ya, karena hanya ada jawaban benar atau salah.

Jawabanku:

Tidak, karena setiap pertanyaan memiliki "probabilitas-sukses" yang berbeda p. Seperti yang saya pahami, distribusi binomial hanyalah serangkaian eksperimen Bernoulli, yang masing-masing memiliki hasil sederhana (sukses atau gagal) dengan p keberhasilan-probabilitas yang diberikan (dan semuanya "identik" tentang p). Misalnya, membalik koin (adil) 100 kali, ini adalah 100 eksperimen Bernoulli dan semuanya memiliki p = 0,5. Tapi di sini pertanyaannya punya berbagai jenis kan?

self-study binomial

— Paul
sumber

14

+1 Bahkan lebih tepatnya: kecuali jika ini adalah ujian yang aneh, jawaban atas pertanyaan akan sangat berkorelasi. Jika adalah skor total untuk seorang individu, ini akan menghalangi distribusi Binomial. Mungkinkah pertanyaan itu beroperasi di bawah asumsi "hipotesis nol" di mana semua peserta ujian menebak secara independen dan acak semua jawaban?

X

$X$

— Whuber

2

Betapa paradoksnya, setidaknya saya akan melobi untuk kredit parsial mengenai hal ini, tetapi "jawaban" tampaknya mencerminkan kecenderungan untuk menghadiahkannya :) (saya pikir Anda ada di sini).

— AdamO

1

Ya, terima kasih: D, saya pikir ini lebih merupakan distribusi binomial Poisson (jika ada)

— Paul

2

@Zahava Lihat stats.stackexchange.com/search?q=poisson+binomial .

— Whuber

2

Saya setuju dengan semua orang bahwa pertanyaannya buruk, tetapi ada masalah pembingkaian di sini. Jika ini adalah kursus dasar dan ini adalah format jawaban pendek (sehingga Anda memiliki kesempatan untuk menjelaskan alasan Anda), saya akan mengatakan jawaban terbaik mungkin "ya (dengan asumsi kemandirian dan kesulitan yang sama untuk setiap pertanyaan)"; itu akan memberi sinyal kepada profesor bahwa (1) Anda memahami keterbatasan pertanyaan dan (2) Anda tidak berusaha menjadi sok pintar.

— Ben Bolker

25

Saya setuju dengan jawaban Anda. Biasanya data seperti ini saat ini akan dimodelkan dengan semacam model Item Response Theory . Misalnya, jika Anda menggunakan model Rasch , maka jawaban biner akan dimodelkan sebagai $X_{ni}$

Pr {X_{n i} = 1} = \frac{e^{β_{n} - δ_{i}}}{1 + e^{β_{n} - δ_{i}}}

$\Pr \{X_{ni}=1\} =\frac{e^{{\beta_n} - {\delta_i}}}{1 + e^{{\beta_n} - {\delta_i}}}$

di mana dapat dianggap sebagai kemampuan orang ke- dan sebagai kesulitan ke- . Jadi model ini memungkinkan Anda untuk menangkap fakta bahwa orang yang berbeda memiliki kemampuan dan pertanyaan yang berbeda-beda dalam kesulitan, dan ini adalah yang paling sederhana dari model IRT. $\beta_n$ $n$ $\delta_i$ $i$

Profesor jawaban Anda mengasumsikan bahwa semua pertanyaan memiliki probabilitas yang sama "sukses" dan independen, karena binomial adalah distribusi dari jumlah IID percobaan Bernoulli. Ini mengabaikan dua jenis dependensi yang dijelaskan di atas. $n$

Seperti yang diperhatikan dalam komentar, jika Anda melihat distribusi jawaban dari orang tertentu (jadi Anda tidak perlu peduli dengan variabilitas antar-orang), atau jawaban dari orang yang berbeda pada item yang sama (sehingga tidak ada antara- variabilitas item), maka distribusi akan menjadi Poisson-binomial, yaitu distribusi jumlah dari percobaan Bernoulli non-iid. Distribusi dapat diperkirakan dengan binomial, atau Poisson, tetapi itu saja. Kalau tidak, Anda membuat asumsi id. $n$

Bahkan di bawah asumsi "nol" tentang menebak, ini mengasumsikan bahwa tidak ada pola menebak, sehingga orang tidak berbeda dalam bagaimana mereka menebak dan item tidak berbeda dalam bagaimana mereka menebak - sehingga menebak itu murni acak.

— Tim
sumber

Itu masuk akal! Walaupun saya kira Anda dapat menghitung probabilitas dari probabilitas keberhasilan sebuah pertanyaan tetapi "kemampuan orang" terdengar sulit :) Gagasan lain yang saya miliki adalah memodelkan ini sebagai jumlah dari distribusi bernulli? Misalnya katakanlah ada 2 pertanyaan, oleh karena itu 2 probabilitas-keberhasilan p1 dan p2. Secara analogi dua variabel penghitungan X1 dan X2 (jadi 2 bernulli-eksperimen). Maka misalnya probabilitas mendapatkan satu skor total 1 adalah P (X1 = 1) * P (X2 = 0) + P (X1 = 0) * P (X2 = 1) = p1 (1-p2) + (p1 -1) p2. Apakah itu masuk akal?

— Paul

2

@Paul jumlah dua Bernoulli dengan p berbeda adalah Poisson-binomial

— Tim

4

Asumsi "nol" pada dasarnya adalah benda bulat-sapi, Anda selalu dapat berdebat tentang seberapa bulat sapi itu.

— Hong Ooi

5

Jawaban untuk masalah ini tergantung pada pembingkaian pertanyaan dan kapan informasi diperoleh. Secara keseluruhan, saya cenderung setuju dengan profesor tetapi berpikir penjelasan jawabannya kurang baik dan pertanyaan profesor harus mencakup lebih banyak informasi di muka.

Jika Anda mempertimbangkan jumlah pertanyaan ujian potensial yang tak terbatas, dan Anda menggambar satu secara acak untuk pertanyaan 1, menggambar satu secara acak untuk pertanyaan 2, dll. Lalu pergi ke ujian:

Setiap pertanyaan memiliki dua hasil (benar atau salah)
Ada sejumlah uji coba (pertanyaan) yang pasti
Setiap percobaan dapat dianggap independen (akan dipertanyakan dua, probabilitas Anda dari mendapatkan benar adalah sama seperti ketika pergi ke satu pertanyaan) $p$

Di bawah kerangka kerja ini, asumsi percobaan binomial terpenuhi.

Sayangnya, masalah statistik yang diusulkan dengan buruk sangat umum dalam praktik, tidak hanya pada ujian. Saya tidak akan ragu untuk mempertahankan alasan Anda kepada profesor Anda.

— Underminer
sumber

Jea kurasa itu benar juga. Pertanyaannya hanya "buruk", karena Anda bisa memperdebatkan keduanya, karena sedikit informasi yang diberikan. Tapi saya sangat tidak senang dengan jawaban yang diberikan profesor saya.

— Paul

4

@ Paul, sebenarnya cukup sulit untuk menulis pertanyaan statistik yang bagus. Saya tahu saya telah menggagalkannya pada banyak kesempatan.

— gung - Reinstate Monica

1

If you consider an infinite number of potential exam questions, and you draw one at random for question 1, draw one at random for question 2, etc.

- Saya pikir Anda harus membuat secara eksplisit asumsi bahwa pertanyaan ujian diambil secara independen dari kumpulan pertanyaan potensial. Akan lebih realistis bagi mereka untuk dikorelasikan: jika pertanyaan 1 mudah, kemungkinan Anda akan diberikan ujian yang mudah dan pertanyaan 2 akan mudah.

— Adrian

0

Jika ada n pertanyaan, dan saya dapat menjawab satu pertanyaan dengan benar dengan probabilitas p, dan ada cukup waktu untuk mencoba menjawab semua pertanyaan, dan saya melakukan 100 tes ini, maka skor saya akan terdistribusi normal dengan rata-rata np.

Tapi ini bukan saya mengulangi tes 100 kali, itu 100 kandidat berbeda melakukan satu tes, masing-masing dengan probabilitas sendiri p. Distribusi p ini akan menjadi faktor utama. Anda mungkin memiliki tes di mana p = 0,9 jika Anda mempelajari subjek dengan baik, p = 0,1 jika Anda tidak, dengan sangat sedikit orang antara 0,1 dan 0,9. Distribusi titik akan memiliki maksimum yang sangat kuat pada 0,1 n dan 0,9 n dan tidak akan mendekati distribusi normal.

Di sisi lain, ada tes di mana setiap orang dapat menjawab pertanyaan apa pun, tetapi mengambil jumlah waktu yang berbeda, sehingga beberapa akan menjawab semua pertanyaan, dan yang lain akan menjawab lebih sedikit karena mereka kehabisan waktu. Jika kita dapat mengasumsikan bahwa kecepatan kandidat terdistribusi normal, maka poin akan mendekati terdistribusi normal.

Tetapi banyak tes akan berisi beberapa pertanyaan yang sangat sulit dan sangat mudah, sengaja sehingga kita dapat membedakan antara kandidat terbaik (yang akan menjawab semua pertanyaan hingga tingkat kesulitan tertentu) dan kandidat terburuk (yang hanya akan mampu menjawab sangat pertanyaan sederhana). Ini akan mengubah distribusi poin dengan cukup kuat.

— gnasher729
sumber

2

Distribusi normal yang Anda gambarkan di sini adalah perkiraan normal dari binomial. Jelas jumlah nol dan yang tidak akan kontinyu dan berkisar antara dan

- \infty

$-\infty$

\infty

$\infty$

— Tim

2

@Tim Meskipun ketergantungan yang tidak perlu pada distribusi normal dan misteri mengambil 100 tes, jawaban ini pantas untuk mencoba menunjukkan bagaimana kasus tertentu dapat mengarah pada distribusi yang jelas non-binomial. Dengan demikian dapat menjadi kontribusi yang berharga untuk jawaban jika masalah teknis ini diatasi.

— Whuber

0

Menurut definisi, distribusi binomial adalah seperangkat independen dan terdistribusi secara identik percobaan Bernoulli. Dalam kasus ujian pilihan ganda, masing-masing dari pertanyaan akan menjadi salah satu uji coba Bernoulli. $n$ $n$

Masalah di sini muncul karena kita tidak dapat mengasumsikan bahwa mempertanyakan: $n$

Yang terdistribusi secara identik . Seperti yang Anda katakan, probabilitas seorang siswa mengetahui jawaban untuk pertanyaan hampir pasti tidak akan sama dengan probabilitas mereka tahu jawaban pertanyaan , dan seterusnya. $1$ $2$
Apakah independen . Banyak ujian mengajukan pertanyaan yang dibangun di atas jawaban atas pertanyaan sebelumnya. Siapa yang mengatakan dengan pasti bahwa itu tidak akan terjadi pada ujian dalam pertanyaan ini? Ada faktor-faktor lain yang dapat membuat jawaban untuk pertanyaan ujian tidak terlepas satu sama lain, tetapi saya pikir ini adalah yang paling jelas secara intuitif.

Saya telah melihat pertanyaan di kelas Statistik yang memodelkan pertanyaan ujian sebagai binomial, tetapi mereka membingkai sesuatu seperti:

Distribusi probabilitas apa yang akan memodelkan jumlah pertanyaan yang dijawab dengan benar pada ujian pilihan ganda di mana setiap pertanyaan memiliki empat pilihan, dan siswa yang mengikuti ujian menebak setiap jawaban secara acak?

Dalam skenario ini, tentu saja itu akan direpresentasikan sebagai distribusi binomial dengan . $p= \frac{1}{4}$

— jjw
sumber

Tidak ada masalah dengan fakta Anda, tetapi logikanya tidak benar: tidak cukup untuk menunjukkan bahwa beberapa asumsi mungkin tidak berlaku, karena (secara logis) distribusi masih bisa bersifat binomial dalam hal apa pun. Anda juga perlu menunjukkan bahwa asumsi ini dapat gagal dengan cara yang menyebabkan distribusi skor pasti menjadi non-binomial.

— whuber