d prime dengan probabilitas hit rate 100% dan probabilitas alarm palsu 0%


10

Saya ingin menghitung d prime untuk tugas memori yang melibatkan mendeteksi item lama dan baru. Masalah yang saya miliki adalah bahwa beberapa subjek memiliki hit rate 1 dan / atau false alarm 0, yang membuat probabilitas masing-masing 100% dan 0%.

Formula untuk d prime adalah d' = z(H) - z(F), di mana z(H)dan z(F)z adalah transformasi dari hit rate dan false alarm, masing-masing.

Untuk menghitung z transform, saya menggunakan fungsi Excel NORMSINV (yaitu, z(H)=NORMSINV(hit rate)). Namun, jika hit rate atau false alarm rate adalah 1 atau 0, fungsi mengembalikan kesalahan. Ini karena z transform, seperti yang saya mengerti, menunjukkan area di bawah kurva ROC, yang secara matematis tidak memungkinkan untuk probabilitas 100% atau 0%. Dalam hal ini, saya tidak yakin bagaimana menghitung d 'untuk subjek dengan kinerja tertinggi.

Satu situs web menyarankan untuk mengganti tingkat 1 dan 0 dengan 1 - 1 / (2N) dan 1 / 2N dengan N sebagai jumlah maksimum hit dan alarm palsu. Situs web lain mengatakan "H atau F tidak boleh 0 atau 1 (jika demikian, sesuaikan sedikit ke atas atau ke bawah)". Ini tampaknya sewenang-wenang. Adakah yang punya pendapat tentang hal ini atau ingin mengarahkan saya ke sumber daya yang tepat?

Jawaban:


13

Stanislaw & Todorov (1999) memiliki diskusi yang baik tentang hal ini di bawah judul Hit and False-Alarm Rates of Zero or One .

Mereka membahas pro dan kontra dari beberapa metode untuk menangani nilai-nilai ekstrem ini, termasuk:

  • Ad

  • Gabungkan data dari berbagai mata pelajaran sebelum menghitung statistik (Macmillan & Kaplan, 1985)

  • tambahkan 0,5 ke jumlah hit dan jumlah alarm palsu, dan tambahkan 1 untuk jumlah uji sinyal dan jumlah uji noise; dijuluki pendekatan loglinear (Hautus, 1995)

  • 0.5/n(n0.5)/nn

Ad


MacMillan & Kaplan adalah referensi populer tetapi saya yakin ada penulis Yunani atau Rusia yang mendahului mereka untuk saran yang sama ... nama terlalu panjang untuk saya ingat. Pandangan cepat saya pada S&T adalah bahwa itu tidak terlalu komprehensif tetapi itu mengingatkan saya bahwa saya mungkin salah tidak menyebutkan A '. Tentu saja, begitu Anda melakukannya, Anda harus menjelaskan apa artinya beralih ke non-parametrik.
John

6

Kedua situs menyarankan hal yang sama tetapi ada satu cara untuk secara konsisten memilih jumlah penyesuaian. Ini telah dikaitkan dengan sejumlah orang tetapi saya tidak berpikir ada yang tahu siapa yang benar-benar datang dengan itu terlebih dahulu. Bidang yang berbeda memiliki buku mani yang berbeda atau penulis pada deteksi sinyal. Yang penting adalah bahwa metode yang Anda pilih masuk akal.

Satu metode yang Anda posting biasanya diambil untuk menyiratkan bahwa jika Anda memiliki set item yang jauh lebih besar (2N) maka Anda akan dapat mendeteksi setidaknya satu kesalahan. Jika ini cara yang masuk akal untuk memikirkan masalah, berarti Anda sudah selesai. Saya ragu itu untuk tes memori. Di masa depan Anda mungkin ingin menaikkan N untuk memastikan ini jauh lebih kecil kemungkinannya terjadi. Namun demikian, metode ini dapat diselamatkan jika Anda menganggapnya dengan cara yang berbeda. Anda menyesuaikan pada rata-rata hipotetis dua kali jalan dari jumlah item memori yang sama. Jika demikian, Anda mengatakan bahwa dalam percobaan lain (dengan asumsi item baru atau mereka lupa semua yang lama) akan ada kesalahan. Atau, lebih sederhana, Anda hanya memilih setengah jalan antara skor tidak sempurna tertinggi yang dapat Anda ukur dan skor sempurna.

Ini adalah masalah tanpa solusi universal yang sederhana. Pertanyaan pertama yang perlu Anda tanyakan adalah apakah Anda percaya, dalam kasus Anda, Anda memiliki klasifikasi sempurna yang asli. Dalam hal ini data Anda adalah data Anda. Jika tidak, maka Anda yakin itu hanya variabilitas dalam sampel yang menyebabkan hit menjadi 100%. Setelah Anda menyimpulkan bahwa ini masalahnya, maka Anda harus mempertimbangkan cara-cara yang masuk akal untuk menghasilkan perkiraan tentang apa yang Anda yakini. Jadi Anda harus bertanya pada diri sendiri apa itu sebenarnya.

Cara termudah untuk menentukan apa yang harus dilakukan adalah dengan melihat data lain dalam kondisi yang sama. Anda mungkin dapat memperkirakan bahwa keakuratan untuk peserta yang satu ini setengah jalan antara nilai terbaik berikutnya yang Anda miliki dan 100% (yang ternyata sama persis dengan nilai yang Anda temukan). Atau, bisa jadi jumlah yang sangat kecil lebih besar. Atau bisa saja sama dengan nilai terbaik. Anda harus memilih apa yang Anda yakini sebagai jawaban terbaik berdasarkan data Anda. Pertanyaan yang lebih spesifik diposting dapat membantu Anda di sini.

Anda harus berusaha memastikan Anda lakukan adalah membuat dampak sesedikit mungkin pada kriteria. Dalam kasus Anda, penyesuaian terhadap klik dan FA akan menyebabkan kriteria untuk tidak bergeser sama sekali. Namun, jika Anda menyesuaikan klik ketika mengatakan, FA = 0,2, maka Anda harus berhati-hati tentang bagaimana penyesuaian itu akan berdampak pada interpretasi kriteria. Anda semacam berkewajiban dalam hal itu untuk memastikan hit sangat tinggi.


Terima kasih atas perspektif dan pemikiran Anda, John. Itu sangat membantu. Saya harus menambahkan bahwa meningkatkan jumlah N adalah solusi yang baik tetapi tugas kami dilakukan di dalam pemindai fMRI dan kami dibatasi oleh berapa banyak percobaan yang dapat kami lakukan sebelum subjek menjadi gelisah dan merusak data kami dengan gerakan.
A.Rainer

"Anda mungkin dapat memperkirakan bahwa keakuratan untuk peserta yang satu ini setengah jalan antara nilai terbaik berikutnya yang Anda miliki dan 100% (yang mungkin ternyata sama persis dengan nilai yang Anda temukan)" adalah nasihat yang bagus. Ini akan menjaga urutan peringkat kinerja subjek.
A.Rainer
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.