d prime dengan probabilitas hit rate 100% dan probabilitas alarm palsu 0%

Saya ingin menghitung d prime untuk tugas memori yang melibatkan mendeteksi item lama dan baru. Masalah yang saya miliki adalah bahwa beberapa subjek memiliki hit rate 1 dan / atau false alarm 0, yang membuat probabilitas masing-masing 100% dan 0%.

Formula untuk d prime adalah d' = z(H) - z(F), di mana z(H)dan z(F)z adalah transformasi dari hit rate dan false alarm, masing-masing.

Untuk menghitung z transform, saya menggunakan fungsi Excel NORMSINV (yaitu, z(H)=NORMSINV(hit rate)). Namun, jika hit rate atau false alarm rate adalah 1 atau 0, fungsi mengembalikan kesalahan. Ini karena z transform, seperti yang saya mengerti, menunjukkan area di bawah kurva ROC, yang secara matematis tidak memungkinkan untuk probabilitas 100% atau 0%. Dalam hal ini, saya tidak yakin bagaimana menghitung d 'untuk subjek dengan kinerja tertinggi.

Satu situs web menyarankan untuk mengganti tingkat 1 dan 0 dengan 1 - 1 / (2N) dan 1 / 2N dengan N sebagai jumlah maksimum hit dan alarm palsu. Situs web lain mengatakan "H atau F tidak boleh 0 atau 1 (jika demikian, sesuaikan sedikit ke atas atau ke bawah)". Ini tampaknya sewenang-wenang. Adakah yang punya pendapat tentang hal ini atau ingin mengarahkan saya ke sumber daya yang tepat?

Stanislaw & Todorov (1999) memiliki diskusi yang baik tentang hal ini di bawah judul Hit and False-Alarm Rates of Zero or One .

Mereka membahas pro dan kontra dari beberapa metode untuk menangani nilai-nilai ekstrem ini, termasuk:

• $A'$$d'$

• Gabungkan data dari berbagai mata pelajaran sebelum menghitung statistik (Macmillan & Kaplan, 1985)

• tambahkan 0,5 ke jumlah hit dan jumlah alarm palsu, dan tambahkan 1 untuk jumlah uji sinyal dan jumlah uji noise; dijuluki pendekatan loglinear (Hautus, 1995)

• $0.5/n$$(n-0.5)/n$$n$

$A'$$d'$

Kedua situs menyarankan hal yang sama tetapi ada satu cara untuk secara konsisten memilih jumlah penyesuaian. Ini telah dikaitkan dengan sejumlah orang tetapi saya tidak berpikir ada yang tahu siapa yang benar-benar datang dengan itu terlebih dahulu. Bidang yang berbeda memiliki buku mani yang berbeda atau penulis pada deteksi sinyal. Yang penting adalah bahwa metode yang Anda pilih masuk akal.

Satu metode yang Anda posting biasanya diambil untuk menyiratkan bahwa jika Anda memiliki set item yang jauh lebih besar (2N) maka Anda akan dapat mendeteksi setidaknya satu kesalahan. Jika ini cara yang masuk akal untuk memikirkan masalah, berarti Anda sudah selesai. Saya ragu itu untuk tes memori. Di masa depan Anda mungkin ingin menaikkan N untuk memastikan ini jauh lebih kecil kemungkinannya terjadi. Namun demikian, metode ini dapat diselamatkan jika Anda menganggapnya dengan cara yang berbeda. Anda menyesuaikan pada rata-rata hipotetis dua kali jalan dari jumlah item memori yang sama. Jika demikian, Anda mengatakan bahwa dalam percobaan lain (dengan asumsi item baru atau mereka lupa semua yang lama) akan ada kesalahan. Atau, lebih sederhana, Anda hanya memilih setengah jalan antara skor tidak sempurna tertinggi yang dapat Anda ukur dan skor sempurna.

Ini adalah masalah tanpa solusi universal yang sederhana. Pertanyaan pertama yang perlu Anda tanyakan adalah apakah Anda percaya, dalam kasus Anda, Anda memiliki klasifikasi sempurna yang asli. Dalam hal ini data Anda adalah data Anda. Jika tidak, maka Anda yakin itu hanya variabilitas dalam sampel yang menyebabkan hit menjadi 100%. Setelah Anda menyimpulkan bahwa ini masalahnya, maka Anda harus mempertimbangkan cara-cara yang masuk akal untuk menghasilkan perkiraan tentang apa yang Anda yakini. Jadi Anda harus bertanya pada diri sendiri apa itu sebenarnya.

Cara termudah untuk menentukan apa yang harus dilakukan adalah dengan melihat data lain dalam kondisi yang sama. Anda mungkin dapat memperkirakan bahwa keakuratan untuk peserta yang satu ini setengah jalan antara nilai terbaik berikutnya yang Anda miliki dan 100% (yang ternyata sama persis dengan nilai yang Anda temukan). Atau, bisa jadi jumlah yang sangat kecil lebih besar. Atau bisa saja sama dengan nilai terbaik. Anda harus memilih apa yang Anda yakini sebagai jawaban terbaik berdasarkan data Anda. Pertanyaan yang lebih spesifik diposting dapat membantu Anda di sini.

Anda harus berusaha memastikan Anda lakukan adalah membuat dampak sesedikit mungkin pada kriteria. Dalam kasus Anda, penyesuaian terhadap klik dan FA akan menyebabkan kriteria untuk tidak bergeser sama sekali. Namun, jika Anda menyesuaikan klik ketika mengatakan, FA = 0,2, maka Anda harus berhati-hati tentang bagaimana penyesuaian itu akan berdampak pada interpretasi kriteria. Anda semacam berkewajiban dalam hal itu untuk memastikan hit sangat tinggi.