Forensik statistik: Benford dan seterusnya

Metode luas apa yang ada untuk mendeteksi kecurangan, anomali, fudging, dll. Dalam karya ilmiah yang diproduksi oleh pihak ketiga? (Saya termotivasi untuk menanyakan hal ini oleh perselingkuhan Marc Hauser baru-baru ini .) Biasanya untuk pemilihan dan penipuan akuntansi, beberapa varian dari Hukum Benford dikutip. Saya tidak yakin bagaimana ini dapat diterapkan untuk misalnya kasus Marc Hauser, karena Hukum Benford mengharuskan angka-angka untuk sekitar log seragam.

Sebagai contoh nyata, misalkan sebuah makalah mengutip nilai-p untuk sejumlah besar uji statistik. Bisakah seseorang mengubah ini untuk mencatat keseragaman, lalu menerapkan Hukum Benford? Sepertinya akan ada semua jenis masalah dengan pendekatan ini ( misalnya beberapa hipotesis nol mungkin secara sah salah, kode statistik mungkin memberikan nilai-p yang hanya mendekati benar, tes mungkin hanya memberikan nilai-p yang seragam) di bawah nol asimtotik, dll.)

Pertanyaan bagus!

Dalam konteks ilmiah ada berbagai jenis pelaporan bermasalah dan perilaku bermasalah:

• Penipuan : Saya akan mendefinisikan penipuan sebagai niat yang disengaja dari penulis atau analis untuk menggambarkan hasil secara keliru dan di mana penyajian yang keliru tersebut bersifat cukup serius. Contoh utama adalah pembuatan lengkap data mentah atau statistik ringkasan.
• Kesalahan : Analis data dapat membuat kesalahan pada banyak fase analisis data mulai dari entri data, manipulasi data, analisis, pelaporan, interpretasi.
• Perilaku tidak pantas : Ada banyak bentuk perilaku yang tidak pantas. Secara umum, ini dapat diringkas dengan orientasi yang berusaha untuk mengkonfirmasi posisi tertentu daripada mencari kebenaran.

Contoh umum perilaku tidak pantas meliputi:

• Meneliti serangkaian variabel dependen yang mungkin dan hanya melaporkan satu yang signifikan secara statistik
• Tidak menyebutkan pelanggaran asumsi penting
• Melakukan manipulasi data dan prosedur penghapusan outlier tanpa menyebutkannya, terutama di mana prosedur ini tidak tepat dan dipilih murni untuk membuat hasilnya terlihat lebih baik
• Menyajikan model sebagai konfirmasi yang sebenarnya bersifat eksplorasi
• Menghilangkan hasil penting yang bertentangan dengan argumen yang diinginkan
• Memilih tes statistik semata-mata atas dasar itu membuat hasilnya terlihat lebih baik
• Menjalankan serangkaian lima atau sepuluh studi di bawah daya di mana hanya satu yang signifikan secara statistik (mungkin pada p = 0,04) dan kemudian melaporkan penelitian tanpa menyebutkan studi lain

Secara umum, saya berhipotesis bahwa ketidakmampuan terkait dengan ketiga bentuk perilaku bermasalah. Seorang peneliti yang tidak mengerti bagaimana melakukan sains yang baik tetapi sebaliknya ingin sukses akan memiliki insentif yang lebih besar untuk salah mengartikan hasil mereka, dan kecil kemungkinannya untuk menghormati prinsip-prinsip analisis data etis.

Perbedaan di atas memiliki implikasi untuk mendeteksi perilaku bermasalah. Misalnya, jika Anda berhasil mengetahui bahwa serangkaian hasil yang dilaporkan salah, masih perlu dipastikan apakah hasil tersebut muncul dari penipuan, kesalahan atau perilaku yang tidak pantas. Saya juga berasumsi bahwa berbagai bentuk perilaku yang tidak pantas jauh lebih umum daripada penipuan.

Berkenaan dengan mendeteksi perilaku bermasalah, saya pikir itu sebagian besar keterampilan yang berasal dari pengalaman bekerja dengan data , bekerja dengan suatu topik , dan bekerja dengan para peneliti. Semua pengalaman ini memperkuat harapan Anda tentang seperti apa data seharusnya. Dengan demikian, penyimpangan utama dari harapan memulai proses mencari penjelasan. Pengalaman dengan para peneliti memberi Anda perasaan tentang jenis perilaku yang tidak pantas yang lebih atau kurang umum. Dalam kombinasi ini mengarah pada generasi hipotesis. Sebagai contoh, jika saya membaca artikel jurnal dan saya terkejut dengan hasilnya, penelitiannya kurang kuat, dan sifat penulisan ini menunjukkan bahwa penulis ingin membuat suatu poin, saya membuat hipotesis bahwa hasilnya mungkin tidak boleh dipercaya.

Sumber Daya Lainnya

• Robert P. Abelson Statistik sebagai Argumen Prinsip memiliki bab berjudul "On Suspecting Fishiness"

Sebenarnya, Hukum Benford adalah metode yang sangat kuat. Ini karena distribusi frekuensi Benford dari digit pertama berlaku untuk semua jenis kumpulan data yang terjadi di dunia nyata atau alami.

Anda benar bahwa Anda dapat menggunakan Hukum Benford hanya dalam keadaan tertentu. Anda mengatakan bahwa data harus memiliki distribusi log yang seragam. Secara teknis, ini benar sekali. Tapi, Anda bisa menggambarkan persyaratan dengan cara yang lebih sederhana dan ringan. Yang Anda butuhkan adalah rentang kumpulan data yang melintasi setidaknya satu urutan besarnya. Katakanlah dari 1 hingga 9 atau 10 hingga 99 atau 100 hingga 999. Jika melintasi dua urutan besarnya, Anda berada dalam bisnis. Dan, Hukum Benford seharusnya cukup membantu.

Keindahan Hukum Benford adalah membantu Anda mempersempit investigasi Anda dengan sangat cepat pada jarum dalam tumpukan data. Anda mencari anomali di mana frekuensi digit pertama jauh berbeda dari frekuensi Benford. Setelah Anda melihat bahwa ada dua banyak 6s, Anda kemudian menggunakan Hukum Benford untuk fokus hanya pada 6s; tetapi, Anda bawa sekarang ke dua digit pertama (60, 61, 62, 63, dll ...). Sekarang, mungkin Anda menemukan ada lebih banyak 63-an lalu apa yang disarankan Benford (Anda akan melakukannya dengan menghitung frekuensi Benford: log (1 + 1/63) yang memberi Anda nilai mendekati 0%). Jadi, Anda menggunakan Benford ke tiga digit pertama. Pada saat Anda mengetahui ada terlalu banyak 632-an (atau apa pun dengan menghitung frekuensi Benford: log (1 + 1/632)) dari yang diharapkan, Anda mungkin sedang mengerjakan sesuatu. Tidak semua anomali adalah penipuan. Tapi,

Jika kumpulan data yang dimanipulasi Marc Hauser adalah data alami yang tidak dibatasi dengan rentang terkait yang cukup luas, maka Hukum Benford akan menjadi alat diagnostik yang cukup bagus. Saya yakin ada alat diagnostik bagus lainnya yang juga mendeteksi pola yang tidak biasa dan dengan menggabungkannya dengan Hukum Benford, Anda mungkin bisa menyelidiki urusan Marc Hauser secara efektif (dengan mempertimbangkan persyaratan data yang disebutkan dalam UU Benford).

Saya menjelaskan sedikit Hukum Benford dalam presentasi singkat ini yang bisa Anda lihat di sini: http://www.slideshare.net/gaetanlion/benfords-law-4669483