Menggugat prior ... dengan uang!

Misalkan saya memiliki 'ahli', dari siapa saya ingin memperoleh distribusi sebelum pada beberapa variabel . Saya ingin memotivasi mereka dengan uang sungguhan . Idenya adalah untuk memperoleh prior, mengamati merealisasikan variabel acak , kemudian membagi beberapa 'dompet' yang telah ditentukan di antara para ahli berdasarkan pada seberapa baik prior mereka sesuai dengan bukti. Apa metode yang disarankan untuk bagian terakhir ini, memetakan prior dan bukti ke vektor pembayaran? $k$ $X$ $n$ $X$

bayesian prior

— shabbychef
sumber

Karena mungkin tidak ada jawaban yang tepat, kami mungkin ingin CW yang ini. Saya menyerahkannya pada kebijaksanaan moderator.

— shabbychef

Mungkin ada satu jawaban bagus yang valid secara objektif untuk pertanyaan ini, jadi saya ragu untuk mengubahnya menjadi CW.

— whuber

Ini mirip dengan gagasan pasar prediksi . PredictionBook adalah tempat yang layak untuk dilihat.

— ely

Jawaban:

Dalam semangat komentar saya di atas, saya pikir hal yang tepat untuk dipertimbangkan adalah pasar prediksi . Anda harus menjual sekuritas yang memiliki hasil tetap untuk akurasi prediksi. Anda dapat menggunakan ukuran standar jarak probabilistik, seperti yang disebutkan oleh Daniel Johnson dalam jawabannya. Tetapi intinya adalah untuk memperbaiki pembayaran dalam bentuk sekuritas dan memperbaiki standar ukuran sebelumnya (sebaiknya hanya menggunakan peristiwa biner, seperti terjadi atau tidak). Dengan begitu, jika seseorang bersedia membayar X untuk keamanan yang membayar $ 1,00 jika acara yang diliputnya benar-benar terjadi, Anda tahu mereka menetapkan probabilitas X untuk acara yang dicakup oleh keamanan. Likuiditas pasar akan mengatur bagaimana sekuritas didistribusikan di antara para ahli. $A$ $\$$

Saya pikir ini lebih unggul daripada memiliki vektor pembayaran tetap seperti yang mungkin Anda miliki untuk turnamen golf. Alasannya adalah bahwa dalam turnamen golf, yang terpenting adalah seberapa baik Anda melawan pesaing, bukan skor keseluruhan Anda. Ketika Anda ingin memberi insentif pada kepercayaan sebelumnya yang paling akurat, Anda tidak ingin orang berpikir mereka hanya perlu mengalahkan satu sama lain untuk mendapatkan hadiah ... Anda ingin mereka bersedia bertaruh uang mereka sendiri untuk mendapatkan pembayaran karena mereka Mereka sendiri harus percaya pada penilaian mereka sebelumnya, bukan hanya bahwa penilaian mereka sebelumnya lebih baik daripada penilaian orang lain.

— Ely
sumber

Penting juga untuk dicatat bahwa efek manipulasi pasar telah dipelajari secara eksperimental di pasar prediksi (lihat di sini dan di sini ), dan sementara lebih banyak pekerjaan yang perlu dilakukan tampaknya peserta dapat dengan mudah mengkompensasi manipulator jahat. Hasil empiris menunjukkan bahwa akan sangat sulit untuk 'permainan' sistem, seperti yang Anda sebutkan dalam komentar

— ely

Kata kunci yang harus dicari adalah skor aturan : ini adalah fungsi untuk mengevaluasi dan menghargai prediksi probabilistik, dan ada cukup banyak pekerjaan pada topik, kembali ke 50-an. Hal utama yang perlu Anda periksa adalah bahwa itu layak , yaitu, bahwa ahli dari siapa Anda meminta sebelumnya memiliki insentif untuk jujur.

Ada cukup banyak kemungkinan aturan penilaian yang tepat: salah satu yang paling sederhana adalah aturan penilaian logaritmik: Anda menghargai ahli dengan (fungsi linear) probabilitas log yang mereka tetapkan untuk acara tersebut.

— Simon Byrne
sumber

Terima kasih! Saya condong ke arah sesuatu seperti ini. Khususnya, saya ingin sulit 'permainan' sistem oleh agen tanpa informasi apa pun.

— shabbychef

Periksa komentar yang saya tambahkan pada jawaban saya di atas ( tautan ), karena ada beberapa penelitian yang menjanjikan tentang bagaimana pasar prediksi secara khusus kuat terhadap manipulator dan yang lain mencoba untuk 'permainan' sistem. Ini benar-benar lebih unggul daripada aturan penilaian sederhana yang menawarkan pembayaran hanya untuk mendapatkan akurasi yang lebih baik daripada teman sebaya.

— ely

@ EMS: Apa yang membuat pasar prediksi unggul? Inti dari aturan penilaian adalah bahwa skor tersebut tidak tergantung pada para pesaing (walaupun diakui bahwa mereka tidak sering menerapkannya dalam praktik: yaitu semua uang diberikan kepada orang dengan skor tertinggi)

— Simon Byrne

Jika distribusi yang benar diketahui oleh orang yang membayar uang, statistik alami untuk dilihat akan menjadi entropi relatif dari distribusi yang diberikan sebelumnya dan yang benar. Maka pembayaran hanya bisa beberapa fungsi monoton penurunan entropi relatif.

$n$ $\text{score}(\text{prior } j) = \sum^n_{i=1}P_j(X = x_i)$

$X$ $n$

— Daniel Johnson
sumber

Namun, tentu saja, para ahli akan mempertimbangkan semua hal ini sebelum memberi Anda "prioritas".

— ely

n

$n$

n

$n$

$

$\$$

Yang rapi adalah bahwa jumlah fisik, seperti memperkirakan jarak atau jumlah M&M dalam toples, manusia adalah penduga yang tidak bias: ambil rata-rata dari sejumlah besar tebakan dan biasanya sangat dekat. Tetapi jumlah non-fisik, seperti berapa harga gas bulan depan, manusia (bahkan para ahli) mengerikan , bahkan rata-rata. Literatur tentang perencanaan kekeliruan itu menakutkan, terutama contoh-contoh perencana kota profesional secara konsisten memperkirakan biaya proyek-proyek kota, seperti bagaimana statistik lulusan siswa melakukan dengan buruk dengan bias fallacy bersama.

— ely

Hal utama yang saya tahu secara langsung adalah beberapa hal yang dibahas dalam sebuah buku tua tentang visi, "Pendekatan Ekologis untuk Persepsi Visual" oleh James Gibson. Dia menyebutkan beberapa percobaan membuat orang memperkirakan jarak di lapangan sepak bola antara dua orang yang berdiri jauh, dan hal-hal serupa lainnya. Saya tidak dapat mengingat di mana saya mendengar hal M&M, tetapi saya akan mencoba menemukan beberapa sumber di dalamnya.

— ely