Pertanyaan menarik. Ini sebenarnya bukan jawaban, tapi terlalu panjang untuk menjadi komentar.
Saya pikir desain eksperimental Anda ditantang karena alasan ini:
1) Ini tidak mencerminkan cara pengambilan saham dievaluasi di “dunia nyata”. Sebagai contoh ekstrem, misalkan pemilih saham A memilih 1 saham yang naik 1000%, dan 9 yang turun sebesar 1%, dan pemilih saham B memilih 10 saham yang semuanya naik 1%. Jika saham ini benar-benar digunakan untuk membuat indeks, maka jelas A akan menjadi pemain yang lebih baik, tetapi B akan jauh lebih baik dalam percobaan Anda. Tantangan yang lebih menarik secara finansial adalah membangun portofolio dan membandingkan kinerjanya dengan S&P 500. Pada gilirannya, ada mesin yang biasa digunakan untuk mengevaluasi kinerja seperti itu: cukup ambil regresi linier dari pengembalian sehari-hari dari portofolio terhadap S&P. Istilah mencegat (sering disebut "alpha") mengukur kinerja rata-rata "di atas dan di atas pasar". Karena ini adalah koefisien regresi linier, itu adalah masalah sepele untuk membangun interval kepercayaan 95% jika Anda memilihnya. Kemudian bandingkan ini dengan biaya yang akan ditagih banknya untuk layanan ini.
2) Mengabaikan 1, karena sepertinya Anda berdua sudah menyetujui bentuk percobaan, pertimbangkan bagaimana ini bisa dilakukan. Misalkan saya memiliki ramalan ajaib yang memberi tahu saya probabilitas setiap saham berada di atas harga saat ini sebulan dari sekarang (katakanlah). Lalu saya bisa memilih n saham dengan probabilitas tertinggi, dan kemungkinan besar lebih dari 50% dari mereka memang akan naik. Sekarang, probabilitas seperti itu dikodekan (tidak sempurna) dalam berbagai harga opsi. Sebagai contoh, saya dapat membeli apa yang disebut "opsi biner", yang pada dasarnya hanyalah pertaruhan pada acara "Stok X akan berada di atas harga Y pada tanggal Z". Harga semacam itu menyiratkan probabilitas peristiwa ini (meskipun tanggal dekat Z adalah hingga saat ini, semakin tidak dapat diandalkan hal ini). Karena secara membabi buta mengikuti "kebijaksanaan orang banyak" tidak memerlukan keahlian khusus, Saya berpendapat bahwa kinerja strategi seperti ini harus dianggap "tingkat peluang" untuk percobaan khusus Anda. Atau, Anda memberikan padanya daftar stok pilihan Anda, dan minta dia menunjukkan apakah dia pikir masing-masing akan naik atau turun, bersama dengan kepercayaan dirinya pada setiap prediksi. Kemudian kelompokkan semua jawaban berdasarkan tingkat kepercayaan dan lihat seberapa dekat mereka menyelaraskan (yaitu, dari saham yang dia yakini 90% tentang itu, apakah dia benar memprediksi 90% dari mereka?). Ada cara standar untuk mengukur ini; saya tidak ingat begitu saja apa namanya, tetapi Anda dapat membacanya di Superforecasters oleh Phil Tetlock. dan mintalah dia menunjukkan apakah dia pikir masing-masing akan naik atau turun, bersama dengan kepercayaan dirinya pada setiap prediksi. Kemudian kelompokkan semua jawaban berdasarkan tingkat kepercayaan dan lihat seberapa dekat mereka menyelaraskan (yaitu, dari saham yang dia yakini 90% tentang itu, apakah dia benar memprediksi 90% dari mereka?). Ada cara standar untuk mengukur ini; saya tidak ingat begitu saja apa namanya, tetapi Anda dapat membacanya di Superforecasters oleh Phil Tetlock. dan mintalah dia menunjukkan apakah dia pikir masing-masing akan naik atau turun, bersama dengan kepercayaan dirinya pada setiap prediksi. Kemudian kelompokkan semua jawaban berdasarkan tingkat kepercayaan dan lihat seberapa dekat mereka menyelaraskan (yaitu, dari saham yang dia yakini 90% tentang itu, apakah dia benar memprediksi 90% dari mereka?). Ada cara standar untuk mengukur ini; saya tidak ingat begitu saja apa namanya, tetapi Anda dapat membacanya di Superforecasters oleh Phil Tetlock.