Saya menganalisis dataset yang berisi pengamatan dari n sejumlah upaya oleh pemain dalam sebuah permainan. Jika saya membangun model regresi untuk memprediksi hasil dari setiap upaya yang diberikan 1 atau lebih deskriptor mengenai upaya masing-masing pemain , bagaimana cara mengukur berapa banyak upaya pemain harus sebelum deskriptor tertentu menjadi "bermakna" atau "signifikan" diberikan dataset kami ?
Contoh yang baik adalah sekelompok orang yang bermain panah. Seorang pemula yang absolut mungkin akan menutup matanya, melempar panah, dan mengenai mata banteng. Jelas, kita tahu itu adalah kesempatan murni, dia belum pernah bermain sebelumnya, dan heck, dia bahkan mungkin mabuk. Tetapi katakanlah dia melempar 5 anak panah lebih banyak dan memukul mata seekor banteng 3 kali lebih banyak dari mereka 5. Dia sekarang telah melemparkan 6 anak panah dan mengenai mata banteng 50% dari waktu. Sekarang semuanya mulai mencurigakan ...
Pada titik apakah pemula sejati ini melempar panah mata banteng yang cukup, dan berapa banyak upaya yang dia butuhkan sebelum kita dapat mengatakan dia memiliki bakat serius di atas pemain yang lebih berpengalaman lainnya? Apa istilah ini dalam statistik dan di mana saya bisa belajar lebih banyak tentang itu?
Penafian: Saya mencoba untuk menghindari penggunaan istilah statistik yang dimuat seperti "signifikansi" dan "pengamatan" sebanyak mungkin, meskipun saya merasa mereka sesuai di tempat-tempat tertentu di sini.
Jika ada yang bisa mengarahkan saya ke arah yang benar, itu akan fantastis. Terima kasih!!