Apakah para peneliti sebelumnya gagal mendeteksi hot hand hanya karena kesalahan statistik?

Banyak penggemar / pemain bola basket percaya bahwa setelah melakukan beberapa tembakan berturut-turut, tembakan berikutnya lebih cenderung masuk. Ini kadang-kadang disebut tangan panas.

Mulai (saya pikir) dengan Gilovich, Mallone, dan Tversky (1985) , "ditunjukkan" bahwa ini sebenarnya adalah sebuah kesalahan. Bahkan jika beberapa pemotretan berturut-turut telah masuk, pemotretan berikutnya tidak lebih mungkin untuk masuk daripada yang akan ditentukan oleh persentase pemotretan Anda.

Miller dan Sanjurjo (2015) berpendapat bahwa tangan panas sebenarnya ada dan peneliti sebelumnya hanya menjadi mangsa fallacy statistik yang cukup mendasar. Argumen mereka kira-kira seperti ini:

Balikkan koin empat kali. Hitung probabilitas bahwa H mengikuti H. Untuk memberikan beberapa contoh: HHTT akan memiliki probabilitas 1/2, HTHT akan memiliki probabilitas 0/2, TTHH akan memiliki probabilitas 0/1 1/1, dan TTTT dan TTTH adalah N.A.

Bagian lucunya dari Miller dan Sanjurjo adalah bahwa nilai yang diharapkan dari probabilitas ini bukan 0,5, tetapi -0,4. Dan kesalahan yang dibuat oleh para peneliti sebelumnya adalah salah mengasumsikan bahwa nilai yang diharapkan dari probabilitas ini adalah 0,5. Jadi jika misalnya para peneliti sebelumnya melakukan percobaan membalik koin di atas dan menemukan probabilitas rata-rata untuk mengatakan 0,497, mereka secara keliru menyimpulkan bahwa tidak ada bukti dari tangan panas (tidak berbeda nyata dari 0,5), padahal sebenarnya ada sangat banyak bukti kuat dari tangan panas (berbeda secara signifikan dari 0,4).

Pertanyaan saya adalah ini: Apakah Miller dan Sanjurjo benar bahwa para peneliti sebelumnya gagal mendeteksi hot hand hanya karena kesalahan ini? Saya hanya membaca sekilas satu atau dua makalah tentang ini sehingga saya ingin mendapatkan konfirmasi dari seseorang di sini yang mungkin mengetahui literatur ini lebih baik. Ini kelihatannya merupakan kesalahan konyol yang konyol untuk bertahan selama tiga dekade atau lebih.

(Jawaban ini sepenuhnya ditulis ulang untuk kejelasan dan keterbacaan yang lebih baik pada bulan Juli 2017.)

Balikkan koin 100 kali berturut-turut.

Periksa flip segera setelah garis tiga ekor. Misalkan $ \ hat {p} (H | 3T) $ menjadi proporsi koin yang terbalik setelah setiap goresan tiga ekor berturut-turut yang merupakan kepala. Demikian pula, misalkan $ \ hat {p} (H | 3H) $ menjadi proporsi koin yang terbalik setelah setiap goresan dari tiga kepala berturut-turut adalah kepala. ( Contoh di bawah jawaban ini. )

Biarkan $ x: = \ hat {p} (H | 3H) - \ hat {p} (H | 3T) $.

Jika koin-membalik i.i.d., maka "jelas", di banyak urutan 100 koin-membalik,

(1) $ x & gt; 0 $ diharapkan akan terjadi sesering $ x & lt; 0 $.

(2) $ E (X) = 0 $.

Kami menghasilkan sejuta urutan 100 koin-membalik dan mendapatkan dua hasil berikut:

(I) $ & gt; 0 $ terjadi kira-kira sesering $ & lt; 0 $.

(II) $ \ bar {x} \ kira-kira 0 $ ($ \ bar {x} $ adalah rata-rata $ x $ di seluruh sejuta urutan).

Dan jadi kami menyimpulkan bahwa koin-flips memang i.i.d. dan tidak ada bukti dari tangan panas. Inilah yang dilakukan GVT (1985) (tetapi dengan tembakan bola basket sebagai pengganti koin-flip). Dan ini adalah bagaimana mereka menyimpulkan bahwa tangan panas tidak ada.

Garis Punchline: Mengejutkan, (1) dan (2) salah. Jika koin membalik adalah i.i.d., maka itu seharusnya menjadi itu

(1-dikoreksi) $ x & gt; 0 $ hanya terjadi sekitar 37% dari waktu, sementara $ x & lt; 0 $ terjadi sekitar 60% dari waktu. (Dalam 3% sisa waktu, $ x = 0 $ atau $ x $ tidak terdefinisi - baik karena tidak ada garis 3H atau tidak ada garis 3T dalam 100 flips.)

(2-dikoreksi) $ E (X) \ sekitar -0,08 $.

Intuisi (atau kontra-intuisi) yang terlibat mirip dengan yang ada di beberapa teka-teki probabilitas terkenal lainnya: masalah Monty Hall, masalah dua-anak lelaki, dan prinsip pilihan terbatas (di jembatan permainan kartu). Jawaban ini sudah cukup lama dan saya akan lewati penjelasan intuisi ini.

Dan hasil yang sangat (I) dan (II) yang diperoleh oleh GVT (1985) sebenarnya bukti kuat yang mendukung hot hand. Inilah yang ditunjukkan Miller dan Sanjurjo (2015).

Analisis lebih lanjut tentang Tabel 4 GVT.

Banyak (mis. @Scerwin di bawah) telah - tanpa repot membaca GVT (1985) - menyatakan tidak percaya bahwa "ahli statistik terlatih mana pun" akan mengambil rata-rata rata-rata dalam konteks ini.

Tapi itulah yang dilakukan GVT (1985) dalam Tabel 4 mereka. Lihat Tabel 4, kolom 2-4 dan 5-6, baris paling bawah. Mereka menemukan bahwa rata-rata di 26 pemain,

$ \ hat {p} (H | 1M) \ kira-kira 0,47 $ dan $ \ hat {p} (H | 1H) \ sekitar 0,48 $,

$ \ hat {p} (H | 2M) \ kira-kira 0,47 $ dan $ \ hat {p} (H | 2H) \ sekitar 0,49 $,

$ \ hat {p} (H | 3M) \ kira-kira 0,45 $ dan $ \ hat {p} (H | 3H) \ sekitar 0,49 $.

Sebenarnya itu adalah kasus untuk setiap $ k = 1,2,3 $, $ rata-rata $ hat {p} (H | kH) & gt; \ hat {p} (H | kM) $. Tetapi argumen GVT tampaknya bahwa ini tidak signifikan secara statistik dan jadi ini bukan bukti yang mendukung hot hand. OK cukup adil.

Tetapi jika alih-alih mengambil rata-rata rata-rata (suatu langkah yang dianggap sangat bodoh oleh sebagian orang), kami mengulang analisis dan agregat mereka di 26 pemain (masing-masing 100 tembakan, dengan beberapa pengecualian), kami mendapatkan tabel rata-rata tertimbang berikut ini.

Any                     1175/2515 = 0.4672

3 misses in a row       161/400 = 0.4025
3 hits in a row         179/313 = 0.5719

2 misses in a row       315/719 = 0.4381
2 hits in a row         316/581 = 0.5439        

1 miss in a row         592/1317 = 0.4495
1 hit in a row          581/1150 = 0.5052

Tabel mengatakan, misalnya, bahwa total 2.515 tembakan diambil oleh 26 pemain, di mana 1.175 atau 46,72% dibuat.

Dan dari 400 contoh di mana seorang pemain melewatkan 3 berturut-turut, 161 atau 40,25% segera diikuti oleh pukulan. Dan dari 313 contoh di mana seorang pemain memukul 3 berturut-turut, 179 atau 57,19% segera diikuti oleh pukulan.

Rata-rata tertimbang di atas tampaknya menjadi bukti kuat dalam mendukung tangan panas.

Ingatlah bahwa percobaan penembakan telah diatur sehingga setiap pemain menembak dari tempat yang telah ditentukan ia dapat menghasilkan sekitar 50% dari tembakannya.

(Catatan: "Anehnya", pada Tabel 1 untuk analisis yang sangat mirip dengan penembakan dalam gim Sixers, GVT malah menyajikan rata-rata tertimbang. Jadi mengapa mereka tidak melakukan hal yang sama untuk Tabel 4? Dugaan saya adalah bahwa mereka tentu saja menghitung rata-rata tertimbang untuk Tabel 4 - angka-angka yang saya sajikan di atas, tidak suka apa yang mereka lihat, dan memilih untuk menekannya. Perilaku semacam ini sayangnya setara untuk kursus di akademisi.)

Contoh : Katakanlah kita memiliki urutan $ HHHTTTHHHHH ... H $ (hanya membalik # 4- # 6 adalah ekor, sisanya 97 membalik semua kepala). Kemudian $ \ hat {p} (H | 3T) = 1/1 = 1 $ karena hanya ada 1 coretan tiga ekor dan flip segera setelah coretan itu adalah kepala.

Dan $ \ hat {p} (H | 3H) = 91/92 \ sekitar 0,989 $ karena ada 92 goresan dari tiga kepala dan untuk 91 dari 92 goresan itu, flip segera setelahnya adalah kepala.

P.S. GVT's (1985) Tabel 4 berisi beberapa kesalahan. Saya melihat setidaknya dua kesalahan pembulatan. Dan juga untuk pemain 10, nilai tanda kurung di kolom 4 dan 6 tidak menambahkan hingga satu kurang dari itu di kolom 5 (bertentangan dengan catatan di bagian bawah). Saya menghubungi Gilovich (Tversky sudah mati dan Vallone saya tidak yakin), tetapi sayangnya dia tidak lagi memiliki urutan asli dari hit dan miss. Tabel 4 adalah semua yang kita miliki.

(Penafian: Saya tidak tahu literatur ini.) Tampaknya bagi saya bahwa Miller dan Sanjurjo memiliki kritik yang valid terhadap ukuran statistik tertentu. Saya tidak tahu apakah ini harus dianggap membatalkan semua pekerjaan sebelumnya pada efek hot-hand, karena mereka hanya fokus pada ukuran khusus ini.

Ukurannya adalah

$$ M: = P (\ text {make shot} | \ text {made shot sebelumnya}) - P (\ text {make shot} | \ text {miss shot sebelumnya}) $$ di mana $ P (X) $ benar-benar berarti "fraksi kali $ X $ terjadi".

Pekerjaan sebelumnya, seperti [Gilovich, Mallone, Tversky, 1985], mengklaim bahwa $ M $ mendekati nol atau negatif adalah bukti kurangnya efek langsung. Asumsi implisit adalah bahwa $ \ mathbb {E} M & gt; 0 $ jika ada efek hot-hand dan $ \ mathbb {E} M = 0 $ sebaliknya. (Lihat subbagian Analisis Kemungkinan Bersyarat sedang dipelajari 2.)

Namun, Miller dan Sanjurjo menunjukkan bahwa $ \ mathbb {E} M & lt; 0 $ jika tidak ada efek hot-hand. Karenanya $ M $ mendekati nol tidak menunjukkan kurangnya efek hot-hand.

Jadi sekali lagi dalam ringkasan, saya belum benar-benar menjawab pertanyaan Anda tentang apakah makalah ini membatalkan karya sebelumnya pada efek hot hand (yang menggunakan banyak ukuran statistik berbeda), tetapi bagi saya tampaknya makalah ini membuat poin yang valid mengenai ukuran statistik khusus ini. . Khususnya, misalnya, Gilovich, Mallone, Tversky menggunakan non-positif $ M $ sebagai salah satu bukti pendukung, dan makalah ini menunjukkan kelemahan dalam argumen itu.

Tidak satu pun dari kedua makalah yang cukup jelas sehubungan dengan aplikasi Statistik mereka, jadi dalam jawaban ini saya akan mencoba klarifikasi.

Gilovich, Mallone, dan Tversky (1985) dalam Abstrak mereka menetapkan "Efek Hot-Hand" sebagai berikut:

" Pemain dan penggemar bola basket cenderung percaya bahwa itu adalah milik seorang pemain   Peluang memukul tembakan lebih besar setelah pukulan daripada mengikuti a   ketinggalan tembakan sebelumnya. "

"Tembakan sebelumnya" kemudian diperluas ke tembakan "satu, dua atau tiga" sebelumnya. Menandakan serangkaian $ k $ Hits berurutan dengan $ H_k $ dan serangkaian $ k $ secara berurutan meleset sebesar $ M_k $, kehadiran efek Hot-Hand didefinisikan sebagai

$$ P (H \ mid H_k) & gt; P (H \ mid M_k), \; \; \; k \ geq 1 \ tag {1} $$

di mana untuk kekompakan, dipahami bahwa bidikan yang dimaksud adalah yang langsung mengikuti pukulan beruntun atau gagal. Ini adalah probabilitas kondisional teoritis (mis. konstanta), bukan frekuensi empiris relatif bersyarat.

Bagaimana penulis mencoba menguji keberadaan Efek Hot-Hand? Mereka memperoleh data empiris, mereka menghitung frekuensi empiris relatif bersyarat $ \ hat P (H \ mid H_k), \; \ hat P (H \ mid M_k) $ (yang merupakan variabel acak) dan mereka melakukan uji-t dengan hipotesis nol (hal. 299-300)

$$ {\ rm H_o:} P (H \ mid H_k) - P (H \ mid M_k) = 0 $$

Perhatikan dengan cara tes ini lebih lemah dari tes untuk independensi tembakan: probabilitas ini bisa sama tetapi masih berbeda dari probabilitas tanpa syarat $ P (H) $.

Secara alami, statistik yang digunakan adalah $ T \ equiv \ hat P (H \ mid H_k) - \ hat P (H \ mid M_k) $. Para penulis menemukan bahwa nol adalah ditolak pada tingkat signifikansi konvensional, tetapi dalam arah melawan Hipotesis Hot-hand: nilai-t cukup besar tetapi negatif.

Pertanyaannya kemudian adalah: apakah tes ini valid? Pertama, agar frekuensi empiris dapat secara konsisten memperkirakan probabilitas yang tidak diketahui, sampel harus ergonomis-stasioner. Yaitu, dalam kasus ini (lihat diskusi pada hal.297). Maka hal lain yang perlu dipertanyakan adalah apa distribusi statistik $ T $? Apakah didekati dengan baik oleh distribusi Siswa untuk sampel hingga (karena nilai kritis dari distribusi Siswa yang digunakan)? Dan untuk ukuran apa?

Apa Miller dan Sanjurjo (2015) lakukan adalah untuk berdebat (dan tampaknya, membuktikan) bahwa distribusi "pasti" (sampel-terbatas) dari $ T $ memiliki kemiringan negatif yang tidak dapat diabaikan dan nilai yang diharapkan tidak nol, (lihat hal 18-19). Jika demikian, penggunaan uji-t dapat menyesatkan , setidaknya untuk sampel hingga, meskipun dapat tetap valid asimptotik / untuk sampel "besar".

Karena itu, jika ada masalah dengan Gilovich et al. kertas, itu bukan definisi dari Hot-Hand, itu bukan rumusan dari hipotesis nol, itu bukan pemilihan statistik yang akan digunakan: itu adalah validitas dari nilai-nilai kritis yang digunakan untuk melaksanakan tes ( dan dari asumsi distribusi implisit), jika memang terbatas, distribusi sampel kecil (di bawah hipotesis nol) tampak tidak berpusat pada nol dan juga asimetris.

Dalam kasus seperti itu, apa yang biasanya dilakukan seseorang adalah dengan mensimulasikan nilai kritis khusus untuk melakukan tes (ingat misalnya nilai kritis khusus untuk tes Dickey-Fuller untuk unit root). Saya gagal melihat pendekatan seperti itu dalam makalah Miller-Sanjurjo -bahkan, mereka melakukan "penyesuaian bias rata-rata", dan menemukan bahwa setelah penyesuaian ini kesimpulan dari tes dibalik. Saya tidak yakin ini jalan yang harus ditempuh.

Namun demikian, simulasi kasar memvalidasi hasil Miller-Sanjurjo sehubungan dengan distribusi statistik. Saya mensimulasikan $ 200 $ sampel masing-masing ukuran $ n = 100 $, dari Bernoullis independen dengan $ p = 0,5 $.
Distribusi empiris statistik $ T_3 = \ hat P (H \ mid H_3) - \ hat P (H \ mid M_3) $ memiliki mean sampel $ -0.0807 $ dan median $ -0.072 $, dengan $ 62.5 \ % $ dari nilai negatif. Histogram empiris adalah

Dalam pandangan saya, Miller dan Sanjurjo hanya menghitung frekuensi relatif pada Tabel 1 secara tidak benar. Tabel mereka ditunjukkan di bawah ini dengan dua kolom baru ditambahkan, yang menghitung jumlah HH dan HT berikutnya yang terjadi dalam setiap urutan 4 membalik koin. Untuk mendapatkan probabilitas kondisional yang diinginkan p (H | H) kita harus menjumlahkan jumlah ini N (HH) dan N (HT) dan kemudian membagi seperti yang ditunjukkan di bawah ini. Melakukan ini memberi p (H | H) = 0,5, seperti yang diharapkan. Untuk beberapa alasan, Miller dan Sanjurjo pertama-tama menghitung frekuensi relatif untuk setiap urutan dan kemudian dirata-rata berdasarkan urutan. Itu salah.

Sequence     Subsequences       N(HH) N(HT)    p(H|H)
TTTT  ->  TT.. , .TT. , ..TT      0     0        -  
TTTH  ->  TT.. , .TT. , ..TH      0     0        -  
TTHT  ->  TT.. , .TH. , ..HT      0     1       0.0 
THTT  ->  TH.. , .HT. , ..TT      0     1       0.0 
HTTT  ->  HT.. , .TT. , ..TT      0     1       0.0 
TTHH  ->  TT.. , .TH. , ..HH      1     0       1.0 
THTH  ->  TH.. , .HT. , ..TH      0     1       0.0 
THHT  ->  TH.. , .HH. , ..HT      1     1       0.5 
HTTH  ->  HT.. , .TT. , ..TH      0     1       0.0 
HTHT  ->  HT.. , .TH. , ..HT      0     2       0.0 
HHTT  ->  HH.. , .HT. , ..TT      1     1       0.5 
THHH  ->  TH.. , .HH. , ..HH      2     0       1.0 
HTHH  ->  HT.. , .TH. , ..HH      1     1       0.5 
HHTH  ->  HH.. , .HT. , ..TH      1     1       0.5 
HHHT  ->  HH.. , .HH. , ..HT      2     1       0.66
HHHH  ->  HH.. , .HH. , ..HH      3     0       1.0 
                                 --    --       ----
                                 12    12       0.40
                            p(H|H)=N(HH)/N(H*)
                                  =12/(12+12)
                                  =0.5

Dalam setiap urutan yang diamati, syarat terakhir adalah "hilang" dalam arti bahwa tidak ada nilai sesudahnya. Para penulis menangani ini dengan hanya mengabaikan kasus-kasus di mana ini terjadi, mengatakan bahwa mereka tidak terdefinisi. Jika seri ini pendek, pilihan ini akan memiliki dampak yang jelas pada perhitungan. Gambar 1 adalah ilustrasi yang bagus untuk ide ini.

Saya akan mengubah komentar yang saya buat di atas menjadi jawaban, dan mengklaim jawaban atas pertanyaan awal adalah bahwa makalah aslinya benar. Para penulis makalah 2015 membuang urutan yang secara logis harus dimasukkan dalam analisis mereka, seperti yang saya jelaskan dalam komentar, dan karena itu memperkenalkan bias yang mendukung klaim mereka. Dunia bekerja sebagaimana mestinya.

Tambahan sebagai tanggapan terhadap komentar: Kami melihat tabel 1 di koran. Kami melihat kami membuang 4 nilai dari kolom terakhir, jadi untuk mendapatkan perbedaan yang diharapkan, kami hanya rata-rata di atas 12 dari 16 urutan. Jika kita melihat probabilitas ini sebagai frekuensi, dan kita katakan, untuk TTTT baris pertama, berapa frekuensi di mana kepala mengikuti kepala, maka secara logis itu selalu terjadi, dan kita harus meletakkan 1 di p (H, H ) kolom, bukan tanda hubung. Kami melakukan itu untuk tiga urutan lainnya yang kami buang, dan kami menyimpulkan nilai yang diharapkan dari perbedaannya adalah 0, bukan -.33. Kita tidak bisa begitu saja membuang data seperti itu, ketika ada interpretasi logis yang jelas dari data tersebut.

Perhatikan bahwa untuk membuat drift menghilang, kita harus menghitung probabilitas dengan benar, yang tidak dilakukan di koran. Probabilitas dalam tabel diklaim sebagai "probabilitas bahwa kepala mengikuti ekor, dalam urutan empat kali lemparan ini." Dan kita melihat bahwa untuk baris TTTH, kita seharusnya percaya bahwa probabilitas adalah 1/3. Ini bukan. Ada empat lemparan di baris, dan satu dari empat lemparan di baris itu adalah acara "kepala mengikuti ekor". Probabilitasnya adalah 1/4. Jadi hitung probabilitas dengan benar, dan gunakan semua baris, dan Anda mendapatkan jawaban yang telah diterima selama 30 tahun.