Siapa yang sering?

Kami sudah memiliki utas bertanya siapa orang Bayesian dan yang satu bertanya apakah kerap orang Bayesian , tetapi tidak ada utas yang bertanya langsung siapa yang sering ? Ini adalah pertanyaan yang ditanyakan oleh @whuber sebagai komentar di utas ini dan perlu dijawab. Apakah mereka ada (adakah yang sering mengidentifikasi diri sendiri)? Mungkin mereka hanya dibuat-buat oleh Bayesians yang membutuhkan kambing hitam untuk disalahkan ketika mengkritik statistik arus utama?

Meta-komentar untuk jawaban yang sudah diberikan: Sebagai kontras, statistik Bayesian tidak hanya didefinisikan dalam hal menggunakan teorema Bayes (non-Bayesian juga menggunakannya), atau tentang menggunakan interpretasi subyektivisus probabilitas (Anda tidak akan memanggil orang awam mengatakan hal-hal seperti "Saya bertaruh peluangnya kurang dari 50:50!" seorang Bayesian) - jadi dapatkah kita mendefinisikan frekuensi hanya dengan menafsirkan interpretasi probabilitas? Selain itu, statistik diterapkan probabilitas$\ne$ , sehingga harus definisi frequentism difokuskan hanya pada interpretasi probabilitas?

Beberapa jawaban yang ada berbicara tentang kesimpulan statistik dan beberapa tentang interpretasi probabilitas, dan tidak ada yang jelas membuat perbedaan. Tujuan utama dari jawaban ini adalah untuk membuat perbedaan ini.

Kata "frequentism" (dan "frequentist") dapat merujuk pada DUA HAL YANG BERBEDA:

1. Salah satunya adalah pertanyaan tentang apa definisi atau interpretasi "probabilitas". Ada beberapa interpretasi, "interpretasi frequentist" menjadi salah satunya. Orang-orang yang sering menjadi orang yang mengikuti interpretasi ini.

2. Lainnya adalah inferensi statistik tentang parameter model berdasarkan data yang diamati. Ada pendekatan Bayesian dan frequentist untuk inferensi statistik, dan frequentist adalah orang-orang yang lebih suka menggunakan pendekatan frequentist.

Sekarang muncul spekulasi: Saya pikir hampir tidak ada frequentist dari jenis pertama (P-frequentist) , tetapi ada banyak frequentist dari jenis kedua (S-frequentist) .

Interpretasi frekuensi secara berkala

Pertanyaan tentang apa itu probabilitas adalah subjek dari debat yang berlangsung terus-menerus dengan sejarah lebih dari 100 tahun. Itu milik filsafat. Saya merujuk siapa pun yang tidak akrab dengan debat ini ke artikel Interpretations of Probability dalam Stanford Encyclopedia of Philosophy yang berisi bagian tentang interpretasi frequentist. Akun lain yang sangat mudah dibaca yang kebetulan saya ketahui, adalah makalah ini: Appleby, 2004, Probabilitas adalah kasus tunggal atau tidak sama sekali - yang ditulis dalam konteks dasar mekanika kuantum, tetapi berisi bagian yang berfokus pada probabilitas.

Appleby menulis:

Frequentism adalah posisi bahwa pernyataan probabilitas setara dengan pernyataan frekuensi tentang beberapa ansambel yang sesuai. Misalnya, menurut von Mises [21, 22] pernyataan "probabilitas koin ini muncul di kepala adalah 0,5" adalah setara dengan pernyataan "dalam urutan tak terbatas lemparan koin ini akan muncul di kepala dengan membatasi frekuensi relatif 0,5" .

Ini mungkin tampak masuk akal, tetapi ada begitu banyak masalah filosofis dengan definisi ini sehingga orang tidak tahu harus mulai dari mana. Berapa probabilitas bahwa besok akan turun hujan? Pertanyaan yang tidak ada artinya, karena bagaimana kita akan memiliki serangkaian ujian yang tak terbatas. Berapa probabilitas koin di saku saya muncul di kepala? Frekuensi relatif kepala dalam urutan lemparan tak terbatas, katamu? Tetapi koin akan luntur dan Matahari akan menjadi supernova sebelum urutan yang tak terbatas dapat diselesaikan. Jadi kita harus berbicara tentang urutan hipotetis yang tak terbatas. Ini membawa seseorang ke diskusi tentang kelas referensi dll. Dll. Dalam filsafat kita tidak dapat pergi dengan mudah. Dan omong-omong, mengapa batas itu ada?

Lebih jauh, bagaimana jika koin saya muncul di atas kepala 50% dari waktu selama satu miliar tahun pertama tetapi kemudian akan mulai muncul di kepala hanya 25% dari waktu (pikir eksperimen dari Appleby)? Ini berarti bahwa menurut definisi. Tetapi kami akan selalu mengamati selama satu miliar tahun ke depan. Apakah Anda pikir situasi seperti itu tidak mungkin terjadi? Tentu, tapi mengapa? Karena tidak dapat tiba-tiba berubah? Tetapi kalimat ini tidak ada artinya bagi seorang yang sering melakukan P.F r e q u e n c y ( H e a d s ) ≈ 1 / 2 P ( H e a d s$P(\mathrm{Heads})=1/4$$\mathrm{Frequency}(\mathrm{Heads})\approx 1/2$$P(\mathrm{Heads})$

Saya ingin membuat jawaban ini singkat sehingga saya berhenti di sini; lihat di atas untuk referensi. Saya pikir sangat sulit untuk menjadi seorang P-frequentist yang sangat sulit.

(Pembaruan: Dalam komentar di bawah, @mpiktas menegaskan bahwa itu karena definisi frequentist secara matematis tidak berarti. Pendapat saya yang diungkapkan di atas adalah bahwa definisi frequentist secara filosofis bermasalah.)

Pendekatan statistik yang sering dilakukan

Pertimbangkan model probabilistik yang memiliki beberapa parameter dan memungkinkan untuk menghitung probabilitas mengamati data yang . Anda melakukan percobaan dan mengamati beberapa data . Apa yang bisa Anda katakan tentang ?θ X X $P(X\mid\theta)$$\theta$$X$$X$$\theta$

S-frequentism adalah posisi yang bukan variabel acak; nilai sebenarnya di Dunia Nyata adalah apa adanya. Kita dapat mencoba memperkirakannya sebagai suatu , tetapi kita tidak dapat berbicara secara bermakna tentang kemungkinan berada dalam beberapa interval (misalnya menjadi positif). Satu-satunya hal yang dapat kita lakukan, adalah membuat prosedur membangun beberapa interval di sekitar perkiraan kita sehingga prosedur ini berhasil mencakup benar dengan frekuensi sukses jangka panjang tertentu (probabilitas khusus).q q$\theta$$\hat \theta$$\theta$$\theta$

Sebagian besar statistik yang digunakan dalam ilmu pengetahuan alam saat ini didasarkan pada pendekatan ini, jadi pasti ada banyak S-frequentist di sekitar hari ini.

(Pembaruan: jika Anda mencari contoh filsuf statistik, yang bertentangan dengan praktisi statistik, membela sudut pandang S-frequentist, maka bacalah tulisan Deborah Mayo; +1 ke jawaban @ NRH.)

UPDATE: Tentang hubungan antara P-frequentism dan S-frequentism

@ fcop dan yang lainnya bertanya tentang hubungan antara P-frequentism dan S-frequentism. Apakah salah satu dari posisi ini menyiratkan yang lain? Tidak ada keraguan bahwa secara historis S-frequentism dikembangkan berdasarkan sikap P-frequentist; tetapi apakah mereka secara logis menyiratkan satu sama lain?

Sebelum mendekati pertanyaan ini saya harus mengatakan yang berikut. Ketika saya menulis di atas bahwa hampir tidak ada P-frequentist, saya tidak bermaksud bahwa hampir semua orang P-subyektif-bayesian-a-la-de-finetti atau P-propensitist-a-la-popper. Faktanya, saya percaya bahwa sebagian besar ahli statistik (atau ilmuwan data, atau pelajar mesin) adalah P-nothing-at-all, atau P-shut-up-and-menghitung (meminjam istilah terkenal Mermin ). Kebanyakan orang cenderung mengabaikan masalah fondasi. Dan itu baik-baik saja. Kami tidak memiliki definisi yang baik tentang kehendak bebas, atau kecerdasan, atau waktu, atau cinta. Tapi ini seharusnya tidak menghentikan kita dari bekerja pada ilmu saraf, atau pada AI, atau pada fisika, atau dari jatuh cinta.

Secara pribadi, saya bukan S-frequentist, tapi aku juga tidak memiliki setiap pandangan yang koheren tentang dasar-dasar probabilitas.

Sebaliknya, hampir semua orang yang melakukan beberapa analisis statistik praktis adalah S-frequentist atau S-Bayesian (atau mungkin campuran). Secara pribadi, saya menerbitkan makalah yang berisi nilai- dan saya belum pernah (sejauh ini) menerbitkan makalah yang berisi prior dan posteriors atas parameter model sehingga ini membuat saya sering-sering-S, paling tidak dalam praktiknya.$p$

Karena itu, sangat mungkin untuk menjadi S-frequentist tanpa menjadi P-frequentist, terlepas dari apa yang dikatakan @fcop dalam jawabannya.

Baik. Baik. Tapi tetap saja: Bisakah seorang P-bayesian menjadi S-frequentist? Dan bisakah seorang P-frequentist menjadi seorang S-bayesian?

Untuk P-bayesian yang meyakinkan mungkin tidak lazim untuk menjadi S-frequentist, tetapi pada prinsipnya sepenuhnya mungkin. Misalnya seorang P-bayesian dapat memutuskan bahwa mereka tidak memiliki informasi sebelumnya tentang dan karenanya mengadopsi analisis S-frequentist. Kenapa tidak. Setiap klaim S-frequentist tentunya dapat ditafsirkan dengan interpretasi probabilitas P-bayesian.$\theta$

Bagi P-frequentist yang yakin untuk menjadi S-bayesian mungkin bermasalah. Tetapi kemudian sangat problematis untuk menjadi seorang P-frequentist yang ...

Karya Kolmogorov tentang Yayasan Teori Probabilitas memiliki bagian yang disebut "Relasi dengan Data Eksperimental" pada halaman 3. Inilah yang dia tulis di sana:

Dia menunjukkan bagaimana seseorang dapat mengurangi Aksioma-nya dengan mengamati eksperimen. Ini adalah cara yang cukup sering menafsirkan probabilitas.

Ia memiliki kutipan menarik lainnya untuk acara yang tidak mungkin (set kosong):

Jadi, saya pikir jika Anda nyaman dengan argumen ini, maka Anda harus mengakui bahwa Anda adalah orang yang sering. Label ini tidak eksklusif. Anda bisa menjadi dua paradigma (saya mengarang kata), yaitu keduanya yang sering dan Bayesian. Sebagai contoh, saya menjadi Bayesian ketika menerapkan metode stokastik untuk fenomena yang secara inheren tidak stokastik.

PEMBARUAN Seperti yang saya tulis sebelumnya di CV, teori Kolmogorov sendiri tidak sering muncul. Ini kompatibel dengan tampilan Bayesian seperti halnya tampilan frequentist. Dia meletakkan catatan kaki imut ini pada bagian untuk memperjelas bahwa dia menjauhkan diri dari filsafat:

Saya percaya bahwa relevan untuk menyebutkan Deborah Mayo, yang menulis blog Error Statistics Philosophy .

Saya tidak akan mengklaim memiliki pemahaman yang mendalam tentang posisi filosofisnya, tetapi kerangka statistik kesalahan , seperti yang dijelaskan dalam makalah dengan Aris Spanos, memang termasuk apa yang dianggap sebagai metode statistik frequentist klasik. Mengutip makalah:

Di bawah payung metode kesalahan-statistik, orang dapat memasukkan semua metode standar menggunakan probabilitas kesalahan berdasarkan frekuensi relatif kesalahan dalam pengambilan sampel berulang - sering disebut teori sampling atau statistik frequentist .

Dan lebih jauh lagi di kertas yang sama Anda dapat membaca bahwa:

Untuk kesalahan, ahli statistik kemungkinan muncul bukan untuk mengukur derajat konfirmasi atau kepercayaan (aktual atau rasional) dalam hipotesis, tetapi untuk mengukur seberapa sering metode mampu membedakan antara hipotesis alternatif dan seberapa andal mereka memfasilitasi deteksi kesalahan.

Mengacu pada utas ini dan komentar di atasnya, saya berpikir bahwa frequentist adalah mereka yang mendefinisikan '' probabilitas '' suatu peristiwa sebagai frekuensi relatif jangka panjang dari kejadian peristiwa itu. Jadi jika adalah jumlah percobaan dan jumlah kejadian peristiwa maka probabilitas kejadian , dilambangkan dengan , didefinisikan sebagai .$n$$n_A$$A$$A$$P(A)$

Tidak sulit untuk melihat bahwa definisi ini memenuhi aksioma Kolmogorov (karena mengambil batasan adalah linier, lihat juga Apakah ada dasar * matematika * untuk perdebatan Bayesian vs frequentist? ).

Untuk memberikan definisi seperti itu mereka harus '' percaya '' bahwa batas ini ada. Jadi yang sering datang adalah mereka yang percaya pada keberadaan batas ini.

EDIT pada 31/8/2016: pada pemisahan antara S- dan P-frequentism

Ketika @amoeba membedakan dalam jawabannya antara S-frequentist dan P-frequentist, di mana P-frequentist adalah tipe frequentist yang saya definisikan supra, dan ketika ia juga berpendapat bahwa sulit untuk menjadi P-frequentist, saya menambahkan bagian EDIT. untuk berpendapat bahwa yang sebaliknya adalah benar;

Saya berpendapat bahwa semua S-frequentist adalah P-frequentist .

Di bagian S-frequentism @amoeba mengatakan '' prosedur ini berhasil mencakup benar dengan frekuensi sukses jangka panjang tertentu (probabilitas tertentu). ''$\theta$

Dalam jawabannya dia juga menyatakan bahwa P-frequentist adalah spesies langka.

Tapi ini "frekuensi sukses jangka panjang", yang digunakan untuk mendefinisikan S-frequentism, adalah apa yang dia definisikan sebagai P-frequentism karena ini adalah interpretasi dari .$P(\widehat{CI} \ni \theta)$

Oleh karena itu, menurut pembelaannya, setiap S-frequentist juga merupakan P-frequentist. Oleh karena itu saya menyimpulkan bahwa P-frequentist tidak begitu langka seperti yang diperdebatkan oleh amuba.

Bahkan ada lebih banyak lagi; @amoeba juga berpendapat bahwa S-frequentist menganggap parameter tidak diketahui sebagai tetap atau non-acak, oleh karena itu orang tidak dapat berbicara tentang '' probabilitas memiliki nilai partikel '', ia mengatakan bahwa$\theta$$\theta$

'' Satu-satunya hal yang dapat kita lakukan, adalah membuat prosedur membangun beberapa interval di sekitar perkiraan kita sehingga prosedur ini berhasil mencakup benar dengan frekuensi sukses jangka panjang tertentu (probabilitas khusus). ''$\theta$

Bolehkah saya bertanya apa asal usul nama '' frequentist '': (a) '' non-acak '' -idea atau (b) '' frekuensi jangka panjang '' - ide?$\theta$

Bolehkah saya juga bertanya kepada @mpiktas yang menulis dalam komentarnya untuk jawaban amuba:

'' Sangat sulit untuk menjadi seorang P-frequentist, karena secara praktis tidak mungkin untuk memberikan definisi yang logis secara matematis tentang probabilitas seperti itu ''

Jika Anda memerlukan definisi dari P-frequentism untuk mendefinisikan S-frequentism, bagaimana mungkin seseorang dapat lebih sering S-daripada F-frequentist?

Pertanyaan yang sangat menarik!

Saya menempatkan diri saya di kubu yang sering datang untuk memahami dan menafsirkan pernyataan probabilitas, meskipun saya tidak terlalu garis keras tentang perlunya urutan aktual dari eksperimen iid untuk mendasarkan probabilitas ini. Saya menduga sebagian besar orang yang tidak membeli tesis bahwa "probabilitas adalah ukuran keyakinan yang subjektif" juga akan berpikir tentang probabilitas dengan cara ini.

Inilah yang saya maksud: ambil koin "adil" seperti biasa, dengan penugasan . Ketika saya mendengar ini, saya membentuk gambar seseorang yang melemparkan koin ini berkali-kali dan sebagian kecil dari kepala mendekati . Sekarang, jika ditekan, saya akan juga mengatakan bahwa fraksi kepala di setiap sampel acak dari urutan terbatas lemparan koin tersebut juga akan mendekati sebagai ukuran sampel tumbuh (asumsi kemerdekaan).0,5 $P(H)=0.5$$0.5$$0.5$

Seperti yang telah dinyatakan oleh orang lain, asumsi terbesar adalah bahwa batas ini ada dan benar (yaitu, batas ), tetapi saya pikir yang sama pentingnya adalah asumsi bahwa batas yang sama ada untuk sub-sampel yang dipilih secara acak juga. Kalau tidak, interpretasi kita hanya memiliki makna wrt seluruh urutan yang tak terbatas (misalnya, kita bisa memiliki autokorelasi yang kuat yang dirata-rata).$0.5$

Saya pikir hal di atas cukup tidak kontroversial untuk sering. Bayesian akan lebih fokus pada eksperimen yang ada dan lebih sedikit pada perilaku jangka panjang: mereka akan menyatakan bahwa tingkat kepercayaan mereka bahwa lemparan berikutnya adalah head adalah ... berhenti penuh.$P(H) = 0.5$

Untuk kasus sederhana seperti melempar koin, kita dapat melihat bahwa pendekatan frequentist dan Bayesian secara fungsional setara, walaupun secara filosofis sangat berbeda. Seperti yang dikemukakan Dikran Marsupial, Bayesian mungkin sebenarnya memanfaatkan fakta bahwa secara empiris kita melihat koin muncul sesering yang kita lihat mereka muncul ekor (jangka panjang / frekuensi sampel besar sebagai sebelumnya).

Bagaimana dengan hal-hal yang tidak mungkin memiliki frekuensi jangka panjang? Misalnya, berapa probabilitas Korea Utara akan memulai perang dengan Jepang dalam 10 tahun ke depan? Bagi yang sering, kita benar-benar tidak dapat melakukan apa-apa, karena kita tidak dapat benar-benar menggambarkan distribusi sampling yang diperlukan untuk menguji hipotesis seperti itu. Seorang Bayesian akan dapat mengatasi masalah ini dengan menempatkan distribusi probabilitas di atas kemungkinan-kemungkinan, kemungkinan besar didasarkan pada memunculkan masukan ahli.

Namun, pertanyaan kunci muncul: dari mana derajat kepercayaan ini (atau nilai yang diasumsikan untuk frekuensi jangka panjang) berasal? Saya berpendapat dari psikologi dan mengatakan bahwa kepercayaan ini (terutama di daerah yang jauh dari data eksperimental) berasal dari apa yang disebut sebagai heuristik ketersediaan dan heuristik representativness . Ada banyak orang lain yang mungkin ikut bermain. Saya berpendapat ini karena dengan tidak adanya data untuk mengkalibrasi keyakinan kita (ke arah frekuensi jangka panjang yang diamati!), Kita harus mengandalkan heuristik, betapapun canggihnya kita membuatnya tampak.

Pemikiran heuristik mental di atas berlaku sama untuk Frequentists dan Bayesians. Yang menarik bagi saya adalah bahwa terlepas dari filosofi kami, pada dasarnya, kami lebih percaya pada sesuatu yang kami pikir lebih mungkin benar, dan kami percaya itu lebih mungkin benar karena kami percaya ada lebih banyak cara untuk itu benar, atau kita membayangkan bahwa jalan menuju kebenaran itu akan terjadi lebih sering (sering :-) daripada yang membuatnya tidak benar.

Karena ini adalah tahun pemilihan, mari kita ambil contoh politik: Kepercayaan apa yang akan kita tempatkan dalam pernyataan "Ted Cruz akan mengusulkan pelarangan senapan serbu dalam 4 tahun ke depan". Sekarang, kami memiliki beberapa data tentang hal ini dari pernyataannya sendiri, dan kami cenderung menempatkan kepercayaan kami sebelumnya pada kebenaran pernyataan ini sangat mendekati nol. Tapi kenapa? Mengapa pernyataannya sebelumnya membuat kita berpikir seperti ini? Karena kami berpikir bahwa orang yang sangat ideologis cenderung "tetap berpegang pada senjata" daripada rekan-rekan pragmatis mereka. Dari mana asalnya? Mungkin dari studi yang dilakukan oleh psikolog dan pengalaman kami sendiri dengan orang-orang yang berprinsip tinggi.

Dengan kata lain, kami memiliki beberapa data dan keyakinan bahwa untuk sebagian besar kasus di mana seseorang seperti Cruz dapat berubah pikiran, mereka tidak akan (lagi, semacam penilaian jangka panjang atau sampel besar).

Inilah sebabnya saya "caucus" dengan para frequentist. Ini bukan ketidaksukaan saya pada filosofi Bayesian (cukup masuk akal) atau metode (mereka hebat!), Tetapi bahwa jika saya menggali cukup dalam mengapa saya memegang kepercayaan yang tidak memiliki dukungan sampel besar yang kuat, saya menemukan bahwa saya mengandalkan semacam model mental di mana hasil dapat dihitung (jika secara implisit) atau di mana saya dapat memohon probabilitas jangka panjang dalam sub-proses tertentu (misalnya, Partai Republik memilih menentang langkah-langkah kontrol senjata X% dari waktu) untuk menimbang keyakinan saya dengan satu atau lain cara .

Tentu saja, ini tidak terlalu sering benar, dan saya ragu bahwa ada banyak orang yang berlangganan interpretasi von Mieses-esque tentang probabilitas surat itu. Namun, saya pikir itu menunjukkan kompatibilitas yang mendasari antara probabilitas Bayesian dan Frequentist: Keduanya menarik heuristik batin kita mengenai ketersediaan atau apa yang saya sebut prinsip "Pachinko" tentang frekuensi di sepanjang rantai sebab akibat.

Jadi mungkin saya harus menyebut diri saya sebagai "availabilist", untuk menunjukkan bahwa saya menetapkan probabilitas berdasarkan seberapa sering saya bisa membayangkan suatu peristiwa yang terjadi sebagai hasil dari rangkaian peristiwa (dengan beberapa ketelitian / pemodelan tentu saja). Jika saya punya banyak data, bagus. Jika tidak, maka saya akan mencoba menguraikan hipotesis menjadi rangkaian peristiwa dan menggunakan data apa yang saya miliki (anekdotal atau "akal sehat", jika perlu) untuk menilai seberapa sering saya membayangkan peristiwa seperti itu terjadi.

Maaf untuk posting gondrong, pertanyaan bagus BTW!

Seperti @amoeba perhatikan, kami memiliki definisi probabilitas dan statistik frequentist yang sering . Semua sumber yang telah saya lihat sampai sekarang mengatakan bahwa inferensi frequentist didasarkan pada definisi probabilitas frequentist, yaitu memahaminya sebagai batas dalam proporsi yang diberikan jumlah acak tak terbatas (seperti yang telah diperhatikan oleh @fcop dan @Aksakal mengutip Kolmogorov)

Jadi pada dasarnya, ada anggapan beberapa populasi yang dapat kita sampel berulang kali. Gagasan yang sama digunakan dalam inferensi frequentist. Saya membaca beberapa makalah klasik, misalnya oleh Jerzy Neyman , untuk melacak fondasi teoritis dari statistik frequentist. Pada 1937 Neyman menulis

( besarbesaran ) Ahli statistik berkaitan dengan populasi, , yang karena alasan tertentu atau lainnya tidak dapat dipelajari secara mendalam. Hanya mungkin untuk mengambil sampel dari populasi ini yang dapat dipelajari secara rinci dan digunakan untuk membentuk pendapat tentang nilai-nilai konstanta tertentu yang menggambarkan sifat-sifat populasi . Sebagai contoh, mungkin diinginkan untuk menghitung kira-kira rata-rata karakter tertentu yang dimiliki oleh individu yang membentuk populasi , dll. ( Ibπ π $\pi$$\pi$$\pi$
) Atau, ahli statistik mungkin khawatir dengan eksperimen tertentu yang, jika diulangi dalam kondisi yang tampaknya identik, menghasilkan hasil yang bervariasi. Eksperimen semacam itu disebut eksperimen acak [...]
Dalam kedua kasus yang dijelaskan, masalah yang dihadapi ahli statistik adalah masalah estimasi. Masalah ini terdiri dalam menentukan operasi aritmatika apa yang harus dilakukan pada data pengamatan untuk mendapatkan hasil, yang disebut perkiraan, yang mungkin tidak berbeda jauh dari nilai sebenarnya dari karakter numerik, baik dari populasi , seperti dalam ( besarbesaran ), atau dari eksperimen acak, seperti pada ( ib ). [...] Dalam ( besarbesaran$\pi$
) kita berbicara tentang seorang ahli statistik yang mengambil sampel dari populasi yang diteliti.

Dalam makalah lain (Neyman, 1977), ia memperhatikan bahwa bukti yang diberikan dalam data perlu diverifikasi dengan mengamati sifat berulang dari fenomena yang diteliti:

Biasanya, 'verifikasi', atau 'validasi' model yang ditebak terdiri dalam menyimpulkan beberapa konsekuensi yang sering terjadi dalam situasi yang sebelumnya tidak dipelajari secara empiris, dan kemudian dalam melakukan eksperimen yang tepat untuk melihat apakah hasilnya konsisten dengan prediksi. Secara umum, upaya verifikasi yang pertama adalah negatif: frekuensi yang diamati dari berbagai hasil percobaan tidak sesuai dengan model. Namun, pada beberapa kesempatan yang beruntung ada kesepakatan yang masuk akal dan orang merasakan kepuasan karena telah 'memahami' fenomena tersebut, setidaknya dalam beberapa cara umum. Kemudian, selalu, temuan empiris baru muncul, menunjukkan ketidakmampuan model asli dan menuntut pengabaian atau modifikasi. Dan ini adalah sejarah sains!

dan dalam makalah lain Neyman dan Pearson (1933) menulis tentang sampel acak yang diambil dari populasi tetap

Dalam praktik statistik umum, ketika fakta-fakta yang diamati digambarkan sebagai "sampel", dan hipotesis berkaitan dengan "populasi", yang sampelnya diambil, karakter sampelnya, atau seperti yang akan kita sebut sebagai kriteria, yang telah digunakan untuk menguji hipotesis, tampaknya sering diperbaiki oleh intuisi bahagia.

Statistik frekuensi dalam konteks ini memformalkan alasan ilmiah di mana bukti dikumpulkan, kemudian sampel baru diambil untuk memverifikasi temuan awal dan saat kami mengumpulkan lebih banyak bukti, pengetahuan kami semakin mengkristal. Sekali lagi, seperti yang dijelaskan oleh Neyman (1977), proses tersebut mengambil langkah-langkah berikut

( i ) Pembentukan empiris frekuensi relatif jangka panjang yang tampaknya stabil (atau 'frekuensi') dari peristiwa-peristiwa yang dinilai menarik, karena berkembang di alam.
( ii ) Menebak dan kemudian memverifikasi 'mekanisme kebetulan', operasi berulang yang menghasilkan frekuensi yang diamati. Ini adalah masalah 'teori probabilitas frequentist'. Kadang-kadang, langkah ini diberi label 'model building'. Secara alami, mekanisme peluang yang diduga adalah hipotesis.
( iii ) Menggunakan mekanisme peluang hipotetis dari fenomena yang diteliti untuk menyimpulkan aturan menyesuaikan tindakan kita (atau 'keputusan') dengan pengamatan sehingga memastikan 'ukuran' tertinggi 'sukses'. [... dari 'aturan penyesuaian tindakan kita' adalah masalah matematika, khususnya statistik matematika.

Frequentists merencanakan penelitian mereka dengan mengingat sifat acak data dan gagasan penarikan berulang dari populasi tetap, mereka merancang metode mereka berdasarkan itu, dan menggunakannya untuk memverifikasi hasil mereka (Neyman dan Pearson, 1933),

Tanpa berharap untuk mengetahui apakah setiap hipotesis yang terpisah itu benar atau salah, kita dapat mencari aturan untuk mengatur perilaku kita mengenai hal itu, dengan mengikuti mana kita memastikan bahwa, dalam jangka panjang pengalaman, kita tidak akan terlalu sering salah.

Ini terhubung dengan prinsip pengambilan sampel berulang (Cox dan Hinkley, 1974):

(ii) Prinsip pengambilan sampel berulang yang kuat
Menurut prinsip pengambilan sampel berulang yang kuat, prosedur statistik harus dinilai berdasarkan perilaku mereka dalam pengulangan hipotetis di bawah kondisi yang sama. Ini memiliki dua sisi. Ukuran ketidakpastian harus ditafsirkan sebagai frekuensi hipotetis dalam pengulangan jangka panjang; kriteria optimalitas harus dirumuskan dalam hal perilaku sensitif dalam pengulangan hipotetis.
Argumen untuk ini adalah bahwa ia memastikan makna fisik untuk jumlah yang kami hitung dan memastikan hubungan yang erat antara analisis yang kami buat dan model yang mendasarinya yang dianggap mewakili keadaan "sebenarnya".

(iii) Prinsip pengambilan sampel berulang yang
lemah Versi lemah dari prinsip pengambilan sampel yang berulang mensyaratkan bahwa kita tidak boleh mengikuti prosedur yang untuk beberapa nilai parameter yang mungkin akan memberikan, dalam pengulangan hipotetis, kesimpulan yang menyesatkan sebagian besar waktu.

Sebagai kontras, ketika menggunakan kemungkinan maksimum kami prihatin dengan sampel yang kami miliki , dan dalam kasus Bayesian kami membuat kesimpulan berdasarkan sampel dan prior kami dan ketika data baru muncul kami dapat melakukan pembaruan Bayesian. Dalam kedua kasus, gagasan pengambilan sampel berulang tidak penting. Frequentists hanya mengandalkan data yang mereka miliki (seperti yang diperhatikan oleh @WBT ), tetapi perlu diingat bahwa itu adalah sesuatu yang acak dan harus dianggap sebagai bagian dari proses pengambilan sampel berulang dari populasi (ingat, misalnya, bagaimana kepercayaan diri interval didefinisikan).

Dalam kasus yang sering terjadi, gagasan pengambilan sampel berulang memungkinkan kita untuk mengukur ketidakpastian (dalam statistik) dan memungkinkan kita untuk menginterpretasikan peristiwa kehidupan nyata dalam hal probabilitas .

Sebagai catatan tambahan, perhatikan bahwa baik Neyman (Lehmann, 1988), maupun Pearson (Mayo, 1992) tidak sesering yang kita bayangkan. Sebagai contoh, Neyman (1977) mengusulkan menggunakan Empiris Bayesian dan Maksimum Kemungkinan untuk estimasi titik. Di sisi lain (Mayo, 1992),

dalam tanggapan Pearson (1955) terhadap Fisher (dan di tempat lain dalam karyanya) adalah bahwa untuk konteks ilmiah Pearson menolak kedua alasan probabilitas kesalahan jangka panjang yang rendah [...]

Jadi sepertinya bahwa sulit untuk menemukan murni frequentist bahkan di antara bapak-bapak pendiri.

Neyman, J, dan Pearson, ES (1933). Tentang Masalah Tes Hipotesis Statistik yang Paling Efisien. Transaksi filosofis dari Royal Society A: Matematika, Ilmu Fisika dan Teknik. 231 (694–706): 289–337.

Neyman, J. (1937). Garis Besar Teori Estimasi Statistik Berdasarkan Teori Klasik Probabilitas. Phil Trans. R. Soc. Lond. A. 236: 333–380.

Neyman, J. (1977). Probabilitas frekuensi dan statistik frequentist. Synthese, 36 (1), 97-131.

Mayo, DG (1992). Apakah Pearson menolak filosofi statistik Neyman-Pearson? Synthese, 90 (2), 233-262.

Cox, DR dan Hinkley, DV (1974). Statistik Teoritis. Chapman dan Hall.

Lehmann, E. (1988). Jerzy Neyman, 1894 - 1981. Laporan Teknis No. 155. Departemen Statistik, Universitas Califomia.

Izinkan saya menawarkan jawaban yang menghubungkan pertanyaan ini dengan masalah penting saat ini dan sangat praktis - Pengobatan Presisi - sementara pada saat yang sama menjawabnya secara literal seperti yang ditanyakan: Siapa yang sering?

Frequentists adalah orang yang mengatakan hal-hal seperti [1] (penekanan pada saya):

Apa arti risiko 10% dari suatu peristiwa dalam dekade berikutnya bagi individu untuk siapa ia dihasilkan? Berlawanan dengan apa yang dipikirkan, tingkat risiko ini bukan risiko pribadi orang tersebut karena probabilitas tidak berarti dalam konteks individu .

Dengan demikian, frequentist menginterpretasikan 'probabilitas' sedemikian rupa sehingga tidak memiliki makna dalam konteks tunggal seperti pasien individual . Komentar PubMed Commons saya tentang [1] meneliti contortions yang harus dijalani penulisnya untuk memulihkan kemiripan gagasan mirip probabilitas yang berlaku untuk perawatan seorang pasien. Mengamati bagaimana dan mengapa mereka melakukan ini mungkin terbukti sangat instruktif tentang siapa yang sering berkunjung . Juga, pertukaran berikutnya yang sebagian besar tidak menyinari dalam bagian JAMA Letters [2,3] adalah instruktif tentang pentingnya secara eksplisit mengakui keterbatasan dalam konsep probabilitas yang sering terjadi dan menyerang mereka secara langsungDengan demikian. (Saya menyesal banyak pengguna CV mungkin menemukan bahwa [1] ada di balik paywall.)

Buku yang sangat bagus dan sangat mudah dibaca [4] oleh L. Jonathan Cohen akan membalas upaya siapa pun yang tertarik dengan pertanyaan OP. Dari catatan, buku Cohen anehnya dikutip oleh [1] sehubungan dengan klaim "probabilitas tidak bermakna dalam konteks individu," meskipun Cohen dengan jelas menegur pandangan ini sebagai berikut [4, p49]:

Juga tidak terbuka bagi ahli teori frekuensi untuk mengklaim bahwa semua probabilitas penting memang bersifat umum, bukan tunggal. Seringkali tampak sangat penting untuk dapat menghitung probabilitas keberhasilan untuk usus buntu anak Anda sendiri ...

1] Sniderman AD, D'Agostino Sr RB, dan Pencina MJ. “Peran Dokter di Era Analisis Prediktif.” JAMA 314, no. 1 (7 Juli 2015): 25–26. doi: 10.1001 / jama.2015.6177. PubMed

2] Van Calster B, Steyerberg EW, dan Harrell FH. "Prediksiku untuk Perorangan." JAMA 314, no. 17 (3 November 2015): 1875–1875. doi: 10.1001 / jama.2015.12215. Teks Lengkap

3] Sniderman AD, D'Agostino Sr RB, dan Pencina MJ. “Prediksiku untuk Perorangan — balas.” JAMA 314, no. 17 (3 November 2015): 1875–1876. doi: 10.1001 / jama.2015.12221. Teks Lengkap

4] Cohen, L. Jonathan. Pengantar Filsafat Induksi dan Probabilitas. Oxford: New York: Clarendon Press; Oxford University Press, 1989. Tautan ke halaman pindaian 46-53 & 81-83

"Frequentists vs. Bayesians" dari XKCD (di bawah CC-BY-NC 2.5 ), klik untuk membahas:

Poin umum dari filosofi frequentist yang diilustrasikan di sini adalah keyakinan dalam menarik kesimpulan tentang kemungkinan relatif kejadian berdasarkan semata-mata ("murni") pada data yang diamati, tanpa "mencemari" proses estimasi dengan gagasan yang telah disusun sebelumnya tentang bagaimana hal-hal seharusnya atau seharusnya tidak. Dalam menyajikan estimasi probabilitas, frequentist tidak memperhitungkan keyakinan sebelumnya tentang kemungkinan suatu peristiwa ketika ada pengamatan yang tersedia untuk mendukung perhitungan kemungkinan empirisnya. Frequentist harus mempertimbangkan informasi latar belakang ini ketika memutuskan ambang untuk tindakan atau kesimpulan.

Seperti yang dikemukakan Dikran Marsupial dalam komentar singkat di bawah ini , "Poin berharga yang dibuat kartun (mungkin tidak disengaja) adalah bahwa sains memang lebih kompleks dan kita tidak bisa hanya menerapkan" ritual nol "tanpa memikirkan pengetahuan sebelumnya."

Sebagai contoh lain, ketika mencoba menentukan / menyatakan topik apa yang "sedang tren" di Facebook, orang-orang sering cenderung menyambut pendekatan penghitungan algoritmik yang lebih murni yang sedang bergeser ke arah Facebook , alih-alih model lama di mana karyawan akan membuat daftar yang didasarkan pada sebagian dari mereka. perspektif latar belakang mereka sendiri tentang topik mana yang menurut mereka "harus" paling penting.

(Sebuah komentar, hanya relevan secara tangensial untuk pertanyaan dan situs.)

Probabilitas adalah tentang status obyektif dari hal - hal individual . Segala sesuatu tidak dapat memiliki niat dan mereka menerima status mereka dari alam semesta. Dengan sesuatu, suatu peristiwa (memberikan statusnya) selalu akan terjadi: peristiwa itu sudah ada di sana, bahkan jika itu belum benar-benar terjadi - masa depan suatu hal, juga disebut "nasib" atau kemungkinan.

Sekali lagi, dengan probabilitas, yang sebenarnya acara - setelah belum terjadi atau tidak, tidak masalah - adalah sudah ada [yang bertentangan dengan makna yang tidak pernah merupakan ada]; dan karena itu sudah tidak perlu dan berlebihan. Faktanya harus dibuang, dan bahwa pembatalan itu adalah apa yang kita sebut "peristiwa itu mungkin". Setiap fakta tentang sesuatu memiliki sisi yang tidak meyakinkan, atau kemungkinan dari fakta itu sendiri (bahkan fakta yang sebenarnya terjadi - kita mengenalinya dengan sedikit ketidakpercayaan). Kita pasti "lelah dengan hal-hal" pra-psikis sampai batas tertentu. Karena itu tetap hanya untuk mengukur negasi parsial dari faktisitas, jika perlu angka. Salah satu cara untuk mengukur adalah menghitung. Lain adalah menimbang . Seorang frequentist melakukan atau membayangkan serangkaian cobaan yang terbentang di hadapannya yang dihadapinya untuk melihat apakah peristiwa itu benar-benar terjadi; dia menghitung. Seorang Bayesian mempertimbangkan serangkaian motif psikologis yang menyeret dirinya sendiri yang disaringnya; dia menimbang mereka sebagai benda. Kedua pria itu sibuk dengan permainan pikiran / alasan. Pada dasarnya, tidak ada banyak perbedaan di antara mereka.

Kemungkinan adalah tentang potensi saya di dunia. Kemungkinan selalu menjadi milik saya (kesempatan hujan adalah masalah saya untuk memilih memakai payung atau menjadi basah) dan tidak menyangkut objek (yang saya anggap mungkin atau memiliki kemungkinan) tetapi seluruh dunia bagi saya. Kemungkinan selalu 50/50 dan selalu meyakinkan, karena itu menyiratkan - baik panggilan sebelum atau sesudah - keputusan saya bagaimana berperilaku. Hal-hal itu sendiri tidak memiliki niat dan dengan demikian kemungkinan. Kita tidak boleh mengacaukan kemungkinan kita tentang hal-hal ini untuk kita dengan probabilitas mereka sendiri tentang "determinisme stokastik". Probabilitas tidak pernah bisa "subyektif" dalam pengertian manusia.

Seorang pembaca yang jeli mungkin merasakan dalam tanggapannya sebuah penggalian bertopeng pada jawaban cerah di utas ini, tempat @amoeba mengatakan menurutnya "there are almost no frequentists of the [probability definition] kind (P-frequentists)". Itu bisa dibalik: penentu probabilitas bayesian tidak ada sebagai kelas yang berbeda. Karena, seperti telah saya akui, bayesian menganggap potongan realitas sama seperti yang sering dilakukan oleh orang sering - sebagai serangkaian fakta; hanya fakta-fakta ini bukan eksperimen, ingatan lebih cepat dari "kebenaran" dan "argumen". Tetapi bentuk-bentuk pengetahuan semacam itu faktual dan hanya bisa dihitung atau ditimbang. Probabilitas yang didirikannya tidak disintesis sebagai subyektif, yaitu antisipatif ("bayesian" menjadi) kecuali harapan manusia(kemungkinan) memasuki adegan untuk ikut campur. Dan @amoeba dengan cemas membiarkannya masuk ketika membayangkan "koin akan habis dan Matahari akan menjadi supernova".

Oh, saya sudah sering mengunjungi banyak orang tahun ini,
Dan saya menghabiskan seluruh waktu saya dengan memainkan data di telinga,
Tapi sekarang saya kembali dengan Bayes di toko yang hebat,
Dan saya tidak akan pernah lagi bermain sebagai pemain frekuensi.

Karena tidak pernah, tidak pernah, tidak pernah, tidak lagi,
Akankah saya bermain sebagai pemain reguler, tidak pernah, tidak lagi!

Saya pergi ke laboratorium tempat saya biasa berkonsultasi.
Mereka memberi saya beberapa data, mengatakan 'p untuk kami',
saya berkata 'Tidak mungkin, Jose' dengan sedikit senyuman,
nilai-nilai P dan jelas-jelas tidak cocok!

Paduan suara

Saya mengatakan itu adalah prioritas Anda bahwa kita perlu menjelaskan,
Dan mata peneliti terbuka lebar dengan gembira,
Dia berkata, "Pandangan saya sebelumnya sama baiknya dengan yang lain,
dan pasti faktor Bayes adalah apa yang akan bekerja paling baik!"

Paduan suara

Saya akan kembali ke guru saya, mengakui apa yang telah saya lakukan,
dan meminta mereka untuk memaafkan putra mereka yang hilang,
tetapi ketika mereka memaafkan saya, seperti sebelumnya,
saya tidak akan pernah lagi bermain sebagai pemain frekuensi!

Paduan suara

Dan tidak, tidak pernah, tidak tidak pernah tidak lagi,
Akankah saya bermain sebagai pemain yang sering, tidak pernah, tidak lagi!

Sumber: AE Raftery, dalam The Bayesian Songbook, diedit oleh BP Carlin, di http://www.biostat.umn.edu/ . Dinyanyikan lagu rakyat tradisional 'The Wild Rover'. Dikutip di Open University M347 Statistik Matematika, Unit 9.