Beberapa pertanyaan tentang keacakan statistik

Dari randoness statistik Wikipedia :

Keacakan global dan keacakan lokal berbeda. Kebanyakan konsepsi filosofis tentang keacakan bersifat global — karena mereka didasarkan pada gagasan bahwa "dalam jangka panjang" suatu urutan tampak benar-benar acak, bahkan jika sub-urutan tertentu tidak akan terlihat acak. Dalam urutan acak "benar-benar" dari angka-angka yang cukup panjang, misalnya, kemungkinan akan ada urutan panjang yang tidak lain kecuali nol, meskipun secara keseluruhan urutannya mungkin acak. Keacakan lokal mengacu pada gagasan bahwa mungkin ada panjang urutan minimum di mana distribusi acak didekati.Rentang panjang dari angka yang sama, bahkan yang dihasilkan oleh proses acak yang "benar-benar", akan mengurangi "keacakan lokal" sampel (itu mungkin hanya acak secara lokal untuk urutan 10.000 digit; mengambil urutan kurang dari 1.000 mungkin tidak tampak acak) sama sekali, misalnya).

Urutan yang menunjukkan suatu pola tidak terbukti tidak secara statistik acak. Menurut prinsip-prinsip teori Ramsey, objek yang cukup besar harus mengandung substruktur tertentu ("gangguan total tidak mungkin").

Saya tidak begitu mengerti arti dari dua kalimat dalam huruf tebal.

1. Apakah kalimat pertama berarti bahwa sesuatu membuat urutan lokal acak lebih panjang, dan bukan acak lokal pada panjang lebih pendek?

   Bagaimana cara kerja contoh di dalam tanda kurung?

2. Apakah kalimat kedua berarti bahwa urutan yang menunjukkan suatu pola tidak dapat dibuktikan tidak acak secara statistik? Mengapa?

Terima kasih

Konsep dapat diilustrasikan dengan rapi oleh beberapa kode yang dapat dieksekusi. Kita mulai Rdengan menggunakan generator angka acak pseudo yang baik untuk membuat urutan 10.000 nol dan yang:

set.seed(17)
x <- floor(runif(10000, min=0, max=2))

Ini melewati beberapa tes angka acak dasar. Misalnya, t-test untuk membandingkan rata-rata untuk memiliki p-nilai 40,09 %, yang memungkinkan kita untuk menerima hipotesis bahwa nol dan yang sama-sama mungkin.$1/2$$40.09$

Dari angka-angka ini kami melanjutkan untuk mengekstraksi nilai berturut-turut mulai dari nilai 5081:$1000$

x0 <- x[1:1000 + 5080]

Jika ini terlihat acak, mereka juga harus lulus tes angka acak yang sama. Misalnya, mari kita menguji apakah rata-rata mereka adalah 1/2:

> t.test(x0-1/2)

    One Sample t-test

data:  x0 - 1/2 
t = 2.6005, df = 999, p-value = 0.009445
alternative hypothesis: true mean is not equal to 0 
95 percent confidence interval:
 0.01006167 0.07193833 
sample estimates:
mean of x 
    0.041 

Rendahnya p-value (kurang dari 1%) sangat menunjukkan rata-rata secara signifikan lebih besar dari . Memang, jumlah kumulatif dari urutan ini memiliki tren kenaikan yang kuat:$1/2$

> plot(cumsum(x0-1/2))

Itu bukan perilaku acak!

Membandingkan urutan asli (diplot sebagai jumlah kumulatif) ke bagian selanjutnya ini mengungkapkan apa yang terjadi:

$9000$

Seperti yang ditunjukkan oleh analisis sederhana ini, tidak ada tes yang dapat "membuktikan" bahwa suatu urutan tampak acak. Yang bisa kita lakukan adalah menguji apakah urutan cukup menyimpang dari perilaku yang diharapkan dari urutan acak untuk memberikan bukti bahwa mereka tidak acak. Ini adalah cara kerja baterai angka acak : mereka mencari pola yang sangat tidak mungkin muncul dalam urutan angka acak. Setiap sekali dalam waktu yang lama mereka akan menyebabkan kita menyimpulkan bahwa urutan angka yang benar-benar acak tidak tampak acak: kita akan menolaknya dengan mencoba sesuatu yang lain.

Dalam jangka panjang, meskipun - sama seperti kita semua mati - setiap generator angka acak akan menghasilkan setiap urutan 1000 digit, dan itu akan melakukannya berkali-kali tanpa batas. Apa yang menyelamatkan kita dari kesulitan logis adalah bahwa kita harus menunggu waktu yang sangat lama untuk terjadinya penyimpangan yang nyata.

Kutipan ini menggunakan istilah "keacakan lokal" dan "keacakan global" untuk membedakan antara apa yang dapat terjadi dengan jumlah sampel terbatas dari variabel acak, dan distribusi probabilitas atau harapan dari variabel acak.

$x_i$$\{0,1\}$$\theta$$\theta$$\lim_{n \to \infty} \frac{1}{n} \sum_{i=1}^n x_i = \theta$

$[0,1]$$[a,b]$$0 \leq a < b \leq 1$$\theta$

Tidak ada yang baru di sini.

$n$

Jadi, saya tidak akan membakar terlalu banyak sel otak untuk memikirkan kutipan ini. Secara matematis tidak begitu tepat dan sebenarnya menyesatkan tentang sifat keacakan.

Edit berdasarkan komentar: @kjetilbhalvorsen +1 ke komentar Anda untuk pengetahuan sejarah. Namun, saya masih berpikir nilai dari ketentuan ini terbatas dan menyesatkan. Tabel yang Anda gambarkan tampaknya membuat implikasi menyesatkan bahwa sampel kecil yang memiliki, misalnya, sampel jauh dari nilai yang diharapkan sebenarnya atau mungkin urutan panjang yang mustahil tapi pasti mungkin berulang 0's (dalam contoh Bernoulli saya), entah bagaimana menunjukkan kurang keacakan (dengan mengatakan mereka tidak menunjukkan "keacakan lokal" palsu) ini. Saya tidak bisa memikirkan hal lain yang lebih menyesatkan untuk ahli statistik pemula!

Saya pikir penulis posting Wikipedia salah mengartikan keacakan. Ya, mungkin ada peregangan yang tampaknya tidak acak, tetapi jika proses yang menciptakan urutan tersebut benar-benar acak, maka harus menjadi output. Jika urutan tertentu nampaknya tidak acak, itu adalah persepsi yang salah dari pembaca (yaitu manusia dirancang untuk menemukan pola). Kemampuan kita untuk melihat Biduk, dan Orion, dll di langit malam bukanlah bukti bahwa pola bintang adalah nonrandom. Saya setuju bahwa keacakan sering kali muncul nonrandom. Jika suatu proses menghasilkan pola nonrandom untuk urutan pendek, itu bukan proses acak.

Saya tidak berpikir bahwa prosesnya berubah pada ukuran sampel yang berbeda. Anda meningkatkan ukuran sampel, Anda meningkatkan probabilitas bahwa kami melihat urutan acak yang tampak bagi kami adalah nonrandom. Jika ada kemungkinan 10% bahwa kita akan melihat pola dalam 20 pengamatan acak, meningkatkan jumlah pengamatan menjadi 10.000 akan meningkatkan kemungkinan bahwa kita akan melihat ketidakberacakan, di suatu tempat.