Dapatkah seseorang membantu menjelaskan perbedaan antara independen dan acak?

21

Dalam statistik, apakah independen dan acak menggambarkan karakteristik yang sama? Apa perbedaan di antara mereka? Kami sering menemukan deskripsi seperti "dua variabel acak independen" atau "pengambilan sampel acak". Saya bertanya-tanya apa perbedaan yang tepat di antara mereka. Adakah yang bisa menjelaskan hal ini dan memberikan beberapa contoh? misalnya proses non-independen tetapi acak?

distributions sampling randomness

— tiantianchen
sumber

Berikut adalah dua konsep yang berbeda (pada level yang tidak terlalu dalam) yang digabungkan. "Independen" dalam arti secara independen menghasilkan pengamatan, dan "variabel bebas" menggunakan distribusi mereka.

— ttnphns

3

Ini adalah pertanyaan aneh, karena jika Anda berkonsultasi dengan definisi formal "variabel acak" dan "independen" - itulah yang tampaknya "disarankan dalam statistik" - Anda akan menemukan bahwa mereka memiliki sedikit kesamaan.

— whuber

@ttnphns, Ya, saya kira saya lebih bingung tentang istilah "pengamatan yang dihasilkan secara independen" dengan "yang dihasilkan secara acak". Dalam pengambilan sampel, kita sering mendengar pengambilan sampel acak (sederhana), yang membuat saya merasa seperti sampel independen. Saya kira jika kita benar-benar ingin menggabungkan kedua karakteristik dalam menggambarkan metode pengambilan sampel, seharusnya: pemilihan pengamatan tidak saling bergantung (= independen) dan probabilitas pemilihan pengamatan diketahui (= secara acak)?

— tiantianchen

1

Jika kita memeriksa definisi independensi dari wiki: "Dalam teori probabilitas, dua peristiwa bersifat independen, statistik independen, atau independen stokastik jika kejadian satu tidak mempengaruhi probabilitas yang lain.", Ketergantungan dari dua pengamatan harus didasarkan tentang bagaimana mereka dihasilkan / dipilih, daripada bagaimana mereka terlihat seperti dalam data. Maka dua pengamatan identik dalam kasus yang saya sebutkan di atas harus tetap independen.

— tiantianchen

2

Tolong jangan bingung dengan penjelasan heuristik di awal setiap entri Wikipedia dengan definisi. Definisi diberikan di bawah judul "definisi" dalam artikel yang sama . Itu yang ditawarkan dalam jawaban Tim di sini.

— Whuber

35

Saya akan mencoba menjelaskannya dalam istilah non-teknis: Variabel acak menjelaskan hasil percobaan; Anda tidak dapat mengetahui sebelumnya apa hasil tepatnya tetapi Anda memiliki beberapa informasi: Anda tahu hasil mana yang mungkin dan Anda tahu, untuk setiap hasil, kemungkinannya.

Misalnya, jika Anda melemparkan koin yang adil maka Anda tidak tahu sebelumnya apakah Anda akan mendapatkan kepala atau ekor, tetapi Anda tahu bahwa ini adalah hasil yang mungkin dan Anda tahu bahwa masing-masing memiliki 50% kemungkinan terjadinya.

Untuk menjelaskan independensi, Anda harus melemparkan dua koin yang adil. Setelah melempar koin pertama Anda tahu bahwa untuk lemparan kedua probabilitas kepala masih 50% dan untuk ekor juga. Jika lemparan pertama tidak memiliki pengaruh pada probabilitas yang kedua, maka lemparan keduanya independen. Jika lemparan pertama memiliki pengaruh pada probabilitas lemparan kedua maka mereka bergantung.

Contoh lemparan tergantung adalah ketika Anda menempelkan dua koin bersama.

3

Sepasang variabel dependen lainnya adalah "apakah Anda mendapat kepala" dan "apakah Anda mendapat ekor". Keduanya acak tetapi tidak independen satu sama lain.

— user253751

3

@immibis Atau melempar dadu yang adil, tulis nilainya. kemudian gulung sekali lagi dan gandakan nilainya dengan nilai yang tertulis. Nilai ini acak, tetapi tergantung pada gulungan pertama.

— Crowley

8

Acak berkaitan dengan variabel acak , dan independen berkaitan dengan independensi probabilistik. Yang dimaksud dengan independensi adalah bahwa mengamati satu variabel tidak memberi tahu kita tentang yang lain, atau dalam istilah yang lebih formal, jika dan adalah dua variabel acak, maka kita mengatakan bahwa mereka independen jika $X$ $Y$

p_{X, Y} (x, y) = p_{X} (x) p_{Y} (y)

$p_{X,Y}(x, y) = p_X(x)\,p_Y(y)$

bahkan

E (X Y) = E (X) E (Y)

$E(XY) = E(X)E(Y)$

dan kovariansnya nol. Variabel acak tergantung pada jika dapat ditulis sebagai fungsi dari $Y$ $X$ $X$

Y = f (X)

$Y = f(X)$

Jadi dalam hal ini adalah acak dan tergantung pada . $Y$ $X$

Proses panggilan "tidak independen" cukup menyesatkan - tidak tergantung pada apa? Saya kira Anda berarti bahwa ada beberapa independen dan variabel-variabel acak terdistribusi secara identik (cek disini , atau $X_1,\dots,X_k$ di sini ) yang berasal dari beberapa proses. Dengan mandiri, yang kami maksud di sini adalah bahwa mereka tidak saling bergantung. Ada proses yang menghasilkan variabel acak dependen, misalnya

X_{i} = X_{i - 1} + ε

$X_i = X_{i-1} + \varepsilon$

di mana adalah beberapa noise acak. Jelas dalam kasus seperti itu tergantung pada , tetapi juga acak. $\varepsilon$ $X_i$ $X_{i-1}$

— Tim
sumber

Apa arti

jika X adalah variabel acak? Saya pikir Anda membingungkan RV dan acara: dua RVs X dan Y bersifat independen jika acara

dan

independen untuk semua r, s

P (X)

$P(X)$

P (X \leq r)

$P(X\leq r)$

P (Y \leq s)

$P(Y\leq s)$

— Matthew Towers

Maka dua variabel acak kontinu adalah independen.

— Matthew Towers

@m_t_ Saya benar-benar tidak berpikir bahwa membahas notasi mengarah ke mana saja (lihat misalnya en.wikipedia.org/wiki/… )

— Tim

1

@m_t_ ini rambut yang membelah, lihat stats.stackexchange.com/questions/16321/… atau math.ucsd.edu/ ~

— Tim

2

@tiantianchen sebaliknya: jika Anda memiliki variabel acak iid, maka Anda dapat membangun fungsi kemungkinan dengan mengalikan pdf individu karena mereka independen.

— Tim

1

Variabel digunakan dalam semua bidang matematika. Definisi untuk independensi dan keacakan suatu variabel diterapkan secara sepihak untuk semua bentuk matematika, bukan hanya untuk statistik.

Sebagai contoh, sumbu X dan Y dalam geometri Euclidean 2 dimensi mewakili variabel independen, namun, nilainya tidak (biasanya) ditetapkan secara acak.

Dua variabel yang diberikan bisa acak, atau independen (satu sama lain), atau keduanya, atau tidak sama sekali. Statistik cenderung berfokus pada keacakan (lebih tepatnya, pada probabilitas), dan apakah dua variabel independen atau tidak dapat memiliki banyak implikasi untuk probabilitas hasil yang diamati.

Anda cenderung melihat dua sifat ini (independensi dan keacakan) yang dijelaskan bersama saat mempelajari statistik, karena keduanya penting untuk diketahui, dan dapat memengaruhi jawaban atas pertanyaan yang ada. Namun, sifat-sifat ini tidak identik, dan dalam bidang matematika lainnya tidak harus terjadi bersamaan.

— Steve-O
sumber

Terima kasih. Bisakah Anda menjelaskan lebih lanjut tentang "apakah dua variabel independen dapat memiliki banyak implikasi untuk probabilitas hasil yang diberikan sedang diamati."

— tiantianchen

3

Ini adalah jawaban non-statistik yang membahas rasa "independen" yang berbeda dari yang digunakan dalam pertanyaan. Ini juga membingungkan dua pengertian "variabel": satu adalah matematika satu dan yang lainnya adalah definisi statistik dari variabel acak (yang jelas tidak sama dengan variabel pada sumbu geometris).

— whuber

1

Gagasan independensi adalah relatif, sementara Anda bisa acak sendiri. Dalam contoh Anda, Anda memiliki "dua variabel acak independen", dan tidak perlu membicarakan beberapa "pengambilan sampel acak".

Misalkan Anda melemparkan mati sempurna beberapa kali. Hasil adalah acak apriori. Mengetahui masa lalu, Anda tidak dapat memprediksi angka berikut 4. Misalkan saya membuat urutan dari sisi lain cetakan: , . Saya mendapatkan . Ini acak seperti yang pertama. Anda tidak dapat menebak apa yang terjadi setelah $6,5,3,5, 4\ldots$ $6\to1$ $3\to4$ $1,2,4,2, 3\ldots$ $3$ . Tetapi kedua sekuens ini sepenuhnya tergantung.

Jika satu melemparkan dua dadu secara paralel (tanpa interaksi di antara mereka), urutan masing-masing akan acak dan independen.

— Laurent Duval
sumber

1

Ini mungkin sedikit teknis mengingat tingkat OP, tetapi mengenai pernyataan Anda "Anda tidak bisa independen (dari sesuatu) sendirian (sebagai suatu proses, urutan)" pertimbangkan hal berikut: Setiap variabel acak X, yang sama dengan konstanta c dengan probabilitas satu, tidak tergantung pada "segalanya", termasuk dirinya sendiri. Yaitu, untuk X seperti itu, X tidak tergantung pada X. Anda dapat dengan mudah memeriksa sesuai definisi independensi.

— Mark L. Stone

@ Mark L. Stone Saya akan memperbaiki pernyataan salah ini. Sendiri saya maksudkan "dalam dirinya sendiri". Dalam definisi Anda, apakah Anda boleh mengatakan:

independen, atau

dan

independen?

X

$X$

X

$X$

X

$X$

— Laurent Duval

X tidak tergantung pada dirinya sendiri. Yaitu, X tidak tergantung pada X.

— Mark L. Stone

0

Ketika Anda memiliki sepasang nilai ketika yang pertama dihasilkan secara acak dan yang kedua memiliki ketergantungan pada yang pertama. misalnya tinggi dan berat badan seorang pria. Ada korelasi di antara mereka. Tapi keduanya acak.

— scarabeus
sumber

Meskipun posting ini menggunakan kata-kata "acak" dan "tergantung," itu tidak mendefinisikan mereka atau membedakannya dengan jelas. Memang, tampaknya menyarankan bahwa "acak = tergantung"!

— whuber

0

Contoh koin adalah ilustrasi yang bagus dari variabel acak dan independen, cara yang baik untuk memikirkan variabel acak tetapi tidak bebas adalah kartu berikutnya yang diambil dari kartu permainan tujuh kartu, kemungkinan-kemungkinan- dari hasil numerik tertentu perubahan tergantung pada kartu yang sebelumnya dibagikan, tetapi sampai hanya satu nilai kartu yang tersisa di sepatu, nilai kartu yang akan datang berikutnya akan tetap acak.

— phantombread
sumber

3

Mungkin layak untuk mengganti kata "kemungkinan" dengan "probabilitas" di sini, karena kemungkinan memiliki definisi teknis yang terpisah dalam statistik

— Silverfish

1

Probabilitas yang tergantung pada peristiwa lain (sering kali peristiwa sebelumnya, tetapi kadang-kadang berdasarkan pada pengetahuan tentang peristiwa di masa depan atau simultan - sebenarnya tidak ada arah temporal untuk ini) disebut probabilitas bersyarat . Kata kemungkinan digunakan untuk merujuk pada semacam "probabilitas dalam kebalikan" (atau dalam kasus kontinu, kepadatan probabilitas) - yaitu, seseorang menghitung probabilitas hasil (misalnya data Anda) yang tergantung pada parameter model Anda (s ), tetapi jika kami memikirkan hal sebaliknya, kemungkinan parameter itu, mengingat data Anda .

— Silverfish

1

π

$π$

π = 1 / 6

$π=1/6$

-1

David Bohm dalam karyanya Causality and Chance in Modern Physics (London: Routledge, 1957/1984) menjelaskan hubungan sebab akibat, kebetulan, acak, dan kemandirian:

"Di alam tidak ada yang tetap konstan. Semuanya dalam keadaan transformasi, gerak, dan perubahan terus-menerus. Namun, kami menemukan bahwa tidak ada yang muncul begitu saja tanpa ada anteseden yang ada sebelumnya. Demikian juga, tidak ada yang pernah hilang tanpa jejak, di pengertian bahwa hal itu menimbulkan absolutley tidak ada yang ada di kemudian hari .... semuanya berasal dari hal-hal lain dan menimbulkan hal-hal lain. Prinsip ini belum merupakan pernyataan tentang keberadaan kausalitas di alam. langkah selanjutnya adalah untuk mencatat bahwa ketika kita mempelajari proses yang terjadi dalam berbagai kondisi, kita menemukan bahwa di dalam semua kompleksitas perubahan dan transformasi ada hubunganyang tetap konstan secara efektif. .... Namun, pada titik ini, kami menemui masalah baru. Untuk keperluan hukum sebab akibat tidak pernah absolut. Dengan demikian, kita melihat bahwa seseorang harus memahami hukum alam hanya jika diperlukan jika seseorang abstrak dari kemungkinan , yang pada dasarnya merupakan faktor-faktor independen yang mungkin ada di luar ruang lingkup hal-hal yang dapat diperlakukan oleh undang-undang yang dipertimbangkan, dan yang tidak mengikuti dari apa pun yang dapat ditentukan dalam konteks undang-undang ini. Kemungkinan seperti itu mengarah pada kebetulan . "(Hal.1-2)

"Kecenderungan untuk kemungkinan-kemungkinan yang berada di luar konteks yang diberikan berfluktuasi secara independen dari kejadian-kejadian di dalam konteks itu telah menunjukkan dirinya sedemikian luasnya sehingga seseorang dapat menyatakannya sebagai suatu prinsip; yaitu, prinsip keacakan. Secara acak, yang kami maksudkan hanyalah kemerdekaan yang mengarah ini. untuk fluktuasi kontingensi ini dengan cara yang sangat rumit atas berbagai kemungkinan, tetapi sedemikian rupa sehingga rata-rata statistik memiliki perilaku teratur dan kira-kira dapat diprediksi. " (hal.22)

— noumenal
sumber

3

0

$0$

1

$1$

1 / 3

$1/3$

4 / 7

$4/7$

3

Anda tampaknya membahas proses stokastik (dalam waktu) daripada variabel keacakan dan acak.

— whuber

4

Saya percaya bagian dari kesulitan yang kita alami dalam berkomunikasi adalah bahwa Anda tampaknya berpikir "independen" dalam arti variabel independen dalam regresi. Meskipun beberapa elemen dari pertanyaan mungkin menyarankan itu, frasa "dua variabel acak independen" dan "sampel acak" menunjukkan sebaliknya.

— whuber

1

Saya bahkan tidak bisa mengatakan apa pengertian Anda, karena jawaban Anda tidak memberikan definisi. Saya harus menebak apa yang ingin Anda katakan dari contoh dan deskripsi yang Anda berikan. Mereka tampaknya berbeda dari pengertian "acak" dan "independen" dalam cara yang saya jelaskan dalam komentar sebelumnya.

— whuber

1

Saya akan menambahkan komentar @whuber bahwa definisi Anda yang menyebutkan variabel acak saling memengaruhi mungkin menyesatkan. "Pengaruh" adalah istilah yang sangat kuat yang melibatkan beberapa jenis kausalitas dll. Sedangkan definisi formal kemerdekaan tidak memerlukan kausalitas atau pengaruh apa pun, tetapi hanya tentang hubungan probabilitas gabungan vs individu.

— Tim