Statistik dan Big Data

Saya telah membaca tentang paradoks taruhan Blackwell di lemari Futility . Berikut ringkasannya: Anda disajikan dua amplop, dan . Amplop berisi jumlah uang acak, tetapi Anda tidak tahu apa-apa tentang distribusi tentang uang itu. Anda membuka satu, memeriksa berapa banyak uang di sana ( ), dan harus memilih: ambil amplop …

12 probability  paradox 

Apa contoh collinearity sempurna dalam hal matriks desain ?XXX Saya ingin contoh di mana tidak dapat diperkirakan karena tidak dapat dibalik.(X'X)β^=(X′X)−1X′Yβ^=(X′X)−1X′Y\hat \beta = (X'X)^{-1}X'Y(X′X)(X′X)(X'X)

12 regression  multicollinearity  matrix  matrix-inverse 

Ditutup . Pertanyaan ini didasarkan pada pendapat . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga dapat dijawab dengan fakta dan kutipan dengan mengedit posting ini . Ditutup 3 tahun yang lalu . Dalam posting ini kami mengajukan pertanyaan tentang fenomena alam yang disebut manusia berusaha …

12 statistical-significance  voting-system 

Mari tetap berpegang pada situasi ideal dengan pengambilan sampel acak, populasi Gaussian, varian yang sama, tanpa peretasan P, dll. Langkah 1. Anda menjalankan eksperimen yang mengatakan membandingkan dua mean sampel, dan menghitung interval kepercayaan 95% untuk perbedaan antara dua mean populasi. Langkah 2. Anda menjalankan lebih banyak eksperimen (ribuan). Perbedaan …

12 confidence-interval  replicability 

Membaca tentang arti sebenarnya dari elips kepercayaan 95%, saya cenderung menemukan 2 penjelasan: Elips yang berisi 95% data Bukan yang di atas, tetapi elips yang menjelaskan perbedaan data. Saya tidak yakin saya mengerti dengan benar tetapi mereka tampaknya berarti bahwa jika titik data baru masuk, ada kemungkinan 95% bahwa varian …

12 confidence-interval  ellipse 

Misalnya, dalam R jika Anda memanggil acf()fungsinya, ia akan memplot sebuahogram korelasi secara default, dan menggambar interval kepercayaan 95%. Melihat kode, jika Anda menelepon plot(acf_object, ci.type="white"), Anda melihat: qnorm((1 + ci)/2)/sqrt(x$n.used) sebagai batas atas untuk jenis white-noise. Bisakah seseorang menjelaskan teori di balik metode ini? Mengapa kita mendapatkan qnorm 1 …

12 r  confidence-interval  autocorrelation 

Jika adalah diskrit dan Y adalah variabel acak kontinu maka apa yang bisa kita katakan tentang distribusi X + Y ? Apakah ini kontinu atau dicampur?XXXYYYX+YX+YX+Y Bagaimana dengan produk ?XYXYXY

12 self-study  distributions  random-variable 

Jadi saya mengerti bahwa pemilihan variabel adalah bagian dari pemilihan model. Tapi apa sebenarnya yang terdiri dari pemilihan model? Apakah lebih dari yang berikut: 1) pilih distribusi untuk model Anda 2) pilih variabel penjelas,? Saya bertanya ini karena saya membaca artikel Burnham & Anderson: AIC vs BIC di mana mereka …

12 feature-selection  model-selection  aic  bic 

Orang luar ke bidang ML / DL; memulai kursus Belajar Udacity Deep yang didasarkan pada Tensorflow; melakukan penugasan 3 masalah 4; mencoba menyesuaikan tingkat belajar dengan konfigurasi berikut: Ukuran batch 128 Jumlah langkah: cukup untuk mengisi 2 zaman Ukuran lapisan tersembunyi: 1024, 305, 75 Inisialisasi berat: terpotong normal dengan std. …

12 python  machine-learning  tensorflow  deep-learning 

Dalam pemodelan bertingkat, korelasi intraclass sering dihitung dari efek acak ANOVA ysaya j= γ00+ uj+ esaya jyij=γ00+uj+eij y_{ij} = \gamma_{00} + u_j + e_{ij} di mana kamujuju_j adalah tingkat-2 residual dan esaya jeije_{ij} adalah residual level-1. Kemudian kita mendapatkan σ^2kamuσ^u2\hat{\sigma}_u^2 dan σ 2 e untuk varians dari u j dan …

12 correlation  mixed-model  intraclass-correlation 

Inilah masalah lucu yang dibawa oleh seorang siswa kepada saya. Meskipun pada awalnya diutarakan dalam istilah peluru yang saling memusnahkan yang ditembakkan secara berkala dengan pistol, saya pikir Anda mungkin menikmati presentasi yang lebih damai. Di dunia Oz yang datar dan tak terbatas, Yellow Brick Road dimulai di pusat Kota …

12 probability  stochastic-processes  puzzle 

Saya mencoba mencari cara untuk mendeteksi jumlah suku kata dalam korpus rekaman audio. Saya pikir proxy yang baik mungkin adalah puncak dalam file wave. Inilah yang saya coba dengan file saya berbicara dalam bahasa Inggris (kasus penggunaan saya yang sebenarnya adalah dalam Kiswahili). Transkrip rekaman contoh ini adalah: "Ini saya …

12 r  signal-processing 

Kecuali saya salah, dalam model linier, distribusi respons diasumsikan memiliki komponen sistematis dan komponen acak. Istilah kesalahan menangkap komponen acak. Oleh karena itu, jika kita mengasumsikan bahwa istilah kesalahan terdistribusi secara normal, bukankah itu menyiratkan bahwa responsnya juga terdistribusi secara normal? Saya pikir memang demikian, tetapi pernyataan seperti di bawah …

12 regression  assumptions 

Saya telah menemukan tiga proposal untuk menangani overdispersi dalam variabel respon Poisson dan semua model awal efek tetap: Gunakan model kuasi; Gunakan GLM binomial negatif; Gunakan model campuran dengan efek acak tingkat subjek. Tapi yang mana yang harus dipilih, dan mengapa? Apakah ada kriteria aktual di antara ini?

12 regression  negative-binomial  poisson-regression  overdispersion  quasi-likelihood 

Saya telah melihat formula di Wikipedia. yang menghubungkan jarak Mahalanobis dan Leverage: Jarak mahalanobis terkait erat dengan statistik leverage, hhh , tetapi memiliki skala yang berbeda: D2= ( N- 1 ) ( h - 1N) .D2=(N−1)(h−1N).D^2 = (N - 1)(h - \tfrac{1}{N}). Dalam artikel tertaut , Wikipedia menggambarkan hhh dalam …

12 multiple-regression  mathematical-statistics  diagnostic  leverage