Statistik dan Big Data

Dalam Applied Predictive Modelling oleh Kuhn dan Johnson penulis menulis: Akhirnya, pohon-pohon ini menderita bias seleksi: prediktor dengan jumlah nilai berbeda yang lebih tinggi lebih disukai daripada prediktor lebih granular (Loh dan Shih, 1997; Carolin et al., 2007; Loh, 2010). Loh dan Shih (1997) mengatakan bahwa “Bahaya terjadi ketika kumpulan …

8 cart  bias 

Tantangan Di kantor kami, saya telah terlibat dalam diskusi tentang ukuran sampel dan pengaruhnya terhadap ukuran efek - dapatkah Anda membantu saya dan menjelaskan lebih lanjut? Mendasarkan Saat melakukan analisis daya, orang dapat menentukan ukuran sampel untuk ukuran efek tertentu dalam desain tertentu. Masalah / Diskusi Apa yang terjadi jika …

8 sample-size  sample  power-analysis  effect-size 

Pertanyaan sederhana, namun secara mengejutkan sulit untuk menemukan jawaban online. Saya tahu bahwa untuk RV , kita mendefinisikan momen k sebagai mana kesetaraan mengikuti jika , untuk kepadatan dan Tindakan Lebesgue .XXX∫Xk dP=∫xkf(x) dx∫Xk dP=∫xkf(x) dx\int X^k \ d P = \int x^k f(x) \ dxp=f⋅mp=f⋅mp = f \cdot mfffmmm …

8 mathematical-statistics  random-variable  joint-distribution  moments 

Apa perbedaan antara (1|DNA.concentration/mouse.id)dan (DNA.concentration|mouse.id)? Apa arti simbol |dan /makna di dalam sintaksis untuk efek acak?

8 r  lme4-nlme 

Ambil berkas partikel sebagai ansambel banyak partikel. Asumsikan dua variabel acak independenXβXβX_\beta dan δδ\delta yang menambahkan hingga posisi horizontal XXX partikel: X=Xβ+DxδX=Xβ+Dxδ X = X_\beta + D_x \delta (DxDxD_x adalah angka sederhana, fungsi "dispersi" dalam dinamika balok.) Saya memiliki pengukuran horisontal profil balok, fXfXf_X, dan pengukuran lain dari profil momentum …

8 distributions  descriptive-statistics  signal-processing 

Dalam Model Persamaan Struktural, orang sering menggunakan estimator ML. Dalam kasus di mana variabel tidak normal multivarian, bisakah ML digunakan? Sering kali indikator yang Anda miliki untuk bekerja dengan tidak multivariat normal. Saya tidak yakin bagaimana melanjutkannya.

8 maximum-likelihood  sem  normality-assumption  multivariate-normal 

Seharusnya (a,b)(a,b) (a,b) adalah interval kepercayaan level untuk parameter . Misalkan adalah transformasi monoton yang tidak dapat dibalik. Lalu, adalah(1−α)(1−α)(1-\alpha)θθ\thetaηη\eta (η(a),η(b))(η(a),η(b)) \left (\eta(a), \eta(b) \right ) a tingkat interval kepercayaan untuk ? Asumsikan parameter dan titik akhir interval kepercayaan adalah bilangan real.(1−α)(1−α)(1-\alpha)η(θ)η(θ)\eta(\theta) Jawabannya tampaknya secara intuitif adalah "Ya" untuk alasan …

8 confidence-interval 

Biarkan menjadi ruang probabilitas. Dugaan:(Ω,F,P)(Ω,F,P)(\Omega, \mathscr F, \mathbb P) Misalkan kita memiliki acara st , atau . Terdapat rangkaian acara yang independen stA1,A2,...A1,A2,...A_1, A_2, ...∀ A∈⋂nσ(An,An+1,...)∀ A∈⋂nσ(An,An+1,...)\forall \ A \in \bigcap_n \sigma(A_n, A_{n+1}, ...)P(A)=0P(A)=0P(A) = 0111B1,B2,...B1,B2,...B_1, B_2, ... τAn:=⋂nσ(An,An+1,...)=⋂nσ(Bn,Bn+1,...):=τBnτAn:=⋂nσ(An,An+1,...)=⋂nσ(Bn,Bn+1,...):=τBn\tau_{A_n} := \bigcap_n \sigma(A_n, A_{n+1}, ...) = \bigcap_n \sigma(B_n, B_{n+1}, ...) := …

8 probability  independence  non-independent  asymptotics 

Bayangkan bahwa kita mengambil sampel matriks kovarians dari distribusi Wishart oleh MCMC. Pada setiap iterasi, kami mendapatkan matriks sampel dari distribusi Wishart.SsayaSiS_i Pertanyaan : Mengingat jejak yang berisi semua sampel , dapatkah saya memplot korelasi otomatis sampel ini?S1, . . .SnS1,...SnS_1,...S_n Saya telah melihat seseorang menggunakan autocorrelation of , tetapi …

8 bayesian  autocorrelation  mcmc 

Dalam buku "Elemen-elemen Pembelajaran Statistik" pada bab 2 ("model linear dan kuadrat terkecil; halaman no: 12"), tertulis bahwa Dalam (p + 1) ruang input-output dimensi, (X, Y) mewakili hyperplane. Jika konstanta termasuk dalam X, maka hyperplane menyertakan asal dan merupakan subruang; jika tidak, itu adalah set affine yang memotong sumbu …

8 regression  machine-learning 

Di kelas Metode Statistik MS-level yang saya ambil, saya telah belajar tentang berbagai model linier untuk desain eksperimental. Ambil, misalnya, untuk model Rancangan Blok Lengkap Acak (RCBD) acak ( mewakili blok, mewakili perawatan), mewakili efek blok, efek pengobatan (tetap), mengikuti beberapa distribusi .Yij=μ+βi+τj+εij,Yij=μ+βi+τj+εij,Y_{ij} = \mu + \beta_i + \tau_j + …

8 references  experiment-design  fixed-effects-model  theory 

Saya menemukan bahwa untuk model regresi linier sederhana, baik OLS dan metode kemungkinan maksimum (dengan asumsi distribusi Normal) memberikan output yang sama (nilai parameter). Dari sini, dapatkah kita mengatakan bahwa OLS juga membuat asumsi implisit tentang distribusi Normal atau sebaliknya? Saya tidak tertarik mengapa keduanya menghasilkan nilai yang sama tetapi …

8 regression  normal-distribution  maximum-likelihood  least-squares 

Saya tidak mengerti mengapa saya tidak bisa menambahkan 1,5 standar deviasi untuk mendapatkan jawabannya. Jika 1 standar deviasi adalah 10kg dan rata-rata 400kg, maka 415kg adalah 1,5 standar deviasi. Jadi saya hitung seperti ini: .3413 + ((.4772-.3413)/2) = 0.40925 Persamaan ini mengambil setengah dari perbedaan antara dua standar deviasi dan …

8 probability  normal-distribution  standard-deviation 

Saya membuat jaringan saraf convolutional dan saya ingin memeriksa bahwa gradien saya dihitung dengan benar menggunakan pengecekan gradien numerik. Pertanyaannya, seberapa dekat cukup dekat? Fungsi pengecekan saya hanya memuntahkan turunan yang dihitung, turunan yang diperkirakan secara numerik, perbedaan antara keduanya, dan apakah kedua nilai tersebut memiliki tanda yang sama (satu …

8 neural-networks  conv-neural-network  gradient 

Saya memiliki regresi logistik biner dengan hanya satu prediktor faktor tetap biner. Alasan saya tidak melakukannya sebagai Chi square atau tes Fisher adalah karena saya juga memiliki sejumlah faktor acak (ada beberapa titik data per individu dan individu dalam kelompok, meskipun saya tidak peduli dengan koefisien atau signifikansi untuk variabel-variabel …

8 r  logistic  generalized-linear-model  odds-ratio  relative-risk