Statistik dan Big Data

Untuk non-negatif variabel acak , bagaimana membuktikan bahwa adalah nondecreasing di ?XXXE(Xn)1nE(Xn)1nE(X^n)^{\frac1n}nnn

8 mathematical-statistics  random-variable  moments 

Saya menggunakan PCA untuk menganalisis beberapa deret waktu terkait spasial, dan tampaknya vektor eigen pertama sesuai dengan turunan dari tren rata-rata deret tersebut (contoh diilustrasikan di bawah). Saya ingin tahu mengapa vektor eigen pertama berhubungan dengan turunan dari tren yang bertentangan dengan tren itu sendiri? Data disusun dalam matriks di …

8 time-series  pca  spatial  eigenvalues 

Saya mengerti bahwa rumus untuk probabilitas konvergensi adalah P[|Xn−X∞|>ϵ]→0P[|Xn−X∞|>ϵ]→0P[|X_n − X_\infty| \gt \epsilon ]\to 0dan saya bisa memecahkan masalah menggunakan rumus. Adakah yang bisa menjelaskannya secara intuitif (seperti saya berusia lima tahun), terutama dalam hal apaϵϵ\epsilon adalah?

8 probability  convergence  intuition 

Seperti dicatat oleh Wand dan Jones (1995), sebagian besar kernel standar dapat dilihat sebagai kasus K(x;p)={22p+1B(p+1,p+1)}−1(1−x2)p1{|x|&lt;1}K(x;p)={22p+1B(p+1,p+1)}−1(1−x2)p1{|x|&lt;1} K(x;p) = \{ 2^{2p+1} \; \mathrm{B}(p+1,p+1) \}^{-1} \; (1-x^2)^p \;\boldsymbol{1}_{\{|x|<1\}} keluarga, di mana B(⋅,⋅)B(⋅,⋅)\mathrm{B}(\cdot,\cdot) adalah fungsi Beta. Nilai ppp mengarah ke kernel segi empat ( p=0p=0p=0 ), Epanechnikov ( p=1p=1p=1 ), biweight ( p=2p=2p=2 …

8 distributions  kernel-smoothing  beta-distribution 

Saya memiliki dataset pengukuran suhu air yang diambil dari badan air besar dengan interval tidak teratur selama beberapa dekade. (Galveston Bay, TX jika Anda tertarik) Inilah kepala data: STATION_ID DATE TIME LATITUDE LONGITUDE YEAR MONTH DAY SEASON MEASUREMENT 1 13296 6/20/91 11:04 29.50889 -94.75806 1991 6 20 Summer 28.0 2 …

8 time-series  seasonality  trend  unevenly-spaced-time-series 

Saya mencoba untuk membandingkan variabilitas dalam dua sampel yang sangat berbeda dalam skala (kapasitas murid dari berbagai jenis lembaga pendidikan (pembibitan, sekolah dasar dan menengah). Pendekatan saya adalah untuk menghitung standar deviasi untuk setiap sampel, kemudian bagi dengan mean sampel. Saya belum pernah melihat metrik ini digunakan, jadi saya ingin …

8 standard-deviation  terminology 

Saya melihat yang berikut dalam buku teks dan saya kesulitan memahami konsepnya. Saya mengerti bahwa didistribusikan secara normal dengan E ( ) = 0 dan Var ( ) = .XnXnX_nXnXnX_nXnXnX_n1n1n\frac{1}{n} Namun, saya tidak mengerti mengapa mengalikan dengan akan menjadikannya standar normal.XnXnX_nn--√n\sqrt n

8 self-study  normal-distribution  expected-value  moments 

Saya menghadapi distribusi terbatas dengan nol kovarians antara dua variabel tetapi korelasinya adalah . Apakah ada distribusi seperti itu? Bagaimana bisa dijelaskan?111 Anda benar, mungkin saya perlu memberikan lebih banyak detail. OK, X dan Y adalah distribusi normal bivariat dengan varians dan rata-rata yang berbeda (bebas n) tetapi corr = …

8 distributions  correlation  covariance  asymptotics  bivariate 

Mencari tahu bagaimana mensimulasikan sesuatu sering kali merupakan cara terbaik untuk memahami prinsip-prinsip yang mendasarinya. Saya sedikit bingung bagaimana tepatnya mensimulasikan yang berikut ini. Misalkan dan bahwa memiliki distribusi sebelumnya yaitu . Berdasarkan sampel pengamatan disingkat dengan hanya , saya tertarik untuk menunjukkan kepada non-Bayesian bahwa probabilitas posterior bahwa dikalibrasi …

8 bayesian  simulation  posterior 

Dalam entri Wikipedia untuk kriteria informasi Akaike , kita membaca di bawah Perbandingan dengan BIC (kriteria informasi Bayesian) yang ... AIC / AICc memiliki keunggulan teoritis dibandingkan BIC ... AIC / AICc berasal dari prinsip-prinsip informasi; BIC bukan ... BIC memiliki prioritas 1 / R (di mana R adalah jumlah …

8 model-selection  aic  prior  information-theory  bic 

Saya mengalami kesulitan memahami pembatasan pengecualian dalam variabel instrumental. Saya mengerti bahwa efek pengobatan yang tidak bias adalah , di mana adalah hasilnya, adalah pengobatan, dan adalah instrumen. Dengan kata lain, .B =Co v ( Y, Z)Co v ( S, Z)B=CHaiv(Y,Z)CHaiv(S,Z)B = \frac{Cov(Y, Z)}{Cov(S, Z)}YYYSSSZZZB =sayaTTTingkat KepatuhanB=sayaTTTingkat KepatuhanB = \frac{ITT} …

8 instrumental-variables  treatment-effect  lavaan 

Saya baru mengonversi rumus ke bentuk matriks. Tetapi ini diperlukan untuk kode pembelajaran mesin yang efisien. Jadi saya ingin mengerti cara "benar", bukan hal koboi yang saya lakukan. Baiklah kita mulai, saya mencoba untuk mengubah jumlah kuadrat tertimbang dari bentuk di bawah ini ke dalam bentuk matriks. Saya sering melihat …

8 regression  machine-learning  linear-algebra 

Saya telah mencoba untuk merasakan masalah yang berbeda dalam pengaturan sering di mana MCMC digunakan. Saya tahu bahwa MCMC (atau Monte Carlo) digunakan dalam pemasangan GLMM dan mungkin juga algoritma Monte Carlo EM. Apakah ada masalah yang lebih sering terjadi di mana MCMC digunakan?

8 mcmc  monte-carlo  expectation-maximization  metropolis-hastings  frequentist 

Saya mencoba memahami perbedaan antara Newton-Raphsonteknik dan Fisher scoringteknik dengan menghitung iterasi pertama untuk setiap metode untuk Bernoullisampel. (Saya tahu bahwa dalam hal ini saya dapat secara eksplisit dan segera menghitung tetapi saya ingin melakukannya secara iteratif hanya untuk memahami dan melihat bagaimana setiap metode berkonvergensi).πmleπmle\pi_{mle} Misalkan saya menggambar koin …

8 maximum-likelihood  fisher-information  fisher-scoring 

Pertimbangkan regresi binomial berikut: # Create some data set.seed(10) n &lt;- 500 x &lt;- runif(n,0,100) y &lt;- x + rnorm(n,sd=100) &lt; 0 # Fit a binomial regression model model &lt;- glm(y ~ x, family="binomial") summary(model) The summarymengembalikan fungsi p-nilai 1.03e-05. Saat menggunakan anova.glm, satu mendapat nilai p sedikit lebih ekstrim …

8 r  hypothesis-testing  logistic  generalized-linear-model  binomial