Statistik dan Big Data

Misalkan non-pusat terdistribusi secara eksponensial dengan lokasi dan rate . Lalu, apa itu .XXXkkkλλ\lambdaE(log(X))E(log⁡(X))E(\log(X)) Saya tahu bahwa untuk , jawabannya adalah mana adalah konstanta Euler-Mascheroni. Bagaimana dengan kapan ?k=0k=0k=0−log(λ)−γ−log⁡(λ)−γ-\log(\lambda) - \gammaγγ\gammak>0k>0k > 0

9 mean  expected-value  integral 

Bagaimana saya bisa memperkirakan interval kepercayaan 95% menggunakan profil untuk parameter yang diestimasi dengan memaksimalkan fungsi log-likelihood menggunakan optim di R? Saya tahu saya dapat secara asimtotik memperkirakan matriks kovarians dengan membalik goni , tetapi saya khawatir bahwa data saya tidak memenuhi asumsi yang diperlukan agar metode ini valid. Saya …

9 r  confidence-interval  maximum-likelihood  optimization  profile-likelihood 

Saya sedang membaca artikel wikipedia ini terkait dengan kriging. Saya tidak mengerti bagian ketika mengatakan itu Kriging menghitung terbaik linear berisi , dari Z ( x 0 ) sehingga kriging varians dari diminimalkan dengan kondisi unbiasedness. Saya tidak mendapatkan derivasi dan juga bagaimana variansnya diminimalkan. Ada saran?Z^(x0)Z^(x0)\hat Z (x_0)Z(x0)Z(x0)Z(x_0) Khususnya, …

9 interpolation 

Misalkan kita menguji korelasi Pearson antara variabel dan dalam kelompok dan . Apakah mungkin untuk korelasi menjadi signifikan di masing-masing dan , tetapi tidak signifikan ketika data dari kedua kelompok digabungkan? Dalam hal ini, bisakah Anda memberikan penjelasan untuk itu.xxxyyySEBUAHSEBUAHABBB( x , y)(x,y)(x,y)SEBUAHSEBUAHABBB

9 correlation 

Saya sedang mengerjakan tugas Perencanaan Kapasitas dan saya telah membaca beberapa buku. Ini khusus tentang distribusi. Saya menggunakan R. Apa pendekatan yang direkomendasikan untuk mengidentifikasi apa distribusi data saya? Apakah ada metode statistik untuk mengidentifikasinya? Saya punya diagram ini. Apa saja pendekatan simulasi yang tersedia menggunakan R? Di sini saya …

9 distributions  simulation 

Bagaimana saya dapat menguji apakah rata-rata (misalnya, tekanan darah) dari subkelompok (misalnya, mereka yang meninggal) berbeda dari seluruh kelompok (misalnya, setiap orang yang memiliki penyakit termasuk yang meninggal)? Jelas, yang pertama adalah subkelompok yang kedua. Tes hipotesis apa yang harus saya gunakan?

9 hypothesis-testing  group-differences 

apakah ada cara agar sesuai dengan distribusi yang ditentukan jika Anda hanya diberi beberapa kuantil? Sebagai contoh, jika saya katakan saya memiliki gamma didistribusikan set data, dan empiris 20%, 30%, 50% dan 90% -quantiles masing-masing adalah: 20% 30% 50% 90% 0.3936833 0.4890963 0.6751703 1.3404074 Bagaimana cara saya pergi dan memperkirakan …

9 distributions  quantiles  fitting 

Dengan asumsi saya memiliki kumpulan data dengan dimensi (mis. ) sehingga setiap dimensi adalah iid (atau masing-masing dimensi ) dan tidak tergantung satu sama lain.d = 20 X i ∼ U [ 0 ; 1 ] X i ∼ N [ 0 ; 1 ]dddd= 20d=20d=20Xsaya∼ U[ 0 ; 1 …

9 normal-distribution  uniform  eigenvalues 

Saya relatif baru dalam statistik, dan memahami bahwa pertanyaan saya mungkin sepenuhnya salah diartikan. Saya menguji algoritma saya sendiri dibandingkan yang lain. Walaupun outputnya tidak identik, saya ingin menunjukkan bahwa perbedaannya "tidak signifikan secara statistik." Bagaimana saya bisa mengukur ini, untuk menegaskan maksud saya?

9 correlation  statistical-significance  dataset 

Cangkok berikut diambil dari artikel ini . Saya pemula untuk bootstrap dan mencoba mengimplementasikan bootstrap parametrik, semiparametrik, dan nonparametrik untuk model campuran linier dengan R bootpaket. Kode R Ini Rkode saya : library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=Cultivation) fixef(fm1Cult) boot.fn <- …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography 

Misalkan kita diberi satu set data formulir dan . Kami diberi tugas untuk memprediksi berdasarkan nilai . Kami memperkirakan dua regresi di mana: ( y , x 1 , x 2 , ⋯ , x n - 1 ) y x y(y,x1,x2,⋯,xn)(y,x1,x2,⋯,xn)(y,x_{1},x_{2},\cdots, x_{n})(y,x1,x2,⋯,xn−1)(y,x1,x2,⋯,xn−1)(y,x_{1},x_{2},\cdots, x_{n-1})yyyxxxyy=f1(x1,⋯,xn−1,xn)=f2(x1,⋯,xn−1)(1)(2)(1)y=f1(x1,⋯,xn−1,xn)(2)y=f2(x1,⋯,xn−1) \begin{align} y &=f_{1}(x_{1},\cdots, x_{n-1}, x_{n}) \tag{1} …

9 regression  multiple-regression  missing-data  multicollinearity  multiple-imputation 

Saya menggunakan paket randomForest di R (R versi 2.13.1, randomForest versi 4.6-2) untuk regresi dan melihat bias yang signifikan dalam hasil saya: kesalahan prediksi tergantung pada nilai variabel respon. Nilai tinggi di bawah prediksi dan nilai rendah di atas prediksi. Pada awalnya saya menduga ini adalah konsekuensi dari data saya, …

9 r  regression  random-forest 

Pertanyaan ini sudah ada jawabannya di sini : korelasi antara variabel kategori (1 jawaban) Ditutup 6 bulan lalu . Saya tahu bahwa kita dapat menggunakan Spearman rho untuk mengukur korelasi antara variabel numerik. Tetapi bagaimana mengukur korelasi antara variabel kategori?

9 correlation  categorical-data 

Katakanlah saya punya masalah pembelajaran mesin sederhana seperti klasifikasi. Dengan beberapa tolok ukur dalam penglihatan atau pengenalan audio, saya, sebagai manusia, adalah penggolong yang sangat baik. Karena itu saya memiliki intuisi tentang seberapa bagus classifier bisa didapat. Tetapi dengan banyak data, satu hal adalah saya tidak tahu seberapa bagus classifier …

9 machine-learning 

Saat ini saya sedang mengerjakan serangkaian model deret waktu Poisson yang mencoba memperkirakan efek perubahan dalam bagaimana penghitungan diperoleh (beralih dari satu uji diagnostik ke uji lain) sambil mengendalikan tren lain dari waktu ke waktu (katakanlah peningkatan umum pada kejadian penyakit). Saya punya data untuk sejumlah situs yang berbeda. Meskipun …

9 mixed-model  generalized-linear-model  poisson-distribution  random-effects-model