Statistik dan Big Data

Baru-baru ini saya belajar tentang penggunaan trik Kernel, yang memetakan data ke dalam ruang dimensi yang lebih tinggi dalam upaya untuk membuat linierisasi data dalam dimensi tersebut. Apakah ada kasus di mana saya harus menghindari menggunakan teknik ini? Apakah ini hanya masalah menemukan fungsi kernel yang tepat? Untuk data linear …

13 machine-learning  svm  kernel-trick  heuristic 

Apakah ada konjugat sebelum distribusi Laplace ? Jika tidak, adakah ungkapan bentuk tertutup yang diketahui yang mendekati posterior untuk parameter distribusi Laplace? Saya sudah googled cukup banyak dengan tidak berhasil sehingga dugaan saya saat ini adalah "tidak" pada pertanyaan di atas ...

13 bayesian  conjugate-prior  laplace-distribution 

Saya telah menulis beberapa kode yang dapat melakukan pemfilteran Kalman (menggunakan sejumlah filter tipe Kalman yang berbeda [Information Filter et al.]) Untuk Linear Gaussian State Space Analysis untuk vektor keadaan n-dimensi. Filter bekerja dengan baik dan saya mendapatkan beberapa output yang bagus. Namun, estimasi parameter melalui estimasi loglikelihood membingungkan saya. …

13 maximum-likelihood  algorithms  kalman-filter  likelihood 

Apakah pita kepercayaan dan prediksi di sekitar regresi non-linear seharusnya simetris di sekitar garis regresi? Berarti mereka tidak mengambil bentuk jam-kaca seperti dalam kasus band untuk regresi linier. Mengapa demikian? Berikut adalah model yang dimaksud: Ini gambarnya: F( x ) = ⎛⎝⎜⎜A - D1 + ( xC)B⎞⎠⎟⎟+ DF(x)=(SEBUAH-D1+(xC)B)+D F(x) = …

13 confidence-interval  nonlinear-regression  prediction-interval 

Intro: Setelah mencatat perhatian yang diterima hari ini oleh pertanyaan ini, " Bisakah ANOVA menjadi signifikan ketika tidak ada uji-t berpasangan?, " Saya pikir saya mungkin dapat membingkai ulang dengan cara yang menarik yang pantas mendapatkan jawaban sendiri. . Berbagai hasil yang tidak sesuai (pada nilai nominal) dapat terjadi ketika …

13 hypothesis-testing  anova  statistical-significance  t-test  multiple-comparisons 

Setelah melalui beberapa matematika yang agak singkat, saya pikir saya memiliki sedikit intuisi estimasi kepadatan kernel. Tetapi saya juga sadar bahwa memperkirakan kepadatan multivariat untuk lebih dari tiga variabel mungkin bukan ide yang baik, dalam hal sifat statistik penduga. Jadi, dalam situasi apa saya harus memperkirakan, katakanlah, kepadatan bivariat menggunakan …

13 nonparametric  pdf  kernel-smoothing  bivariate  density-estimation 

Berapakah distribusi entropi maksimum untuk variabel kontinu positif, mengingat momen pertama dan kedua? Sebagai contoh, distribusi Gaussian adalah distribusi entropi maksimum untuk variabel yang tidak terikat, mengingat mean dan standar deviasinya, dan distribusi Gamma adalah distribusi entropi maksimum untuk variabel positif, dengan nilai rata-rata dan nilai rata-rata logaritma-nya.

13 distributions  standard-deviation  mean  maximum-entropy 

Saya menggunakan pustaka R 'multcomp' ( http://cran.r-project.org/web/packages/multcomp/ ) untuk menghitung tes Dunnett. Saya menggunakan skrip di bawah ini: Group <- factor(c("A","A","B","B","B","C","C","C","D","D","D","E","E","F","F","F")) Value <- c(5,5.09901951359278,4.69041575982343,4.58257569495584,4.79583152331272,5,5.09901951359278,4.24264068711928,5.09901951359278,5.19615242270663,4.58257569495584,6.16441400296898,6.85565460040104,7.68114574786861,7.07106781186548,6.48074069840786) data <- data.frame(Group, Value) aov <- aov(Value ~ Group, data) summary(glht(aov, linfct=mcp(Group="Dunnett"))) Sekarang jika saya menjalankan skrip ini melalui Konsol R beberapa kali, saya mendapatkan hasil …

13 r  multiple-comparisons 

Misalkan X0,X1,…,XnX0,X1,…,Xn X_{0},X_{1},\ldots,X_{n} adalah variabel acak iid yang mengikuti distribusi Poisson dengan rata-rata λλ \lambda . Bagaimana saya bisa membuktikan bahwa tidak ada penaksir yang tidak bias dari kuantitas 1λ1λ \dfrac{1}{\lambda} ?

13 probability  poisson-distribution  unbiased-estimator  estimators  iid 

Saya telah menjalankan regresi berganda di mana model secara keseluruhan signifikan dan menjelaskan sekitar 13% dari varians. Namun, saya perlu menemukan jumlah varians yang dijelaskan oleh masing-masing prediktor signifikan. Bagaimana saya bisa melakukan ini menggunakan R? Berikut beberapa contoh data dan kode: D = data.frame( dv = c( 0.75, 1.00, …

13 r  regression  variance 

Dalam R (2.15.2) saya memasang sekali ARIMA (3,1,3) pada deret waktu dan sekali ARMA (3,3) pada deret waktu yang berbeda. Parameter yang dipasang berbeda, yang saya dikaitkan dengan metode pemasangan di ARIMA. Juga, pemasangan ARIMA (3,0,3) pada data yang sama dengan ARMA (3,3) tidak akan menghasilkan parameter yang identik, tidak …

13 r  time-series  arima  fitting  arma 

Saya telah mengerjakan model logistik dan saya mengalami kesulitan mengevaluasi hasilnya. Model saya adalah logit binomial. Variabel penjelas saya adalah: variabel kategori dengan 15 level, variabel dikotomis, dan 2 variabel kontinu. N saya besar> 8000. Saya mencoba memodelkan keputusan perusahaan untuk berinvestasi. Variabel dependen adalah investasi (ya / tidak), variabel …

13 r  logistic  goodness-of-fit  roc 

Saya sedang mengerjakan sesuatu seperti masalah berikut. Saya memiliki banyak pengguna dan N buku. Setiap pengguna membuat peringkat yang diurutkan dari semua buku yang dia baca (yang kemungkinan merupakan subset dari buku N), misalnya, Buku 1> Buku 40> Buku 25. Sekarang saya ingin mengubah peringkat masing-masing pengguna ini menjadi peringkat …

13 multiple-comparisons  ranking  recommender-system  bradley-terry-model 

Tampaknya demikian halnya jika , makaXi∼N( 0 ,1)Xi∼N(0,1)X_i \sim N(0,1) X1X2+X3X4∼Laplace(0,1)X1X2+X3X4∼Laplace(0,1)X_1 X_2 + X_3 X_4 \sim \mathrm{Laplace(0,1)} Saya telah melihat makalah tentang bentuk kuadratik sewenang-wenang, yang selalu menghasilkan ekspresi chi-kuadrat non-sentral yang mengerikan. Hubungan sederhana di atas sama sekali tidak tampak jelas bagi saya, jadi (jika itu benar!) Adakah yang …

13 normal-distribution  proof  quadratic-form  laplace-distribution 

Saya sering digunakan untuk mendiagnosis data multivariat menggunakan PCA (data omics dengan ratusan ribu variabel dan puluhan atau ratusan sampel). Data sering berasal dari eksperimen dengan beberapa variabel bebas kategorikal yang mendefinisikan beberapa kelompok, dan saya sering harus melalui beberapa komponen sebelum saya dapat menemukan komponen yang menunjukkan pemisahan antara …

13 pca  linear-model  r-squared  discriminant-analysis