Statistik dan Big Data

Saat ini saya bekerja dengan rantai Markov dan menghitung Perkiraan Kemungkinan Maksimum menggunakan probabilitas transisi seperti yang disarankan oleh beberapa sumber (yaitu, jumlah transisi dari a ke b dibagi dengan jumlah transisi keseluruhan dari a ke node lain). Sekarang saya ingin menghitung kemungkinan log dari MLE.

9 maximum-likelihood  markov-process  likelihood 

Saya baru-baru ini men-debug skrip R dan saya menemukan sesuatu yang sangat aneh, penulis mendefinisikan fungsi p-value mereka sendiri pval <- function(x, y){ if (x+y<20) { # x + y is small, requires R.basic p1<- nChooseK(x+y,x) * 2^-(x+y+1); p2<- nChooseK(x+y,y) * 2^-(x+y+1); pvalue = max(p1, p2) } else { # …

9 r  hypothesis-testing  p-value 

Saya mendapatkan koefisien yang sangat besar selama regresi logistik, lihat koefisien dengan krajULKV: > summary(m5) Call: glm(formula = cbind(ml, ad) ~ rok + obdobi + kraj + resid_usili2 + rok:obdobi + rok:kraj + obdobi:kraj + kraj:resid_usili2 + rok:obdobi:kraj, family = "quasibinomial") Deviance Residuals: Min 1Q Median 3Q Max -2.7796 -1.0958 …

9 regression  logistic  generalized-linear-model  separation 

Untuk setiap catatan dalam kumpulan data saya, saya memiliki informasi berikut ( X1 , ... , X m , δ , T )(X1 ,… ,Xm ,δ ,T ) (X_1 \ , \dots \ , X_m \ , \delta \ , T \ ) di mana adalah fitur, δ adalah 1 …

9 classification  survival 

Saya membaca buku ini Pengenalan Pola dan Pembelajaran Mesin oleh Bishop. Saya memiliki kebingungan terkait dengan derivasi sistem dinamik linear. Dalam LDS kita mengasumsikan variabel laten menjadi kontinu. Jika Z menunjukkan variabel laten dan X menunjukkan variabel yang diamati p(zn|zn−1)=N(zn|Azn−1,τ)p(zn|zn−1)=N(zn|Azn−1,τ)p(z_n|z_{n-1}) = N(z_n|Az_{n-1},\tau) p(xn|zn)=N(xn,Czn,Σ)p(xn|zn)=N(xn,Czn,Σ)p(x_n|z_n) = N(x_n,Cz_n,\Sigma) p(z1)=N(z1|u0,V0)p(z1)=N(z1|u0,V0)p(z_1) = N(z_1|u_0,V_0) Dalam LDS …

9 machine-learning  linear-model  kalman-filter  pattern-recognition  graphical-model 

Bagaimana seseorang dapat menentukan tingkat pembelajaran optimal untuk gradient descent? Saya berpikir bahwa saya dapat secara otomatis menyesuaikannya jika fungsi biaya mengembalikan nilai yang lebih besar daripada pada iterasi sebelumnya (algoritme tidak akan menyatu), tetapi saya tidak begitu yakin apa nilai baru yang harus diambil.

9 regression  machine-learning  gradient-descent 

Saya mencoba menunjukkan bahwa momen sentral dari distribusi simetris: adalah nol untuk angka ganjil. Jadi misalnya momen sentral ketigaSaya mulai dengan mencoba menunjukkan bahwaSaya tidak yakin ke mana harus pergi dari sini, ada saran? Apakah ada cara yang lebih baik untuk membuktikan hal ini?fx(a+x)=fx(a−x)fx(a+x)=fx(a−x){\bf f}_x{\bf (a+x)} = {\bf f}_x{\bf(a-x)}E[(X−u)3]=0.E[(X−u)3]=0.{\bf E[(X-u)^3] …

9 mathematical-statistics  expected-value  moments 

Hal ini juga diketahui bahwa Anda memiliki lebih banyak bukti (katakan dalam bentuk yang lebih besar untuk contoh iid), yang Bayesian sebelum mendapat "lupa", dan sebagian besar inferensi tersebut dipengaruhi oleh bukti (atau kemungkinan).nnnnnnn Sangat mudah untuk melihatnya untuk berbagai kasus spesifik (seperti Bernoulli dengan Beta sebelum atau jenis contoh …

9 bayesian  prior 

Dengan interval waktu bertahan hidup yang disensor, bagaimana cara melakukan model Cox PH yang disensor interval R? Pencarian rseek memunculkan paket intcox, yang tidak lagi ada di Rrepositori. Saya hampir yakin coxphfungsi dalam survivalpaket tidak dapat menangani data survival interval yang disensor. Juga, saya tidak ingin menyalahkan data dan kemudian …

9 r  survival  cox-model  interval-censoring 

Katakanlah saya sedang mencoba mencari kemungkinan bahwa rasa es krim favorit seseorang adalah vanila. Saya tahu orang itu juga menikmati film horor. Saya ingin mengetahui kemungkinan bahwa es krim favorit orang itu adalah vanila mengingat mereka menikmati film horor. Saya tahu hal-hal berikut: 5 %5%5\% orang memilih vanila sebagai rasa …

9 probability  bayes 

Saya memiliki sekitar 500 variabel per pasien, setiap variabel memiliki satu nilai kontinu dan diukur pada tiga titik waktu yang berbeda (setelah 2 bulan dan setelah 1 tahun). Dengan regresi saya ingin memprediksi hasil pengobatan untuk pasien baru. Apakah mungkin untuk menggunakan regresi SVM dengan data longitudinal seperti itu?

9 regression  svm  panel-data 

Jika adalah binomial negatif iid, lalu apa distribusi diberikan ( x 1 , x 2 , ... , x n )x1,x2,…,xnx1,x2,…,xnx_1, x_2, \ldots, x_n(x1,x2,…,xn)(x1,x2,…,xn)(x_1, x_2, \ldots, x_n) x1+x2+…+xn=Nx1+x2+…+xn=Nx_1 + x_2 + \ldots + x_n = N\quad ? NNN sudah diperbaiki. Jika adalah Poisson, tergantung pada total, adalah multinomial. Saya tidak …

9 poisson-distribution  multinomial  negative-binomial  conditioning 

Saya baru-baru ini menemukan sebuah "double / triple bootstrap" atau "bootstrap berulang". Seperti yang saya mengerti, setiap sampel bootstrap di-bootstrap lagi. Apa intinya? Bagaimana ini digunakan?

9 bootstrap 

Saya pemula di R, Bisakah Anda jelaskan cara menggunakan ses dalam paket perkiraan R perkiraan ? Saya ingin memilih jumlah periode awal dan konstanta smoothing. d <- c(3,4,41,10,9,86,56,20,18,36,24,59,82,51,31,29,13,7,26,19,20,103,141,145,24,99,40,51,72,58,94,78,11,15,17,53,44,34,12,15,32,14,15,26,75,110,56,43,19,17,33,26,40,42,18,24,69,18,18,25,86,106,104,35,43,12,4,20,16,8) Saya memiliki 70 periode, saya ingin menggunakan 40 Periode untuk awal dan 30 untuk sampel out-of. ses(d, h=30, level=c(80,95), fan=FALSE,initial=c("simple"), alpha=.1) Apakah …

9 r  time-series  forecasting 

Saya memiliki dataset variabel diskrit (ordinal, meristik, dan nominal) yang menggambarkan karakter sayap morfologis pada beberapa spesies serangga yang terkait erat. Yang ingin saya lakukan adalah melakukan semacam analisis yang akan memberi saya representasi visual tentang kesamaan spesies yang berbeda berdasarkan karakteristik morfologis. Hal pertama yang muncul di kepala saya …

9 pca  discrete-data  correspondence-analysis  mixed-type-data