Statistik dan Big Data

Distribusi Poisson dapat mengukur peristiwa per satuan waktu, dan parameternya adalah λλ\lambda . Distribusi eksponensial mengukur waktu hingga peristiwa berikutnya, dengan parameter . Satu dapat mengkonversi satu distribusi ke yang lain, tergantung pada apakah lebih mudah untuk memodelkan peristiwa atau waktu.1λ1λ\frac{1}{\lambda} Sekarang, gamma-poisson adalah poisson "stretched" dengan varian yang lebih …

16 poisson-distribution  negative-binomial  gamma-distribution  exponential-family 

Saya memiliki rangkaian lengkap (tepatnya 432 pengamatan) dari 4 status : misA−DA−DA-D Y=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AA−⋮BC−⋮A⎞⎠⎟⎟⎟⎟Y=(ACDDBACBAACA−−⋮⋮⋮⋮⋮⋮⋮BCADABA)Y=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&- &-\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & A\\ \end{array}\right) EDIT: The observation sequences are of …

16 r  matlab  markov-process 

Saya telah menggunakan iteratively reweighted least square (IRLS) untuk meminimalkan fungsi dari formulir berikut, J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) di mana adalah jumlah instance , adalah perkiraan kuat yang saya inginkan, dan adalah fungsi penalti kuat yang cocok. Katakanlah itu cembung (meskipun tidak harus ketat) dan …

16 estimation  least-squares  robust  irls 

Saya punya satu set data yang terdiri dari serangkaian jumlah kasus "patah tongkat" bulanan dari beberapa situs. Saya mencoba mendapatkan taksiran ringkasan tunggal dari dua teknik berbeda: Teknik 1: Pasang "tongkat patah" dengan Poisson GLM dengan variabel indikator 0/1, dan menggunakan variabel waktu dan waktu ^ 2 untuk mengendalikan tren …

16 time-series  mixed-model 

Saya seorang pemula untuk statistik dan menemukan ini . Dalam statistik, θ, huruf Yunani kecil 'theta', adalah nama biasa untuk (vektor) parameter (s) dari beberapa distribusi probabilitas umum. Masalah umum adalah menemukan nilai theta. Perhatikan bahwa tidak ada artinya dalam penamaan parameter dengan cara ini. Kita mungkin menyebutnya hal lain. …

16 terminology 

Biarkan menjadi probabilitas simpleks dimensi , yaitu sedemikian rupa sehingga dan .ΔKΔK\Delta_{K}K−1K−1K-1x∈ΔKx∈ΔKx \in \Delta_{K}xi≥0xi≥0x_i \ge 0∑ixi=1∑ixi=1\sum_i x_i = 1 Distribusi apa yang sering (atau terkenal, atau didefinisikan di masa lalu) selama ada?ΔKΔK\Delta_{K} Jelas, ada Dirichlet dan distribusi Logit-Normal. Apakah ada distribusi lain yang muncul secara alami dalam konteks ini?

16 distributions  multinomial  compositional-data 

Mari , yaitu didistribusikan menurut D × D distribusi Wishart dimensi dengan mean ν Ψ dan derajat kebebasan ν . Saya ingin ungkapan untuk E ( log | Λ | ) di mana | Λ | adalah penentu.Λ ∼ WD( ν, Ψ )Λ∼WD(ν,Ψ)\Lambda \sim \mathcal W_D(\nu, \Psi)D × DD×DD \times …

16 distributions  wishart 

Saya memiliki dua variabel acak, mana adalah distribusi 0-1 yang seragam.αi∼iid U(0,1),i=1,2αi∼iid U(0,1),i=1,2\alpha_i\sim \text{iid }U(0,1),\;\;i=1,2U(0,1)U(0,1)U(0,1) Kemudian, ini menghasilkan suatu proses, katakan: P(x)=α1sin(x)+α2cos(x),x∈(0,2π)P(x)=α1sin⁡(x)+α2cos⁡(x),x∈(0,2π)P(x)=\alpha_1\sin(x)+\alpha_2\cos(x), \;\;\;x\in (0,2\pi) Sekarang, saya bertanya-tanya apakah ada ekspresi bentuk tertutup untuk F−1(P(x);0.75)F−1(P(x);0.75)F^{-1}(P(x);0.75) teoritis 75 persen kuantil dari P(x)P(x)P(x) untuk diberikan x∈(0,2π)x∈(0,2π)x\in(0,2\pi) --Saya kira saya bisa melakukannya dengan komputer …

16 distributions  probability  stochastic-processes 

Saya memiliki dataset 120 sampel dalam pengaturan validasi silang 10 kali lipat. Saat ini, saya memilih data pelatihan dari ketidaksepakatan pertama dan melakukan validasi silang 5 kali lipat untuk memilih nilai-nilai gamma dan C dengan pencarian kotak. Saya menggunakan SVM dengan kernel RBF. Karena saya sedang melakukan 10 10 validasi …

16 machine-learning  classification  cross-validation  svm 

Saya sedang berurusan dengan masalah klasifikasi biner yang diawasi. Saya ingin menggunakan paket GBM untuk mengklasifikasikan individu sebagai tidak terinfeksi / terinfeksi. Saya memiliki 15 kali lebih tidak terinfeksi daripada orang yang terinfeksi. Saya bertanya-tanya apakah model GBM menderita jika ukuran kelas tidak seimbang? Saya tidak menemukan referensi yang menjawab …

16 r  machine-learning  boosting  unbalanced-classes  gbm 

Ini wikipedia link di daftar sejumlah teknik untuk mendeteksi OLS residual heteroskedastisitas. Saya ingin belajar teknik langsung mana yang lebih efisien dalam mendeteksi daerah yang dipengaruhi oleh heteroskedastisitas. Sebagai contoh, di sini wilayah pusat dalam plot 'Residual vs Fitted' OLS terlihat memiliki varians yang lebih tinggi daripada sisi plot (saya …

16 regression  least-squares  heteroscedasticity 

Saya telah menggunakan MCMCglmmpaket baru-baru ini. Saya bingung dengan apa yang disebut dalam dokumentasi sebagai struktur-R dan struktur-G. Ini tampaknya berhubungan dengan efek acak - khususnya menentukan parameter untuk distribusi sebelumnya, tetapi diskusi dalam dokumentasi tampaknya mengasumsikan bahwa pembaca tahu apa istilah-istilah ini. Sebagai contoh: daftar opsional spesifikasi sebelumnya yang …

16 r  bayesian  mixed-model  lme4-nlme 

Saya belajar tentang Proses Gaussian dan hanya mendengar sedikit demi sedikit. Sangat menghargai komentar dan jawaban. Untuk setiap set data, apakah benar bahwa perkiraan fungsi Proses Gaussian akan memberikan nol atau kesalahan pemasangan yang dapat diabaikan pada titik data? Di tempat lain saya juga mendengar bahwa Proses Gaussian sangat baik …

16 gaussian-process 

Dari membaca posting di situs ini saya tahu ada fungsi R auto.arima(dalam forecast paket ). Saya juga tahu bahwa IrishStat , anggota situs ini membuat paket komersial autobox pada awal 1980-an. Karena dua paket ini ada saat ini dan secara otomatis memilih model arima untuk set data yang diberikan, apa …

16 time-series  arima  automatic-algorithms 

Saya melatih multi-class LDA classifier dengan 8 kelas data. Saat melakukan pelatihan, saya mendapat peringatan: " Variabel collinear " Saya mendapatkan akurasi pelatihan lebih dari 90% . Saya menggunakan perpustakaan scikits-learn di Python do train dan menguji data multi-kelas. Saya mendapatkan akurasi pengujian yang layak juga (sekitar 85% -95% ). …

16 machine-learning  classification  python  scikit-learn  discriminant-analysis