Statistik dan Big Data

Di bawah ini adalah grafik dari hal. Dataclysm milik Christian Rudder , meskipun dibuat oleh James Dowdell. Ini menggambarkan hubungan antara berbagai 200 subreddit teratas, yang merupakan bidang yang diminati reddit.com di mana pengguna dapat mengirimkan tautan, komentar, dan suara. Ini mirip dengan tag di situs ini. Ukuran wilayah subreddit …

9 clustering  data-visualization 

Saya memiliki tugas pekerjaan rumah untuk mengekspresikan distribusi binomial negatif sebagai keluarga distribusi eksponensial mengingat bahwa parameter dispersi adalah konstanta yang diketahui. Ini cukup mudah, tetapi saya bertanya-tanya mengapa mereka meminta kami mempertahankan parameter itu tetap. Saya menemukan bahwa saya tidak dapat menemukan cara untuk meletakkannya dalam bentuk yang tepat …

9 self-study  mathematical-statistics  negative-binomial  proof  exponential-family 

Katakanlah saya punya N bola di tas. Pada undian pertama saya, saya menandai bola dan menggantinya di tas. Pada undian kedua saya, jika saya mengambil bola bertanda saya mengembalikannya ke tas. Namun, jika saya mengambil bola yang tidak ditandai maka saya menandainya dan mengembalikannya ke tas. Saya melanjutkan ini untuk …

9 probability  estimation  population  combinatorics  capture-mark-recapture 

Dari "Dalam Semua Kemungkinan: Pemodelan Statistik dan Inferensi Menggunakan Kemungkinan" oleh Y. Pawitan, kemungkinan parameterisasi ulang θ↦g(θ)=ψθ↦g(θ)=ψ\theta\mapsto g(\theta)=\psi didefinisikan sebagai L∗(ψ)=max{θ:g(θ)=ψ}L(θ)L∗(ψ)=max{θ:g(θ)=ψ}L(θ) L^*(\psi)=\max_{\{\theta:g(\theta)=\psi\}} L(\theta) sehingga jika ggg adalah satu- ke-satu, lalu L∗(ψ)=L(g−1(ψ))L∗(ψ)=L(g−1(ψ))L^*(\psi)=L(g^{-1}(\psi)) (hlm. 45). Saya mencoba untuk menunjukkan Latihan 2.20 yang menyatakan bahwa jika θθ\theta adalah skalar (dan saya menganggap bahwa …

9 mathematical-statistics  inference  likelihood  fisher-information 

Saya ingin menjalankan regresi dengan 4 hingga 5 variabel penjelas, tetapi saya hanya memiliki 15 pengamatan. Tidak dapat mengasumsikan variabel-variabel ini terdistribusi normal, adakah metode non-parametrik atau metode regresi lain yang valid?

9 regression  small-sample 

Saya secara teratur menggunakan tes permutasi dan menyukai kesederhanaannya. Saya telah belajar paling banyak dari buku "Metode Resampling" oleh Good, di mana penulis tampaknya cukup kreatif dalam pilihan statistik uji di seluruh contoh. Juga posting ini memberi kesan bahwa ada kebebasan besar untuk memilih statistik uji. Saya bertanya-tanya apakah ada …

9 hypothesis-testing  permutation-test 

Saya adalah pendatang baru untuk analisis survival, meskipun saya memiliki beberapa pengetahuan dalam klasifikasi dan regresi. Untuk regresi, kami memiliki statistik MSE dan R square. Tetapi bagaimana kita dapat mengatakan bahwa model survival A lebih unggul daripada model survival B selain beberapa jenis plot grafis (kurva KM)? Jika memungkinkan, tolong …

9 regression  survival  goodness-of-fit  cart  rpart 

Seorang teman ahli statistik saya memberi tahu saya tentang teknik menarik yang digunakan untuk memperoleh respons jujur ​​atas survei yang menangani masalah sensitif. Saya ingat inti umum dari metode ini, tetapi saya bertanya-tanya apakah ada yang tahu detailnya dan apakah itu dirujuk di mana saja. Ceritanya adalah bahwa AMA Florida …

9 categorical-data  survey 

Dalam pembelajaran mesin, sering diasumsikan bahwa set data terletak pada manifold dimensi rendah yang halus (asumsi berlipat ganda), tetapi adakah cara untuk membuktikan bahwa dengan asumsi kondisi tertentu terpenuhi, maka set data memang (kurang-lebih) dihasilkan dari manifold halus dimensi rendah? Misalnya, diberi urutan data mana (katakanlah urutan gambar wajah dengan …

9 machine-learning  dimensionality-reduction  manifold-learning 

Ditutup . Pertanyaan ini didasarkan pada pendapat . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga dapat dijawab dengan fakta dan kutipan dengan mengedit posting ini . Ditutup 5 tahun yang lalu . Saat ini saya seorang mahasiswa statistik dalam program yang sangat bagus. Kami menggunakan …

9 sas  minitab 

Misalkan saya memiliki beberapa fungsi yang tidak diketahui fff dengan domain , yang saya tahu memenuhi beberapa kondisi wajar seperti kontinuitas. Saya tahu nilai pasti dari (karena data berasal dari simulasi) di beberapa titik pengambilan sampel yang sama t_i = t_0 + iΔt dengan i∈ \ {1,…, n \} , …

9 time-series  hypothesis-testing  exact-test 

Saya memiliki kumpulan data jutaan segmen saluran terarah. Segmen garis berurutan - ini adalah variabel iklim (panas yang masuk akal), dengan nilai yang diamati dan disimulasikan pada interval setengah jam. Saya mencoba mencari pola bagaimana kinerja simulasi. Saya sedang melihat sebidang plot nilai obs vs simulasi, dan menghubungkannya dengan segmen …

9 descriptive-statistics  vector-fields  data-visualization 

Kami menggunakan STL (implementasi R) untuk memperkirakan data deret waktu. Setiap hari kami menjalankan ramalan harian. Kami ingin membandingkan nilai perkiraan dengan nilai nyata dan mengidentifikasi penyimpangan rata-rata. Misalnya, kami menjalankan ramalan untuk besok dan mendapatkan poin perkiraan, kami ingin membandingkan poin ramalan ini dengan data nyata yang akan kami …

9 time-series  forecasting  accuracy 

Saya mencoba memahami metode Johansen yang lebih baik sehingga saya mengembangkan contoh 3.1 yang diberikan oleh buku Likelihood-Based-Inference-Cointegrated-Autoregressive-Econometrics di mana kami memiliki tiga proses: X1t=∑i=1tϵ1i+ϵ2tX1t=∑i=1tϵ1i+ϵ2tX_{1t} = \sum_{i=1}^t \epsilon_{1i} + \epsilon_{2t} X2t=α∑i=1tϵ1i+ϵ3tX2t=α∑i=1tϵ1i+ϵ3t X_{2t} = \alpha \sum_{i=1}^t \epsilon_{1i} + \epsilon_{3t} X3t=ϵ4tX3t=ϵ4t X_{3t} = \epsilon_{4t} jadi vektor kointegrasi harus [a, -1, 0] dan …

9 self-study  cointegration  vecm 

Saya memiliki simulasi di mana seekor hewan ditempatkan di lingkungan yang bermusuhan dan diatur waktunya untuk melihat berapa lama ia dapat bertahan hidup menggunakan beberapa pendekatan untuk bertahan hidup. Ada tiga pendekatan yang bisa digunakan untuk bertahan hidup. Saya menjalankan 300 simulasi hewan menggunakan setiap pendekatan bertahan hidup. Semua simulasi …

9 hypothesis-testing  post-hoc  wilcoxon-mann-whitney  kruskal-wallis  dunn-test