Statistik dan Big Data

Ikhtisar pertanyaan Peringatan: Pertanyaan ini membutuhkan banyak pengaturan. Tolong bersamaku. Seorang kolega saya dan saya sedang mengerjakan desain eksperimen. Desainnya harus mengatasi sejumlah besar kendala, yang akan saya sebutkan di bawah ini. Saya telah mengembangkan desain yang memenuhi kendala dan memberi kami perkiraan yang tidak memihak tentang efek yang kami …

12 mixed-model  experiment-design  simulation  confounding 

Model statistik linier yang diterapkan oleh Kutner et al. menyatakan berikut tentang keberangkatan dari asumsi normalitas model ANOVA: Kurtosis distribusi kesalahan (lebih atau kurang memuncak dari distribusi normal) lebih penting daripada kemiringan distribusi dalam hal efek pada kesimpulan . Saya agak bingung dengan pernyataan ini dan tidak berhasil menemukan informasi …

12 anova  normality-assumption  skewness  kurtosis 

Saya ingin mengetahui perbedaan antara Regresi Logistik Acak (RLR) dan Regresi Logistik polos (LR), oleh karena itu, saya membaca makalah "Seleksi Stabilitas" oleh Meinshausen, dkk. ; namun saya tidak mengerti apa itu RLR dan apa perbedaan antara RLR dan LR. Bisakah seseorang menunjukkan apa yang harus saya baca untuk memahami …

12 machine-learning  logistic 

Ketika infering presisi matriks ΛΛ\boldsymbol{\Lambda} dari distribusi normal digunakan untuk menghasilkan NNN vektor D-dimensi x1,..,xNx1,..,xN\mathbf{x_1},..,\mathbf{x_N} xi∼N(μ,Λ−1)xi∼N(μ,Λ−1)\begin{align} \mathbf{x_i} &\sim \mathcal{N}(\boldsymbol{\mu, \Lambda^{-1}}) \\ \end{align} kita biasanya menempatkan Wishart sebelum over ΛΛ\boldsymbol{\Lambda} karena distribusi Wishart adalah konjugat sebelumnya untuk pendahuluan distribusi normal multivarian dengan rerata mean dan tidak diketahui yang diketahui: Λ∼W(υ,Λ0)Λ∼W(υ,Λ0)\begin{align} \mathbf{\Lambda} …

12 bayesian  posterior  hierarchical-bayesian  conjugate-prior  wishart 

Bagaimana cara membaca hasil dari tes Dunn ? Secara khusus, apa yang nilai-nilai dalam tabel di bawah ini katakan padaku? Saya memiliki data non-parametrik dalam 4 kelompok, dan pertama-tama saya melakukan tes Kruskal-Wallis untuk memastikan bahwa distribusi grup berbeda satu sama lain dan kumpulan data agregat. Saya kemudian menggunakan tes …

12 r  distributions  kruskal-wallis  dunn-test 

Dari apa yang saya baca: Pengawasan jauh : A Distant supervision algorithm usually has the following steps: 1] It may have some labeled training data 2] It "has" access to a pool of unlabeled data 3] It has an operator that allows it to sample from this unlabeled data and …

12 machine-learning  terminology  unsupervised-learning  semi-supervised 

Biarkan menjadi distribusi gabungan dari dua variabel kategori , dengan . Katakanlah sampel diambil dari distribusi ini, tetapi kami hanya diberi jumlah marginal, yaitu untuk : X , Y x , y ∈ { 1 , ... , K } n j = 1 , ... , Kpx,ypx,yp_{x,y}X,YX,YX,Yx,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\}nnnj=1,…,Kj=1,…,Kj=1,\ldots,K Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j),Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j), S_j …

12 categorical-data  maximum-likelihood  joint-distribution  marginal  maximum-entropy 

Katakanlah saya memiliki data empat dimensi berikut, di mana tiga pertama dapat dianggap sebagai koordinat, dan yang terakhir dapat dianggap sebagai nilai. c1, c2, c3, value 1, 2, 6, 0.456 34, 34, 12 0.27 12, 1, 66 0.95 Bagaimana cara memvisualisasikan efek tiga koordinat pertama dengan lebih baik pada nilai …

12 r  data-visualization 

Saya telah mengembangkan model regresi logistik berdasarkan data retrospektif dari database trauma nasional cedera kepala di Inggris. Hasil utama adalah kematian 30 hari (dilambangkan sebagai ukuran "Bertahan"). Langkah-langkah lain dengan bukti yang diterbitkan berpengaruh signifikan pada hasil dalam penelitian sebelumnya termasuk: Year - Year of procedure = 1994-2013 Age - …

12 r  logistic  generalized-linear-model  goodness-of-fit  regression-strategies 

Saya ingin mengekstrak lereng untuk masing-masing individu dalam model efek campuran, sebagaimana diuraikan dalam paragraf berikut Model efek campuran digunakan untuk mengkarakterisasi jalur individu perubahan dalam langkah-langkah ringkasan kognitif, termasuk istilah untuk usia, jenis kelamin, dan tahun pendidikan sebagai efek tetap (Laird dan Ware, 1982; Wilson et al., 2000, 2002c) …

12 r  mixed-model 

Saya mulai mengenal statistik Bayesian dengan membaca buku Doing Bayesian Data Analysis , oleh John K. Kruschke yang juga dikenal sebagai "buku anak anjing". Dalam bab 9, model hierarkis diperkenalkan dengan contoh sederhana ini: dan pengamatan Bernoulli adalah 3 koin, masing-masing 10 membalik. Satu menunjukkan 9 kepala, yang lain 5 …

12 bayesian  interpretation  python  mcmc  autocorrelation 

Rasio dua distribusi normal independen memberikan distribusi Cauchy. Distribusi t adalah distribusi normal dibagi dengan distribusi chi-kuadrat independen. Rasio dua distribusi chi-kuadrat independen memberikan distribusi-F. Saya mencari rasio distribusi kontinu independen yang memberikan variabel acak berdistribusi normal dengan mean dan varians ?σ 2μμ\muσ2σ2\sigma^2 Mungkin ada serangkaian jawaban yang tak terbatas. …

12 probability  distributions  normal-distribution  mathematical-statistics 

Untuk bagian dari pertanyaan pekerjaan rumah, saya diminta untuk menghitung rata-rata yang dipangkas untuk dataset dengan menghapus pengamatan terkecil dan terbesar, dan untuk menafsirkan hasilnya. Mean dipangkas lebih rendah dari rata-rata tidak terpangkas. Penafsiran saya adalah ini karena distribusi yang mendasarinya condong positif, sehingga ekor kiri lebih padat daripada ekor …

12 data-visualization  interpretation  mean  trimmed-mean 

Saya bekerja dengan model GBM menggunakan paket caret dan mencari untuk menemukan metode untuk menyelesaikan interval prediksi untuk data prediksi saya. Saya telah mencari secara luas tetapi hanya menghasilkan beberapa ide untuk menemukan interval prediksi untuk Random Forest. Bantuan / kode R akan sangat dihargai!

12 caret  prediction-interval  gbm 

Saya ingin menerapkan fungsi basis Gaussian ke dalam implementasi regresi linier. Sayangnya saya mengalami kesulitan memahami beberapa parameter dalam fungsi dasar. Khususnya dan .σμμ\muσσ\sigma Dataset saya adalah matriks 10.000 x 31. 10.000 sampel dan 31 fitur. Saya telah membaca bahwa "Setiap fungsi dasar mengubah input vektor x menjadi nilai skalar". …

12 regression  machine-learning  basis-function