Statistik dan Big Data

Saya memiliki proyek sampingan ini di mana saya merangkak situs web berita lokal di negara saya dan ingin membangun indeks kejahatan dan indeks ketidakstabilan politik. Saya sudah membahas bagian pengambilan informasi dari proyek. Rencana saya adalah melakukan: Ekstraksi topik tanpa pengawasan. Mendeteksi duplikat dekat. Klasifikasi dan tingkat insiden yang diawasi …

17 machine-learning  classification  text-mining 

apa pdf produk dari dua variabel acak independen X dan Y, jika X dan Y independen? X terdistribusi normal dan Y terdistribusi chi-square. Z = XY jika memiliki distribusi normal dan Y memiliki distribusi Chi-square dengan k derajat kebebasan Y ~ χ 2 k f Y ( y ) = …

17 normal-distribution  chi-squared  random-variable 

Saya melakukan penilaian berbasis komputer dari berbagai metode pemasangan jenis model tertentu yang digunakan dalam ilmu palaeo. Saya memiliki satu set pelatihan ish besar dan jadi saya secara acak (stratified random sampling) menyisihkan satu set tes. Saya memasang mmm berbagai metode pada sampel set pelatihan dan menggunakan model dihasilkan, saya …

17 r  mixed-model  multiple-comparisons  simulation  independence 

Saya mencari saran / sumber daya / rekomendasi tentang cara terbaik memformat grafik untuk presentasi. Dari pengalaman, saya tahu bahwa grafik yang diproduksi untuk publikasi cetak tidak "skala" dengan sangat baik ketika seseorang menampilkannya dengan beamer. Teks sering kali terlalu kecil, garis-garisnya tidak cukup tebal dll. Hampir selalu merupakan ide …

17 data-visualization 

Apakah ada paket yang menyediakan estimasi model efek-campuran binomial negatif yang meningkat nol dalam R? Maksud saya: Nol-inflasi tempat Anda dapat menentukan model binomial untuk inflasi nol, seperti pada fungsi zeroinfl dalam paket pscl: zeroinfl (y ~ X | Z, dist = "negbin") di mana Z adalah formula untuk model …

17 r  mixed-model  count-data  negative-binomial  zero-inflation 

Saya pernah menemukan jenis plot untuk data kategorikal (yaitu, tabel kontingensi) di internet, yang sangat saya sukai, tetapi saya tidak pernah menemukannya lagi, dan saya bahkan tidak tahu apa namanya. Itu pada dasarnya seperti plot saringan, di mana ketinggian baris dan lebar kolom diskalakan relatif terhadap probabilitas marginal. Dengan demikian, …

17 r  data-visualization  categorical-data 

Saya memiliki dua kelompok subjek, A, dan B, masing-masing dengan ukuran sekitar 400, dan sekitar 300 prediktor. Tujuan saya adalah untuk membangun model prediksi untuk variabel respons biner. Pelanggan saya ingin melihat hasil penerapan model yang dibangun dari A pada B. (Dalam bukunya, "Strategi Pemodelan Regresi", @FrankHarrell menyebutkan bahwa lebih …

17 pca  logistic  predictive-models  robust 

Diberikan variabel dependen kontinu y dan variabel independen termasuk variabel ordinal X 1 , bagaimana cara memasukkan model linier R? Apakah ada makalah tentang model jenis ini?

17 r  regression  lasso  ordinal-data  predictor 

Ini sebagian dimotivasi oleh pertanyaan berikut dan diskusi mengikutinya. Misalkan sampel iid diamati, Xi∼F(x,θ)Xi∼F(x,θ)X_i\sim F(x,\theta) . Tujuannya adalah untuk memperkirakan θθ\theta . Tetapi sampel asli tidak tersedia. Apa yang kita miliki bukan adalah beberapa statistik dari sampel T1,...,TkT1,...,TkT_1,...,T_k . Misalkan kkk sudah diperbaiki. Bagaimana cara kami memperkirakan θθ\theta ? Apa …

17 estimation  maximum-likelihood 

Saya menduga bahwa serangkaian urutan yang diamati adalah rantai Markov ... X=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AAD⋮BCA⋮E⎞⎠⎟⎟⎟⎟X=(ACDDBACBAACADA⋮⋮⋮⋮⋮⋮⋮BCADABE)X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & E\\ \end{array}\right) Namun bagaimana saya bisa mengecek bahwa mereka …

17 markov-process 

Saya menerapkan Ridge Regression dalam modul Python / C, dan saya telah menemukan masalah "kecil" ini. Idenya adalah bahwa saya ingin sampel derajat efektif kebebasan kurang lebih sama spasi (seperti plot pada halaman 65 pada "Elemen statistik Learning" ), yaitu, sampel: df(λ)=∑i=1pd2id2i+λ,df(λ)=∑i=1pdi2di2+λ,\mathrm{df}(\lambda)=\sum_{i=1}^{p}\frac{d_i^2}{d_i^2+\lambda}, manad2idi2d_i^2 adalah nilai eigen dari matriksXTXXTXX^TX, daridf(λmax)≈0df(λmax)≈0\mathrm{df}(\lambda_{\max})\approx 0hinggadf(λmin)=pdf(λmin)=p\mathrm{df}(\lambda_{\min})=p. …

17 ridge-regression 

Jika kita memiliki ukuran sampel yang kecil, apakah distribusi sebelumnya akan banyak mempengaruhi distribusi posterior?

17 bayesian  sample-size  prior 

Saya mencari cara untuk memvisualisasikan peringkat subyektif, terpisah dari tes non-parametrik saya. Saya telah meminta 12 peserta untuk memberi peringkat 8 item yang berbeda sesuai dengan kriteria subjektif yang berbeda (peringkat terpisah untuk masing-masing item). Untuk setiap peringkat individu, saya mencari cara yang baik untuk memvisualisasikan tren tingkat tinggi peringkat. …

17 data-visualization  nonparametric  excel  ranking 

Robby McKilliam mengatakan dalam komentar untuk posting ini : Harus ditunjukkan bahwa, dari sudut pandang sering, tidak ada alasan bahwa Anda tidak dapat memasukkan pengetahuan sebelumnya ke dalam model. Dalam hal ini, tampilan sering lebih sederhana, Anda hanya memiliki model dan beberapa data. Tidak perlu memisahkan informasi sebelumnya dari model …

17 bayesian  prior  regularization  frequentist 

Saya ingin melihat ekstensi dari diskusi ini tentang uji coba chi-sq vs Fisher yang sudah tua, memperluas cakupan sedikit. Ada banyak banyak tes untuk interaksi dalam tabel kontingensi, cukup untuk membuat kepala saya berputar. Saya berharap mendapatkan penjelasan tentang tes apa yang harus saya gunakan dan kapan, dan tentu saja …

17 r  chi-squared  contingency-tables