Statistik dan Big Data

Apakah ada prinsip umum tentang apakah seseorang harus menghitung korelasi pearson untuk dua variabel acak X dan Y sebelum mengambil transformasi log atau setelahnya? Apakah ada prosedur untuk menguji mana yang lebih tepat? Mereka menghasilkan nilai yang sama tetapi berbeda, karena transformasi log adalah non-linear. Apakah ini tergantung pada apakah …

9 regression  correlation  logarithm  pearson-r 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 3 tahun yang lalu . Saya sangat tertarik mempelajari cara membuat laporan berulang dari kode R saya dan visualisasi ggplot2. Saya mengerti bahwa LaTeX sepertinya …

9 r 

Terkait dengan Menganalisa rasio variabel dan Cara parameterisasi rasio dua variabel terdistribusi normal, atau kebalikan dari satu? . Misalkan saya memiliki sejumlah sampel dari empat distribusi acak kontinu yang berbeda, yang semuanya dapat kita anggap normal. Dalam kasus saya, ini terkait dengan beberapa metrik kinerja dua sistem file yang berbeda …

9 distributions  hypothesis-testing  statistical-significance 

Saya mencari dataset datapoint 2 dimensi (setiap datapoint adalah vektor dari dua nilai (x, y)) mengikuti distribusi dan bentuk yang berbeda. Kode untuk menghasilkan data seperti itu juga akan sangat membantu. Saya ingin menggunakannya untuk merencanakan / memvisualisasikan kinerja beberapa algoritma pengelompokan. Berikut ini beberapa contohnya: bintang seperti data cloud …

9 distributions  data-visualization  clustering  dataset 

Saya tertarik dengan konsep Maximum Entropy Markov Model (MEMM), dan saya berpikir untuk menggunakannya untuk tagger Part of Speech (POS). Saat ini, saya menggunakan classifier Maximum Entropy (ME) konvensional untuk menandai setiap kata. Ini menggunakan sejumlah fitur, termasuk dua tag sebelumnya. MEMM menggunakan algoritma Viterbi untuk menemukan jalur optimal melalui …

9 machine-learning  mcmc  maximum-entropy  memm 

Saya mencari contoh kode sederhana tentang cara menjalankan Partikel Filter di R. Paket pomp tampaknya mendukung bit matematika ruang keadaan, tetapi contoh-contoh agak sulit untuk mengikuti secara pemrograman untuk pengembang OO sederhana seperti saya, khususnya cara memuat data yang diamati ke dalam objek pomp. Contoh di sini: http://cran.r-project.org/web/packages/pomp/vignettes/intro_to_pomp.pdf Katakanlah saya …

9 r 

Saya punya beberapa dataset dengan urutan ribuan poin. Nilai dalam setiap dataset adalah X, Y, Z yang mengacu pada koordinat dalam ruang. Nilai Z mewakili perbedaan ketinggian pada pasangan koordinat (x, y). Biasanya di bidang SIG saya, kesalahan ketinggian dirujuk dalam RMSE dengan mengurangi titik ground-truth ke titik pengukuran (titik …

9 normal-distribution  large-data 

Saya memiliki set data besar yang terdiri dari nilai beberapa ratus variabel keuangan yang dapat digunakan dalam regresi berganda untuk memprediksi perilaku dana indeks dari waktu ke waktu. Saya ingin mengurangi jumlah variabel menjadi sepuluh atau lebih sambil tetap mempertahankan kekuatan prediksi sebanyak mungkin. Ditambahkan: Rangkaian variabel yang dikurangi harus …

9 regression  multivariate-analysis  model-selection  multiple-regression 

Apa perbedaan antara model GLM (regresi logistik) dengan variabel respon biner yang mencakup subjek dan waktu sebagai kovariat dan model GEE analog yang memperhitungkan korelasi antara pengukuran pada berbagai titik waktu? GLM saya terlihat seperti: Y(binary) ~ A + B1X1(subject id) + B2X2(time) + B3X3(interesting continuous covariate) dengan fungsi tautan …

9 generalized-linear-model  gee 

BIC menghukum berdasarkan jumlah parameter. Bagaimana jika beberapa parameter adalah semacam variabel indikator biner? Apakah ini dianggap sebagai parameter penuh? Tapi saya bisa menggabungkan parameter binary menjadi satu variabel diskrit yang mengambil nilai dalam . Apakah ini dihitung sebagai parameter atau satu parameter?mmm{ 0 , 1 , . . . …

9 bayesian  model-selection  bic  parameterization 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 9 bulan lalu . Masalah yang disebutkan dalam pertanyaan ini diperbaiki dalam versi 1.7.3 dari paket R glmnet. Saya mengalami beberapa masalah menjalankan glmnet dengan …

9 r  multinomial  glmnet 

Saya perlu bantuan mencari cara yang benar untuk menghitung pemenang di sains adil kami. Saya tidak ingin ketidaktahuan saya tentang statistik & matematika menghalangi peluang seorang anak untuk menang. (banyak beasiswa & manfaat kemajuan dipertaruhkan). Terima kasih sebelumnya atas bantuan Anda. Pertama, sedikit latar belakang bagaimana kita mengatur sesuatu: Pameran …

9 data-transformation  standard-deviation  rating 

Saya telah membuat versi termplot saya sendiri yang sedikit ditingkatkan yang saya gunakan dalam contoh ini, Anda dapat menemukannya di sini . Saya sebelumnya telah diposting di SO tetapi semakin saya memikirkannya, saya percaya bahwa ini mungkin lebih terkait dengan interpretasi model bahaya Cox Proportional daripada dengan pengkodean yang sebenarnya. …

9 r  survival  cox-model 

Pertanyaan: Apakah ada pedoman umum sehubungan dengan karakteristik data input, yang dapat digunakan untuk memutuskan antara menerapkan PCA versus LSA / LSI? Ringkasan singkat PCA vs LSA / LSI: Principal Component Analysis (PCA) dan Latent Semantic Analysis (LSA) atau Latent Semantic Indexing (LSI) serupa dalam arti bahwa semuanya bergantung secara …

9 machine-learning  pca  lsa 

Jika saya memberi Anda tiga angka yang secara independen dan identik diambil dari distribusi normal standar, lalu sudahkah saya memberi Anda tiga sampel atau satu sampel? Jika jawabannya adalah satu sampel, apakah ada nama pendek untuk apa yang saya berikan kepada Anda bertiga?

9 sample  terminology  definition