Statistik dan Big Data

Saya telah melihat beberapa pembicaraan oleh non-ahli statistik di mana mereka tampaknya menemukan kembali langkah-langkah korelasi menggunakan informasi timbal balik daripada regresi (atau tes statistik setara / terkait erat). Saya ambil ada alasan bagus ahli statistik tidak mengambil pendekatan ini. Pemahaman awam saya adalah bahwa penduga entropi / informasi timbal …

10 correlation  mutual-information 

Instrumen yang digunakan untuk mengukur kadar glukosa dalam darah seseorang dimonitor pada sampel acak 10 orang. Tingkat juga diukur menggunakan prosedur laboratorium yang sangat akurat. Ukuran instrumen dilambangkan dengan x. Ukuran prosedur laboratorium dilambangkan dengan y. Saya pribadi berpikir y pada x lebih tepat karena tujuannya adalah menggunakan pembacaan instrumen …

10 regression  self-study  measurement 

Di Rkita dapat "bobot sebelumnya" glmregresi melalui parameter bobot . Sebagai contoh: glm.D93 <- glm(counts ~ outcome + treatment, family = poisson(), weights=w) Bagaimana ini bisa dicapai dalam model JAGSatau BUGS? Saya menemukan beberapa makalah yang membahas hal ini, tetapi tidak ada yang memberikan contoh. Saya tertarik terutama ke dalam …

10 bayesian  generalized-linear-model  jags  bugs  weighted-regression 

Saya selalu diajarkan bahwa efek acak hanya memengaruhi varians (kesalahan), dan bahwa efek tetap hanya memengaruhi rata-rata. Tapi saya telah menemukan contoh di mana pengaruh acak juga mempengaruhi rata-rata - estimasi koefisien: require(nlme) set.seed(128) n <- 100 k <- 5 cat <- as.factor(rep(1:k, each = n)) cat_i <- 1:k # …

10 r  mixed-model  random-effects-model 

Saya datang ke situasi di mana bobot dari Jaringan Saraf saya tidak konvergen bahkan setelah 500 iterasi. Jaringan saraf saya berisi 1 layer input, 1 layer tersembunyi dan 1 layer output. Mereka adalah sekitar 230 node di lapisan input, 9 node di lapisan tersembunyi dan 1 simpul output di lapisan …

10 machine-learning  neural-networks 

Haruskah pemilihan fitur dilakukan hanya pada data pelatihan (atau semua data)? Saya telah melalui beberapa diskusi dan makalah seperti Guyon (2003) dan Singhi dan Liu (2006) , tetapi masih tidak yakin tentang jawaban yang benar. Pengaturan percobaan saya adalah sebagai berikut: Dataset: 50-kontrol sehat & 50-pasien penyakit (cca 200 fitur …

10 dataset  cross-validation  experiment-design  feature-selection 

Seperti judulnya, apakah pengurangan dimensi selalu kehilangan beberapa informasi? Pertimbangkan misalnya PCA. Jika data yang saya miliki sangat jarang, saya akan menganggap "pengkodean yang lebih baik" dapat ditemukan (apakah ini terkait dengan peringkat data?), Dan tidak ada yang akan hilang.

10 pca  information-theory  information 

Ada beberapa utas tentang R-sig-ME tentang mendapatkan interval kepercayaan untuk prediksi menggunakan lme4dan nlmedalam R. Misalnya di sini dan di sini pada tahun 2010, termasuk beberapa komentar oleh Dougals Bates, salah satu penulis kedua paket. Saya ragu untuk mengutipnya kata demi kata, karena takut mereka dikeluarkan dari konteks, tetapi bagaimanapun, …

10 mixed-model 

Katakanlah saya memiliki dua metode pembelajaran untuk masalah klasifikasi , dan , dan bahwa saya memperkirakan kinerja generalisasi mereka dengan sesuatu seperti validasi silang berulang atau bootstrap. Dari proses ini saya mendapatkan distribusi skor dan untuk setiap metode di seluruh pengulangan ini (misalnya distribusi nilai AUC ROC untuk setiap model).AAABBB …

10 cross-validation  model-selection 

Saya menganalisis dataset dengan banyak parameter (katakanlah, 50-200) dan saya tertarik melihat hubungan antara variabel (misalnya dalam hal plot sebar 2-variabel atau histogram 2d). Namun, untuk jumlah parameter ini tampaknya tidak layak untuk menggambar array 200x200 plot (kecuali saya mencetaknya dan menggantung di dinding). Di sisi lain, hanya melakukan matriks …

10 correlation  data-visualization  multivariate-analysis  scatterplot 

Saya sedang bekerja dengan beberapa analisis spasial eksplorasi di R menggunakan paket spdep. Saya menemukan pilihan untuk menyesuaikan nilai- p dari indikator lokal dari asosiasi spasial (LISA) yang dihitung menggunakan localmoranfungsi. Menurut dokumen itu ditujukan untuk: ... penyesuaian nilai probabilitas untuk beberapa pengujian. Lebih lanjut dalam dokumen p.adjustSPsaya membaca bahwa …

10 r  multiple-comparisons  bonferroni 

Di blog-nya, Larry Wasserman memiliki posting tentang apa yang dia rencanakan untuk dibahas pada musim gugur yang lalu. Dia mencatat bahwa dia meninggalkan beberapa topik klasik demi masalah yang lebih modern. Salah satu topik yang ia sebutkan adalah ketidaksetaraan Hoeffding. Apa yang menjadikan hasil ini sangat penting bagi siswa dan …

10 probability-inequalities 

Mungkin pertanyaan ini memiliki jawaban dalam pengobatan, tetapi apakah ada alasan statistik mengapa indeks BMI dihitung sebagai ? Mengapa tidak misalnya hanya ? Gagasan pertama saya adalah bahwa itu ada hubungannya dengan regresi kuadratik. berat / tinggiberat / tinggi2weight/height2\text{weight}/\text{height}^2berat / tinggiweight/tinggi\text{weight}/\text{height} Contoh data nyata (200 individu dengan berat, tinggi, usia, …

10 biostatistics 

Apa kelebihan dan kekurangan menjalankan model terpisah vs pemodelan bertingkat? Lebih khusus lagi, anggaplah sebuah penelitian memeriksa pasien yang bersarang dalam praktik dokter yang bersarang di negara-negara. Apa keuntungan / kerugian dari menjalankan model terpisah untuk masing-masing negara vs model bertingkat tiga?

10 multilevel-analysis  stratification 

Pertimbangkan pengambilan sampel data dari populasi berukuran dengan cara berikut: UntukNNNk=1,...,Nk=1,...,Nk=1, ..., N Amati status "penyakit" individukkk Jika mereka memiliki penyakit, masukkan mereka dalam sampel dengan probabilitaspk1pk1p_{k1} Jika mereka tidak memiliki penyakit, sertakan mereka dengan probabilitas .pk0pk0p_{k0} Misalkan Anda mengamati variabel hasil biner dan vektor prediktor , untuk subjek disampel …

10 logistic  case-control-study