Statistik dan Big Data

Saya memiliki masalah dalam menggunakan cor()dan cor.test()fungsi. Saya hanya memiliki dua matriks (hanya nilai numerik, dan jumlah baris dan kolom yang sama) dan saya ingin memiliki nomor korelasi dan nilai p yang sesuai. Ketika saya menggunakan cor(matrix1, matrix2)saya mendapatkan koefisien korelasi untuk semua sel. Saya hanya ingin satu nomor sebagai …

9 r  correlation 

Saya memiliki survei besar di mana para siswa ditanyai, antara lain, tingkat pendidikan ibu mereka. Beberapa melewatkannya, dan beberapa menjawab dengan salah. Saya tahu ini, karena ada sub-sampel dari ibu responden awal yang kemudian diwawancarai, dan mengajukan pertanyaan yang sama. (Saya yakin ada beberapa, jumlah yang lebih kecil, kesalahan yang …

9 data-imputation 

Saya memiliki beberapa hasil pengujian keterlambatan respons server. Menurut analisis teori kami, distribusi tunda (Fungsi distribusi probabilitas tunda respons) harus memiliki perilaku berekor berat. Tapi bagaimana saya bisa membuktikan bahwa hasil tes tidak mengikuti distribusi heavy-tail?

9 regression  distributions  probability  normal-distribution  mathematical-statistics 

Saya menggunakan 2 jenis regresi logistik - satu adalah tipe sederhana, untuk klasifikasi biner, dan yang lainnya adalah regresi logistik ordinal. Untuk menghitung akurasi yang pertama, saya menggunakan validasi silang, di mana saya menghitung AUC untuk setiap lipatan dan kemudian menghitung rata-rata AUC. Bagaimana saya bisa melakukannya untuk regresi logistik …

9 logistic  cross-validation  roc  auc  ordered-logit 

Beberapa metode statistik - saya tidak ingat apakah itu analisis komponen utama atau semacamnya - kadang-kadang disebut "analisis data Prancis". Apa itu sebenarnya? Dan beberapa orang mengatakan bahwa nama ini ironis, apakah itu benar, dan mengapa?

9 multivariate-analysis  terminology  correspondence-analysis 

Menggunakan R, saya telah memasang model linier untuk variabel respons tunggal dari campuran prediktor kontinu dan diskrit. Ini dasar-uber, tapi saya kesulitan memahami bagaimana koefisien untuk faktor diskrit bekerja. Konsep: Jelas, koefisien variabel kontinu 'x' diterapkan dalam bentuk y = coefx(varx) + intercepttetapi bagaimana cara kerjanya untuk faktor z jika …

9 linear-model  regression-coefficients  contrasts 

Apa perbedaan antara Korelasi Silang dan Informasi Saling Menguntungkan. Masalah apa yang bisa dipecahkan dengan menggunakan langkah-langkah ini dan kapan waktu yang tepat untuk menggunakan salah satunya. Terima kasih atas komentarnya. Untuk mengklarifikasi, pertanyaan tersebut didorong oleh minat dalam analisis iomage daripada analisis deret waktu meskipun setiap pencerahan di bidang …

9 cross-correlation  mutual-information 

Saya menggunakan paket kernlab di R untuk membangun SVM untuk mengklasifikasikan beberapa data. SVM bekerja dengan baik karena memberikan 'prediksi' keakuratan yang layak, namun daftar variabel input saya lebih besar daripada yang saya inginkan dan saya tidak yakin akan pentingnya relatif dari variabel yang berbeda. Saya ingin menerapkan algoritma genetika …

9 r  machine-learning  svm  genetic-algorithms 

Katakanlah Anda memiliki data kelangsungan hidup seperti ini: obs <- data.frame( time = c(floor(runif(100) * 30), floor((runif(100)^2) * 30)), status = c(rbinom(100, 1, 0.2), rbinom(100, 1, 0.7)), group = gl(2,100) ) Untuk melakukan tes peringkat log standar, seseorang dapat menggunakan survdiff(Surv(time, status) ~ group, data = obs, rho = 0) …

9 r  survival  wilcoxon-signed-rank 

Apakah ada algoritma standar (sebagai lawan program) untuk melakukan regresi linier hirarkis? Apakah orang biasanya hanya melakukan MCMC atau ada lebih khusus, mungkin sebagian bentuk tertutup, algoritma?

9 regression  bayesian  multiple-regression  multilevel-analysis  irls 

Bagaimana nilai yang diharapkan dari variabel acak kontinu berhubungan dengan rata-rata aritmatika, median, dll. Dalam distribusi non-normal (mis. Skew-normal)? Saya tertarik pada distribusi yang umum / menarik (mis. Log-normal, distribusi bi / multimodal sederhana, hal lain yang aneh dan luar biasa). Saya mencari sebagian besar jawaban kualitatif, tetapi jawaban kuantitatif …

9 mean  expected-value  median 

Katakanlah saya memiliki banyak baris untuk masalah klasifikasi: X1, . . . XN, YX1,...XN,YX_1, ... X_N, Y Di mana adalah fitur / prediktor dan Y adalah kelas yang dimiliki kombinasi fitur baris.X1, . . . , XNX1,...,XNX_1, ..., X_NYYY Banyak kombinasi fitur dan kelasnya diulang dalam dataset, yang saya gunakan …

9 machine-learning  classification  data-mining  logistic  stratification 

Sebagai hobi sampingan, saya telah menjelajahi rangkaian waktu perkiraan (khususnya, menggunakan R). Untuk data saya, saya memiliki jumlah kunjungan per hari, untuk setiap hari kembali hampir 4 tahun. Dalam data ini ada beberapa pola yang berbeda: Senin-Jumat memiliki banyak kunjungan (tertinggi pada Senin / Selasa), tetapi secara drastis lebih sedikit …

9 r  time-series  seasonality  forecasting 

Apakah ada metode untuk mengoreksi bias dalam model hazard proporsional Cox yang disebabkan oleh sampel yang dipilih secara tidak acak (seperti koreksi Heckman)? Latar belakang : Katakanlah situasinya terlihat sebagai berikut: - Selama dua tahun pertama semua klien diterima. - Setelah dua tahun model Cox PH dibangun. Model memprediksi berapa …

9 bias  cox-model 

Saya memiliki serangkaian pengukuran waktu (seri ketinggian-satu dimensi). Pada periode pengamatan, proses pengukuran turun untuk beberapa titik waktu. Jadi data yang dihasilkan adalah vektor dengan NaNs di mana ada kesenjangan dalam data. Menggunakan MATLAB, ini menyebabkan saya masalah ketika menghitung autokorelasi ( autocorr) dan menerapkan jaringan saraf ( nnstart). Bagaimana …

9 time-series  dataset  matlab  autocorrelation  missing-data