Statistik dan Big Data

Saya bertanya-tanya apakah ada cara sederhana untuk mendeteksi outlier. Untuk salah satu proyek saya, yang pada dasarnya merupakan korelasi antara berapa kali responden berpartisipasi dalam aktivitas fisik dalam seminggu dan berapa kali mereka makan di luar rumah (makanan cepat saji) dalam seminggu, saya menggambar sebar dan benar-benar menghapus titik data …

14 correlation  outliers 

Saya harus berurusan dengan masalah klasifikasi teks. Perayap web merayapi laman web dari domain tertentu dan untuk setiap laman web saya ingin mengetahui apakah itu milik hanya satu kelas tertentu atau tidak. Yaitu, jika saya menyebut kelas ini Positif , setiap laman web yang dirayapi termasuk kelas Positif atau kelas …

14 classification  text-mining  naive-bayes  binary-data 

Saya telah membaca di tempat lain bahwa pilihan seseorang untuk fungsi aktivasi lapisan tersembunyi dalam NN harus didasarkan pada kebutuhan seseorang , yaitu jika Anda membutuhkan nilai dalam rentang -1 hingga 1 gunakan tanh dan gunakan sigmoid untuk rentang 0 hingga 1. Pertanyaan saya adalah bagaimana seseorang tahu apa yang …

14 machine-learning  classification  neural-networks 

Saya punya banyak data dari dua sampel (kontrol dan perlakuan), masing-masing berisi beberapa ribu nilai yang harus menjalani pengujian signifikansi di R. Secara teoritis, nilai-nilai harus kontinu, tetapi karena pembulatan dilakukan oleh perangkat lunak pengukuran mereka tidak t dan mereka punya ikatan. Distribusi tidak diketahui dan bentuk kontrol dan distribusi …

14 r  nonparametric  kolmogorov-smirnov  ties 

Ada pemilihan umum di mana saya tinggal kemarin dan jaringan televisi mulai memanggil pemenang jauh sebelum semua surat suara dibuka. Mereka ternyata benar di semua akun, dan saya tidak benar-benar terkejut mereka melakukannya. Saya tahu bahwa statistik sangat layak. Tetap saja saya penasaran. Asumsi: kami telah membuka dari surat suara;sayasayaijjj …

14 elections 

Saya menjalankan sampler Metropolis (C ++) dan ingin menggunakan sampel sebelumnya untuk memperkirakan tingkat konvergensi. Satu yang mudah untuk mengimplementasikan diagnostik yang saya temukan adalah diagnostik Geweke , yang menghitung perbedaan antara dua rata-rata sampel dibagi dengan kesalahan standar yang diestimasi. Kesalahan standar diperkirakan dari kepadatan spektral di nol. Zn=θ¯A−θ¯B1nASAθ^(0)+1nBSBθ^(0)−−−−−−−−−−−−−−−−√,Zn=θ¯A−θ¯B1nASθA^(0)+1nBSθB^(0),Z_n=\frac{\bar{\theta}_A-\bar{\theta}_B}{\sqrt{\frac{1}{n_A}\hat{S_{\theta}^A}(0)+\frac{1}{n_B}\hat{S_{\theta}^B}(0)}}, …

14 mcmc  diagnostic 

Saya memiliki beberapa pertanyaan tentang AIC dan berharap Anda dapat membantu saya. Saya menerapkan pemilihan model (mundur, atau maju) berdasarkan AIC pada data saya. Dan beberapa variabel yang dipilih berakhir dengan nilai p> 0,05. Saya tahu bahwa orang-orang mengatakan kita harus memilih model berdasarkan AIC dan bukan nilai-p, jadi sepertinya …

14 model-selection  p-value  aic 

Saya mencoba memplot QQ-plot dengan dua set data sekitar 1,2 juta poin, dalam R (menggunakan qqplot, dan memasukkan data ke ggplot2). Perhitungannya cukup mudah, tetapi grafik yang dihasilkan sangat lambat untuk dimuat, karena ada begitu banyak poin. Saya sudah mencoba pendekatan linier untuk mengurangi jumlah poin menjadi 10.000 (ini adalah …

14 r  data-visualization  qq-plot 

Saya perlu memperkirakan fungsi kerapatan berdasarkan serangkaian pengamatan menggunakan penduga kerapatan kernel. Berdasarkan set pengamatan yang sama, saya juga perlu memperkirakan turunan pertama dan kedua dari kepadatan menggunakan turunan dari penduga kepadatan kernel. Bandwidth pasti akan memiliki efek yang besar pada hasil akhir. Pertama, saya tahu ada beberapa fungsi R …

14 r  nonparametric  pdf  kernel-smoothing 

Dapatkah seseorang membantu saya untuk memahami model efek tetap / acak? Anda dapat menjelaskan dengan cara Anda sendiri jika Anda telah mencerna konsep-konsep ini atau mengarahkan saya ke sumber daya (buku, catatan, situs web) dengan alamat spesifik (nomor halaman, bab dll) sehingga saya dapat mempelajarinya tanpa kebingungan. Apakah ini benar: …

14 mixed-model  modeling  random-effects-model  fixed-effects-model 

Saya punya pertanyaan tentang penggunaan model campuran / lmer. Model dasarnya adalah ini: lmer(DV ~ group * condition + (1|pptid), data= df) Kelompok dan kondisi adalah kedua faktor: kelompok memiliki dua tingkat (groupA, groupB) dan kondisi memiliki tiga tingkat (kondisi1, kondisi2, kondisi3). Ini data dari subyek manusia, jadi pptid adalah …

14 interaction  interpretation  lme4-nlme  model 

Saya punya satu set data, dan x . Saya ingin menguji hipotesis berikut: Ada puncak dalam y ; yaitu ketika x meningkat, y pertama-tama meningkat dan kemudian menurun.yyyxxxyyyxxxyyy Ide pertama saya adalah pas dan x 2 di SLR. Yaitu, jika saya menemukan bahwa koefisien sebelum x adalah positif signifikan dan …

14 regression  statistical-significance  curves 

Membaca mgcv::gamhalaman bantuan: Interval kepercayaan / kredibel sudah tersedia untuk setiap kuantitas yang diprediksi menggunakan model pas Namun saya tidak dapat menemukan cara untuk benar-benar mendapatkannya. Saya pikir predict.gamakan memiliki type=confidencedan levelparameter tetapi tidak. Bisakah Anda membantu saya tentang cara membuatnya?

14 r  confidence-interval  gam 

Saya ingin tahu paket statistik perangkat lunak mana yang Anda rekomendasikan untuk melakukan Bayesian Inference. Sebagai contoh, saya tahu bahwa Anda dapat menjalankan openBUGS atau winBUGS sebagai standalones atau Anda juga dapat memanggil mereka dari R. Tetapi R juga memiliki beberapa paket sendiri (MCMCPack, BACCO) yang dapat melakukan analisis bayesian. …

14 r  probability  bayesian  inference  bugs 

Saya menggunakan paket nnet dalam R untuk mencoba membangun JST untuk memprediksi harga real estat untuk kondominium (proyek pribadi). Saya baru dalam hal ini dan tidak memiliki latar belakang matematika, jadi tolong beri tahu saya. Saya memiliki variabel input yang bersifat biner dan kontinu. Misalnya beberapa variabel biner yang awalnya …

14 r  machine-learning  data-transformation  neural-networks  nnet