Statistik dan Big Data

Saya baru-baru ini mengirimkan makalah, di mana saya menggunakan regresi kuantil, ke jurnal psikologi. Meskipun saya pikir saya sudah menaruh cukup pemikiran dalam eksposisi yang jelas dari regresi kuantil, pengulas meminta penjelasan yang lebih baik dari teknik regresi kuantil yang hanya akrab dengan regresi OLS standar. Jadi, apa cara terbaik …

14 quantile-regression  teaching 

Pertimbangkan biplot PCA berikut: library(mvtnorm) set.seed(1) x <- rmvnorm(2000, rep(0, 6), diag(c(5, rep(1,5)))) x <- scale(x, center=T, scale=F) pc <- princomp(x) biplot(pc) Ada sekelompok panah merah yang diplot, apa artinya? Saya tahu bahwa panah pertama berlabel "Var1" harus menunjukkan arah yang paling beragam dari kumpulan data (jika kita menganggapnya sebagai …

14 r  pca  linear-algebra  biplot 

Misalkan saya memiliki algoritma yang mengklasifikasikan hal-hal menjadi dua kategori. Saya dapat mengukur akurasi algoritma pada katakanlah 1000 hal pengujian - misalkan 80% dari hal-hal tersebut diklasifikasikan dengan benar. Mari kita anggap saya memodifikasi algoritma sehingga 81% dari hal-hal diklasifikasikan dengan benar. Bisakah statistik memberi tahu saya tentang apakah peningkatan …

14 statistical-significance  classification 

Saya akan melihat video dalam kursus pembelajaran mesin online gratis Andrew Ng di Stanford. Dia membahas Gradient Descent sebagai algoritma untuk menyelesaikan fungsi regresi linear dan penulisan dalam Oktaf untuk melakukannya. Agaknya saya bisa menulis ulang fungsi-fungsi di R, tetapi pertanyaan saya adalah bukankah fungsi lm () sudah memberi saya …

14 r  regression  machine-learning  gradient-descent 

Dalam probabilitas dan statistik, konsep "acak" dan "keacakan" sering digunakan. Seringkali konsep variabel acak digunakan untuk memodelkan peristiwa yang terjadi karena kebetulan. Pertanyaan saya tentang istilah "acak". Apa itu acak? Apakah keacakan benar-benar ada? Saya ingin tahu apa yang dipikirkan dan dipercaya orang-orang yang memiliki banyak pengalaman dalam bekerja dengan …

14 interpretation  terminology 

Saya sering menemukan diri saya mengajukan pertanyaan seperti, "Saya tahu variabel terletak pada ( 0 , 1 ) dan sebagian besar massa terletak pada ( 0 , .20 ) dan kemudian menurun terus menerus ke arah 1. Distribusi apa yang dapat saya gunakan untuk memodelkannya? "xxx( 0 , 1 )(0,1)(0,1)( …

14 distributions  references 

Teorema batas pusat menyatakan bahwa rata-rata variabel iid, ketika menuju tak terhingga, menjadi terdistribusi secara normal.NNN Ini menimbulkan dua pertanyaan: Bisakah kita menyimpulkan dari hukum jumlah besar ini? Jika hukum bilangan besar mengatakan bahwa rata-rata sampel dari nilai variabel acak sama dengan rata-rata sebenarnya ketika menuju tak terhingga, maka tampaknya …

14 probability  central-limit-theorem  law-of-large-numbers 

Dapatkah seseorang tolong beri tahu saya bagaimana membuat R memperkirakan break point dalam model linear piecewise (sebagai parameter tetap atau acak), ketika saya juga perlu memperkirakan efek acak lainnya? Saya telah memasukkan contoh mainan di bawah ini yang cocok dengan tongkat hoki / regresi tongkat patah dengan varians kemiringan acak …

14 r  mixed-model  lme4-nlme  change-point  piecewise-linear 

Apakah ada paket yang harus dilakukan regresi linier satu demi satu, yang dapat mendeteksi banyak simpul secara otomatis? Terima kasih. Ketika saya menggunakan paket strucchange. Saya tidak bisa mendeteksi titik perubahan. Saya tidak tahu bagaimana mendeteksi titik perubahan. Dari plot, saya bisa melihat ada beberapa poin yang saya inginkan dapat …

14 regression  change-point 

Saya seorang pemula yang akan mulai membaca tentang penambangan data. Saya memiliki pengetahuan dasar tentang AI dan statistik. Karena banyak yang mengatakan bahwa pembelajaran mesin juga memainkan peran penting dalam penambangan data, apakah perlu membaca tentang pembelajaran mesin sebelum saya melanjutkan penambangan data?

14 machine-learning  references  data-mining 

Adakah yang bisa menunjukkan saya implementasi k-means (akan lebih baik jika di matlab) yang dapat mengambil matriks jarak dalam input? Implementasi matlab standar membutuhkan matriks observasi dalam input dan tidak mungkin mengubah ukuran kesamaan secara kustom.

14 clustering  matlab  k-means 

Teks nonparametrik saya, Praktis Statistik Nonparametrik , sering memberikan rumus yang bersih untuk harapan, varian, statistik uji, dan sejenisnya, tetapi termasuk peringatan bahwa ini hanya berfungsi jika kita mengabaikan ikatan. Saat menghitung Statistik Mann-Whitney U, Anda disarankan untuk membuang pasangan terikat ketika membandingkan mana yang lebih besar. Saya mendapatkan bahwa …

14 nonparametric  ties 

Paket perangkat lunak untuk deteksi motif jaringan dapat mengembalikan skor Z yang sangat tinggi (nilai tertinggi yang pernah saya lihat adalah 600.000+, tetapi skor Z lebih dari 100 cukup umum). Saya berencana untuk menunjukkan bahwa skor-Z ini palsu. Skor Z besar sesuai dengan probabilitas terkait yang sangat rendah. Nilai-nilai probabilitas …

14 probability  normal-distribution  p-value  approximation  z-statistic 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 7 bulan lalu . Mudah untuk menemukan area penghitungan paket di bawah ROC, tetapi apakah ada paket yang menghitung area di bawah kurva presisi-recall?

14 r  precision-recall 

Saya akan terjun ke dalam pembelajaran R dan proyek pembelajaran saya akan memerlukan penerapan efek campuran atau acak untuk dataset untuk mengembangkan persamaan prediksi. Saya berbagi perhatian penulis dalam posting ini. Bagaimana memilih perpustakaan nlme atau lme4 R untuk model efek campuran? dalam bertanya-tanya apakah NLME atau LME4 adalah paket …

14 r  regression  random-effects-model