Statistik dan Big Data

SPSS menggunakan uji Levene untuk mengevaluasi homogenitas varians dalam prosedur uji-t kelompok independen. Mengapa tes Levene lebih baik daripada rasio F sederhana dari rasio varian kedua kelompok?

21 hypothesis-testing  anova  variance  t-test  heteroscedasticity 

Saya baru saja diperkenalkan (samar-samar) ke brown / kovarians jarak / korelasi . Tampaknya sangat berguna dalam banyak situasi non-linear, ketika menguji ketergantungan. Tetapi sepertinya tidak sering digunakan, meskipun kovarians / korelasi sering digunakan untuk data non-linear / kacau. Itu membuat saya berpikir bahwa mungkin ada beberapa kelemahan untuk menjauhkan …

21 correlation  covariance  distance-covariance 

Mungkinkah dua variabel acak memiliki distribusi yang sama namun hampir pasti berbeda?

21 distributions  probability 

Keterbatasan dari algoritma neural net standar (seperti backprop) adalah Anda harus membuat keputusan desain tentang berapa banyak layer tersembunyi dan neuron per layer yang Anda inginkan. Biasanya, tingkat pembelajaran dan generalisasi sangat sensitif terhadap pilihan-pilihan ini. Ini telah menjadi alasan, mengapa algoritma neural net seperti korelasi kaskade telah menghasilkan minat. …

21 neural-networks 

Ada banyak situasi di mana Anda dapat melatih beberapa pengklasifikasi yang berbeda, atau menggunakan beberapa metode ekstraksi fitur yang berbeda. Dalam literatur penulis sering memberikan kesalahan klasifikasi rata-rata pada set split acak data (yaitu setelah validasi silang bersarang ganda), dan kadang-kadang memberikan varians pada kesalahan atas split juga. Namun ini …

21 classification  statistical-significance 

Saya membaca sedikit model Markov yang tersembunyi dan dapat mengkodekan versi yang cukup mendasar sendiri. Tetapi ada dua cara utama yang tampaknya saya pelajari. Salah satunya adalah membaca dan mengimplementasikannya ke dalam kode (yang dilakukan) dan yang kedua adalah memahami bagaimana itu berlaku dalam situasi yang berbeda (jadi saya bisa …

21 algorithms  markov-process 

Saya selalu mendapat kesan bahwa regresi hanyalah bentuk yang lebih umum dari ANOVA dan hasilnya akan sama. Namun baru-baru ini, saya telah menjalankan regresi dan ANOVA pada data yang sama dan hasilnya berbeda secara signifikan. Artinya, dalam model regresi kedua efek utama dan interaksi adalah signifikan, sedangkan di ANOVA satu …

21 r  regression  anova 

Saya akan membiarkan Wikipedia menjelaskan bagaimana NPS dihitung: Skor Net Promoter diperoleh dengan mengajukan satu pertanyaan kepada pelanggan pada skala peringkat 0 hingga 10, di mana 10 adalah "sangat mungkin" dan 0 adalah "sama sekali tidak mungkin": "Seberapa mungkin Anda merekomendasikan perusahaan kami kepada suatu teman atau kolega? " Berdasarkan …

21 hypothesis-testing  statistical-significance  standard-error  multinomial  nps 

Ketika bekerja dengan rantai Markov, Monte Carlo untuk menarik kesimpulan, kita membutuhkan rantai yang bercampur dengan cepat, yaitu bergerak melalui dukungan distribusi posterior dengan cepat. Tetapi saya tidak mengerti mengapa kita membutuhkan properti ini, karena dari apa yang saya pahami, gambar yang diterima menarik harus dan akan terkonsentrasi di bagian …

21 mcmc 

Saya perlu menghitung invers matriks dan telah menggunakan solvefungsi. Meskipun bekerja dengan baik pada matriks kecil, solvecenderung sangat lambat pada matriks besar. Saya bertanya-tanya apakah ada fungsi lain atau kombinasi fungsi (melalui SVD, QR, LU, atau fungsi dekomposisi lainnya) yang dapat memberi saya hasil lebih cepat.

21 r  matrix-decomposition  matrix-inverse 

Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Saya telah membuat model linear dalam R: mod = lm(train_y ~ train_x). Saya ingin memberikan daftar X dan mendapatkan Y yang diprediksi / diperkirakan / diprakirakan. …

21 r  forecasting  linear-model 

Apa artinya mengatakan bahwa "varians adalah penduga yang bias". Apa artinya mengubah estimasi bias menjadi estimasi tidak bias melalui formula sederhana. Apa tepatnya yang dilakukan konversi ini? Juga, Apa manfaat praktis dari konversi ini? Apakah Anda mengonversi skor ini saat menggunakan statistik tertentu?

21 theory  unbiased-estimator  descriptive-statistics 

Secara khusus, saya sedang mencari referensi (makalah, buku) yang akan menunjukkan dan menjelaskan kutukan dimensi. Pertanyaan ini muncul setelah saya mulai membaca buku putih ini oleh Lafferty dan Wasserman. Dalam paragraf ketiga mereka menyebutkan persamaan "terkenal" yang menyiratkan bahwa tingkat konvergensi terbaik adalah ; kalau ada yang bisa menjelaskan itu …

21 theory 

Saya ingin menggunakan model regresi logistik biner dalam konteks streaming data (seri waktu multidimensi) untuk memprediksi nilai variabel dependen dari data (yaitu baris) yang baru saja tiba, mengingat pengamatan sebelumnya. Sejauh yang saya tahu, regresi logistik secara tradisional digunakan untuk analisis postmortem, di mana setiap variabel dependen telah ditetapkan (baik …

21 r  time-series  logistic 

Saya bertanya-tanya, mungkinkah memiliki koefisien korelasi yang sangat kuat (katakanlah 0,9 atau lebih tinggi), dengan nilai p tinggi (katakanlah, 25 atau lebih tinggi)? Berikut ini contoh koefisien korelasi yang rendah, dengan nilai p tinggi: set.seed(10) y <- rnorm(100) x <- rnorm(100)+.1*y cor.test(x,y) cor = 0,03908927, p = 0,6994 Koefisien korelasi …

21 r  hypothesis-testing  correlation