Statistik dan Big Data

Katakanlah saya memiliki beberapa data historis, misalnya, harga saham masa lalu, fluktuasi harga tiket pesawat, data keuangan masa lalu perusahaan ... Sekarang seseorang (atau formula) datang dan berkata "mari kita ambil / gunakan log distribusi" dan di sinilah saya pergi MENGAPA ? Pertanyaan: MENGAPA seseorang harus mengambil log distribusi? APA …

174 distributions  data-transformation  logarithm 

Saya bekerja dengan dataset kecil (21 pengamatan) dan memiliki plot QQ normal berikut di R: Melihat plot tidak mendukung normalitas, apa yang bisa saya simpulkan tentang distribusi yang mendasarinya? Sepertinya bagi saya bahwa distribusi yang lebih condong ke kanan akan lebih cocok, bukan? Juga, kesimpulan apa lagi yang bisa kita …

173 r  data-visualization  inference  qq-plot 

Saya perhatikan akhir-akhir ini bahwa banyak orang sedang mengembangkan tensor ekivalen dari banyak metode (faktorisasi tensor, kernel tensor, tensor untuk pemodelan topik, dll) Saya bertanya-tanya, mengapa dunia tiba-tiba terpesona dengan tensor? Apakah ada makalah baru / hasil standar yang sangat mengejutkan, yang menyebabkan ini? Apakah komputasi jauh lebih murah daripada …

171 machine-learning  references  matrix  linear-algebra  tensor 

Katakanlah saya ingin memperkirakan sejumlah besar parameter, dan saya ingin menghukum beberapa dari mereka karena saya percaya mereka harus memiliki sedikit efek dibandingkan dengan yang lain. Bagaimana cara saya memutuskan skema hukuman apa yang akan digunakan? Kapan regresi ridge lebih tepat? Kapan saya harus menggunakan laso?

167 regression  lasso  ridge-regression 

Yah, kami punya kutipan statistik favorit. Bagaimana dengan lelucon statistik?

166 references  humor 

Apakah saya mencari distribusi berperilaku lebih baik untuk variabel independen yang bersangkutan, atau untuk mengurangi efek pencilan, atau yang lainnya?

164 regression  distributions  data-transformation  logarithm  regression-strategies 

Jika Anda memiliki variabel yang dengan sempurna memisahkan nol dan yang ada di variabel target, R akan menghasilkan pesan peringatan "pemisahan sempurna atau kuasi sempurna": Warning message: glm.fit: fitted probabilities numerically 0 or 1 occurred Kami masih mendapatkan model tetapi estimasi koefisien meningkat. Bagaimana Anda menangani hal ini dalam praktik?

163 r  regression  logistic  separation 

Baru-baru ini saya membaca posting dari R-Blogger, yang terhubung dengan posting blog ini dari John Myles White tentang bahasa baru bernama Julia . Julia mengambil keuntungan dari kompiler just-in-time yang memberikannya waktu lari cepat jahat dan menempatkannya pada urutan yang sama besarnya kecepatan seperti C / C ++ ( urutan …

161 r  computational-statistics  software  computing  julia 

Ada banyak diskusi yang terjadi di forum ini tentang cara yang tepat untuk menentukan berbagai model hirarkis yang digunakan lmer. Saya pikir akan bagus jika memiliki semua informasi di satu tempat. Beberapa pertanyaan untuk memulai: Bagaimana cara menentukan beberapa level, di mana satu kelompok bersarang di dalam yang lain: apakah …

160 r  mixed-model  random-effects-model  fixed-effects-model  lme4-nlme 

Saya mengerti perbedaan formal di antara mereka, yang ingin saya ketahui adalah ketika lebih relevan untuk menggunakan satu vs yang lain. Apakah mereka selalu memberikan wawasan pelengkap tentang kinerja sistem klasifikasi / deteksi yang diberikan? Kapan masuk akal untuk menyediakan keduanya, misalnya, di kertas? bukan hanya satu? Adakah deskriptor alternatif …

159 machine-learning  roc  precision-recall 

Setelah membaca dataset: dataset <- read.csv("forR.csv") Bagaimana saya bisa mendapatkan R untuk memberi saya jumlah kasus di dalamnya? Juga, akankah nilai yang dikembalikan mencakup kasus-kasus yang dikecualikan dihilangkan na.omit(dataset)?

157 r 

Saya tahu bahwa generatif berarti "berdasarkan " dan diskriminatif berarti "berdasarkan ," tetapi saya bingung pada beberapa poin:P(x,y)P(x,y)P(x,y)P(y|x)P(y|x)P(y|x) Wikipedia (+ banyak hit lainnya di web) mengklasifikasikan hal-hal seperti SVM dan pohon keputusan sebagai diskriminatif. Tetapi ini bahkan tidak memiliki interpretasi probabilistik. Apa arti diskriminasi di sini? Apakah diskriminatif baru saja …

154 machine-learning  generative-models 

Apa perbedaan utama antara melakukan analisis komponen utama (PCA) pada matriks korelasi dan pada matriks kovarians? Apakah mereka memberikan hasil yang sama?

153 correlation  pca  covariance  factor-analysis 

Pada halaman Wikipedia tentang pengklasifikasi naif Bayes , ada baris ini: p(height|male)=1.5789p(height|male)=1.5789p(\mathrm{height}|\mathrm{male}) = 1.5789 (Distribusi probabilitas lebih dari 1 adalah OK. Ini adalah area di bawah kurva lonceng yang sama dengan 1.) Bagaimana nilai bisa OK? Saya pikir semua nilai probabilitas dinyatakan dalam kisaran . Lebih lanjut, mengingat bahwa dimungkinkan …

149 distributions  probability  normal-distribution  pdf 

Saya bertanya-tanya bagaimana cara memilih model prediktif setelah melakukan validasi silang K-fold. Ini mungkin ungkapan yang aneh, jadi izinkan saya menjelaskan lebih detail: setiap kali saya menjalankan validasi silang K-fold, saya menggunakan subset K dari data pelatihan, dan berakhir dengan K model yang berbeda. Saya ingin tahu cara memilih salah …

149 cross-validation  model-selection