Statistik dan Big Data

Saya tertarik pada apakah atau tidak "korelasi" dari tiga variabel adalah sesuatu, dan jika apa, apakah ini? Koefisien korelasi momen produk Pearson E{(X−μX)(Y−μY)}Var(X)Var(Y)−−−−−−−−−−−−√E{(X−μX)(Y−μY)}Var(X)Var(Y)\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)\}}{\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}} Sekarang pertanyaan untuk 3 variabel: Apakah E{(X−μX)(Y−μY)(Z−μZ)}Var(X)Var(Y)Var(Z)−−−−−−−−−−−−−−−−−−√E{(X−μX)(Y−μY)(Z−μZ)}Var(X)Var(Y)Var(Z)\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)(Z-\mu_Z)\}} {\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)\mathrm{Var}(Z)}} apa pun? Dalam R sepertinya sesuatu yang bisa ditafsirkan: > a <- rnorm(100); b <- rnorm(100); c <- rnorm(100) …

17 correlation  pearson-r 

Dalam masalah klasifikasi teks kecil yang saya lihat, Naif Bayes telah menunjukkan kinerja yang mirip atau lebih besar dari SVM dan saya sangat bingung. Saya bertanya-tanya faktor apa yang menentukan kemenangan dari satu algoritma di atas yang lain. Apakah ada situasi di mana tidak ada gunanya menggunakan Naif Bayes di …

17 machine-learning  classification  svm  naive-bayes 

Inti dari pertanyaan saya adalah ini: Misalkan Y∈RnY∈RnY \in \mathbb{R}^n menjadi variabel acak normal multivariat dengan mean μμ\mu dan matriks kovarian ΣΣ\Sigma . Misalkan Z:=log(Y)Z:=log⁡(Y)Z := \log(Y) , yaitu Zi=log(Yi),i∈{1,…,n}Zi=log⁡(Yi),i∈{1,…,n}Z_i = \log(Y_i), i \in \{1,\ldots,n\} . Bagaimana cara membandingkan AIC model yang sesuai dengan realisasi yang diamati dari YYY versus …

17 data-transformation  aic  likelihood 

Bagaimana saya bisa mengerti apa yang dilakukan oleh RBF Kernel di SVM? Maksud saya, saya mengerti matematika, tetapi apakah ada cara untuk merasakan kapan kernel ini berguna? Apakah hasil dari kNN terkait dengan SVM / RBF karena RBF berisi jarak vektor? Apakah ada cara untuk merasakan kernel polinomial? Saya tahu …

17 svm  kernel-trick 

Saya bertanya-tanya apa perbedaan antara distribusi normal standar multivariat dan Gaussian copula karena ketika saya melihat fungsi kerapatan, keduanya tampak sama bagi saya. Masalah saya adalah mengapa Gaussian copula diperkenalkan atau apa manfaat yang dihasilkan Gaussian copula atau apa keunggulannya ketika Gaussian copula tidak lain adalah fungsi normal standar multivariat …

17 normal-distribution  copula 

Saya tahu bahwa β0^=y¯−β1^x¯β0^=y¯−β1^x¯\hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x} dan sejauh ini yang saya dapatkan ketika saya menghitung varians: Var(β0^)=Var(y¯−β1^x¯)=Var((−x¯)β1^+y¯)=Var((−x¯)β1^)+Var(y¯)=(−x¯)2Var(β1^)+0=(x¯)2Var(β1^)+0=σ2(x¯)2∑i=1n(xi−x¯)2Var(β0^)=Var(y¯−β1^x¯)=Var((−x¯)β1^+y¯)=Var((−x¯)β1^)+Var(y¯)=(−x¯)2Var(β1^)+0=(x¯)2Var(β1^)+0=σ2(x¯)2∑i=1n(xi−x¯)2\begin{align*} Var(\hat{\beta_0}) &= Var(\bar{y} - \hat{\beta_1}\bar{x}) \\ &= Var((-\bar{x})\hat{\beta_1}+\bar{y}) \\ &= Var((-\bar{x})\hat{\beta_1})+Var(\bar{y}) \\ &= (-\bar{x})^2 Var(\hat{\beta_1}) + 0 \\ &= (\bar{x})^2 Var(\hat{\beta_1}) + 0 \\ &= \frac{\sigma^2 (\bar{x})^2}{\displaystyle\sum\limits_{i=1}^n (x_i - \bar{x})^2} \end{align*} tapi itu sejauh yang …

17 regression  self-study 

Dengan flat sebelumnya, estimator ML (frequentist - maximum likelihood) dan MAP (Bayesian - maximum a posteriori) bersamaan. Namun, secara lebih umum, saya berbicara tentang penduga titik yang diturunkan sebagai pengoptimal beberapa fungsi kerugian. Yaitu (Bayesian) x (x^(.)=argminE(L(X−x^(y))|y) (Bayesian) x^(.)=argminE(L(X−x^(y))|y) (Bayesian) \hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(X-\hat x(y)) …

17 bayesian  estimation  loss-functions  frequentist  decision-theory 

Sebelum saya mengajukan pertanyaan, izinkan saya memberi Anda sedikit latar belakang tentang apa yang saya ketahui tentang statistik sehingga Anda memiliki pemahaman yang lebih baik tentang jenis sumber daya yang saya cari. Saya seorang mahasiswa pascasarjana dalam bidang psikologi, dan karena itu, saya menggunakan statistik hampir setiap hari. Sekarang saya …

17 mathematical-statistics  references 

Dalam buku Bishop "Klasifikasi Pola dan Pembelajaran Mesin", itu menggambarkan teknik untuk regularisasi dalam konteks jaringan saraf. Namun, saya tidak mengerti satu paragraf yang menjelaskan bahwa selama proses pelatihan, jumlah derajat kebebasan meningkat seiring dengan kompleksitas model. Kutipan yang relevan adalah sebagai berikut: Alternatif untuk regularisasi sebagai cara mengendalikan kompleksitas …

17 machine-learning  neural-networks  regularization  degrees-of-freedom 

Saya ingin melakukan analisis data ANCOVA mengenai kepadatan epifit tanaman. Pada awalnya, saya ingin tahu apakah ada perbedaan dalam kepadatan tanaman antara dua lereng, satu N dan satu S, tetapi saya memiliki data lain seperti ketinggian, keterbukaan kanopi dan ketinggian tanaman inang. Saya tahu bahwa kovariat saya haruslah dua lereng …

17 r  ancova 

Varian tertimbang yang tidak sesuai sudah dibahas di sini dan di tempat lain tetapi tampaknya masih ada sejumlah kebingungan yang mengejutkan. Tampaknya ada konsensus terhadap formula yang disajikan dalam tautan pertama serta di artikel Wikipedia . Ini juga terlihat seperti rumus yang digunakan oleh R, Mathematica, dan GSL (tetapi bukan …

17 variance  weighted-mean  weighted-data 

Katakan bahwa Anda berada di perpustakaan departemen statistik Anda, dan bahwa Anda menemukan sebuah buku dengan gambar berikut di halaman depan. Anda mungkin akan berpikir bahwa ini adalah buku tentang hal-hal regresi linier. Gambar apa yang akan membuat Anda berpikir tentang model campuran linier?

17 mixed-model 

Saya punya dataset tentang uji coba pertanian. Variabel respons saya adalah rasio respons: log (pengobatan / kontrol). Saya tertarik pada apa yang memediasi perbedaan, jadi saya menjalankan RE meta-regresi (tidak berbobot, karena tampaknya cukup jelas bahwa ukuran efek tidak berkorelasi dengan varian perkiraan). Setiap studi melaporkan hasil gabah, hasil biomassa, …

17 missing-data  meta-analysis  multiple-imputation  meta-regression 

Adakah yang bisa memberi tahu saya apa yang sebenarnya dihasilkan oleh analisis validasi silang? Apakah hanya akurasi rata-rata atau apakah itu memberikan model dengan parameter disetel? Karena, saya mendengar bahwa validasi silang digunakan untuk penyetelan parameter.

17 cross-validation 

Saya telah terjun ke bidang jaringan saraf dan saya menjadi terpesona dengan mereka. Saya akhirnya mengembangkan kerangka kerja aplikasi untuk menguji sistem perdagangan di bursa saham dan sekarang saya akan menerapkan jaringan saraf pertama saya di dalamnya. Sangat sederhana dan primitif, tidak dimaksudkan untuk perdagangan nyata, hanya untuk pemula. Saya …

17 machine-learning  neural-networks