Statistik dan Big Data

Jadi, saya punya matriks sekitar 60 x 1000. Saya melihatnya sebagai 60 objek dengan 1000 fitur; 60 objek dikelompokkan menjadi 3 kelas (a, b, c). 20 objek di setiap kelas, dan kita tahu klasifikasi sebenarnya. Saya ingin melakukan pembelajaran terawasi pada set 60 contoh pelatihan ini, dan saya tertarik pada …

12 machine-learning  classification  multilevel-analysis  random-forest  stratification 

Kita dapat menulis teorema Bayes sebagai p ( θ | x ) = f( X| θ)p(θ)∫θf( X| θ)p(θ)dθhal(θ|x)=f(X|θ)hal(θ)∫θf(X|θ)hal(θ)dθp(\theta|x) = \frac{f(X|\theta)p(\theta)}{\int_{\theta} f(X|\theta)p(\theta)d\theta} di mana p ( θ | x )hal(θ|x)p(\theta|x) adalah posterior, f( X| θ)f(X|θ)f(X|\theta) adalah distribusi bersyarat, dan p ( θ )hal(θ)p(\theta) adalah yang sebelumnya. atau p ( θ | …

12 bayesian  likelihood 

Saya telah melihat banyak makalah tentang representasi jarang belakangan ini, dan kebanyakan dari mereka menggunakan norma dan melakukan beberapa minimisasi. Pertanyaan saya adalah, apa norma , dan norma campuran? Dan bagaimana mereka relevan dengan regularisasi?ℓ p ℓ p , qℓpℓp\ell_pℓpℓp\ell_pℓp,qℓp,q\ell_{p, q} Terima kasih

12 machine-learning  regularization  sparse 

Apa tes statistik standar untuk melihat apakah data mengikuti distribusi eksponensial atau normal?

12 distributions  hypothesis-testing  normal-distribution 

Apa perbedaan antara model representasi teks ini: Tas kata dan model ruang vektor?

12 machine-learning  text-mining 

Tolong jelaskan apa perbedaan antara jika dua variabel tergantung linear atau berkorelasi linear . Saya mencari artikel wikipedia tetapi tidak mendapatkan contoh yang tepat. Tolong jelaskan dengan contoh.

12 correlation  non-independent 

Saat membaca buku teks tentang regresi saya menemukan paragraf berikut: Estimasi kuadrat terkecil dari vektor koefisien regresi linier ( ) adalahββ\beta β^= ( XtX)- 1Xtyβ^=(XtX)-1Xty \hat{\beta} = (X^{t}X)^{-1}{X^t}y yang, bila dipandang sebagai fungsi data (dengan mempertimbangkan prediktor sebagai konstanta), adalah kombinasi linear dari data. Menggunakan Teorema Batas Pusat, dapat ditunjukkan …

12 multiple-regression 

Saya memiliki banyak set data terkait. Korelasi pearson antara pasangan mereka biasanya lebih besar dari korelasi spearman. Itu menunjukkan korelasi apa pun yang linear, tetapi orang mungkin berharap bahwa bahkan jika pearson dan spearman itu sama. Apa artinya ketika ada kesenjangan yang pasti antara pearson dan korelasi spearman dan pearson …

12 correlation  spearman-rho  pearson-r 

Saya mencoba menganalisis data tindakan berulang dan berusaha untuk membuatnya bekerja R. Data saya pada dasarnya adalah sebagai berikut, saya memiliki dua kelompok perlakuan. Setiap subjek dalam setiap kelompok diuji setiap hari dan diberi skor (persentase benar pada suatu tes). Data dalam format panjang: Time Percent Subject Group 1 0 …

12 r  mixed-model  repeated-measures  lme4-nlme 

Dengan dua seri waktu berikut ( x , y ; lihat di bawah), apa metode terbaik untuk memodelkan hubungan antara tren jangka panjang dalam data ini? Kedua seri waktu memiliki tes Durbin-Watson yang signifikan ketika dimodelkan sebagai fungsi waktu dan tidak ada yang stasioner (seperti yang saya pahami istilahnya, atau …

12 regression  time-series  arima 

The rrr saat -th dari variabel acak adalah terbatas jika E ( | X r | ) &lt; ∞XXXE ( | Xr| )&lt;∞E(|Xr|)&lt;∞ \mathbb E(|X^r|)< \infty Saya mencoba untuk menunjukkan bahwa untuk setiap bilangan bulat positif , maka momen -th juga terbatas.s E [ | X s | ]s &lt; …

12 self-study  moments  function 

Saya telah menetapkan pertanyaan berikut sebagai bagian dari pekerjaan rumah: Rancang dan laksanakan studi simulasi untuk menguji kinerja bootstrap untuk memperoleh interval kepercayaan 95% pada rata-rata sampel data yang univariat. Implementasi Anda bisa dalam R atau SAS. Aspek kinerja yang mungkin ingin Anda lihat adalah cakupan interval kepercayaan (yaitu, berapa …

12 r  self-study  bootstrap  monte-carlo 

Di R, jika saya set.seed (), dan kemudian menggunakan fungsi sampel untuk mengacak daftar, dapatkah saya menjamin saya tidak akan menghasilkan permutasi yang sama? yaitu... set.seed(25) limit &lt;- 3 myindex &lt;- seq(0,limit) for (x in seq(1,factorial(limit))) { permutations &lt;- sample(myindex) print(permutations) } Ini menghasilkan [1] 1 2 0 3 [1] …

12 r  sampling  combinatorics  resampling 

Saya pikir ini adalah pertanyaan langsung, meskipun alasan di balik mengapa atau mengapa tidak. Alasan saya bertanya adalah bahwa saya baru-baru ini menulis implementasi RF saya sendiri dan meskipun berkinerja baik, kinerjanya tidak sebaik yang saya harapkan (berdasarkan set data kompetisi Prediksi Kualitas Foto Kaggle , skor kemenangan dan beberapa …

12 algorithms  random-forest  cart 

Adakah yang bisa menjelaskan cara menghitung efek marginal dari model Probit dan Logit dalam istilah awam? Saya baru dalam statistik dan saya bingung tentang dua model ini.

12 logistic  interpretation  logit  probit