Statistik dan Big Data

Saya membaca tentang dasar-dasar analisis komponen utama dari tutorial1 , link1 dan link2 . Saya memiliki kumpulan data dari 100 variabel (termasuk variabel keluaran Y), saya ingin mengurangi variabel menjadi 40 oleh PCA, dan kemudian memprediksi variabel Y menggunakan 40 variabel tersebut. Masalah 1: Setelah mendapatkan komponen utama dan memilih …

9 regression  pca 

Model logistik bertingkat berikut dengan satu variabel penjelas pada level 1 (level individu) dan satu variabel penjelas pada level 2 (level grup): π 0 j = γ 00 + γ 01 z j + u 0 j … ( 2 ) π 1 j = γ 10 + γ 11 …

9 r  logistic  generalized-linear-model  simulation  multilevel-analysis 

Pada halaman 12 buku Bates tentang model efek campuran , ia menggambarkan model itu sebagai berikut: Menjelang akhir tangkapan layar, ia menyebutkan faktor kovarians relatif , tergantung pada parameter komponen varians ,ΛθΛθ\Lambda_{\theta}θθ\theta tanpa menjelaskan apa sebenarnya hubungan itu. Katakanlah kita diberi , bagaimana kita memperoleh darinya?Λ θθθ\thetaΛθΛθ\Lambda_{\theta} Pada catatan terkait, …

9 mixed-model  references  multilevel-analysis 

Saya sedang melakukan meta-analisis multi-level yang mencakup beberapa artikel dengan banyak hasil. Karena itu saya menggunakan rma.mv()fungsinya. Kode contoh: test.main = rma.mv(yi,vi,random = ~1|ID, data = data) Saya punya dua pertanyaan: Saya membaca dalam kueri sebelumnya bahwa saat menggunakan rma.mv(), ranktest()bukan tes yang dapat diandalkan untuk asimetri plot corong. Namun, …

9 meta-analysis  sensitivity-analysis  publication-bias  funnel-plot 

Saya sedang mengerjakan meta-analisis efek acak yang mencakup sejumlah studi yang tidak melaporkan penyimpangan standar; semua penelitian melaporkan ukuran sampel. Saya tidak percaya mungkin untuk memperkirakan atau menyalahkan data SD yang hilang. Bagaimana seharusnya meta-analisis yang menggunakan perbedaan rata-rata mentah (tidak standar) sebagai ukuran efek ditimbang ketika standar deviasi tidak …

9 stata  missing-data  meta-analysis  meta-regression 

Menurut dokumentasi objek StandardScaler di scikit-learn: Misalnya banyak elemen yang digunakan dalam fungsi objektif dari algoritma pembelajaran (seperti kernel RBF dari Support Vector Machines atau L1 dan L2 regularizer model linier) mengasumsikan bahwa semua fitur berpusat di sekitar 0 dan memiliki varian dalam urutan yang sama. Jika suatu fitur memiliki …

9 machine-learning  svm  standard-deviation  mean  references 

Anggaplah adalah matriks data yang berpusat pada rata-rata. Matriks S = cov ( A ) adalah m × m , memiliki m nilai eigen yang berbeda, dan vektor eigen s 1 , s 2 ... s m , yang ortogonal.SEBUAHSEBUAH\mathbf AS =cov( A )S=cov(SEBUAH)\mathbf S=\text{cov}(\mathbf A)m × mm×mm\times mmmms1s1\mathbf s_1s2s2\mathbf …

9 correlation  pca  linear-algebra 

Apakah itu tidak menyebabkan pemasangan yang berlebihan? Apakah hasil saya akan lebih andal jika saya menambahkan prosedur jack-knife atau bootstrap sebagai bagian dari analisis?

9 multiple-regression  bootstrap  reliability  overfitting  jackknife 

Bagaimana saya harus memahami anovahasilnya ketika membandingkan dua model? Contoh: Res.Df RSS Df Sum of Sq F Pr(>F) 1 9 54.032 2 7 4.632 2 49.4 37.329 0.0001844 *** Manual tersebut menyatakan: "Hitung analisis varians (atau penyimpangan) tabel untuk satu atau lebih objek model pas." Namun, profesor luar menyebutkan bahwa …

9 r  regression  anova 

Pertanyaan: Apa perbedaan antara pohon regresi yang dikuatkan (BRT) dan model yang dikembangkan secara umum (GBM)? Bisakah mereka digunakan secara bergantian? Apakah satu bentuk khusus dari yang lain? Mengapa Ridgeway menggunakan frasa "Generalized Boosted Regression Models" (GBM), untuk menggambarkan apa yang sebelumnya diusulkan Friedman sebagai "Gradient Boosting Machine" (GBM)? Kedua …

9 machine-learning  boosting  gbm 

Saya memiliki beberapa model prediktif yang kinerjanya ingin saya uji kembali (yaitu, ambil dataset saya, "putar kembali" ke titik waktu sebelumnya, dan lihat bagaimana model tersebut akan tampil secara prospektif). Masalahnya adalah bahwa beberapa model saya dibangun melalui proses interaktif. Misalnya, mengikuti saran dalam Strategi Pemodelan Regresi Frank Harrell , …

9 cross-validation  modeling  outliers  splines  overfitting 

Saya memiliki dua rantai Markov yang berbeda, masing-masing dengan satu negara menyerap dan posisi awal yang diketahui. Saya ingin menentukan probabilitas bahwa rantai 1 akan mencapai kondisi menyerap dalam beberapa langkah lebih sedikit daripada rantai 2. Saya pikir saya bisa menghitung probabilitas mencapai keadaan menyerap dalam rantai tertentu setelah n …

9 probability  markov-chain  transition-matrix 

Dalam Random Forest, masing-masing pohon ditanam secara paralel pada sampel pendamping data yang unik. Karena setiap sampel boostrap diharapkan mengandung sekitar 63% dari pengamatan unik, ini menyisakan sekitar 37% dari pengamatan, yang dapat digunakan untuk menguji pohon. Sekarang, tampaknya dalam Stochastic Gradient Boosting, ada juga perkiraan serupa dengan yang ada …

9 machine-learning  cross-validation  data-mining  random-forest  boosting 

Saya ingin mempelajari (menyimpulkan) bobot atribut untuk ukuran ketidaksamaan yang dapat saya gunakan untuk pengelompokan. Saya punya beberapa contoh pasangan objek yang "mirip" (harus berada di cluster yang sama), serta beberapa contoh pasangan objek yang "tidak mirip" (tidak boleh). berada di cluster yang sama). Setiap objek memiliki sejumlah atribut: jika …

9 clustering  similarities  supervised-learning  semi-supervised 

Saya memiliki kumpulan data dengan variabel kontinu dan variabel target biner (0 dan 1). Saya perlu menentukan variabel kontinu (untuk regresi logistik) sehubungan dengan variabel target dan dengan batasan bahwa frekuensi pengamatan dalam setiap interval harus seimbang. Saya mencoba algoritma pembelajaran mesin seperti Chi Merge, pohon keputusan. Chi merge memberi …

9 r  machine-learning  chi-squared  discrete-data  supervised-learning