Statistik dan Big Data

Saya telah menjalankan regresi pada negara bagian AS, dan saya memeriksa kolinearitas dalam variabel 'independen' saya. Diagnostik Regresi Belsley, Kuh, dan Welsch menyarankan untuk melihat pada Indeks Kondisi dan Proporsi Dekomposisi Varians: library(perturb) ## colldiag(, scale=TRUE) for model with interaction Condition Index Variance Decomposition Proportions (Intercept) inc09_10k unins09 sqmi_log pop10_perSqmi_log …

26 r  multicollinearity  vif  variance-decomposition 

Saya memiliki output sebagai berikut: Generalized linear mixed model fit by the Laplace approximation Formula: aph.remain ~ sMFS2 +sAG2 +sSHDI2 +sbare +season +crop +(1|landscape) AIC BIC logLik deviance 4062 4093 -2022 4044 Random effects: Groups Name Variance Std.Dev. landscape (Intercept) 0.82453 0.90804 Number of obs: 239, groups: landscape, 45 Fixed …

26 mixed-model  poisson-distribution  lme4-nlme 

Saya sedikit bingung. Mengapa proses Gaussian disebut model non parametrik? Mereka mengasumsikan bahwa nilai-nilai fungsional, atau bagian dari mereka, memiliki Gaussian prior dengan fungsi rata-rata 0 dan kovarian yang diberikan sebagai fungsi kernel. Fungsi-fungsi kernel ini sendiri memiliki beberapa parameter (yaitu, hiperparameter). Jadi mengapa mereka disebut model non parametrik?

26 nonparametric  gaussian-process 

Saya pernah mendengar metode menggunakan laso dua kali (seperti laso ganda) di mana Anda melakukan laso pada set variabel asli, katakan S1, dapatkan set jarang yang disebut S2, dan kemudian lakukan laso lagi pada set S2 untuk mendapatkan set S3 . Apakah ada istilah metodologis untuk ini? Juga, apa keuntungan …

26 regression  lasso  regularization  shrinkage  lars 

Apa cara terbaik untuk menghitung dekomposisi nilai singular (SVD) dari matriks positif yang sangat besar (65M x 3.4M) di mana data sangat jarang? Kurang dari 0,1% dari matriks adalah nol. Saya butuh cara itu: akan masuk ke dalam memori (saya tahu bahwa ada metode online) akan dihitung dalam waktu yang …

26 svd  numerics 

Meskipun saya membaca posting ini , saya masih tidak tahu bagaimana menerapkan ini pada data saya sendiri dan berharap seseorang dapat membantu saya. Saya memiliki data berikut: y <- c(11.622967, 12.006081, 11.760928, 12.246830, 12.052126, 12.346154, 12.039262, 12.362163, 12.009269, 11.260743, 10.950483, 10.522091, 9.346292, 7.014578, 6.981853, 7.197708, 7.035624, 6.785289, 7.134426, 8.338514, 8.723832, …

26 r  regression  fitting 

Saya mencoba melakukan regresi berganda R. Namun, variabel dependen saya memiliki plot berikut: Berikut adalah matriks sebar dengan semua variabel saya ( WARadalah variabel dependen): Saya tahu bahwa saya perlu melakukan transformasi pada variabel ini (dan mungkin variabel independen?) Tetapi saya tidak yakin dengan transformasi yang tepat diperlukan. Bisakah seseorang …

26 r  regression  multiple-regression  data-transformation 

Model topik populer seperti LDA biasanya mengelompokkan kata-kata yang cenderung muncul bersama dalam topik yang sama (cluster). Apa perbedaan utama antara model topik tersebut, dan pendekatan pengelompokan sederhana berdasarkan kejadian bersama lainnya seperti PMI? (PMI singkatan dari Pointwise Mutual Information, dan digunakan untuk mengidentifikasi kata-kata yang muncul bersamaan dengan kata …

26 machine-learning  text-mining  natural-language  topic-models 

Uji Mantel biasanya diterapkan pada matriks jarak / perbedaan simetris. Sejauh yang saya mengerti, asumsi tes adalah bahwa ukuran yang digunakan untuk mendefinisikan perbedaan harus setidaknya semi-metrik (memenuhi persyaratan standar metrik tetapi bukan ketimpangan segitiga). Dapatkah asumsi simetri menjadi rileks (memberikan pra-metrik)? Apakah mungkin untuk menerapkan tes permutasi dalam kasus …

26 statistical-significance  assumptions  distance 

Saya bekerja terutama dengan non-ahli statistik di bidang-bidang seperti kedokteran, ilmu sosial dan pendidikan. Apakah saya berkonsultasi dengan mahasiswa pascasarjana, membantu peneliti dengan artikel atau meninjau artikel untuk jurnal, saya sering memiliki masalah yang seseorang (klien, penulis, komite disertasi, editor jurnal) ingin menggunakan beberapa teknik yang relatif terkenal ketika itu …

26 consulting 

Saya bertanya-tanya bagaimana menafsirkan kesalahan standar koefisien regresi ketika menggunakan fungsi tampilan di R. Misalnya dalam output berikut: lm(formula = y ~ x1 + x2, data = sub.pyth) coef.est coef.se (Intercept) 1.32 0.39 x1 0.51 0.05 x2 0.81 0.02 n = 40, k = 3 residual sd = 0.90, R-Squared …

26 r  regression  interpretation 

Saya menggunakan model campuran di R( lme4) untuk menganalisis beberapa data pengukuran berulang. Saya memiliki variabel respons (kandungan serat tinja) dan 3 efek tetap (massa tubuh, dll.). Studi saya hanya memiliki 6 peserta, dengan 16 tindakan berulang untuk masing-masing (meskipun dua hanya memiliki 12 pengulangan). Subjek penelitian adalah kadal yang …

26 mixed-model  sample-size 

Saya tahu bahwa regresi linier dapat dianggap sebagai "garis yang secara vertikal paling dekat dengan semua poin" : Tetapi ada cara lain untuk melihatnya, dengan memvisualisasikan ruang kolom, sebagai "proyeksi ke ruang yang terbentang oleh kolom dari matriks koefisien" : Pertanyaan saya adalah: dalam dua interpretasi ini, apa yang terjadi …

26 regression  intuition  geometry 

Saya ingin membuat model logistik dari data survei saya. Ini adalah survei kecil dari empat koloni tempat tinggal di mana hanya 154 responden yang diwawancarai. Variabel dependen saya adalah "transisi yang memuaskan untuk bekerja". Saya menemukan bahwa, dari 154 responden, 73 mengatakan bahwa mereka telah beralih ke pekerjaan dengan memuaskan, …

26 logistic  sample-size  assumptions  power  unbalanced-classes 

Ini adalah pertanyaan lanjutan dari apa yang ditulis Frank Harrell di sini : Dalam pengalaman saya, ukuran sampel yang diperlukan untuk distribusi t menjadi akurat seringkali lebih besar daripada ukuran sampel yang ada. Tes peringkat bertanda Wilcoxon sangat efisien seperti yang Anda katakan, dan itu kuat, jadi saya hampir selalu …

26 t-test  wilcoxon-mann-whitney