Statistik dan Big Data

Apa perbedaan antara Regresi Primal , Dual dan Kernel Ridge? Orang-orang menggunakan ketiganya, dan karena notasi yang berbeda yang digunakan setiap orang pada sumber yang berbeda sulit untuk saya ikuti. Jadi bisakah seseorang memberi tahu saya dengan kata-kata sederhana apa perbedaan antara ketiganya? Selain itu apa yang bisa menjadi kelebihan …

18 regression  kernel-trick  ridge-regression 

Saya mencoba membandingkan secara visual bagaimana tiga publikasi berita yang berbeda membahas topik yang berbeda (ditentukan melalui model topik LDA). Saya memiliki dua metode terkait untuk melakukannya, tetapi telah menerima banyak umpan balik dari kolega bahwa ini tidak terlalu intuitif. Saya berharap seseorang di luar sana memiliki ide yang lebih …

18 data-visualization  communication 

Dalam regresi linier berganda dimungkinkan untuk mengetahui koefisien dengan rumus berikut. b = ( X′X)- 1( X′) Yb=(X′X)-1(X′)Yb = (X'X)^{-1}(X')Y beta = solve(t(X) %*% X) %*% (t(X) %*% Y) ; beta Contohnya: > y <- c(9.3, 4.8, 8.9, 6.5, 4.2, 6.2, 7.4, 6, 7.6, 6.1) > x0 <- c(1,1,1,1,1,1,1,1,1,1) > …

18 logistic  regression-coefficients 

Saya mencoba menerapkan MCMC pada suatu masalah, tetapi prior saya (dalam kasus saya mereka adalah )) dibatasi pada suatu area? Dapatkah saya menggunakan MCMC normal dan mengabaikan sampel yang berada di luar zona terbatas (yang dalam kasus saya [0,1] ^ 2), yaitu menggunakan kembali fungsi transisi ketika transisi baru keluar …

18 sampling  mcmc  monte-carlo  random-walk 

Saya memiliki pertanyaan di mana ia meminta untuk memverifikasi apakah distribusi Uniform ( ) dinormalisasi.Uniform(a,b)Uniform(a,b){\rm Uniform}(a,b) Untuk satu, apa artinya distribusi akan dinormalisasi? Dan kedua, bagaimana kita memverifikasi apakah suatu distribusi dinormalisasi atau tidak? Saya mengerti dengan menghitung kita mendapatkan data yang dinormalisasi , tetapi di sini diminta untuk memverifikasi …

18 data-transformation  terminology  normalization  standardization 

Saat Anda membuat biplot untuk analisis PCA, Anda memiliki skor PC1 komponen utama pada sumbu x dan skor PC2 pada sumbu y. Tapi apa dua sumbu lainnya ke kanan dan atas layar?

18 r  pca  biplot 

tl; dr Apa cara yang disarankan untuk menangani discretedata saat melakukan deteksi anomali? Apa cara yang disarankan untuk menangani categoricaldata saat melakukan deteksi anomali? Jawaban ini menyarankan menggunakan data diskrit untuk menyaring hasil saja. Mungkin mengganti nilai kategori dengan peluang pengamatan perctage? Intro Ini adalah pertama kalinya saya memposting di …

18 machine-learning  categorical-data  outliers  discrete-data  anomaly-detection 

Saya ingin tahu bagaimana perlakuan bobot berbeda antara svyglmdanglm Saya menggunakan twangpaket dalam R untuk membuat skor kecenderungan yang kemudian digunakan sebagai bobot, sebagai berikut (kode ini berasal dari twangdokumentasi): library(twang) library(survey) set.seed(1) data(lalonde) ps.lalonde <- ps(treat ~ age + educ + black + hispan + nodegree + married + …

18 r  survey 

Saya mencoba untuk melakukan analisis kelangsungan hidup waktu diskrit menggunakan model regresi logistik, dan saya tidak yakin saya benar-benar memahami prosesnya. Saya akan sangat menghargai bantuan dengan beberapa pertanyaan dasar. Ini adalah pengaturannya: Saya melihat keanggotaan dalam grup dalam rentang waktu lima tahun. Setiap anggota memiliki catatan keanggotaan bulanan untuk …

18 survival  discrete-data  hazard  kaplan-meier 

Adakah alasan mengapa kami tidak menggunakan angka signifikan dalam statistik? Sesuatu di sepanjang garis kami menggunakan perkiraan sehingga aturan tentang ketelitian tidak berlaku;)?

18 reporting 

Mereka tampak sangat mirip. Apakah mereka hal yang sama tetapi hanya disebut sebagai nama yang berbeda?

18 regression  dataset  econometrics 

Jika dalam regresi linier saya memiliki variabel kategorikal ... bagaimana saya tahu arti statistik variabel kategoris? Katakanlah faktor memiliki 10 level ... akan ada 10 nilai t-resultan yang berbeda, di bawah payung satu variabel faktor X 1X1X1X_1X1X1X_1 ... Tampaknya bagi saya bahwa makna statistik diuji untuk setiap tingkat variabel faktor? …

18 regression  statistical-significance  categorical-data 

Saya perlu mengklasifikasikan URL ke dalam kategori. Katakanlah saya memiliki 15 kategori yang saya rencanakan untuk menurunkan setiap URL. Apakah pengklasifikasi 15 arah lebih baik? Di mana saya memiliki 15 label dan menghasilkan fitur untuk setiap titik data. Atau membangun 15 pengklasifikasi biner, katakan: Film atau Non-Film, dan gunakan angka …

18 machine-learning  classification  categorical-data  svm  feature-selection 

Mari kita memiliki beberapa model linier, misalnya ANOVA hanya sederhana: # data generation set.seed(1.234) Ng <- c(41, 37, 42) data <- rnorm(sum(Ng), mean = rep(c(-1, 0, 1), Ng), sd = 1) fact <- as.factor(rep(LETTERS[1:3], Ng)) m1 = lm(data ~ 0 + fact) summary(m1) Hasilnya adalah sebagai berikut: Call: lm(formula = …

18 r  regression  confidence-interval 

Ini adalah pertanyaan yang sangat sederhana tetapi saya tidak dapat menemukan derivasi di mana pun di internet atau dalam buku. Saya ingin melihat derivasi bagaimana seseorang Bayesian memperbarui distribusi normal multivariat. Sebagai contoh: bayangkan itu P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf …

18 bayesian  normal-distribution  matrix  posterior  linear-algebra