Statistik dan Big Data

Saya melakukan regresi logistik elastis-bersih pada set data perawatan kesehatan menggunakan glmnetpaket dalam R dengan memilih nilai lambda pada kisi dari 0 hingga 1. Kode singkat saya di bawah ini:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) }) for (i in 1:11) {print(min(elasticnet[[i]]$cvm))} yang menampilkan …

22 machine-learning  cross-validation  glmnet  elastic-net 

Saya mengerti bahwa uji Wald untuk koefisien regresi didasarkan pada properti berikut yang berlaku secara asimptotik (mis. Wasserman (2006): Semua Statistik , halaman 153, 214-215): Di mana menunjukkan estimasi koefisien regresi, menunjukkan kesalahan standar dari koefisien regresi dan adalah nilai bunga ( biasanya 0 untuk menguji apakah koefisien tersebut adalah …

22 r  regression  hypothesis-testing  generalized-linear-model 

Saya ingin lebih memahami paket R Larsdan Glmnet, yang digunakan untuk menyelesaikan masalah Lasso: (untuk Variabel dan sampel , lihat www.stanford.edu/~hastie/Papers/glmnet.pdf di halaman 3)pm i n( β0β) ∈ Rp + 1[ 12 N∑i = 1N( ysaya- β0- xTsayaβ)2+ λ | | β| |l1]msayan(β0β)∈Rhal+1[12N∑saya=1N(ysaya-β0-xsayaTβ)2+λ||β||l1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 + \lambda||\beta ||_{l_{1}} …

22 r  regression  machine-learning  lasso  regularization 

Saya ingin melakukan pengelompokan K-means pada objek yang saya miliki, tetapi objek tidak digambarkan sebagai titik dalam ruang, yaitu dengan objects x featuresdataset. Namun, saya dapat menghitung jarak antara dua objek (didasarkan pada fungsi kesamaan). Jadi, saya membuang matriks jarak objects x objects. Saya sudah mengimplementasikan K-means sebelumnya, tapi itu …

22 machine-learning  clustering  data-mining  k-means  distance 

Setelah bermain Angry Birds terlalu banyak, saya mulai mengamati strategi saya sendiri. Ternyata saya mengembangkan pendekatan yang sangat spesifik untuk mendapatkan 3 bintang di setiap level. Itu membuat saya bertanya-tanya tentang tantangan mengembangkan sistem pembelajaran mesin yang akan mampu memainkan Angry Birds. Berinteraksi dengan permainan dan meluncurkan burung-burung itu sepele. …

22 machine-learning  reinforcement-learning 

Misalkan saya memiliki beberapa pengukuran untuk setiap subjek di setiap situs. Dua variabel, subjek dan situs, yang menarik dalam hal nilai-nilai korelasi intraclass computing (ICC). Biasanya saya akan menggunakan fungsi lmerdari paket R lme4, dan jalankan lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata) Nilai-nilai ICC …

22 r  lme4-nlme  intraclass-correlation 

Saya baru untuk hal R ini tetapi tidak yakin model mana yang harus dipilih. Saya melakukan regresi maju bertahap memilih setiap variabel berdasarkan AIC terendah. Saya datang dengan 3 model yang saya tidak yakin mana yang "terbaik". Model 1: Var1 (p=0.03) AIC=14.978 Model 2: Var1 (p=0.09) + Var2 (p=0.199) AIC …

22 model-selection  aic  stepwise-regression 

Saya harus mengklarifikasi langsung bahwa saya seorang pengembang perangkat lunak berlatih, bukan ahli statistik, dan bahwa kelas saya kuliah statistik adalah sangat lama ... Yang mengatakan, saya ingin tahu apakah ada metode untuk mengumpulkan satu set statistik deskriptif yang kemudian dapat digunakan untuk menghasilkan boxplot, yang tidak berarti menyimpan banyak …

22 algorithms  median  quantiles 

Saya punya dua kelompok data. Masing-masing dengan distribusi beragam variabel yang berbeda. Saya mencoba menentukan apakah distribusi kedua kelompok ini berbeda secara signifikan secara statistik. Saya memiliki data dalam bentuk mentah dan disimpan lebih mudah untuk berurusan dengan kategori diskrit dengan jumlah frekuensi di masing-masing. Tes / prosedur / metode …

22 distributions  statistical-significance 

Dalam makalahnya Linear Model Selection oleh Cross-Validation , Jun Shao menunjukkan bahwa untuk masalah pemilihan variabel dalam regresi linier multivariat, metode validasi silang tinggalkan-satu-keluar (LOOCV) adalah 'tidak konsisten asimptotik'. Dalam bahasa Inggris biasa, cenderung memilih model dengan variabel terlalu banyak. Dalam studi simulasi, Shao menunjukkan bahwa bahkan untuk sedikitnya 40 …

22 classification  model-selection  cross-validation 

Saya sadar bahwa ada banyak kemajuan berkaitan dengan pengenalan gambar, klasifikasi gambar, dll dengan jaring saraf convolutional yang mendalam. Tetapi jika saya melatih jaring, katakanlah, gambar PNG, apakah hanya akan berfungsi untuk gambar yang disandikan? Apa properti gambar lain yang memengaruhi ini? (saluran alfa, interlacing, resolusi, dll?)

22 neural-networks  deep-learning  image-processing 

Saya tidak yakin mengapa kita perlu membuat dummy variabel kode. Misalnya, jika saya memiliki variabel kategori dengan empat kemungkinan nilai 0,1,2,3, saya dapat menggantinya dengan dua dimensi. Jika variabel memiliki nilai 0, itu akan memiliki 0,0 di dua dimensi, jika itu memiliki 3, itu akan memiliki 1,1 di dua dimensi …

22 categorical-data  categorical-encoding 

Saya sedikit bingung tentang apa asumsi regresi linier. Sejauh ini saya memeriksa apakah: semua variabel penjelas berkorelasi linier dengan variabel respons. (Ini yang terjadi) ada collinearity antara variabel penjelas. (Ada sedikit collinearity). jarak Cook dari titik data model saya di bawah 1 (ini kasusnya, semua jarak di bawah 0,4, jadi …

22 linear-model  residuals  assumptions  normality-assumption 

Saya punya pertanyaan tentang analisis kluster. Ada 3000 perusahaan, yang harus dikelompokkan sesuai dengan penggunaan daya mereka selama 5 tahun. Setiap perusahaan memiliki nilai untuk setiap jam selama 5 tahun. Saya ingin mengetahui apakah beberapa perusahaan memiliki pola yang sama dalam penggunaan daya selama periode waktu tersebut. Hasilnya harus digunakan …

22 time-series  clustering  spss 

Ada beberapa pertanyaan bagus tentang penanganan data yang tidak seimbang dalam konteks klasifikasi , tetapi saya bertanya-tanya apa yang dilakukan orang untuk sampel regresi. Katakanlah domain masalah sangat sensitif terhadap tanda tetapi hanya agak sensitif terhadap besarnya target. Namun besarnya cukup penting bahwa model harus regresi (target kontinu) bukan klasifikasi …

22 regression  sampling  unbalanced-classes