Statistik dan Big Data

Saya bertanya-tanya apakah ada algoritma (mungkin algoritma genetika) dalam R untuk konstruksi fitur (menurunkan kandidat prediktor dari prediksi yang ada)? Saya sedang memikirkan rutin untuk menguji kekuatan orde tinggi, interaksi, rasio, dan kombinasi linear dan fungsi nonlinier dari variabel yang ada (sin, cos, atan dll). Ini bisa berupa filter atau …

8 r  machine-learning  feature-construction  genetic-algorithms 

Saya telah mengimplementasikan versi elastis jaring GLMNET untuk regresi linier dengan perangkat lunak lain selain R. Saya membandingkan hasil saya dengan fungsi R glmnet dalam mode laso pada data diabetes . Pilihan variabel ok ketika memvariasikan nilai parameter (lambda) tapi saya mendapatkan nilai koefisien yang sedikit berbeda. Untuk alasan ini …

8 r  lasso  regularization  glmnet  elastic-net 

Saya baru tahu cara menjalankan skrip R dari Konsol R di bawah Windows. source("arrrFile.R") Masalahnya adalah, perintah ini berjalan "secara diam-diam". Bagaimana saya bisa menjalankan file perintah-demi-perintah seperti yang saya ketik di konsol?

8 r 

Saya bermain-main dengan ggplot2 menggunakan perintah berikut ini agar sesuai dengan baris ke data saya: ggplot(data=datNorm, aes(x=Num, y=Val)) + geom_point() + stat_summary(fun.data = "mean_cl_boot", geom="errorbar", colour="red", width=0.8) + stat_sum_single(median) + stat_sum_single(mean, colour="blue") + geom_smooth(level = 0.95, aes(group=1), method="lm") Titik merah adalah nilai median, biru berarti dan garis merah vertikal menunjukkan …

8 r  modeling  dataset  data-mining  ggplot2 

Adakah yang tahu cara menghitung interval prediksi untuk regresi ridge? dan apa hubungannya dengan interval prediksi regresi OLS?

8 ridge-regression  prediction-interval 

Asumsikan bahwa saya akan memperkirakan regresi linier di mana saya berasumsi u ∼ N( 0 ,σ2)u∼N(0,σ2)u\sim N(0,\sigma^2). Apa manfaat OLS terhadap estimasi ML? Saya tahu bahwa kita perlu tahu distribusikamuuu ketika kita menggunakan Metode ML, tapi karena saya berasumsi u ∼ N( 0 ,σ2)u∼N(0,σ2)u\sim N(0,\sigma^2)apakah saya menggunakan ML atau OLS, …

8 regression  least-squares  linear-model 

Saya memiliki beberapa data yang saya mainkan; untuk kesederhanaan, anggaplah data tersebut berisi informasi tentang jumlah posting yang telah ditulis blogger vs. jumlah orang yang telah berlangganan blog orang tersebut (ini hanya contoh buatan). Saya ingin mendapatkan model kasar hubungan antara # posting vs # pelanggan, dan ketika melihat plot …

8 regression  power-law 

Saya akan memberikan contoh saya dengan panggilan R. Pertama, contoh sederhana dari regresi linier dengan variabel 'masa hidup', dan dua variabel penjelas kontinu. data.frame(height=runif(4000,160,200))->human.life human.life$weight=runif(4000,50,120) human.life$lifespan=sample(45:90,4000,replace=TRUE) summary(lm(lifespan~1+height+weight,data=human.life)) Call: lm(formula = lifespan ~ 1 + height + weight, data = human.life) Residuals: Min 1Q Median 3Q Max -23.0257 -11.9124 -0.0565 11.3755 …

8 r  multiple-regression  interpretation  regression-coefficients 

Pertimbangkan gambar bebas dari cdf , yang didefinisikan lebih dari 0-1, di mana dan adalah bilangan bulat. Secara sewenang-wenang mengelompokkan undian menjadi grup dengan nilai m di setiap grup. Lihatlah nilai minimum di setiap kelompok. Ambil grup yang memiliki minima paling besar. Sekarang, apa distribusi yang menentukan nilai maksimum dalam …

8 distributions  probability  extreme-value  order-statistics 

Saya memiliki percobaan kursus waktu yang mengikuti 8 kelompok perlakuan 12 ikan selama 24 jam dengan pengamatan dilakukan pada interval 5 detik. Di antara pengukuran yang dilakukan adalah seberapa jauh setiap ikan melakukan perjalanan (dalam mm) di antara pengamatan. 24 jam dibagi menjadi 1 periode gelap dan 1 periode terang. …

8 r  time-series  pattern-recognition 

Saya ingin memahami ini dari perspektif manajerial. Sebagai contoh jika saya menjelaskan regresi linier, saya akan mengatakan itu adalah garis yang paling cocok melalui beberapa titik data dan dapat digunakan untuk memprediksi nilai "y" untuk beberapa nilai "x". Apakah ada penjelasan analog untuk VAR? Saya tidak memiliki latar belakang yang …

8 time-series  var 

Bayangkan Anda ingin menilai kompresibilitas dokumen besar dengan sangat cepat. Anda dapat secara acak memilih urutan berikutnya, cobalah untuk mengompresnya. Ini dapat berfungsi sebagai prediksi untuk kompresibilitas keseluruhan dokumen. Tapi seberapa besar sampel Anda? Kami datang dengan strategi berikut: Pilih ukuran sampel yang sewenang-wenang (kecil). Ukur kompresibilitasnya. Selanjutnya, gandakan ukuran …

8 sampling  model-selection  sample-size 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 8 bulan lalu . Pengujian A / B: http://20bits.com/articles/statistic-analysis-and-ab-testing/ http://elem.com/~btilly/effective-ab-testing/ Saya tidak terlalu terbiasa dengan pengujian A / B, tapi saya bertanya-tanya apakah ada paket …

8 r  python  ab-test 

Saya ingin memplot wilayah kepercayaan 2D (pada 1-sigma, 2-sigma) untuk model yang sesuai dengan data. Saya telah menggunakan PyMC untuk menghasilkan 50k MCMC sampel posterior untuk model saya dengan 6 parameter. Saya tahu proses untuk membuat wilayah kepercayaan adalah sesuatu yang mirip dengan: 1.) membuat histogram sampel dalam ruang 2D …

8 confidence-interval  mcmc  python 

Pertama izinkan saya mengatakan bahwa saya memiliki satu kursus statistik di sekolah teknik 38 tahun yang lalu. Jadi saya buta di sini. Saya mendapatkan hasil dari 18 tes diagnostik terpisah untuk suatu penyakit. Setiap tes adalah biner - ya / tidak, tanpa ambang batas yang dapat disesuaikan untuk "menyetel" tes. …

8 classification  bayesian  diagnostic