Statistik dan Big Data

Saya perhatikan ketika membangun model regresi hutan acak, setidaknya dalam R, nilai prediksi tidak pernah melebihi nilai maksimum dari variabel target yang terlihat dalam data pelatihan. Sebagai contoh, lihat kode di bawah ini. Saya sedang membangun model regresi untuk memprediksi mpgberdasarkan mtcarsdata. Saya membuat OLS dan model hutan acak, dan …

12 r  random-forest 

Saya membaca artikel Galat propagasi oleh metode Monte Carlo dalam perhitungan geokimia, Anderson (1976) dan ada sesuatu yang tidak saya mengerti. Pertimbangkan beberapa data terukur dan program yang memprosesnya dan mengembalikan nilai yang diberikan. Dalam artikel ini, program ini digunakan untuk pertama-tama mendapatkan nilai terbaik menggunakan sarana data (yaitu: { …

12 bootstrap  monte-carlo  error 

Saya akan menggunakan tes Kolmogorov-Smirnov untuk menguji normalitas MYDATA di R. Ini adalah contoh dari apa yang saya lakukan ks.test(MYDATA,"pnorm",mean(MYDATA),sd(MYDATA)) Inilah hasil yang diberikan R kepada saya: data: MYDATA D = 0.13527, p-value = 0.1721 alternative hypothesis: two-sided Warning message: In ks.test(MYDATA, "pnorm", mean(MYDATA), sd(MYDATA)) : ties should not be …

12 kolmogorov-smirnov  ties 

LASSO dan LASSO adaptif adalah dua hal yang berbeda, bukan? (Bagiku, hukumannya terlihat berbeda, tapi aku hanya memeriksa apakah aku melewatkan sesuatu.) Ketika Anda secara umum berbicara tentang jaring elastis, apakah case khusus LASSO atau LASSO adaptif? Paket glmnet mana yang dilakukan, asalkan Anda memilih alpha = 1? LASSO yang …

12 lasso  glmnet  elastic-net  oracle 

Seringkali saya melihat penulis memperkirakan model "perbedaan log", misalnya catatan( yt) - log( yt - 1) = log( yt/ yt - 1) = α + βxtcatatan⁡(yt)-catatan⁡(yt-1)=catatan⁡(yt/yt-1)=α+βxt\log (y_t)-\log(y_{t-1}) = \log(y_t/y_{t-1}) = \alpha + \beta x_t Saya setuju ini sesuai untuk menghubungkan dengan perubahan persentase dalam sementara adalah .y t log ( …

12 time-series  forecasting  data-transformation  econometrics  logarithm 

Saya ingin sampel dari kepadatan univariat tapi saya hanya tahu hubungannya:fXfXf_X fX(x)=∫fX|Y(x|y)fY(y)dy.fX(x)=∫fX|Y(x|y)fY(y)dy.f_X(x) = \int f_{X\vert Y}(x\vert y)f_Y(y) dy. Saya ingin menghindari penggunaan MCMC (langsung pada representasi integral) dan, karena dan mudah untuk diambil sampelnya, saya berpikir untuk menggunakan sampler berikut :fX|Y(x|y)fX|Y(x|y)f_{X\vert Y}(x\vert y)fY(y)fY(y)f_Y(y) Untuk .j=1,…,Nj=1,…,Nj=1,\dots, N Contoh .yj∼fYyj∼fYy_j \sim f_Y …

12 sampling  conditional-probability  monte-carlo  marginal 

Saya membaca tentang metrik regresi di python yang scikit-belajar panduan dan meskipun masing-masing dari mereka memiliki rumus sendiri, saya tidak bisa mengatakan secara intuitif apa perbedaan antara R2R2R^2 dan skor varian dan oleh karena itu ketika menggunakan satu atau yang lain untuk mengevaluasi model saya.

12 regression  variance  scikit-learn  r-squared  model-evaluation 

Ada beberapa statistik ringkasan. Ketika Anda ingin menggambarkan penyebaran distribusi yang dapat Anda gunakan misalnya standar deviasi atau koefisien Gini . Saya tahu bahwa standar deviasi didasarkan pada kecenderungan sentral, yaitu deviasi dari nilai tengah, dan koefisien Gini merupakan ukuran umum dari dispersi. Saya juga tahu bahwa koefisien Gini memiliki …

12 standard-deviation  descriptive-statistics  gini 

Ini adalah upaya pertama saya untuk seseorang yang datang dari kamp frequentist untuk melakukan analisis data Bayesian. Saya membaca sejumlah tutorial dan beberapa bab dari Bayesian Data Analysis oleh A. Gelman. Sebagai contoh analisis data pertama yang kurang lebih independen saya memilih adalah kereta menunggu waktu. Saya bertanya pada diri …

12 bayesian  pymc 

Saya sedang belajar tes pengacakan sekarang. Ada dua pertanyaan yang muncul di benak saya: Ya, mudah dan intuitif bagaimana nilai-p dihitung dengan uji pengacakan (yang menurut saya sama dengan uji permutasi?). Namun, bagaimana kita juga bisa menghasilkan interval kepercayaan 95% seperti yang kita lakukan dengan tes parametrik normal? Ketika saya …

12 confidence-interval  p-value  permutation-test 

Dalam pembelajaran penguatan, pendekatan fungsi linear sering digunakan ketika ruang keadaan besar hadir. (Ketika mencari tabel menjadi tidak layak.) Bentuk nilai dengan pendekatan fungsi linear diberikan olehQ−Q-Q- Q(s,a)=w1f1(s,a)+w2f2(s,a)+⋯,Q(s,Sebuah)=w1f1(s,Sebuah)+w2f2(s,Sebuah)+⋯,Q(s,a) = w_1 f_1(s,a) + w_2 f_2(s,a) + \cdots, di mana adalah bobot, dan adalah fitur.wiwsayaw_ififsayaf_i Fitur-fiturnya sudah ditentukan oleh pengguna. Pertanyaan saya …

12 machine-learning  feature-selection  reinforcement-learning 

Dalam model mediasi klasik, kami memiliki jalur yang ditunjukkan pada diagram di bawah ini , di mana langkah pertama menguji efek mediasi M antara X dan Y adalah bahwa X secara signifikan berkorelasi dengan Y (seperti yang ditunjukkan pada panel A pada gambar). Namun, saya bertemu dengan situasi di mana …

12 mediation  path-model 

Analisis faktor memiliki beberapa metode rotasi, seperti varimax, quartimax, equamax, promax, oblimin, dll. Saya tidak dapat menemukan informasi apa pun yang menghubungkan nama mereka dengan matematika aktual atau statistik. Mengapa disebut "equa-max" atau "quarti-max"? Dengan cara apa sumbu atau matriks diputar sehingga mereka memiliki nama seperti itu? Sayangnya, kebanyakan dari …

12 factor-analysis  terminology  factor-rotation 

Saya cukup baru di R. Saya telah mencoba membaca tentang analisis deret waktu dan telah selesai Analisis seri Waktu Shumway dan Stoffer dan penerapannya Edisi ke-3 , Peramalan Hyndman yang sangat baik : prinsip dan praktik Avril Coghlan's Menggunakan R untuk Time Series Analysis A. Ian McLeod dkk. Analisis Rangkaian …

12 r  time-series 

Saya mencoba memahami proses pelatihan mesin vektor dukungan linear . Saya menyadari bahwa properti SMV memungkinkan mereka dioptimalkan lebih cepat daripada dengan menggunakan pemecah pemrograman kuadratik, tetapi untuk tujuan pembelajaran saya ingin melihat bagaimana ini bekerja. Data pelatihan set.seed(2015) df <- data.frame(X1=c(rnorm(5), rnorm(5)+5), X2=c(rnorm(5), rnorm(5)+3), Y=c(rep(1,5), rep(-1, 5))) df X1 …

12 r  svm  optimization