Statistik dan Big Data

Saya punya pertanyaan tentang optimasi parameter ketika saya menggunakan validasi silang 10 kali lipat. Saya ingin bertanya apakah parameter harus diperbaiki atau tidak selama pelatihan model setiap lipatan, yaitu (1) pilih satu set parameter yang dioptimalkan untuk akurasi rata-rata setiap lipatan. atau (2) Saya harus menemukan parameter yang dioptimalkan untuk …

14 cross-validation  optimization  parameterization 

Saya memiliki vektor angka yang saya unggah di sini (... / code / MyData.Rdata) menggunakan dput. Saya ingin mendapatkan bca ci jadi saya sudah menulis kode ini: my.mean <- function(dat, idx){ return (mean(dat[idx], na.rm = TRUE)) } boot.out<-boot(data=my.data, statistic = my.mean, R=1000) Tetapi ketika saya menjalankan yang berikut ini saya …

14 r  bootstrap 

Versi singkat: Apa metode yang paling efisien secara komputasi untuk memperkirakan mode set data multidimensi, yang diambil dari distribusi kontinu? Versi panjang: Saya punya satu set data yang saya perlukan untuk memperkirakan mode. Mode ini tidak sesuai dengan mean atau median. Contoh ditunjukkan di bawah ini, ini adalah contoh 2D, …

14 estimation  multivariate-analysis  continuous-data  mode 

Berdasarkan sampel dari kali bertahan hidup, saya ingin memperkirakan probabilitas bertahan waktu , untuk beberapa tertentu , menggunakan penduga Kaplan-Meier. Apakah mungkin untuk melakukan ini ? Harap dicatat, belum tentu waktu acara.nnnttttttRttt

14 r  kaplan-meier 

Saya bertanya-tanya diberikan hipotesis satu sisi (satu sisi) dengan tingkat alpha .05, dapatkah kita berbicara tentang interval kepercayaan 95% ? Misalnya, dapatkah kita membuat secara terpisah interval kepercayaan "satu sisi" dan "dua sisi" untuk uji Z atau t satu sisi? apa yang akan menjadi "interpretasi" dari masing-masing interval kepercayaan yang …

14 hypothesis-testing  confidence-interval 

Saya memiliki banyak nilai data mentah yang merupakan jumlah dolar dan saya ingin mencari interval kepercayaan untuk persentil dari data itu. Apakah ada formula untuk interval kepercayaan diri seperti itu?

14 confidence-interval  quantiles  tolerance-interval 

Bagaimana layer embedding dilatih pada layer Keras Embedding? (katakanlah menggunakan tensorflow backend, artinya mirip dengan word2vec, glove atau fasttext) Anggaplah kita tidak menggunakan penyematan pretrained.

14 deep-learning  keras  word-embeddings 

Teorema aproksimasi universal adalah hasil yang cukup terkenal untuk jaringan saraf, pada dasarnya menyatakan bahwa berdasarkan beberapa asumsi, suatu fungsi dapat didekati secara seragam oleh jaringan saraf dengan akurasi apa pun. Apakah ada beberapa hasil analog yang berlaku untuk jaringan saraf convolutional?

14 neural-networks  conv-neural-network  approximation 

Tujuan dari makalah ini adalah untuk mengoptimalkan beberapa parameter dengan memaksimalkan log-likelihood yang diatur. Kemudian mereka menghitung turunan parsial. Dan kemudian penulis menyebutkan bahwa mereka mengoptimalkan persamaan menggunakan L-BFGS, prosedur kuasi-Newton standar untuk mengoptimalkan fungsi halus dari banyak variabel (tidak ada rincian lebih lanjut). Bagaimana cara kerjanya ?

14 algorithms  optimization 

Saya mencoba untuk mendapatkan pemahaman intuitif dan merasakan perbedaan dan perbedaan praktis antara istilah yang konsisten dan tidak memihak asimtotik. Saya tahu definisi matematika / statistik mereka, tetapi saya sedang mencari sesuatu yang intuitif. Bagi saya, melihat definisi masing-masing, mereka tampaknya menjadi hal yang sama. Saya menyadari perbedaannya harus halus …

14 bias  convergence  unbiased-estimator  asymptotics  intuition 

Biasanya ketika seseorang mengambil rata-rata sampel acak dari suatu distribusi (dengan ukuran sampel lebih besar dari 30) ia memperoleh distribusi normal yang berpusat di sekitar nilai rata-rata. Namun, saya mendengar bahwa distribusi Cauchy tidak memiliki nilai rata-rata. Distribusi apa yang diperoleh seseorang saat memperoleh sarana sampel distribusi Cauchy? Pada dasarnya …

14 cauchy 

Saya baru saja menjalankan GLM binomial negatif dan ini adalah output: Call: glm.nb(formula = small ~ method + site + depth, data = size.dat, init.theta = 1.080668549, link = log) Deviance Residuals: Min 1Q Median 3Q Max -2.2452 -0.9973 -0.3028 0.3864 1.8727 Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) …

14 r  categorical-data  generalized-linear-model  interpretation  negative-binomial 

Dalam contoh berikut > m = matrix(c(3, 6, 5, 6), nrow=2) > m [,1] [,2] [1,] 3 5 [2,] 6 6 > (OR = (3/6)/(5/6)) #1 [1] 0.6 > fisher.test(m) #2 Fisher's Exact Test for Count Data data: m p-value = 0.6699 alternative hypothesis: true odds ratio is not equal …

14 r  odds-ratio  fishers-exact 

Bagaimana cara melatih model LSTM pada beberapa data deret waktu? Kasus penggunaan: Saya memiliki penjualan mingguan 20.000 agen selama 5 tahun terakhir. Perlu memperkirakan penjualan mingguan mendatang untuk setiap agen. Apakah saya perlu mengikuti teknik pemrosesan batch - mengambil satu agen pada suatu waktu, melatih model LSTM kemudian memperkirakan? Adakah …

14 machine-learning  time-series  statistical-significance  lstm  artificial-intelligence 

Saya bingung dengan definisi model non-parametrik setelah membaca tautan ini Model parametrik vs Nonparametrik dan Menjawab komentar dari pertanyaan saya yang lain . Awalnya saya pikir "parametrik vs non-parametrik" berarti jika kita memiliki asumsi distribusi pada model (mirip dengan pengujian hipotesis parametrik atau non-parametrik). Tetapi kedua sumber daya mengklaim "parametrik …

14 machine-learning  neural-networks  nonparametric  terminology  parametric