Statistik dan Big Data

Setiap buku teks yang saya lihat sejauh ini menggambarkan algoritma ML dan bagaimana menerapkannya. Apakah ada juga buku teks yang membangun teorema dan bukti untuk perilaku algoritma tersebut? mis. menyatakan bahwa dalam kondisi , gradient descent akan selalu mengarah ke A , B , C ?x,y,zx,y,zx,y,zA,B,CA,B,CA,B,C

23 machine-learning  mathematical-statistics  references  algorithms 

Ketika membangun model prediktif menggunakan teknik pembelajaran mesin, apa gunanya melakukan analisis data eksplorasi (EDA)? Apakah saya tetap bisa langsung melompat ke pembuatan fitur dan membangun model Anda? Bagaimana statistik deskriptif digunakan dalam EDA penting?

23 machine-learning  predictive-models  descriptive-statistics  eda 

Saya tertarik mempelajari cara mengembangkan perkiraan geografis semacam episentrum berdasarkan data dari wabah John Snow Cholera. Apa pemodelan statistik yang dapat digunakan untuk memecahkan masalah seperti itu tanpa pengetahuan sebelumnya tentang di mana sumur berada. Sebagai masalah umum, Anda harus menyediakan waktu, lokasi titik yang diketahui, dan jalur berjalan pengamat. …

23 bayesian  spatial  epidemiology  gis 

Misalkan saya ingin membuat model regresi logistik yang dapat memperkirakan probabilitas kemunculan beberapa spesies hewan yang hidup di pohon berdasarkan karakteristik pohon (tinggi fe). Seperti biasa, waktu dan uang saya terbatas, oleh karena itu saya hanya dapat mengumpulkan ukuran sampel yang terbatas. Saya memiliki pertanyaan berikut: Haruskah rasio 1 dan …

23 logistic  sampling 

Saya telah membaca banyak tentang algoritma -sne untuk pengurangan dimensi. Saya sangat terkesan dengan kinerja pada dataset "klasik", seperti MNIST, di mana ia mencapai pemisahan digit yang jelas ( lihat artikel asli ):ttt Saya juga menggunakannya untuk memvisualisasikan fitur yang dipelajari oleh jaringan saraf yang saya latih dan saya sangat …

23 clustering  data-visualization  dimensionality-reduction  high-dimensional  tsne 

Monty memiliki pengetahuan sempurna tentang apakah Pintu memiliki kambing di belakangnya (atau kosong). Fakta ini memungkinkan Player untuk Menggandakan tingkat keberhasilannya dari waktu ke waktu dengan mengalihkan "tebakan" ke Pintu lainnya. Bagaimana jika pengetahuan Monty kurang sempurna? Bagaimana jika Hadiah terkadang benar-benar ada di Pintu yang sama dengan Kambing? Tetapi …

23 conditional-probability 

Saya sedang menulis contoh dan telah membuat beberapa data. Saya ingin menjadi jelas bagi pembaca ini bukan data nyata, tetapi saya juga tidak ingin memberikan kesan kedengkian, karena itu hanya berfungsi sebagai contoh. Tidak ada komponen acak (pseudo) untuk data khusus ini, jadi bagi saya sepertinya 'disimulasikan' tidak sesuai. Jika …

23 terminology  synthetic-data 

Dalam sebuah pertanyaan yang saya ajukan baru-baru ini , saya diberi tahu bahwa itu adalah "tidak-tidak" yang besar untuk diekstrapolasi dengan loess. Tapi, dalam artikel terbaru Nate Silver di FiveThirtyEight.com ia membahas menggunakan loess untuk membuat prediksi pemilu. Dia sedang mendiskusikan spesifik ramalan agresif versus konservatif dengan loess tapi saya …

23 time-series  forecasting  predictive-models  loess  politics 

Kami biasanya menggunakan PCA sebagai teknik reduksi dimensi untuk data di mana kasus dianggap iid Pertanyaan: Apa nuansa khas dalam menerapkan PCA untuk data dependen dan non-iid? Apa sifat bagus / berguna PCA yang berlaku untuk data iid dikompromikan (atau hilang seluruhnya)? Sebagai contoh, data dapat berupa deret waktu multivariat …

23 time-series  pca  non-independent  iid 

Jika Anda melihat dokumentasi http://keras.io/optimizers/ ada parameter dalam SGD untuk pembusukan. Saya tahu ini mengurangi tingkat belajar dari waktu ke waktu. Namun, saya tidak tahu bagaimana cara kerjanya tepatnya. Apakah itu nilai yang dikalikan dengan tingkat pembelajaran seperti lr = lr * (1 - decay) apakah itu eksponensial? Juga bagaimana …

23 neural-networks  python 

Saya baru-baru ini berlari dan belajar aliran tensor dan mendapat beberapa histogram yang saya tidak tahu bagaimana menafsirkannya. Biasanya saya menganggap tinggi batang sebagai frekuensi (atau frekuensi / jumlah relatif). Namun, kenyataan bahwa tidak ada balok seperti pada histogram biasa dan fakta bahwa banyak hal yang diarsir membuat saya bingung. …

23 machine-learning  neural-networks  conv-neural-network  tensorflow 

Saya telah melihat ikhtisar rumus lm / lmer R oleh @conjugateprior dan bingung dengan entri berikut: Sekarang asumsikan A adalah acak, tetapi B adalah tetap dan B bersarang dalam A. aov(Y ~ B + Error(A/B), data=d) Formula model campuran analog di bawah lmer(Y ~ B + (1 | A:B), data=d) …

23 r  anova  mixed-model  repeated-measures  lme4-nlme 

Saya sedang melakukan penelitian tentang teknik optimasi untuk pembelajaran mesin, tetapi saya terkejut menemukan sejumlah besar algoritma optimasi didefinisikan dalam hal masalah optimasi lainnya. Saya menggambarkan beberapa contoh berikut ini. Misalnya https://arxiv.org/pdf/1511.05133v1.pdf Semuanya terlihat bagus dan bagus tapi kemudian ada dalam .... jadi apa algoritma yang memecahkan untuk ? Kami …

23 machine-learning  svm  optimization 

Misalkan saya melatih beberapa model pada set pelatihan, pilih yang terbaik menggunakan set validasi silang dan kinerja yang diukur pada set tes. Jadi sekarang saya punya satu model terbaik akhir. Haruskah saya melatihnya pada semua data saya yang tersedia atau solusi pengiriman yang hanya dilatih pada set pelatihan? Jika yang …

23 machine-learning  validation  regression-strategies 

Terpikir oleh saya hari ini bahwa distribusi dapat dilihat sebagai kompromi antara Gaussian dan Laplace distribusi, untuk danApakah distribusi semacam itu memiliki nama? Dan apakah ia memiliki ekspresi konstan yang normal? Kalkulus mengejutkan saya, karena saya tidak tahu bagaimana memulai memecahkan dalam integral f(x)∝exp(−|x−μ|pβ)f(x)∝exp⁡(−|x−μ|halβ) f(x)\propto\exp\left(-\frac{|x-\mu|^p}{\beta}\right) x∈R,p∈[1,2]x∈R,p∈[1,2]x\in\mathbb{R}, p\in[1,2]β>0.β>0.\beta>0.CCC1=C⋅∫∞-∞exp( - | x …

23 distributions  normal-distribution  terminology  laplace-distribution  distribution-identification