Statistik dan Big Data

Baru-baru ini saya telah belajar bahwa salah satu cara untuk menemukan solusi yang lebih baik untuk masalah ML adalah dengan membuat fitur. Seseorang dapat melakukannya dengan, misalnya, menjumlahkan dua fitur. Sebagai contoh, kami memiliki dua fitur "serangan" dan "pertahanan" semacam pahlawan. Kami kemudian membuat fitur tambahan yang disebut "total" yang …

20 machine-learning  feature-construction 

Apa perbedaan utama antara data jarang dan data yang hilang? Dan bagaimana pengaruhnya terhadap pembelajaran mesin? Lebih khusus lagi, apa efek data jarang dan data yang hilang miliki pada algoritma klasifikasi dan tipe algoritma regresi (prediksi angka). Saya berbicara tentang situasi, di mana persentase data yang hilang signifikan dan kami …

20 machine-learning  dataset  missing-data  sparse 

Baru-baru ini saya menemukan bahwa dalam literatur ekonometrik terapan, ketika berhadapan dengan masalah pemilihan fitur, tidak jarang melakukan LASSO diikuti oleh regresi OLS menggunakan variabel yang dipilih. Saya bertanya-tanya bagaimana kita memenuhi syarat validitas dari prosedur semacam itu. Apakah ini akan menyebabkan masalah seperti variabel yang dihilangkan? Adakah bukti yang …

20 regression  feature-selection  econometrics  least-squares  lasso 

Saya memiliki model jaringan saraf yang dalam dan saya perlu melatihnya pada dataset saya yang terdiri dari sekitar 100.000 contoh, data validasi saya berisi sekitar 1000 contoh. Karena butuh waktu untuk melatih setiap contoh (sekitar 0,5 untuk setiap contoh) dan untuk menghindari overfitting, saya ingin menerapkan penghentian dini untuk mencegah …

20 neural-networks  deep-learning 

Saya mencoba memahami arsitektur Recurrent neural network (RNN) yang berbeda untuk diterapkan pada data deret waktu dan saya agak bingung dengan nama-nama berbeda yang sering digunakan ketika menggambarkan RNN. Apakah struktur memori jangka pendek panjang (LSTM) dan Gated Recurrent Unit (GRU) pada dasarnya adalah RNN dengan loop umpan balik?

20 neural-networks  lstm  rnn 

Ini mungkin pertanyaan sepele, tapi pencarian saya telah sia-sia sejauh ini, termasuk artikel wikipedia , dan "Kompendium Distribusi" dokumen . Jika memiliki distribusi seragam, apakah ini berarti bahwa mengikuti distribusi eksponensial?XXXeXeXe^X Demikian pula, jika mengikuti distribusi eksponensial, apakah ini berarti mengikuti distribusi yang seragam?l n ( Y )YYYln(Y)ln(Y)ln(Y)

20 distributions  data-transformation  exponential  uniform 

Secara intuitif, rata-rata hanyalah rata-rata pengamatan. Perbedaannya adalah seberapa banyak pengamatan ini bervariasi dari rata-rata. Saya ingin tahu mengapa kebalikan dari varian dikenal sebagai presisi. Intuisi apa yang bisa kita buat dari ini? Dan mengapa matriks presisi berguna seperti matriks kovarians dalam distribusi multivariat (normal)? Wawasan tolong?

20 normal-distribution  multivariate-analysis  terminology  intuition 

Dalam pelatihan jaringan saraf yang dalam dan dangkal, mengapa metode gradien (misalnya gradient descent, Nesterov, Newton-Raphson) umum digunakan, berbeda dengan metaheuristik lainnya? Metaheuristik yang saya maksud adalah metode seperti annealing yang disimulasikan, optimisasi koloni semut, dll., Yang dikembangkan untuk menghindari terjebak dalam minima lokal.

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Saya membaca bab bias-varians dari unsur-unsur pembelajaran statistik dan saya ragu dalam rumus di halaman 29. Biarkan data muncul dari model sehingga Y=f(x)+ϵY=f(x)+ϵ Y = f(x)+\epsilon mana adalah bilangan acak dengan nilai yang diharapkan dan Variance . Biarkan nilai kesalahan model yang diharapkan adalah mana adalah prediksi dari pelajar kita. …

20 machine-learning  unbiased-estimator  mse  bias-variance-tradeoff 

Saya telah menggunakan theano untuk bereksperimen dengan LSTM, dan bertanya-tanya apa metode optimasi (SGD, Adagrad, Adadelta, RMSprop, Adam, dll) bekerja paling baik untuk LSTM? Apakah ada makalah penelitian tentang topik ini? Juga, apakah jawabannya tergantung pada jenis aplikasi yang saya gunakan untuk LSTM? Jika demikian, saya menggunakan LSTM untuk klasifikasi …

20 machine-learning  neural-networks  optimization  lstm 

Dalam konteks regresi OLS, saya memahami bahwa plot residual (vs nilai pas) secara konvensional dipandang untuk menguji varians konstan dan menilai spesifikasi model. Mengapa residu diplot terhadap fit, dan bukan nilai ? Apa perbedaan informasinya dengan kedua plot ini?YYY Saya sedang mengerjakan model yang menghasilkan plot sisa berikut: Jadi plot …

20 regression  residuals 

Saya memiliki matriks korelasi yang menyatakan bagaimana setiap item berkorelasi dengan item lainnya. Karenanya untuk item N, saya sudah memiliki matriks korelasi N * N. Dengan menggunakan matriks korelasi ini, bagaimana cara mengelompokkan item N dalam M bin sehingga saya dapat mengatakan bahwa Item Nk di kth bin berperilaku sama. …

20 clustering  python  k-means 

Teorema Bayes berlaku P(model|data)=P(model)×P(data|model)P(data)P(model|data)=P(model)×P(data|model)P(data) P(\textrm{model}|\textrm{data}) = \frac{P(\textrm{model}) \times P(\textrm{data}|\textrm{model})}{P(\textrm{data})} Ini semua baik-baik saja Tapi, saya pernah membaca di suatu tempat: Pada dasarnya, P (data) tidak lain adalah konstanta normalisasi, yaitu konstanta yang membuat kerapatan posterior berintegrasi menjadi satu. Kita tahu bahwa dan . 0≤P(model)≤10≤P(model)≤10 \leq P(\textrm{model}) \leq 10≤P(data|model)≤10≤P(data|model)≤1 0 \leq …

20 probability  bayesian  conditional-probability  bayes 

Secara konseptual saya memahami makna ungkapan "total area di bawah PDF adalah 1". Ini harus berarti bahwa peluang hasil berada dalam interval total kemungkinan adalah 100%. Tapi saya tidak bisa benar-benar memahaminya dari sudut pandang "geometris". Jika, misalnya, dalam PDF sumbu x mewakili panjang, akankah total area di bawah kurva …

20 probability  pdf  integral 

Latar belakang: Saya memberikan presentasi kepada kolega di tempat kerja tentang pengujian hipotesis, dan memahami sebagian besar dari itu baik-baik saja tetapi ada satu aspek yang saya mengikat diri dalam simpul yang mencoba memahami serta menjelaskannya kepada orang lain. Ini yang saya pikir saya tahu (tolong perbaiki jika salah!) Statistik …

20 hypothesis-testing  normal-distribution  t-test  assumptions  z-test