Statistik dan Big Data

Saya telah membaca di beberapa tempat bahwa R Squared bukan ukuran ideal ketika model cocok menggunakan LASSO. Namun, saya tidak tahu persis mengapa itu terjadi. Selain itu, dapatkah Anda merekomendasikan alternatif terbaik?

12 regression  lasso  r-squared  penalized 

Apakah penggunaan "variasi" selalu merujuk ke pengoptimalan melalui inferensi variasional? Contoh: "Pengode-otomatis variasi" "Metode Bayesian Variasional" "Grup renasionalisasi variasi"

12 machine-learning  optimization  inference 

Saya mencari literatur tentang regresi ridge negatif . Singkatnya, ini adalah generalisasi dari regresi ridge linier menggunakan negatif dalam rumus estimator:Kasus positif memiliki teori yang bagus: sebagai fungsi kerugian, sebagai kendala, seperti Bayes sebelumnya ... tapi saya merasa bingung dengan versi negatif dengan hanya rumus di atas. Kebetulan berguna untuk …

12 regression  regularization  ridge-regression 

Jika Anda melihat distribusi beta dengan α = β= 4α=β=4\alpha=\beta=4 terlihat sangat mirip dengan distribusi Gaussian . Tetapi apakah itu? Bagaimana Anda dapat membuktikan apakah distribusi Beta (4,4) adalah Gaussian atau tidak?

12 normal-distribution  beta-distribution 

Saya sedang memikirkan arti keluarga skala lokasi. Pemahaman saya adalah bahwa untuk setiap anggota keluarga skala lokasi dengan parameter lokasi dan skala, maka distribusi tidak tergantung dari parameter apapun dan itu sama untuk setiap milik keluarga itu.a b Z = ( X - a ) / b XXXXSebuahaabbbZ= ( X- …

12 probability  distributions  mathematical-statistics  random-variable  moments 

Saya melakukan percobaan pada set validasi EMNIST menggunakan jaringan dengan RMSProp, Adam dan SGD. Saya mencapai akurasi 87% dengan SGD (tingkat belajar 0,1) dan dropout (0,1 dropout prob) serta regularisasi L2 (penalti 1e-05). Saat menguji konfigurasi persis yang sama dengan RMSProp dan Adam serta tingkat pembelajaran awal 0,001, saya mencapai …

12 machine-learning  optimization  sgd  adam 

Jika kita ingin menghitung efek kausal pada dalam grafik kausal di bawah ini, kita dapat menggunakan teorema penyesuaian pintu belakang dan teorema penyesuaian pintu depan, yaitu XXXYYYP(y|do(X=x))=∑uP(y|x,u)P(u)P(y|do(X=x))=∑uP(y|x,u)P(u)P(y | \textit{do}(X = x)) = \sum_u P(y | x, u) P(u) dan P(y|do(X=x))=∑zP(z|x)∑x′P(y|x′,z)P(x′).P(y|do(X=x))=∑zP(z|x)∑x′P(y|x′,z)P(x′).P(y | \textit{do}(X = x)) = \sum_z P(z | x) \sum_{x'} …

12 self-study  causality  graph-theory  dag 

Pertama-tama: Saya tahu, tidak ada jumlah umum ukuran sampel yang diperlukan untuk melatih jaringan saraf. Itu tergantung pada terlalu banyak faktor seperti kerumitan tugas, kebisingan dalam data dan sebagainya. Dan semakin banyak sampel pelatihan yang saya miliki, semakin baik jaringan saya. Tetapi saya bertanya-tanya: Apakah secara teori mungkin untuk melatih …

12 neural-networks  overfitting  underdetermined 

Saya tidak pernah yakin kapan harus menggunakan pengodean satu-panas untuk variabel kategori yang tidak dipesan dan kapan tidak. Saya menggunakannya setiap kali algoritma menggunakan metrik jarak untuk menghitung kesamaan. Adakah yang bisa memberikan aturan umum tentang apa jenis algoritma akan membutuhkan fitur kategorikal non-teratur menjadi satu-hot-encoded dan mana yang tidak?

12 machine-learning  categorical-data  categorical-encoding  data-preprocessing 

Untuk saya (sangat sederhana) memahami inferensi variasional, orang mencoba untuk memperkirakan p distribusi yang tidak diketahui dengan menemukan q distribusi yang mengoptimalkan berikut ini:pppqqq KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Setiap kali saya menginvestasikan waktu untuk memahami inferensi variasional, saya terus memukul formula ini dan tidak bisa membantu tetapi …

12 variational-bayes 

Mari kita asumsikan kita memiliki masalah klasifikasi dan pada awalnya kita ingin mendapatkan beberapa wawasan dari data dan kita melakukan t-SNE. Hasil t-SNE memisahkan kelas dengan sangat baik. Ini menyiratkan bahwa adalah mungkin untuk membangun model klasifikasi yang juga akan memisahkan kelas dengan sangat baik (jika t-SNE tidak terpisah dengan …

12 classification  tsne 

Latar Belakang: Saya sedang mempelajari Bab 6 Pembelajaran Jauh oleh Ian Goodfellow dan Yoshua Bengio dan Aaron Courville. Pada bagian 6.2.2.2 (halaman 182 dari 183 yang dapat dilihat di sini ) penggunaan sigmoid untuk output termotivasi.P( y= 1 | x )P(y=1|x)P(y=1|x) Untuk meringkas beberapa materi yang mereka biarkan menjadi neuron …

12 neural-networks  deep-learning 

Jika kita memproses 10 contoh dalam satu batch, saya mengerti kita bisa menjumlahkan kerugian untuk setiap contoh, tetapi bagaimana cara backpropagation dalam hal memperbarui bobot untuk masing-masing contoh? Sebagai contoh: Contoh 1 -> kerugian = 2 Contoh 2 -> kerugian = -2 Ini menghasilkan kerugian rata-rata 0 (E = 0), …

12 neural-networks  gradient-descent  backpropagation  tensorflow 

Saya memiliki kumpulan data besar ini dengan 2500 variabel dan 142 observasi. Saya ingin menjalankan korelasi antara Variabel X dan variabel lainnya. Tetapi untuk banyak kolom, ada entri yang hilang. Saya mencoba melakukan ini di R menggunakan argumen "pairwise-complete" ( use=pairwise.complete.obs) dan menghasilkan banyak korelasi. Tetapi kemudian seseorang di StackOverflow …

12 r  correlation  missing-data  correlation-matrix 

Saya menyiapkan pencarian grid untuk sekelompok params. Saya mencoba mencari parameter terbaik untuk jaring neural Keras yang melakukan klasifikasi biner. Outputnya adalah 1 atau 0. Ada sekitar 200 fitur. Ketika saya melakukan pencarian kotak, saya mendapat banyak model dan parameternya. Model terbaik memiliki parameter ini: Epochs : 20 Batch Size …

12 machine-learning  cross-validation  deep-learning  tensorflow  theano