Statistik dan Big Data

Saya bertanya-tanya apa perbedaan antara kedua jenis prior ini: Tidak informatif Tidak benar

10 bayesian  prior  improper-prior 

Saya memahami mekanisme penghitungan bobot menggunakan skor kecenderungan : dan kemudian menerapkan bobot dalam analisis regresi, dan bahwa bobot berfungsi untuk "kendalikan" atau lepaskan pengaruh kovariat dalam populasi kelompok perlakuan dan kontrol dengan variabel hasil.w i , j = t r e a tp ( xsaya)p(xi)p(x_i)wi , j = t …

10 intuition  weighted-regression  propensity-scores 

Saya mulai dengan pembelajaran yang mendalam, dan saya memiliki pertanyaan yang jawabannya tidak dapat saya temukan, mungkin saya belum mencari dengan benar. Saya telah melihat jawaban ini , tetapi masih belum jelas apa penurunan berat badan dan bagaimana hubungannya dengan fungsi penurunan.

10 neural-networks  conv-neural-network 

Bagaimana saya bisa mengambil sampel secara efisien dari distribusi berikut? x∼B(α,β), x>kx∼B(α,β), x>k x \sim B(\alpha, \beta),\space x > k Jika tidak terlalu besar maka penolakan sampel mungkin merupakan pendekatan terbaik, tetapi saya tidak yakin bagaimana untuk melanjutkan ketika besar. Mungkin ada beberapa perkiraan asimptotik yang bisa diterapkan?kkkkkkk

10 random-generation  beta-distribution  truncation 

Saya mencoba menguji kemampuan hutan acak untuk mengklasifikasikan sampel antara 2 kelompok; Ada 54 sampel dan berbagai jumlah variabel yang digunakan untuk klasifikasi. Saya bertanya-tanya mengapa perkiraan out-of-bag (OOB) dapat bervariasi sebanyak 5% dari satu sama lain bahkan ketika saya menggunakan 50k pohon? Apakah ini sesuatu yang bisa membantu bootstrapping?

10 machine-learning  random-forest 

Saya telah ke beberapa pembicaraan statistik baru-baru ini tentang Lasso (regularisasi) dan satu hal yang terus muncul adalah bahwa kita tidak benar-benar mengerti mengapa Lasso bekerja atau mengapa ia bekerja dengan sangat baik. Saya bertanya-tanya apa maksud pernyataan ini. Jelas saya mengerti mengapa Lasso bekerja secara teknis, dengan cara mencegah …

10 machine-learning  lasso  regularization 

Dapatkah fungsi kontinu pada [a, b], di mana a dan b adalah bilangan real, diperkirakan atau ditutup secara sewenang-wenang ke fungsi (dalam beberapa norma) oleh Proses Gaussian (Regresi)?

10 gaussian-process  approximation 

Saya mencoba memanfaatkan regresi RF untuk membuat prediksi tentang kinerja pabrik kertas. Saya memiliki data menit demi menit untuk input (laju dan jumlah bubur kayu masuk dll ...) serta untuk kinerja mesin (kertas yang diproduksi, daya yang ditarik oleh mesin) dan saya ingin membuat prediksi 10 menit di depan pada …

10 time-series  forecasting  cross-validation  random-forest  autoregressive 

Saya mengikuti tutorial mnist Tensorflow ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). Tutorial menggunakan tf.train.Optimizer.minimize(khusus tf.train.GradientDescentOptimizer). Saya tidak melihat argumen yang dilewatkan di mana pun untuk menentukan gradien. Apakah Tensor flow menggunakan diferensiasi numerik secara default? Apakah ada cara untuk lulus dalam gradien seperti yang Anda bisa scipy.optimize.minimize?

10 python  optimization  tensorflow 

Ketika membahas tingkat pencapaian tugas, apakah ada cara untuk menunjukkan bahwa 0 dari 20 upaya "lebih buruk" daripada 0 dari 10 upaya?

10 probability  sampling 

Saya melihat notasi ini untuk kuadrat terkecil di sini . minw∥ Xw - y∥22minw‖Xw−y‖22 \min_w \left\| Xw - y \right\|^2_2 Saya belum pernah melihat bilah ganda dan 2 di bagian bawah. Apakah arti simbol ini? Apakah mereka memiliki terminologi khusus untuk mereka?

10 regression  least-squares  linear-model  linear-algebra  notation 

Dalam kursus pembelajaran mesin Andrew Ng, ia menggunakan rumus ini: ∇Atr(ABATC)=CAB+CTABT∇Atr(ABATC)=CAB+CTABT\nabla_A tr(ABA^TC) = CAB + C^TAB^T dan dia melakukan bukti cepat yang ditunjukkan di bawah ini: ∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T …

10 machine-learning  matrix  derivative 

Saya sedang mengerjakan jaringan konvolusi untuk pengenalan gambar, dan saya bertanya-tanya apakah saya dapat memasukkan gambar dengan ukuran yang berbeda (meskipun tidak terlalu berbeda). Pada proyek ini: https://github.com/harvardnlp/im2markup Mereka bilang: and group images of similar sizes to facilitate batching Jadi, bahkan setelah preprocessing, gambar masih berukuran berbeda, yang masuk akal …

10 neural-networks  conv-neural-network  computer-vision 

Saya memprogram dan melakukan pengembangan berbasis tes. Setelah saya membuat perubahan dalam kode saya, saya menjalankan tes saya. Terkadang mereka berhasil dan terkadang mereka gagal. Sebelum saya menjalankan tes saya menuliskan angka 0,01-0,99 untuk kepercayaan saya bahwa tes akan berhasil. Saya ingin tahu apakah saya membaik dalam memprediksi apakah tes …

10 forecasting  decision-theory  calibration  scoring-rules 

Setelah beberapa diskusi (di bawah), saya sekarang memiliki gambaran yang lebih jelas tentang pertanyaan terfokus, jadi di sini adalah pertanyaan yang direvisi, meskipun beberapa komentar sekarang mungkin tampaknya tidak berhubungan dengan pertanyaan awal. Tampaknya uji-t menyatu dengan cepat untuk distribusi simetris , bahwa tes peringkat-bertanda mengasumsikan simetri , dan bahwa, …

10 hypothesis-testing  t-test  paired-data  wilcoxon-signed-rank  sign-test