Statistik dan Big Data

Pertimbangkan regresi ridge dengan kendala tambahan mengharuskan y memiliki satuan jumlah kuadrat (ekuivalen, satuan varians); jika diperlukan, orang dapat berasumsi bahwa y memiliki satuan jumlah kuadrat juga:y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. Berapa batas β^∗λβ^λ∗\hat{\boldsymbol\beta}_\lambda^* ketika λ→∞λ→∞\lambda\to\infty ? Berikut adalah …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

Versi pendek: Kita tahu bahwa regresi logistik dan regresi probit dapat diinterpretasikan sebagai melibatkan variabel laten kontinu yang didiskritisasi menurut beberapa ambang batas yang ditetapkan sebelum pengamatan. Apakah interpretasi variabel laten serupa tersedia untuk, katakanlah, regresi Poisson? Bagaimana dengan regresi Binomial (seperti logit atau probit) ketika ada lebih dari dua …

21 logistic  generalized-linear-model  poisson-regression  probit  latent-variable 

Telah membaca beberapa pertanyaan tentang t-SNE ( t-Distributed Stochastic Neighbor Embedding ) belakangan ini, dan juga mengunjungi beberapa pertanyaan tentang MDS ( Multidimensional Scaling ). Mereka sering digunakan secara analog, jadi sepertinya ide yang bagus membuat pertanyaan ini melihat ada banyak pertanyaan pada keduanya secara terpisah (atau dibandingkan dengan PCA …

21 data-visualization  dimensionality-reduction  multidimensional-scaling  tsne 

Latar Belakang: Ya, Mesin Boltzmann Terbatas (RBM) DAPAT digunakan untuk memulai bobot jaringan saraf. Juga BISA digunakan dalam cara "lapis demi lapis" untuk membangun jaringan kepercayaan yang mendalam (yaitu, untuk melatih lapisan ke- di atas lapisan , dan kemudian untuk melatih layer ke- di atas layer ke- , bilas dan …

21 machine-learning  neural-networks  deep-learning  deep-belief-networks  rbm 

Banyak PDF berkisar dari minus hingga tak terhingga positif, namun beberapa cara didefinisikan dan beberapa tidak. Sifat umum apa yang membuat beberapa dapat dihitung?

21 distributions  mean 

Kapan kita harus discretize / bin variabel independen / fitur dan kapan tidak? Upaya saya untuk menjawab pertanyaan: Secara umum, kita tidak boleh bin, karena binning akan kehilangan informasi. Binning sebenarnya meningkatkan derajat kebebasan model, jadi, dimungkinkan untuk menyebabkan over-fitting setelah binning. Jika kita memiliki model "bias tinggi", binning mungkin …

21 machine-learning  continuous-data  feature-construction  binning 

Dalam statistik, apakah independen dan acak menggambarkan karakteristik yang sama? Apa perbedaan di antara mereka? Kami sering menemukan deskripsi seperti "dua variabel acak independen" atau "pengambilan sampel acak". Saya bertanya-tanya apa perbedaan yang tepat di antara mereka. Adakah yang bisa menjelaskan hal ini dan memberikan beberapa contoh? misalnya proses non-independen …

21 distributions  sampling  randomness 

Pemahaman saya adalah bahwa bahkan ketika mengikuti prosedur validasi silang dan pemilihan model yang tepat, overfitting akan terjadi jika seseorang mencari model dengan cukup keras , kecuali jika seseorang memaksakan pembatasan pada kompleksitas model, titik. Selain itu, sering kali orang mencoba mempelajari hukuman pada model kompleksitas dari data yang merusak …

21 machine-learning  cross-validation  goodness-of-fit  scikit-learn  caret 

Berdasarkan sedikit pengetahuan yang saya miliki tentang metode MCMC (Markov chain Monte Carlo), saya mengerti bahwa pengambilan sampel adalah bagian penting dari teknik yang disebutkan di atas. Metode pengambilan sampel yang paling umum digunakan adalah Hamiltonian dan Metropolis. Apakah ada cara untuk memanfaatkan pembelajaran mesin atau bahkan pembelajaran mendalam untuk …

21 machine-learning  mcmc  monte-carlo  markov-process 

Pertanyaan saya muncul dari diskusi dengan @whuber di komentar pertanyaan yang berbeda . Secara khusus, komentar @whuber adalah sebagai berikut: Salah satu alasan yang mungkin mengejutkan Anda adalah bahwa asumsi yang mendasari uji korelasi dan uji kemiringan regresi berbeda - jadi bahkan ketika kita memahami bahwa korelasi dan kemiringan benar-benar …

21 regression  correlation  p-value  assumptions 

Nah baru-baru ini saya bekerja pada belajar algoritma meningkatkan, seperti AdaBoost, meningkatkan gradien, dan saya tahu fakta bahwa yang paling umum digunakan lemah-pelajar adalah pohon. Saya benar-benar ingin tahu apakah ada beberapa contoh sukses baru-baru ini (maksud saya beberapa makalah atau artikel) untuk menggunakan jaringan saraf sebagai pembelajar dasar.

21 neural-networks  deep-learning  boosting  ensemble  dropout 

Apa itu "logistik" tentang distribusi logistik, secara umum? Apa etimologi dari dan alasan leksikal untuk nama, bukan hanya definisi matematika murni?

21 terminology  history  etymology  logistic-curve  logistic-distribution 

Mengapa orang menggunakan teknik Pemrograman Quadratic (seperti SMO) ketika berhadapan dengan SVM kernel? Apa yang salah dengan Keturunan Gradien? Apakah tidak mungkin digunakan dengan kernel atau itu terlalu lambat (dan mengapa?). Berikut adalah konteks yang lebih sedikit: mencoba memahami SVM sedikit lebih baik, saya menggunakan Gradient Descent untuk melatih classifier …

21 svm  kernel-trick  gradient-descent 

EDIT: Karena pertanyaan ini telah meningkat, ringkasan: menemukan set data yang bermakna dan dapat ditafsirkan berbeda dengan statistik campuran yang sama (rata-rata, median, midrange dan dispersinya yang terkait, dan regresi). Kuartet Anscombe (lihat Tujuan memvisualisasikan data dimensi tinggi? ) Adalah contoh terkenal dari empat dataset - , dengan rata-rata marginal …

21 regression  descriptive-statistics  curve-fitting  estimators 

Saya ingin memodelkan regresi logistik dengan data yang tidak seimbang (9: 1). Saya ingin mencoba opsi bobot dalam glmfungsi di R, tapi saya tidak 100% yakin apa fungsinya. Katakanlah variabel output saya c(0,0,0,0,0,0,0,0,0,1). sekarang saya ingin memberi "1" 10 kali lebih berat. jadi saya memberikan argumen bobot weights=c(1,1,1,1,1,1,1,1,1,1,1,10). Ketika saya …

21 regression  logistic  classification  unbalanced-classes  weighted-data