Statistik dan Big Data

Saya memiliki kumpulan data dengan 16 variabel, dan setelah pengelompokan berdasarkan kmeans, saya ingin memplot dua kelompok. Plot apa yang Anda sarankan untuk secara visual mewakili kedua klaster?

19 data-visualization  clustering  k-means 

Saya telah membaca karya Alexandru Niculescu-Mizil dan Rich Caruana " Memperoleh Kemungkinan yang Dikalibrasi dari Peningkatan " dan diskusi di utas ini . Namun, saya masih mengalami kesulitan memahami dan menerapkan skala logistik atau Platt untuk mengkalibrasi output multi-class saya meningkatkan classifier (dorongan lembut dengan tunggul keputusan). Saya agak akrab …

19 machine-learning  boosting 

Apakah ada perbedaan antara 'transfer pembelajaran' dan 'adaptasi domain'? Saya tidak tahu tentang konteks, tetapi pemahaman saya adalah bahwa kami memiliki beberapa dataset 1 dan melatihnya, setelah itu kami memiliki dataset 2 yang ingin kami sesuaikan dengan model kami tanpa pelatihan ulang dari awal, untuk mana 'transfer pembelajaran' dan 'adaptasi …

19 deep-learning  terminology  conv-neural-network  transfer-learning  domain-adaptation 

Misalkan Anda memiliki satu bagian penampang data di mana individu berada di dalam kelompok (misalnya siswa di sekolah) dan Anda ingin memperkirakan model bentuk di Y_i = a + B*X_imana Xmerupakan vektor karakteristik tingkat individu dan akonstanta. Dalam hal ini, anggaplah bias heterogenitas antar-kelompok yang tidak terobservasi dari estimasi poin …

19 econometrics  multilevel-analysis  fixed-effects-model  endogeneity  clustered-standard-errors 

Apa definisi "ruang fitur"? Misalnya, Saat membaca tentang SVM, saya membaca tentang "pemetaan ke fitur ruang". Saat membaca tentang CART, saya membaca tentang "partisi ke ruang fitur". Saya mengerti apa yang terjadi, terutama untuk CART, tetapi saya pikir ada beberapa definisi yang saya lewatkan. Apakah ada definisi umum "ruang fitur"? …

19 machine-learning  svm  feature-selection  cart  feature-construction 

Pertanyaannya mungkin terdengar agak aneh karena saya baru dalam inferensi statistik dan jaringan saraf. Ketika dalam masalah klasifikasi menggunakan jaringan saraf kita mengatakan bahwa kita ingin mempelajari fungsi yang memetakan ruang input , ke ruang output :f∗f∗f^*xxxyyy f∗(x;θ)=yf∗(x;θ)=yf^*(x; \theta) = y Apakah kita menyesuaikan parameter ( θθ\theta ) untuk memodelkan …

19 machine-learning  neural-networks 

SARSA dan Pembelajaran Q keduanya adalah algoritma pembelajaran penguatan yang bekerja dengan cara yang sama. Perbedaan yang paling mencolok adalah bahwa SARSA memiliki kebijakan sementara Q Learning tidak aktif. Aturan pembaruan adalah sebagai berikut: Q Belajar: Q(st,at)←Q(st,at)+α[rt+1+γmaxa′Q(st+1,a′)−Q(st,at)]Q(st,at)←Q(st,at)+α[rt+1+γmaxa′Q(st+1,a′)−Q(st,at)]Q(s_t,a_t)←Q(s_t,a_t)+α[r_{t+1}+γ\max_{a'}Q(s_{t+1},a')−Q(s_t,a_t)] SARSA: Q(st,at)←Q(st,at)+α[rt+1+γQ(st+1,at+1)−Q(st,at)]Q(st,at)←Q(st,at)+α[rt+1+γQ(st+1,at+1)−Q(st,at)]Q(s_t,a_t)←Q(s_t,a_t)+α[r_{t+1}+γQ(s_{t+1},a_{t+1})−Q(s_t,a_t)] di mana st,atst,ats_t,\,a_t dan rtrtr_t adalah status, aksi, dan hadiah pada …

19 reinforcement-learning 

Saya mencoba memahami bagaimana regresi logistik menggunakan distribusi binomial. Katakanlah saya sedang mempelajari keberhasilan sarang pada burung. Peluang keberhasilan sarang adalah 0,6. Menggunakan distribusi binomial, saya dapat menghitung probabilitas r keberhasilan yang diberikan n percobaan (jumlah sarang dipelajari). Tetapi bagaimana distribusi binomial digunakan dalam konteks pemodelan? Katakanlah saya ingin tahu …

19 logistic  binomial 

Saya telah mencari metode pembelajaran semi-diawasi, dan telah menemukan konsep "pseudo-labeling". Seperti yang saya pahami, dengan pseudo-label Anda memiliki satu set data berlabel serta satu set data yang tidak berlabel. Anda pertama-tama melatih model hanya pada data berlabel. Anda kemudian menggunakan data awal itu untuk mengklasifikasikan (melampirkan label sementara) data …

19 machine-learning  semi-supervised 

Hutan acak digunakan untuk regresi. Namun, dari apa yang saya pahami, mereka menetapkan nilai target rata-rata pada setiap lembar. Karena hanya ada daun terbatas di setiap pohon, hanya ada nilai spesifik yang dapat dicapai target dari model regresi kami. Jadi bukankah ini hanya regresi 'diskrit' (seperti fungsi langkah) dan tidak …

18 regression  random-forest  cart 

Apakah ada definisi matematis atau algoritmik overfitting? Definisi yang sering disediakan adalah plot 2-D klasik dari titik-titik dengan garis yang melewati setiap titik dan kurva kehilangan validasi tiba-tiba naik. Tetapi apakah ada definisi matematis yang ketat?

18 mathematical-statistics  optimization  overfitting 

Metode pemilihan variabel algoritmik bertahap cenderung memilih model yang bias kurang lebih setiap perkiraan dalam model regresi ( s dan UK, nilai- p , statistik F , dll.), Dan hampir sama dengan mengecualikan prediktor sejati sebagai termasuk prediktor palsu menurut literatur simulasi yang cukup matang.ββ\beta Apakah LASSO menderita dengan cara …

18 regression  feature-selection  lasso  regression-strategies  stepwise-regression 

Kapan kata "bias" diciptakan untuk berarti ?E[θ^−θ]E[θ^−θ]\mathbb{E}[\hat{\theta}-\theta] Alasan mengapa saya memikirkan hal ini sekarang adalah karena saya sepertinya mengingat Jaynes, dalam teks Teori Probabilitasnya , mengkritik penggunaan kata "bias" yang digunakan untuk menggambarkan formula ini, dan menyarankan alternatif. Dari Teori Probabilitas Jaynes , bagian 17.2 "Pengukur Tidak Cocok:" Mengapa para …

18 terminology  bias  history 

Saya mencoba memahami apa rantai Markov, Monte Carlo (MCMC) dari halaman Wikipedia bahasa Prancis. Mereka mengatakan "bahwa rantai Markov metode Monte Carlo terdiri dari menghasilkan vektor xixix_ {i} hanya dari data vektor xi−1xi−1x_ {i-1} karena itu merupakan proses" tanpa memori "" Les méthodes de Monte-Carlo par chaînes de Markov konsisten …

18 mcmc 

Dalam formula Bayes: P(x|a)=P(a|x)P(x)P(a)P(x|a)=P(a|x)P(x)P(a)P(x|a) = \frac{P(a|x) P(x)}{P(a)} dapat probabilitas posterior melebihi 1?P(x|a)P(x|a)P(x|a) Saya pikir itu mungkin jika misalnya, dengan asumsi bahwa , dan P ( a ) < P ( x ) < 1 , dan P ( a ) / P ( x ) < P ( a | …

18 probability  bayesian  conditional-probability