Statistik dan Big Data

Regularisasi Tikhonov dan regresi ridge adalah istilah yang sering digunakan seolah-olah mereka identik. Apakah mungkin untuk menentukan dengan tepat apa perbedaannya?

33 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

Saya seorang insinyur pembelajaran perangkat lunak mesin pembelajaran, terutama melalui kursus pembelajaran mesin Andrew Ng . Saat mempelajari regresi linier dengan regularisasi , saya menemukan istilah yang membingungkan: Regresi dengan regularisasi L1 atau regularisasi L2 LASO Regresi punggungan Jadi pertanyaan saya: Apakah regresi dengan regularisasi L1 persis sama dengan LASSO? …

33 regression  terminology  lasso  regularization  ridge-regression 

Saya sedang mencari penjelasan tentang betapa pentingnya variabel relatif dihitung dalam Gradient Boosted Trees yang tidak terlalu umum / sederhana seperti: Langkah-langkah didasarkan pada berapa kali variabel dipilih untuk pemisahan, ditimbang oleh peningkatan kuadrat untuk model sebagai hasil dari setiap perpecahan, dan rata-rata di semua pohon . [ Elith et …

33 machine-learning  data-mining  predictive-models  cart  boosting 

Saya telah membaca di beberapa sumber, termasuk yang satu ini , bahwa Random Forests tidak sensitif terhadap pencilan (dalam cara Regresi Logistik dan metode ML lainnya, misalnya). Namun, dua intuisi mengatakan sebaliknya: Setiap kali pohon keputusan dibangun, semua poin harus diklasifikasikan. Ini berarti bahwa outlier akan diklasifikasikan, dan karenanya akan …

33 random-forest  bootstrap  outliers  cart 

Bagaimana metode ridge, LASSO, dan elasticnet regularisasi dibandingkan? Apa kelebihan dan kekurangan masing-masing? Makalah teknis yang baik, atau catatan kuliah akan dihargai juga.

33 references  lasso  regularization  ridge-regression  elastic-net 

Saya mengerti bahwa HMM (Hidden Markov Models) adalah model generatif, dan CRF adalah model diskriminatif. Saya juga mengerti bagaimana CRF (Conditional Random Fields) dirancang dan digunakan. Apa yang saya tidak mengerti adalah bagaimana mereka berbeda dari HMM? Saya membaca bahwa dalam kasus HMM, kita hanya dapat memodelkan keadaan kita berikutnya …

33 machine-learning  hidden-markov-model  natural-language  conditional-random-field 

Saya mencoba memahami asal-usul bentuk pita kepercayaan melengkung yang terkait dengan regresi linier OLS dan bagaimana hubungannya dengan interval kepercayaan parameter regresi (kemiringan dan intersep), misalnya (menggunakan R): require(visreg) fit <- lm(Ozone ~ Solar.R,data=airquality) visreg(fit) Tampak bahwa pita terkait dengan batas garis yang dihitung dengan intersep 2,5%, dan kemiringan 97,5%, …

33 regression  confidence-interval 

Saya tahu ini adalah topik yang agak panas di mana tidak ada yang benar-benar dapat memberikan jawaban sederhana. Namun demikian saya bertanya-tanya apakah pendekatan berikut ini tidak bisa bermanfaat. Metode bootstrap hanya berguna jika sampel Anda mengikuti kurang lebih (baca persis) distribusi yang sama dengan populasi asli. Untuk memastikan hal …

33 bootstrap  sample-size  methodology 

Saya memiliki dataset X yang memiliki 10 dimensi, 4 di antaranya adalah nilai diskrit. Faktanya, keempat variabel diskrit tersebut adalah ordinal, yaitu nilai yang lebih tinggi menyiratkan semantik yang lebih tinggi / lebih baik. 2 dari variabel-variabel diskrit ini bersifat kategorikal dalam arti bahwa untuk masing-masing variabel ini, jarak misal …

33 clustering  k-means  discrete-data  continuous-data  gaussian-mixture 

Andrew More mendefinisikan perolehan informasi sebagai: IG(Y|X)=H(Y)−H(Y|X)IG(Y|X)=H(Y)−H(Y|X)IG(Y|X) = H(Y) - H(Y|X) di mana adalah entropi bersyarat . Namun, Wikipedia menyebut informasi timbal balik kuantitas di atas .H(Y|X)H(Y|X)H(Y|X) Wikipedia di sisi lain mendefinisikan perolehan informasi sebagai divergensi Kullback-Leibler (alias divergensi informasi atau entropi relatif) antara dua variabel acak: DKL(P||Q)=H(P,Q)−H(P)DKL(P||Q)=H(P,Q)−H(P)D_{KL}(P||Q) = H(P,Q) …

33 information-theory 

Ayah saya adalah penggemar matematika, tetapi tidak terlalu tertarik pada statistik. Akan rapi untuk mencoba mengilustrasikan beberapa bit statistik yang indah, dan CLT adalah kandidat utama. Bagaimana Anda menyampaikan keindahan matematika dan dampak teorema limit pusat kepada non-ahli statistik?

33 theory  central-limit-theorem 

Jika ya, apa? Jika tidak, mengapa tidak? Untuk sampel di telepon, median meminimalkan deviasi absolut total. Tampaknya wajar untuk memperluas definisi ke R2, dll., Tetapi saya belum pernah melihatnya. Tapi kemudian, saya sudah lama berada di bidang kiri.

33 multivariate-analysis  spatial  median 

Adakah yang bisa merekomendasikan penjelasan yang baik tentang teori di balik regresi kuadrat terkecil parsial (tersedia online) untuk seseorang yang memahami SVD dan PCA? Saya telah melihat banyak sumber online dan belum menemukan apa pun yang memiliki kombinasi yang tepat antara ketelitian dan aksesibilitas. Saya telah melihat ke dalam Elemen …

33 regression  references  regularization  svd  partial-least-squares 

Dalam kursus Neural Networks dan Deep Learning Andrew Ng di Coursera ia mengatakan bahwa menggunakan tanhtanhtanh hampir selalu lebih disukai daripada menggunakan sigmoidsigmoidsigmoid . Alasan yang dia berikan adalah bahwa output menggunakan tanhtanhtanh pusat sekitar 0 daripada sigmoidsigmoidsigmoid 's 0,5, dan ini "membuat belajar untuk lapisan berikutnya sedikit lebih mudah". …

33 machine-learning  neural-networks  backpropagation  sigmoid-curve 

Saya mengerti apa distribusi prediktif posterior , dan saya telah membaca tentang cek prediktif posterior , meskipun belum jelas bagi saya apa yang dilakukannya. Apa sebenarnya pemeriksaan prediktif posterior? Mengapa beberapa penulis mengatakan bahwa menjalankan pemeriksaan prediktif posterior adalah "menggunakan data dua kali" dan tidak boleh disalahgunakan? (atau bahkan itu …

33 bayesian  model-selection  posterior