Statistik dan Big Data

Saya membaca tentang SVM dan mengetahui bahwa mereka menyelesaikan masalah optimisasi dan ide margin maksimum sangat masuk akal. Sekarang, menggunakan kernel mereka bahkan dapat menemukan batas pemisahan non-linear yang hebat. Sejauh ini, saya benar-benar tidak tahu bagaimana SVM (mesin kernel khusus) dan mesin kernel terkait dengan jaringan saraf? Pertimbangkan komentar …

10 machine-learning  neural-networks  svm  deep-learning  kernel-trick 

Saya tidak memiliki pengalaman industri dalam penambangan data atau data besar sehingga akan senang mendengar Anda berbagi pengalaman. Apakah orang benar-benar menjalankan k-means, PAM, CLARA, dll. Pada dataset yang sangat besar? Atau mereka hanya mengambil sampel secara acak? Jika mereka hanya mengambil sampel dataset, apakah hasilnya dapat diandalkan jika dataset …

10 clustering  data-mining  k-means  convergence  large-data 

Ini lebih merupakan pertanyaan konseptual, tetapi karena saya menggunakan Rsaya akan merujuk ke paket di R. Jika tujuannya adalah agar sesuai dengan model linier untuk keperluan prediksi, dan kemudian membuat prediksi di mana efek acak mungkin tidak tersedia, apakah ada manfaat menggunakan model efek campuran, atau haruskah model efek tetap …

10 r  multiple-regression  mixed-model  lme4-nlme 

Dalam beberapa kasus, dinamika Hamilton selalu lebih baik daripada random walk dalam algoritma Metropolis. Bisakah seseorang menjelaskan alasannya dengan kata-kata sederhana tanpa terlalu banyak matematika?

10 mcmc 

Menyetujui penyalahgunaan istilah teknis. Saya sedang mengerjakan proyek segmentasi semantik melalui jaringan saraf convolutional (CNNs); mencoba untuk mengimplementasikan arsitektur tipe Encoder-Decoder, oleh karena itu output adalah ukuran yang sama dengan input. Bagaimana Anda mendesain label? Apa fungsi kerugian yang harus diterapkan? Terutama dalam situasi ketidakseimbangan kelas berat (tetapi rasio antara …

10 conv-neural-network  image-processing  segmentation 

Saya mencoba mengevaluasi kinerja pengelompokan. Saya sedang membaca dokumentasi skiscit-learning tentang metrik . Saya tidak mengerti perbedaan antara ARI dan AMI. Tampak bagi saya bahwa mereka melakukan hal yang sama dalam dua cara berbeda. Mengutip dari dokumentasi: Mengingat pengetahuan tentang tugas kelas kebenaran ground label_true dan penugasan algoritma pengelompokan sampel …

10 clustering  python  scikit-learn 

Atau kondisi apa yang menjamin hal itu? Secara umum (dan bukan hanya model normal dan binomial) saya kira alasan utama yang mematahkan klaim ini adalah bahwa ada ketidakkonsistenan antara model pengambilan sampel dan model sebelumnya, tetapi apa lagi? Saya mulai dengan topik ini, jadi saya sangat menghargai contoh-contoh mudah

10 bayesian  variance  information-theory 

\newcommand{\E}{\mathbb{E}}\newcommand{\P}{\mathbb{P}} Central Limit Theorem (CLT) menyatakan bahwa untuk X1, X2, ...X1,X2,…X_1,X_2,\dots independen dan didistribusikan secara identik (iid) dengan E [ Xsaya] = 0E[Xi]=0\E[X_i]=0 dan Var( Xsaya) &lt; ∞Var⁡(Xi)&lt;∞\operatorname{ Var} (X_i)<\infty , jumlah menyatu dengan distribusi normal sebagai n → ∞n→∞n\to\infty : ∑i = 1nXsaya→ N( 0 , n--√) .∑i=1nXi→N(0,n). \sum_{i=1}^n …

10 markov-process  central-limit-theorem 

Saya menggunakan Bidirectional RNN untuk mendeteksi peristiwa terjadinya ketidakseimbangan. Kelas positif 100 kali lebih jarang daripada kelas negatif. Meskipun tidak ada penggunaan regularisasi saya bisa mendapatkan akurasi 100% pada set kereta dan 30% pada set validasi. Saya menyalakan regularisasi l2 dan hasilnya hanya akurasi 30% pada set kereta juga daripada …

10 neural-networks  deep-learning  regularization  rnn 

Saya membaca keterangan ini di sebuah makalah dan belum pernah melihat AUC dijelaskan dengan cara ini di tempat lain. Apakah ini benar? Apakah ada bukti atau cara sederhana untuk melihatnya? Gambar. 2 menunjukkan akurasi prediksi variabel dikotomis dinyatakan dalam hal area di bawah kurva karakteristik penerima-operasi (AUC), yang setara dengan …

10 classification  roc  auc 

Saya ingin masuk lebih dalam ke Machine Learning (teori dan aplikasi di bidang Keuangan). Saya ingin bertanya seberapa relevan analisis kompleks dan analisis fungsional sebagai dasar untuk Pembelajaran Mesin? Apakah saya perlu mempelajari mata pelajaran ini atau haruskah saya berkonsentrasi pada topik lain (jika demikian, pada yang mana?)

10 machine-learning  pac-learning 

Misalkan saya memiliki minimum, rata-rata, dan maksimum dari beberapa kumpulan data, katakanlah, 10, 20, dan 25. Apakah ada cara untuk: buat distribusi dari data ini, dan ketahuilah berapa persentase populasi yang kemungkinan berada di atas atau di bawah rata-rata Edit: Sesuai saran Glen, anggaplah kita memiliki ukuran sampel 200.

10 distributions  standard-deviation  mean  maximum  minimum 

Dalam program saya, saya perlu menjalankan N utas terpisah masing-masing dengan RNG mereka sendiri yang digunakan untuk sampel dataset besar. Saya harus dapat menyemai seluruh proses ini dengan nilai tunggal sehingga saya dapat mereproduksi hasil. Apakah cukup untuk meningkatkan benih secara berurutan untuk setiap indeks? Saat ini saya menggunakan numpy's …

10 python  monte-carlo  random-generation  numpy 

Saya mengetahui pengujian asumsi bahaya proporsional dalam konteks model Cox PH, tetapi saya belum menemukan sesuatu yang berkaitan dengan model parametrik? Apakah ada cara yang layak untuk menguji asumsi PH model parametrik tertentu? Sepertinya harus diberikan bahwa model parametrik hanya sedikit berbeda dari model Cox semi-parametrik? Misalnya, jika saya ingin …

10 survival  assumptions  proportional-hazards 

Apakah ada definisi formal (matematis) tentang apa yang sering dipahami oleh para pengunjung di bawah '' probabilitas ''. Saya membaca bahwa ini adalah frekuensi relatif terjadinya '' dalam jangka panjang '', tetapi apakah ada cara formal untuk mendefinisikannya? Apakah ada referensi yang diketahui di mana saya dapat menemukan definisi itu? …

10 probability  frequentist  definition