Statistik dan Big Data

Apa perbedaan antara masalah multikelas dan masalah multilabel?

52 classification  clustering  terminology  multi-class  multilabel 

Setiap kali regularisasi digunakan, sering ditambahkan ke fungsi biaya seperti dalam fungsi biaya berikut. Ini masuk akal bagi saya karena meminimalkan fungsi biaya berarti meminimalkan kesalahan (istilah kiri) dan meminimalkan besaran koefisien (istilah yang tepat) pada saat yang sama (atau setidaknya menyeimbangkan dua minimisasi).J(θ)=12(y−θXT)(y−θXT)T+α∥θ∥22J(θ)=12(y−θXT)(y−θXT)T+α‖θ‖22 J(\theta)=\frac 1 2(y-\theta X^T)(y-\theta X^T)^T+\alpha\|\theta\|_2^2 Pertanyaan …

51 regularization 

Saya telah melihat berbagai perawatan teoritis dari grafik, seperti Grammar of Graphics . Tapi saya belum melihat yang setara dengan tabel. Sementara saya telah mengembangkan model informal praktik yang baik dalam desain tabel. Namun, saya ingin dapat memberikan referensi yang baik kepada siswa. The APA Style manual memiliki beberapa tips …

51 tables 

Beberapa bahan yang saya lihat pada pembelajaran mesin mengatakan bahwa itu adalah ide yang buruk untuk mendekati masalah klasifikasi melalui regresi. Tapi saya pikir itu selalu mungkin untuk melakukan regresi terus menerus agar sesuai dengan data dan memotong prediksi terus menerus untuk menghasilkan klasifikasi diskrit. Jadi mengapa itu ide yang …

51 regression  machine-learning  classification 

Saya memiliki data tes yang dapat digunakan untuk membedakan sel normal dan sel tumor. Menurut kurva ROC terlihat bagus untuk tujuan ini (area di bawah kurva adalah 0,9): Pertanyaan saya adalah: Bagaimana menentukan titik batas untuk tes ini dan interval kepercayaannya di mana pembacaan harus dinilai ambigu? Apa cara terbaik …

51 r  data-visualization  confidence-interval  roc  ggplot2 

Sebuah filter partikel dan filter Kalman keduanya estimator Bayesian rekursif . Saya sering menemukan filter Kalman di bidang saya, tetapi sangat jarang melihat penggunaan filter partikel. Kapan satu akan digunakan di atas yang lain?

51 bayesian  particle-filter  kalman-filter 

Dalam makalahnya tahun 1984 "Statistik dan Inferensial Kausal" , Paul Holland mengajukan salah satu pertanyaan paling mendasar dalam statistik: Apa yang bisa dikatakan model statistik tentang sebab akibat? Ini menyebabkan moto-nya: TIDAK ADA PENYEBAB TANPA MANIPULASI yang menekankan pentingnya pembatasan di sekitar eksperimen yang mempertimbangkan sebab-akibat. Andrew Gelman membuat poin …

51 causality 

Mengapa dan kapan kita harus menggunakan Informasi Reksa atas pengukuran korelasi statistik seperti "Pearson", "spearman", atau "Kendall's tau"?

51 correlation  mathematical-statistics  mutual-information 

Aku tahu, ini mungkin terdengar seperti di luar topik, tapi dengarkan aku. Di Stack Overflow dan di sini kita mendapatkan suara pada posting, ini semua disimpan dalam bentuk tabel. Misalnya: memposting id voter id jenis suara datetime ------- -------- --------- -------- 10 1 2 2000-1-1 10:00:01 11 3 3 2000-1-1 …

51 time-series  hypothesis-testing  data-mining  markov-process  censoring 

Definisi singkat untuk meningkatkan : Bisakah satu set pelajar yang lemah menciptakan pelajar yang kuat? Pelajar yang lemah didefinisikan sebagai penggolong yang hanya sedikit berkorelasi dengan klasifikasi yang benar (ia dapat memberi label contoh yang lebih baik daripada menebak secara acak). Definisi singkat dari Hutan Acak : Hutan Acak menumbuhkan …

51 machine-learning  random-forest  boosting  bagging 

Tolong jelaskan kepada saya perbedaan dalam estimasi Bayesian dan estimasi kemungkinan maksimum?

50 bayesian  maximum-likelihood 

Karena RF dapat menangani non-linearitas tetapi tidak dapat memberikan koefisien, akankah bijaksana untuk menggunakan hutan acak untuk mengumpulkan fitur-fitur yang paling penting dan kemudian memasukkan fitur-fitur tersebut ke dalam model regresi linier berganda untuk mendapatkan koefisien mereka?

50 regression  machine-learning  feature-selection  random-forest  regression-strategies 

Saya bertanya-tanya apakah ada cara untuk mengetahui kemungkinan sesuatu gagal (suatu produk) jika kita memiliki 100.000 produk di lapangan selama 1 tahun dan tanpa kegagalan? Berapa probabilitas salah satu dari 10.000 produk berikutnya gagal terjual?

50 probability  survival  binomial 

Saya berurusan dengan data linear dengan outlier, beberapa di antaranya berada pada 5 standar deviasi dari garis regresi yang diperkirakan. Saya mencari teknik regresi linier yang mengurangi pengaruh poin-poin ini. Sejauh ini yang saya lakukan adalah memperkirakan garis regresi dengan semua data, kemudian membuang titik data dengan residu kuadrat yang …

50 regression  linear-model  outliers  robust  fused-lasso 

Baru-baru ini saya menemukan Tableau dan mencoba memvisualisasikan data dari database dan file csv. User iterface memungkinkan pengguna untuk memvisualisasikan data waktu dan spasial dan membuat plot dalam sekejap. Alat seperti ini sangat berguna karena memungkinkan untuk mengamati data secara grafis tanpa menulis kode. Karena ada banyak sumber data dari …

50 data-visualization  software  interactive-visualization