Statistik dan Big Data

Saya sangat suka caret karena kemampuan penyetelan parameter dan antarmuka yang seragam, tetapi saya telah mengamati bahwa selalu membutuhkan set data lengkap (yaitu tanpa NAS) bahkan jika model "telanjang" yang diterapkan memungkinkan NAs. Itu sangat merepotkan, mengingat seseorang harus menerapkan metode imputasi kerja, yang pada awalnya tidak diperlukan. Bagaimana seseorang …

26 r  missing-data  data-imputation  caret 

Ketika kita membaca buku, memahami notasi memainkan peran yang sangat penting dalam memahami konten. Sayangnya, komunitas yang berbeda memiliki konvensi notasi yang berbeda untuk perumusan model dan masalah optimisasi. Bisakah seseorang meringkas beberapa notasi formulasi di sini dan memberikan kemungkinan alasan? Saya akan memberikan contoh di sini: Dalam literatur aljabar …

26 machine-learning  probability  self-study  optimization 

Saya baru-baru ini menyelesaikan kompetisi Kaggle di mana skor roc auc digunakan sesuai persyaratan kompetisi. Sebelum proyek ini, saya biasanya menggunakan skor f1 sebagai metrik untuk mengukur kinerja model. Ke depan, saya bertanya-tanya bagaimana saya harus memilih antara dua metrik ini? Kapan menggunakan yang mana, dan apa pro dan kontra …

26 machine-learning  modeling  roc  scoring-rules 

Apa perbedaan antara SVM satu-vs-semua dan satu-vs-satu? Apakah one-vs-all berarti satu classifier untuk mengklasifikasikan semua tipe / kategori gambar baru dan one-vs-one berarti setiap tipe / kategori gambar baru mengklasifikasikan dengan classifier yang berbeda (masing-masing kategori ditangani oleh classifier khusus)? Misalnya, jika gambar baru akan diklasifikasikan menjadi lingkaran, persegi panjang, …

26 machine-learning  classification  svm 

Mengingat PCA (atau SVD) pendekatan matriks XXX dengan matriks X , kita tahu bahwa X adalah yang terbaik peringkat rendah perkiraan X .X^X^\hat XX^X^\hat XXXX Apakah ini sesuai dengan norma ∥ ⋅ ∥ 2 yang diinduksi∥⋅∥2∥⋅∥2\parallel \cdot \parallel_2 (yaitu norma nilai eigen terbesar) atau menurut norma Frobenius ∥ ⋅ ∥F∥⋅∥F\parallel …

26 pca  svd  matrix-decomposition 

Saya membaca di suatu tempat bahwa metode Variational Bayes adalah generalisasi dari algoritma EM. Memang, bagian berulang dari algoritma sangat mirip. Untuk menguji apakah algoritma EM adalah versi khusus dari Variational Bayes, saya mencoba yang berikut: YYY adalah data, adalah kumpulan variabel laten dan adalah parameternya. Dalam Variational Bayes yang …

26 bayesian  expectation-maximization  variational-bayes 

Apa perbedaan intuitif antara variabel acak konvergen dalam probabilitas versus variabel acak konvergen dalam distribusi? Saya sudah membaca banyak definisi dan persamaan matematika, tetapi itu tidak terlalu membantu. (Harap diingat, saya mahasiswa sarjana yang belajar ekonometrik.) Bagaimana variabel acak dapat menyatu menjadi satu nomor, tetapi juga menyatu ke suatu distribusi?

26 distributions  random-variable  convergence  intuition 

Berbagai tes hipotesis, seperti tes GOF, Kolmogorov-Smirnov, Anderson-Darling, dll., Ikuti format dasar ini:χ2χ2\chi^{2} H0H0H_0 : Data mengikuti distribusi yang diberikan. H1H1H_1 : Data tidak mengikuti distribusi yang diberikan. Biasanya, seseorang menilai klaim bahwa beberapa data yang diberikan mengikuti beberapa distribusi yang diberikan, dan jika seseorang menolak , data tersebut tidak …

26 hypothesis-testing  distributions  goodness-of-fit  ecdf 

Saya telah membaca makalah Hoekstra et al 2014 tentang "Kesalahan interpretasi interval kepercayaan", yang saya unduh dari situs web Wagenmakers . Pada halaman kedua dari belakang gambar berikut muncul. Menurut penulis, False adalah jawaban yang benar untuk semua pernyataan ini. Saya tidak begitu yakin mengapa pernyataan itu salah, dan sejauh …

26 hypothesis-testing  confidence-interval 

Saya menggunakan Linear Discriminant Analysis (LDA) dari scikit-learnperpustakaan pembelajaran mesin (Python) untuk pengurangan dimensi dan sedikit ingin tahu tentang hasilnya. Sekarang saya bertanya-tanya apa yang dilakukan LDA scikit-learnsehingga hasilnya terlihat berbeda dari, misalnya, pendekatan manual atau LDA yang dilakukan di R. Akan lebih bagus jika seseorang bisa memberi saya wawasan …

26 python  scikit-learn  dimensionality-reduction  discriminant-analysis  svd 

Apa distribusi koefisien determinasi, atau R kuadrat, , dalam regresi berganda univariat linier di bawah hipotesis nol ?R2R2R^2H0:β=0H0:β=0H_0:\beta=0 Bagaimana hal itu tergantung pada jumlah prediktor dan jumlah sampel ? Apakah ada ekspresi bentuk tertutup untuk mode distribusi ini?kkkn>kn>kn>k Secara khusus, saya merasa bahwa untuk regresi sederhana (dengan satu prediktor ) …

26 regression  mathematical-statistics  r-squared  intuition 

Apakah ada rumus bentuk tertutup untuk (atau semacam ikatan) EMD antara x1∼N(μ1,Σ1)x1∼N(μ1,Σ1)x_1\sim N(\mu_1, \Sigma_1) dan x2∼N(μ2,Σ2)x2∼N(μ2,Σ2)x_2 \sim N(\mu_2, \Sigma_2) ?

26 normal-distribution  distance 

Saya memiliki satu set bilangan real. Saya perlu memperkirakan jumlah nomor baru. Apakah ada cara bersih untuk melakukan ini di R? secara umum? Saya harap ini bukan ultra-sepele ;-) Sangat dihargai atas tanggapan Anda. PK

26 r 

Adakah yang bisa menjelaskan perbedaan dan memberikan contoh spesifik bagaimana menggunakan ketiga analisis ini? LDA - Analisis Diskriminan Linier FDA - Analisis Diskriminan Fisher QDA - Analisis Diskriminan Kuadratik Saya mencari di mana-mana, tetapi tidak dapat menemukan contoh nyata dengan nilai nyata untuk melihat bagaimana analisis ini digunakan dan data …

26 classification  discriminant-analysis 

Saat melakukan pengelompokan hierarkis, seseorang dapat menggunakan banyak metrik untuk mengukur jarak antar cluster. Dua metrik seperti itu menyiratkan perhitungan centroid dan cara titik data dalam kelompok. Apa perbedaan antara mean dan centroid? Bukankah ini titik yang sama di cluster?

26 clustering  mean