Statistik dan Big Data

Saya menggunakan glmnet untuk menghitung estimasi regresi ridge. Saya mendapatkan beberapa hasil yang membuat saya curiga bahwa glmnet benar-benar melakukan apa yang menurut saya benar. Untuk memeriksa ini saya menulis sebuah skrip R sederhana di mana saya membandingkan hasil regresi ridge yang dilakukan oleh resol dan yang di glmnet, perbedaannya …

28 r  ridge-regression  glmnet 

Apa perbedaan antara Bayesian Network dan proses Markov? Saya percaya saya mengerti prinsip-prinsip keduanya, tetapi sekarang ketika saya harus membandingkan keduanya saya merasa kehilangan. Artinya hampir sama bagi saya. Tentunya tidak. Tautan ke sumber daya lain juga dihargai.

28 bayesian  references  modeling  markov-process  bayesian-network 

Saya ingin mendapatkan nilai-p dan ukuran efek dari variabel kategori independen (dengan beberapa level) - yaitu "keseluruhan" dan tidak untuk setiap level secara terpisah, seperti output normal dari lme4dalam R. Ini seperti hal yang dilaporkan orang saat menjalankan ANOVA. Bagaimana saya bisa mendapatkan ini?

28 r  hypothesis-testing  anova  mixed-model  lme4-nlme 

Seperti yang kita semua tahu, jika Anda melempar koin yang memiliki kesempatan yang sama untuk mendarat kepala seperti halnya ekor, maka jika Anda membalik koin berkali-kali, separuh waktu Anda akan mendapatkan kepala dan separuh waktu Anda akan mendapatkan ekor. Ketika mendiskusikan hal ini dengan seorang teman, mereka mengatakan bahwa jika …

28 probability  distributions  sampling 

Apa perbedaan antara algoritma EM (Ekspektasi Maksimalisasi) dan Gradient Ascent (atau keturunan)? Apakah ada kondisi di mana mereka setara?

28 gradient-descent  expectation-maximization 

Saya mencoba memahami apa arti asumsi pengamatan independen . Beberapa definisi adalah: "Dua peristiwa bersifat independen jika dan hanya jika ." ( Kamus Istilah Statistik )P(a∩b)=P(a)∗P(b)P(a∩b)=P(a)∗P(b)P(a \cap b) = P(a) * P(b) "terjadinya satu peristiwa tidak mengubah probabilitas untuk yang lain" ( Wikipedia ). "Pengambilan sampel satu pengamatan tidak mempengaruhi …

28 probability  sampling  multilevel-analysis  independence  assumptions 

Saya telah mendengar tentang kemungkinan empiris Owen, tetapi sampai saat ini tidak menghiraukannya sampai saya menemukannya di kertas yang menarik ( Mengersen et al. 2012 ). Dalam upaya saya untuk memahaminya, saya telah mengumpulkan bahwa kemungkinan data yang diamati diwakili sebagai L=∏ipi=∏iP(Xi=x)=∏iP(Xi≤x)−P(Xi<x)L=∏ipi=∏iP(Xi=x)=∏iP(Xi≤x)−P(Xi<x)L = \prod_i p_i = \prod_i P(X_i=x) = \prod_i …

28 bayesian  maximum-likelihood  nonparametric  likelihood  empirical-likelihood 

Saya bekerja dengan dua distribusi normal independen dan , dengan mean dan dan varians dan .Y μ x μ y σ 2 x σ 2 yXXXYYYμxμx\mu_xμyμy\mu_yσ2xσx2\sigma^2_xσ2yσy2\sigma^2_y Saya tertarik dalam distribusi rasio mereka . Baik maupun memiliki rata-rata nol, jadi tidak didistribusikan sebagai Cauchy.X Y ZZ= X/ YZ=X/YZ=X/YXXXYYYZZZ Saya perlu menemukan …

28 distributions  normal-distribution  references  mathematical-statistics  cdf 

Pertimbangkan sampel independen diperoleh dari variabel acak yang diasumsikan mengikuti distribusi terpotong (mis. Distribusi terpotong ) dari nilai minimum dan maksimum yang diketahui (hingga) dan tetapi dari parameter yang tidak diketahui dan . Jika mengikuti distribusi non-terpotong, estimator kemungkinan maksimum dan untuk dan dari akan menjadi rata-rata sampelS XNNNSSSXXXb μ …

28 distributions  estimation  mathematical-statistics  maximum-likelihood  truncation 

Saya seorang mahasiswa pascasarjana yang mengembangkan minat terhadap statistik. Saya suka materi secara keseluruhan, tapi kadang-kadang saya kesulitan memikirkan aplikasi untuk kehidupan nyata. Secara khusus, pertanyaan saya adalah tentang distribusi statistik yang umum digunakan (normal - beta-gamma dll). Saya kira untuk beberapa kasus saya mendapatkan properti tertentu yang membuat distribusi …

28 normal-distribution  references  gamma-distribution  beta-distribution  application 

Saya mengerti pertanyaan ini cukup luas, tetapi saya bertanya-tanya apa yang harus menjadi poin penentu dalam memutuskan untuk membuat (atau tidak) paket baru untuk R. Untuk lebih spesifik, saya akan menambahkan bahwa pertanyaannya bukan tentang alasan untuk gunakan R itu sendiri, lebih lanjut tentang keputusan untuk mengkompilasi berbagai skrip dan …

28 r  software 

Saya telah tertarik pada statistik, tetapi saya harus mengakui bahwa sudah lama saya tidak menggunakan matematika dengan serius. Terkadang saya mengerti apa arti persamaan, tetapi terkadang saya tidak bisa mengikuti mereka. Saya suka jawaban yang diberikan di sini yang menggunakan gambar dengan panah: Pemahaman konseptual tentang root mean squared error …

28 references 

Bagaimana jika Anda mengambil sampel acak dan Anda dapat melihatnya jelas tidak representatif, seperti dalam pertanyaan terbaru . Misalnya, bagaimana jika distribusi populasi seharusnya simetris di sekitar 0 dan sampel yang Anda buat secara acak memiliki pengamatan positif dan negatif yang tidak seimbang, dan ketidakseimbangan itu signifikan secara statistik, di …

28 sampling  experiment-design  inference  sample 

Saya harap Anda semua tidak keberatan dengan pertanyaan ini, tetapi saya perlu bantuan menginterpretasikan output untuk output model efek campuran linier yang telah saya coba pelajari di R. Saya baru mengenal analisis data longitudinal dan regresi efek campuran linier. Saya memiliki model yang saya paskan dengan minggu sebagai prediksi waktu, …

28 r  mixed-model  interpretation  panel-data 

Lihat juga pertanyaan serupa di stats.SE . Dalam meningkatkan algoritma seperti AdaBoost dan LPBoost diketahui bahwa pelajar "lemah" yang akan digabungkan hanya harus berkinerja lebih baik daripada kesempatan untuk berguna, dari Wikipedia: Klasifikasi yang digunakannya bisa lemah (yaitu, menampilkan tingkat kesalahan yang besar), tetapi selama kinerjanya tidak acak (menghasilkan tingkat …

28 machine-learning  theory  boosting