Statistik dan Big Data

Mencoba mempelajari beberapa Python dan Sklearn, tetapi untuk pekerjaan saya, saya perlu menjalankan regresi yang menggunakan distribusi kesalahan dari keluarga Poisson, Gamma, dan terutama Tweedie. Saya tidak melihat apa pun dalam dokumentasi tentang mereka, tetapi mereka berada di beberapa bagian dari distribusi R, jadi saya bertanya-tanya apakah ada yang melihat …

12 generalized-linear-model  python  scikit-learn  gradient-descent  tweedie-distribution 

Saya telah memperhatikan dalam karya saya sendiri pola ini ketika memeriksa korelasiogram spasial pada jarak yang bervariasi pola berbentuk U dalam korelasi muncul. Lebih khusus lagi, korelasi positif yang kuat pada tempat sampah kecil berkurang dengan jarak, kemudian mencapai lubang pada titik tertentu kemudian naik kembali. Berikut adalah contoh dari …

12 autocorrelation  spatial 

Saya memiliki tugas penambangan data di mana saya membuat sistem pengambilan gambar berbasis konten. Saya memiliki 20 gambar dari 5 hewan. Jadi total 100 gambar. Sistem saya mengembalikan 10 gambar yang paling relevan ke gambar input. Sekarang saya perlu mengevaluasi kinerja sistem saya dengan kurva Precision-Recall. Namun, saya tidak mengerti …

12 data-mining  matlab  precision-recall  curves  computer-vision 

Saya diberitahu bahwa menjalankan regresi IV dua tahap di mana tahap pertama adalah probit dan tahap kedua adalah OLS. Apakah mungkin menggunakan 2SLS jika tahap pertama adalah probit tetapi tahap kedua adalah model probit / poisson?

12 binary-data  instrumental-variables  probit  2sls 

Saya sedang memeriksa bagian dari dataset saya yang berisi 46840 nilai ganda mulai dari 1 hingga 1690 yang dikelompokkan dalam dua grup. Untuk menganalisis perbedaan antara kelompok-kelompok ini saya mulai dengan memeriksa distribusi nilai-nilai untuk memilih tes yang tepat. Mengikuti panduan tentang pengujian normalitas, saya melakukan qqplot, histogram & boxplot. …

12 r  normal-distribution  normality-assumption  large-data 

Saya telah mengoperasikan bisnis online selama dua tahun berturut-turut sekarang, jadi saya memiliki data penjualan bulanan selama sekitar dua tahun. Bisnis saya untuk setiap bulan tentu saja dipengaruhi oleh ayunan musiman (berkinerja lebih baik saat Natal, dll), dan mungkin beberapa faktor lain yang tidak saya sadari. Untuk memprediksi penjualan di …

12 time-series  forecasting 

Apa definisi dari prior-semi-konjugat dan dari kondisi konjugat bersyarat ? Saya menemukannya di Analisis Data Bayesian Gelman , tetapi saya tidak dapat menemukan definisi mereka.

12 bayesian 

Dalam metode MCMC , saya terus membaca tentang burn-inwaktu atau jumlah sampel "burn". Apa ini sebenarnya, dan mengapa itu dibutuhkan? Memperbarui: Setelah MCMC stabil, apakah tetap stabil? Bagaimana pengertian burn-inwaktu terkait dengan waktu pencampuran?

12 sampling  mcmc 

Saya ingin mengelompokkan dataset besar yang saya hanya memiliki jarak berpasangan. Saya menerapkan algoritma k-medoid, tetapi butuh waktu terlalu lama untuk dijalankan sehingga saya ingin memulai dengan mengurangi dimensi masalah saya dengan menerapkan PCA. Namun, satu-satunya cara saya tahu untuk melakukan metode ini adalah dengan menggunakan matriks kovarians yang tidak …

12 pca  dimensionality-reduction  multidimensional-scaling 

Saya mengevaluasi dua (2) refrigeran (gas) yang digunakan dalam sistem pendingin yang sama. Saya memiliki data suhu hisap jenuh ( ), suhu kondensasi ( ), dan arus listrik ( ) untuk evaluasi. Ada dua (2) set data; Refrigeran pertama ( ) & refrigeran kedua ( ). Saya menggunakan model polinomial …

12 regression  regression-coefficients 

Latar belakang saya adalah ilmu komputer. Saya cukup baru dalam metode pengambilan sampel monte carlo dan, walaupun saya mengerti matematika, saya kesulitan menemukan contoh-contoh intuitif untuk sampling penting. Lebih tepatnya, dapatkah seseorang memberikan contoh: distribusi asli yang tidak dapat diambil sampelnya tetapi seseorang dapat memperkirakan distribusi penting yang dapat diambil …

12 probability  distributions  sampling  importance-sampling 

Di sini, di Wikipedia dikatakan: Untuk nilai λλλ cukup besar , (katakan λ>1000λ>1000λ>1000 ), distribusi normal dengan rata-rata λλλ dan varians λλλ (standar deviasi λ−−√λ\sqrt{\lambda} ), merupakan pendekatan yang sangat baik untuk distribusi Poisson. Jika λλλ lebih besar dari sekitar 10, maka distribusi normal adalah perkiraan yang baik jika koreksi …

12 normal-distribution  poisson-distribution  approximation 

Hadley Wickham menulis artikel bintang yang disebut "Tidy Data" ( tautan ) di JSS tahun lalu tentang manipulasi data dan memasukkan data ke dalam kondisi "optimal" untuk melakukan analisis. Namun, saya bertanya-tanya apa praktik terbaik dalam hal menyajikan data tabular dalam pengaturan kerja? Katakanlah rekan kerja Anda meminta Anda untuk …

12 dataset  tables 

Ini lebih merupakan sejarah pertanyaan sains, tapi saya harap ada di topik di sini. Saya pernah membaca bahwa Thomas Bayes hanya berhasil menemukan teorema Bayes untuk kasus khusus seragam sebelumnya, dan bahkan kemudian ia berjuang dengan itu, tampaknya. Mempertimbangkan betapa sepele teorema Bayes dalam pengobatan modern, mengapa hal itu menjadi …

12 bayesian  bayes  history 

Saya ingin memahami uji pasti fisher dengan lebih baik, jadi saya menyusun contoh mainan berikut ini, di mana f dan m berhubungan dengan pria dan wanita, dan n dan y berhubungan dengan "konsumsi soda" seperti ini: > soda_gender f m n 0 5 y 5 0 Jelas, ini adalah penyederhanaan …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling