Statistik dan Big Data

Dalam pengaturan kemungkinan maksimum standar (sampel I Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n} dari beberapa distribusi dengan kepadatan fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} )) dan dalam kasus model yang ditentukan dengan benar, informasi Fisher diberikan oleh I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] di mana harapan diambil sehubungan dengan kepadatan sebenarnya yang menghasilkan data. Saya telah membaca informasi Fisher …

17 maximum-likelihood  fisher-information 

Saya mendengar bahwa di bawah hipotesis nol, distribusi nilai-p harus seragam. Namun, simulasi uji binomial dalam MATLAB menghasilkan distribusi yang sangat berbeda dari seragam dengan rata-rata lebih besar dari 0,5 (0,518 dalam kasus ini): coin = [0 1]; success_vec = nan(20000,1); for i = 1:20000 success = 0; for j …

17 matlab  p-value  binomial  simulation  uniform 

Saya menemukan implementasi Python ini dari algoritma Jenks Natural Breaks dan saya bisa membuatnya berjalan di mesin Windows 7 saya. Ini cukup cepat dan menemukan jeda dalam beberapa waktu, mengingat ukuran geodata saya. Sebelum menggunakan algoritma pengelompokan ini untuk data saya, saya menggunakan algoritma sklearn.clustering.KMeans (di sini) . Masalah yang …

17 python  clustering  optimization 

Saya telah menggunakan validasi k-fold cross berulang dan melaporkan rata-rata (dari metrik evaluasi misalnya, sensitivitas, spesifisitas) dihitung sebagai mean rata-rata di lipatan berbagai jalan validasi silang. Namun, saya tidak yakin bagaimana saya harus melaporkan varians. Saya telah menemukan banyak pertanyaan di sini membahas validasi silang berulang, namun, tidak ada yang …

17 cross-validation 

Saya selalu diberi tahu CDF itu unik namun PDF / PMF tidak unik, mengapa begitu? Bisakah Anda memberi contoh di mana PDF / PMF tidak unik?

17 probability  distributions  pdf  cdf 

Jawaban untuk pertanyaan Relasi antara koefisien korelasi phi, Matthews dan Pearson?menunjukkan bahwa ketiga metode koefisien semuanya setara. Saya bukan dari statistik, jadi itu seharusnya pertanyaan yang mudah. Makalah Matthews (www.sciencedirect.com/science/article/pii/0005279575901099) menjelaskan hal berikut: "A correlation of: C = 1 indicates perfect agreement, C = 0 is expected for a prediction …

17 correlation  interpretation  pearson-r 

Saya menggunakan FactoMineRuntuk mengurangi set data pengukuran saya ke variabel laten. Peta variabel di atas jelas bagi saya untuk menafsirkan, tapi saya bingung ketika datang ke asosiasi antara variabel dan komponen 1. Melihat peta variabel, ddpdan covsangat dekat dengan komponen di peta, dan ddpAbssedikit lebih jauh jauh. Tapi, ini bukan …

17 correlation  pca  factor-analysis  association-measure  biplot 

Tampaknya KNN adalah algoritma pembelajaran yang diskriminatif, tetapi saya tidak dapat menemukan sumber online yang mengkonfirmasi hal ini. Apakah KNN merupakan algoritma pembelajaran diskriminatif?

17 machine-learning  classification  k-nearest-neighbour 

Saya memiliki gambar berikut yang saya telah diberitahu adalah ilustrasi tentang bagaimana distribusi probabilitas posterior adalah kombinasi dari distribusi sebelum dan kemungkinan. Saya telah diberitahu bahwa ada sesuatu yang salah dengan gambar, yaitu bahwa distribusi posterior tidak dapat memiliki bentuk yang diberikan dalam bentuk fungsi kemungkinan. Tetapi saya berjuang untuk …

17 distributions  posterior 

Saya tidak dapat memahami penggunaan kontras polinomial dalam penyesuaian regresi. Secara khusus, saya mengacu pada pengkodean yang digunakan Runtuk mengekspresikan variabel interval (variabel ordinal dengan tingkat spasi yang sama), dijelaskan di halaman ini . Dalam contoh halaman itu , jika saya mengerti dengan benar, R cocok dengan model untuk variabel …

17 r  regression  contrasts 

Data Dasar : Saya memiliki ~ 1.000 orang yang ditandai dengan penilaian: '1,' [baik] '2,' [tengah] atau '3' [buruk] - ini adalah nilai yang saya coba prediksi untuk orang-orang di masa depan . Selain itu, saya memiliki beberapa informasi demografis: jenis kelamin (kategorikal: M / F), usia (angka: 17-80), dan …

17 r  regression  logistic  missing-data  ordered-logit 

Baru-baru ini, saya telah mempelajari autoencoder. Jika saya mengerti dengan benar, autoencoder adalah jaringan saraf di mana lapisan input identik dengan lapisan keluaran. Jadi, jaringan saraf mencoba untuk memprediksi output menggunakan input sebagai standar emas. Apa kegunaan model ini? Apa manfaat dari mencoba merekonstruksi beberapa elemen output, menjadikannya sama dengan …

17 neural-networks  autoencoders 

Saya tidak begitu mengerti heteroskedastisitas. Saya ingin tahu apakah model saya sesuai atau tidak sesuai dengan plot ini.

17 r  regression  residuals  heteroscedasticity  independence 

Saya benar-benar terpana oleh kenyataan bahwa GLM Poisson menerima angka-angka non-integer! Lihat: Data (isi data.txt): 1 2001 0.25 1 1 2002 0.5 1 1 2003 1 1 2 2001 0.25 1 2 2002 0.5 1 2 2003 1 1 R script: t <- read.table("data.txt") names(t) <- c('site', 'year', 'count', 'weight') …

17 r  generalized-linear-model  poisson-distribution  poisson-regression 

Saya bertanya-tanya apakah ada hubungan antara dan F-Test.R2R2R^2 Biasanya R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} dan mengukur kekuatan hubungan linier dalam regresi. F-Test hanya membuktikan hipotesis. Apakah ada hubungan antara R2R2R^2 dan F-Test?

17 regression  hypothesis-testing  least-squares  goodness-of-fit