Statistik dan Big Data

Dalam mencari info tentang model marginal dan model efek-acak , dan bagaimana memilih di antara mereka, saya telah menemukan beberapa info tetapi itu adalah penjelasan abstrak matematika yang kurang lebih (seperti misalnya di sini: https: //stats.stackexchange .com / a / 68753/38080 ). Di suatu tempat saya telah menemukan bahwa terdapat …

11 mixed-model  random-effects-model  glmm  gee  marginal-model 

Dalam GLM, dengan asumsi skalar dan untuk distribusi dasar dengan pdf Dapat ditunjukkan bahwa . Jika fungsi tautan memenuhi berikut ini, mana adalah prediktor linier, maka disebut fungsi tautan kanonik untuk ini model.θ f Y ( y | θ , τ ) = h ( y , τ ) exp …

11 generalized-linear-model  exponential-family 

Saya sedang mengerjakan masalah klasifikasi yang menghitung metrik kesamaan antara dua gambar input x-ray. Jika gambar berasal dari orang yang sama (label 'kanan'), metrik yang lebih tinggi akan dihitung; masukan gambar dari dua orang yang berbeda (label 'salah') akan menghasilkan metrik yang lebih rendah. Saya menggunakan 10 kali lipat validasi …

11 classification  confidence-interval  cross-validation  matlab 

Distribusi normal bivariat dengan mean dan matriks kovarians \ Sigma dapat ditulis ulang dalam koordinat polar dengan jari-jari r dan sudut \ theta . Pertanyaan saya adalah: Apa distribusi sampling \ hat {r} , yaitu, dari jarak dari titik x ke estimasi pusat \ bar {x} diberi matriks kovarian sampel …

11 probability  normal-distribution  multivariate-analysis  rayleigh 

Tampaknya distribusi binomial sangat mirip dalam bentuk dengan distribusi beta dan bahwa saya dapat men-parametrize kembali konstanta pada pdf agar terlihat sama. Jadi, mengapa kita perlu distribusi beta? Apakah itu untuk tujuan tertentu? Terima kasih!

11 bayesian  mathematical-statistics  binomial  beta-distribution 

Saya membaca buku The Identification Problem In Econometrics karya Franklin M. Fisher, dan saya bingung dengan bagian mana dia menunjukkan identifikasi dengan memvisualisasikan fungsi kemungkinan. Masalahnya dapat disederhanakan sebagai: Untuk regresi , di mana , dan adalah parameter. Misalkan memiliki koefisien yang sama dengan kesatuan. Maka fungsi kemungkinan dalam ruang …

11 mathematical-statistics  maximum-likelihood  geometry 

Bagaimana Anda memeriksa ergodisitas proses stokastik stasioner yang luas dari jalur sampelnya? Bisakah kita memeriksa ergodisitas dari jalur sampel tunggal? Atau apakah kita perlu beberapa jalur sampel? Salah satu motivasi memeriksa ergodisitas adalah dalam rangkaian waktu untuk memastikan bahwa Anda dapat dengan aman menggunakan rata-rata jalur sampel dari waktu ke …

11 time-series  ergodic 

Saya mencoba menilai kinerja algoritma klasifikasi pembelajaran mesin yang diawasi. Pengamatan jatuh ke dalam kelas nominal (2 untuk saat ini, namun saya ingin menggeneralisasi ini ke masalah multi-kelas), yang diambil dari populasi 99 subjek. Salah satu pertanyaan yang ingin saya jawab adalah, jika algoritme menunjukkan perbedaan signifikan dalam akurasi klasifikasi …

11 r  hypothesis-testing  nonparametric 

Pada artikel wikipedia tentang Laplace smoothing (atau aditif smoothing), dikatakan bahwa dari sudut pandang Bayesian, ini sesuai dengan nilai yang diharapkan dari distribusi posterior, menggunakan distribusi Dirichlet simetris dengan parameter sebagai sebelumnya.αα\alpha Saya bingung bagaimana itu benar. Bisakah seseorang membantu saya memahami bagaimana kedua hal itu setara? Terima kasih!

11 bayesian  smoothing  dirichlet-distribution  laplace-smoothing 

Saya menemukan tutorial yang sangat membantu mengenai algoritma EM . Contoh dan gambar dari tutorial ini sangat brilian. Pertanyaan terkait tentang menghitung probabilitas bagaimana cara kerja maksimalisasi harapan? Saya punya pertanyaan lain tentang bagaimana menghubungkan teori yang dijelaskan dalam tutorial ke contoh. Selama langkah-E, EM memilih fungsi yang menurunkan batas …

11 machine-learning  clustering  algorithms  natural-language 

Modularitas grafik didefinisikan pada halaman Wikipedia . Dalam posting yang berbeda , seseorang menjelaskan bahwa modularitas dapat dengan mudah dihitung (dan dimaksimalkan) untuk jaringan tertimbang karena matriks adjacency dapat mengandung ikatan yang dihargai. Namun, saya ingin tahu apakah ini juga akan bekerja dengan tepian yang ditandatangani dan dinilai, berkisar, misalnya, …

11 clustering  data-visualization  networks  partitioning  modularity 

Chris Chatfield, yang banyak buku dan makalahnya yang berkualitas, saya senang membaca, dalam (1) memberikan saran berikut: Sebagai contoh, pilihan antara model deret waktu ARIMA dengan nilai AIC yang rendah dan kira-kira sama mungkin harus dibuat, bukan yang memberikan AIC minimum, tetapi yang memberikan perkiraan terbaik dari data tahun terakhir. …

11 forecasting  model-selection  arima  aic 

Saya ingin secara manual memperbaiki koefisien tertentu, katakan , lalu koefisien dengan semua prediktor lain, sambil menjaga dalam model.β 1 = 1.0β1= 1.0β1=1.0\beta_1=1.0β1= 1.0β1=1.0\beta_1=1.0 Bagaimana saya bisa mencapai ini menggunakan R? Saya terutama ingin bekerja dengan LASSO ( glmnet) jika memungkinkan. Atau, bagaimana saya dapat membatasi koefisien ini untuk rentang …

11 r  multiple-regression  lasso  glmnet  constrained-regression 

Saya telah menggunakan metode ekstraksi jaringan backbone yang diuraikan dalam makalah ini: http://www.pnas.org/content/106/16/6483.abstract Pada dasarnya, penulis mengusulkan suatu metode yang didasarkan pada statistik yang menghasilkan probabilitas, untuk setiap sisi dalam grafik, bahwa sisi tersebut dapat terjadi hanya secara kebetulan. Saya menggunakan batas signifikansi statistik khas 0,05. Saya telah menerapkan metode …

11 probability  statistical-significance  data-visualization  graph-theory  networks 

Bagaimana saya menjelaskan Metode Generalized saat-saat dan bagaimana hal itu digunakan untuk non-ahli statistik? Sejauh ini saya akan membahas: ini adalah sesuatu yang kami gunakan untuk memperkirakan kondisi seperti rata-rata dan variasi berdasarkan sampel yang telah kami kumpulkan. Bagaimana saya menjelaskan bagian di mana Anda memperkirakan vektor parameter dengan meminimalkan …

11 generalized-moments  method-of-moments