Statistik dan Big Data

Bisakah Hutan Acak dilatih untuk memprediksi data penghitungan dengan tepat? Bagaimana ini akan dilanjutkan? Saya memiliki rentang nilai yang cukup luas sehingga klasifikasi tidak terlalu masuk akal. Jika saya akan menggunakan regresi, apakah saya akan memotong hasilnya? Saya cukup tersesat di sini. Ada ide?

12 r  regression  random-forest  prediction  count-data 

KARUNIA: Hadiah penuh akan diberikan kepada seseorang yang memberikan referensi ke makalah yang diterbitkan yang menggunakan atau menyebutkan estimator bawah ini.F~F~\tilde{F} Motivasi: Bagian ini mungkin tidak penting bagi Anda dan saya kira itu tidak akan membantu Anda mendapatkan hadiah, tetapi karena seseorang bertanya tentang motivasi, inilah yang saya kerjakan. Saya …

12 distributions  bernoulli-distribution  stratification  rejection-sampling  ecdf 

Untuk menganalisis data dari percobaan biofisika, saya saat ini mencoba melakukan kurva fitting dengan model yang sangat non-linear. Fungsi model pada dasarnya terlihat seperti: y= a x + b x- 1 / 2y=ax+bx−1/2y = ax + bx^{-1/2} Di sini, khususnya nilai sangat menarik.bbb Plot untuk fungsi ini: (Perhatikan bahwa fungsi …

12 curve-fitting  nonlinear 

Saya kenal dengan notasi seperti: manaβ0j=β0+uj, danysaya j= β0+ βsayaxsaya j+ uj+ esaya j= β0 j+ βsayaxsaya j+ esaya jyij=β0+βixij+uj+eij=β0j+βixij+eij\begin{align} y_{ij} &= \beta_0 + \beta_i x_{ij} + u_j + e_{ij}\\ &= \beta_{0j} + \beta_i x_{ij} + e_{ij} \end{align}β0 j= β0+ ujβ0j=β0+uj\beta_{0j}=\beta_{0}+u_j manaβ0j=β0+u0jdanβ1j=β1+u1jysaya j= β0+ β1xsaya j+ u0 j+ u1 jxsaya …

12 mixed-model  mathematical-statistics 

Tenis memiliki sistem penilaian tiga tingkat yang aneh, dan saya ingin tahu apakah ini memiliki manfaat statistik, dari sudut pandang pertandingan sebagai percobaan untuk menentukan pemain yang lebih baik. Bagi mereka yang tidak terbiasa, dalam aturan normal permainan dimenangkan oleh poin pertama hingga 4, asalkan Anda memiliki keunggulan 2 poin …

12 probability  inference  games 

Dengan rangkaian kovariat dan keluarga distribusi yang sama, bagaimana saya bisa membandingkan model yang memiliki fungsi tautan yang berbeda? Saya pikir jawaban yang benar di sini adalah "AIC / BIC", tetapi saya tidak 100% yakin. Apakah mungkin untuk memiliki model bersarang jika mereka memiliki tautan yang berbeda?

12 generalized-linear-model  aic  link-function 

Saya memiliki dua variabel acak dan .X>0X>0X > 0Y>0Y>0Y > 0 Karena saya dapat memperkirakan bagaimana saya bisa memperkirakanCov(X,Y),Cov(X,Y),\text{Cov}(X, Y),Cov(log(X),log(Y))?Cov(log⁡(X),log⁡(Y))?\text{Cov}(\log(X), \log(Y))?

12 data-transformation  covariance  random-variable 

Saya memiliki dataset yang jelas meningkat seiring berjalannya waktu (nilai tukar mata uang, data bulanan lebih dari 20 tahun), pertanyaan saya adalah: Dapatkah saya menurunkan data dan kemudian membuatnya berbeda untuk membuatnya tetap, jika detrending itu sendiri tidak mencapai ini? Dan jika demikian, apakah ini dianggap dua kali berbeda, atau …

12 time-series  stationarity 

Saya sedang mengerjakan masalah prediksi churn klasik menggunakan jumlah kunjungan pengguna yang diberikan ke situs dan saya pikir Poisson Regression adalah alat yang tepat untuk memodelkan keterlibatan masa depan pengguna tersebut. Ketika kemudian saya menemukan buku tentang analisis survival dan Hazard Modeling dan saya tidak tahu teknik mana yang terbaik. …

12 survival  hazard  poisson-process 

Korelasi, , adalah ukuran hubungan linier antara dua variabel. Koefisien determinasi, , adalah ukuran seberapa besar variabilitas dalam satu variabel dapat "dijelaskan oleh" variasi yang lain.r 2rrrr2r2r^2 Misalnya, jika adalah korelasi antara dua variabel, maka . Oleh karena itu, 64% dari variabilitas dalam satu dapat dijelaskan oleh perbedaan yang lain. …

12 regression  correlation  r-squared 

Saya ingin membandingkan dua metode berbeda untuk mendeteksi perubahan status dalam analisis survival. Sekelompok subjek sedang diikuti untuk periode yang lebih lama (bertahun-tahun), dan dua metode pemeriksaan telah digunakan untuk memeriksa apakah perubahan status telah terjadi; satu metode digunakan untuk memeriksa setiap mata pelajaran dua kali setahun dan metode kedua …

12 survival  paired-data 

Saya mengalami sedikit masalah dengan sintaks Stata. Saya perlu melakukan regresi berikut: y= a x + b z+ c ( x z) + ey=ax+bz+c(xz)+ey = ax + bz + c(xz) + e di mana dan diinstrumentasi dan juga istilah interaksi menggunakan nilai instrumentasi dan .z x z x zxxxzzzx zxzxzxxxzzz …

12 stata  interaction  instrumental-variables 

Saya mengalami kesulitan memahami statistik yang cukup lengkap? Biarkan menjadi statistik yang cukup.T=ΣxiT=ΣxiT=\Sigma x_i Jika dengan probabilitas 1, untuk beberapa fungsi g , maka itu adalah statistik yang cukup lengkap.E[g(T)]=0E[g(T)]=0E[g(T)]=0ggg Tapi apa artinya ini? Saya telah melihat contoh seragam dan Bernoulli (halaman 6 http://amath.colorado.edu/courses/4520/2011fall/HandOuts/umvue.pdf ), tetapi tidak intuitif, saya semakin …

12 self-study  estimation  intuition  decision-theory 

Saya baru saja menemukan analisis hebat ini yang menarik dan indah secara visual: http://www.nytimes.com/interactive/2012/11/02/us/politics/paths-to-the-white-house.html Saya ingin tahu bagaimana "jalur pohon" seperti itu dapat dibangun menggunakan R. Data dan algoritma apa yang diperlukan untuk membuat pohon jalur seperti itu? Terima kasih.

12 r  data-visualization  politics 

Saya mencoba mendapatkan intuisi mengapa peningkatan jumlah fitur dapat mengurangi kinerja. Saat ini saya menggunakan classifier LDA yang berkinerja lebih baik secara bivariat di antara fitur-fitur tertentu tetapi lebih buruk ketika melihat lebih banyak fitur. Akurasi klasifikasi saya dilakukan dengan menggunakan xval bertingkat 10 kali lipat. Apakah ada kasus sederhana …

12 classification  feature-selection