Statistik dan Big Data

Fenomena 'over-dispersi' dalam GLM muncul setiap kali kita menggunakan model yang membatasi varians dari variabel respon, dan data menunjukkan varians yang lebih besar daripada pembatasan model. Ini terjadi secara umum ketika pemodelan menghitung data menggunakan Poisson GLM, dan dapat didiagnosis dengan tes yang terkenal. Jika pengujian menunjukkan bahwa ada bukti …

15 generalized-linear-model  poisson-regression  overdispersion  quasi-likelihood 

Saya mencoba membuat gambar yang menunjukkan hubungan antara salinan virus dan cakupan genom (GCC). Seperti inilah data saya: Pada awalnya, saya hanya merencanakan regresi linier tetapi pengawas saya mengatakan itu tidak benar, dan untuk mencoba kurva sigmoidal. Jadi saya melakukan ini menggunakan geom_smooth: library(scales) ggplot(scatter_plot_new, aes(x = Copies_per_uL, y = …

15 regression  modeling  curve-fitting  percentage 

Misalkan kita memiliki dua pohon regresi (pohon A dan pohon B) yang peta masukan untuk output y ∈ R . Biarkan y = f A ( x ) untuk pohon A dan f B ( x ) untuk pohon B. Setiap pohon menggunakan perpecahan biner, dengan hyperplanes sebagai fungsi memisahkan.x∈Rdx∈Rdx …

15 regression  machine-learning  cart 

Saya kira itu P(A|B)=P(A|B,C)∗P(C)+P(A|B,¬C)∗P(¬C)P(A|B)=P(A|B,C)∗P(C)+P(A|B,¬C)∗P(¬C)P(A|B) = P(A | B,C) * P(C) + P(A|B,\neg C) * P(\neg C) benar, padahal P(A|B)=P(A|B,C)+P(A|B,¬C)P(A|B)=P(A|B,C)+P(A|B,¬C)P(A|B) = P(A | B,C) + P(A|B,\neg C) salah. Namun, saya sudah mendapat "intuisi" tentang yang kemudian, yaitu, Anda mempertimbangkan probabilitas P (A | B) dengan membagi dua kasus (C atau Tidak …

15 probability  bayesian 

Bagaimana dan mengapa generator angka acak (RNG) penting dalam statistik komputasi? Saya memahami bahwa keacakan penting ketika memilih sampel untuk banyak uji statistik untuk menghindari bias terhadap hipotesis, tetapi apakah ada area lain dari statistik komputasi di mana generator bilangan acak penting?

15 hypothesis-testing  monte-carlo  algorithms  random-generation  computational-statistics 

Saya mengerti alasan di balik pemisahan data ke dalam set Tes dan set Validasi. Saya juga mengerti bahwa ukuran perpecahan akan tergantung pada situasi tetapi umumnya akan bervariasi dari 50/50 hingga 90/10. Saya membuat RNN untuk mengoreksi ejaan dan mulai dengan kumpulan data kalimat ~ 5m. Saya mencukur 500 ribu …

15 machine-learning  neural-networks  validation 

Saya telah membaca berkali-kali bahwa efek acak (BLUP / mode kondisional untuk, katakanlah, subjek) bukan parameter dari model efek campuran linier tetapi sebaliknya dapat diturunkan dari estimasi varians / parameter kovarian. Misalnya Reinhold Kliegl et al. (2011) menyatakan: Efek acak adalah penyimpangan subjek dari grand mean RT dan penyimpangan subyek …

15 mixed-model  intuition  blup 

Saya bisa memikirkan setidaknya satu contoh naif. Misalkan saya ingin mempelajari hubungan antara X dan Z. Saya juga curiga bahwa Y mempengaruhi Z, jadi saya mengontrol untuk Y. Namun, ternyata, tanpa sepengetahuan saya, X menyebabkan Y, dan Y menyebabkan Z. Oleh karena itu, dengan mengendalikan untuk Y, saya "menutupi" hubungan …

15 mediation  controlling-for-a-variable 

Saya tertarik untuk mengubah hipotesis nol menggunakan glm()R. Sebagai contoh: x = rbinom(100, 1, .7) summary(glm(x ~ 1, family = "binomial")) menguji hipotesis bahwa . Bagaimana jika saya ingin mengubah null ke p = beberapa nilai arbitrer, di dalam ? p=0.5p=0.5p = 0.5pppglm() Saya tahu ini dapat dilakukan juga dengan …

15 r  hypothesis-testing  generalized-linear-model  chi-squared  offset 

Apakah rata-rata dari beberapa matriks pasti-positif pasti-positif atau semi-pasti positif? Rata-rata adalah rata-rata elemen-bijaksana.

15 mathematical-statistics  matrix  covariance-matrix 

Saya pikir saya memiliki beberapa kebingungan mendasar tentang bagaimana fungsi dalam regresi bekerja (atau mungkin hanya berfungsi secara keseluruhan). Bagaimana fungsi h (x) menghasilkan kurva yang terlihat di sebelah kiri gambar? Saya melihat bahwa ini adalah plot dari dua variabel tetapi kemudian dua variabel ini (x1 & x2) juga merupakan …

15 logistic  data-visualization  function 

Saya seorang noob dalam statistik, jadi bisakah kalian tolong bantu saya di sini. Pertanyaan saya adalah sebagai berikut: Apa sebenarnya varian yang dikumpulkan? ? Ketika saya mencari rumus untuk varian gabungan di internet, saya menemukan banyak literatur menggunakan rumus berikut (misalnya, di sini: http://math.tntech.edu/ISR/Mathematical_Statistics/Introduction_to_Statistics_Tests/thispage/newnode19.html ): S2p=S21(n1−1)+S22(n2−1)n1+n2−2Sp2=S12(n1−1)+S22(n2−1)n1+n2−2\begin{equation} \label{eq:stupidpooledvar} \displaystyle S^2_p = …

15 variance  mean  pooling 

Saya ingin saran tentang menyatukan plot / statistik kalibrasi setelah beberapa kali imputasi. Dalam pengaturan pengembangan model statistik untuk memprediksi kejadian di masa depan (misalnya menggunakan data dari catatan rumah sakit untuk memprediksi kelangsungan hidup atau kejadian pasca pemulangan), orang dapat membayangkan ada beberapa informasi yang hilang. Beberapa imputasi adalah …

15 data-visualization  data-imputation  multiple-imputation  pooling  calibration 

Saya sedang mengerjakan masalah pengelompokan teks. Data berisi beberapa kalimat. Apakah ada algoritma yang baik yang mencapai akurasi tinggi pada teks pendek? Bisakah Anda memberikan referensi yang bagus? Algoritma seperti KMeans, spektral clustering tidak berfungsi dengan baik untuk masalah ini.

15 machine-learning  clustering  text-mining 

Ada banyak literatur yang menekankan metode Maksimalisasi Ekspektasi pada model campuran (Campuran Gaussian, Hidden Markov Model, dll.). Mengapa EM itu penting? EM hanyalah cara untuk melakukan optimasi dan tidak banyak digunakan sebagai metode berbasis gradien (layak gradien atau metode newton / quasi-newton) atau metode bebas gradien lain yang dibahas di …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture