Statistik dan Big Data

Saya merasa sedikit tidak nyaman dengan bagaimana saya secara mental berurusan dengan paradoks Borel dan "paradoks" terkait lainnya yang berhubungan dengan probabilitas bersyarat. Bagi mereka yang membaca ini yang tidak terbiasa dengannya, lihat tautan ini . Respons mental saya sampai saat ini sebagian besar adalah mengabaikannya karena sepertinya tidak ada …

17 probability  conditional-probability  conditional-expectation 

tl; dr - untuk regresi OLS, apakah R-kuadrat yang lebih tinggi juga menyiratkan nilai-P yang lebih tinggi? Khusus untuk variabel penjelas tunggal (Y = a + bX + e) ​​tetapi juga tertarik untuk mengetahui beberapa variabel penjelas (Y = a + b1X + ... bnX + e). Konteks - Saya …

17 regression  modeling  p-value  r-squared 

Saya membaca bahwa algoritma k-means hanya konvergen ke minimum lokal dan bukan ke minimum global. Kenapa ini? Saya secara logis dapat memikirkan bagaimana inisialisasi dapat mempengaruhi pengelompokan akhir dan ada kemungkinan pengelompokan sub-optimal, tetapi saya tidak menemukan apa pun yang secara matematis akan membuktikannya. Juga, mengapa k-berarti proses berulang? Tidak …

17 clustering  k-means  convergence  gradient-descent  minimum 

Bagaimana saya menyesuaikan parameter distribusi-t, yaitu parameter yang sesuai dengan 'rata-rata' dan 'standar deviasi' dari distribusi normal. Saya menganggap mereka disebut 'berarti' dan 'scaling / derajat kebebasan' untuk distribusi-t? Kode berikut sering menghasilkan kesalahan 'optimasi gagal'. library(MASS) fitdistr(x, "t") Apakah saya harus mengukur x terlebih dahulu atau mengubahnya menjadi probabilitas? …

17 r  distributions  maximum-likelihood  fitting  robust 

Setelah memasang model cox, dimungkinkan untuk membuat prediksi dan mengambil risiko relatif dari data baru. Apa yang saya tidak mengerti adalah bagaimana risiko relatif dihitung untuk seorang individu dan apa itu relatif terhadap (yaitu rata-rata populasi)? Adakah rekomendasi untuk sumber daya untuk membantu memahami (saya tidak terlalu maju dalam analisis …

17 predictive-models  relative-risk  cox-model 

Saya menjalankan regresi dengan 4 variabel, dan semuanya sangat signifikan secara statistik, dengan nilai T ≈7,9,26≈7,9,26\approx 7,9,26 dan 313131 (saya katakan ≈≈\approx karena tampaknya tidak relevan untuk memasukkan desimal) yang sangat tinggi dan jelas signifikan. Tapi kemudian R2R2R^2 hanya 0,2284. Apakah saya salah menafsirkan nilai t di sini untuk berarti …

17 regression  hypothesis-testing  econometrics 

Saya mencoba memahami hubungan antara fungsi yang menghasilkan momen dan fungsi karakteristik. Fungsi penghasil momen didefinisikan sebagai: MX(t)=E(exp(tX))=1+tE(X)1+t2E(X2)2!+⋯+tnE(Xn)n!MX(t)=E(exp⁡(tX))=1+tE(X)1+t2E(X2)2!+⋯+tnE(Xn)n! M_X(t) = E(\exp(tX)) = 1 + \frac{t E(X)}{1} + \frac{t^2 E(X^2)}{2!} + \dots + \frac{t^n E(X^n)}{n!} Menggunakan seri ekspansi , Saya dapat menemukan semua momen distribusi untuk variabel acak X.exp(tX)=∑∞0(t)n⋅Xnn!exp⁡(tX)=∑0∞(t)n⋅Xnn!\exp(tX) = \sum_0^{\infty} …

17 probability  moments  mgf  method-of-moments  characteristic-function 

Misalkan kita memiliki respon ordinal dan seperangkat variabel yang kami pikir akan menjelaskan . Kami kemudian melakukan regresi logistik terurut (matriks desain) pada (respon).X : = [ x 1 , x 2 , x 3 ] y X yy:{Bad, Neutral, Good}→{1,2,3}y:{Bad, Neutral, Good}→{1,2,3}y:\{\text{Bad, Neutral, Good}\} \rightarrow \{1,2,3\}X:=[x1,x2,x3]X:=[x1,x2,x3]X:=[x_1,x_2,x_3]yyyXXXyyy Misalkan koefisien estimasi …

17 logit  odds-ratio  ordered-logit 

Misalkan menjadi variabel acak yang saling independen, masing-masing memiliki distribusi gamma dengan parameter menunjukkan bahwa , memiliki pembagian bersama sebagaiX1,…,Xk+1X1,…,Xk+1X_1,\dots,X_{k+1}αi,i=1,2,…,k+1αi,i=1,2,…,k+1\alpha_i,i=1,2,\dots,k+1Yi=XiX1+⋯+Xk+1,i=1,…,kYi=XiX1+⋯+Xk+1,i=1,…,kY_i=\frac{X_i}{X_1+\cdots+X_{k+1}},i=1,\dots,kDirichlet(α1,α2,…,αk;αk+1)Dirichlet(α1,α2,…,αk;αk+1)\text{Dirichlet}(\alpha_1,\alpha_2,\dots,\alpha_k;\alpha_{k+1}) Pdf gabungan dari Lalu untuk menemukan gabungan pdf dari Saya tidak dapat menemukan jacobian yaitu J (\ frac {x_1, \ dots, x_ {k + 1}} {y_1, \ dots, y_ {k …

17 self-study  multivariate-analysis  gamma-distribution  dirichlet-distribution 

Saya telah melihat ke dalam cara kerja kesalahan standar baru-baru ini, dan saya mendapati diri saya tidak dapat memahami cara kerjanya. Pemahaman saya tentang kesalahan standar adalah bahwa itu adalah standar deviasi dari distribusi mean sampel. Pertanyaan saya adalah: • bagaimana kita tahu kesalahan standar adalah standar deviasi dari sampel …

17 standard-error 

Jelaskan secara singkat Apa yang dimaksud dengan interpolasi. Bagaimana ini terkait dengan konsep regresi? interpolasi adalah seni membaca di antara garis-garis sebuah tabel dan dalam matematika dasar, istilah itu biasanya menunjukkan proses penghitungan nilai-nilai perantara dari suatu fungsi dari sekumpulan nilai tabular yang diberikan atau fungsi tersebut. Saya tidak bisa …

17 regression  self-study  interpolation 

Saya melakukan regresi linier dengan variabel dependen berubah. Transformasi berikut dilakukan sehingga asumsi normalitas residual akan berlaku. Variabel dependen yang tidak ditransformasi miring secara negatif, dan transformasi berikut membuatnya mendekati normal: Y=50−Yorig−−−−−−−−√Y=50−YorigY=\sqrt{50-Y_{orig}} di mana adalah variabel dependen pada skala asli.YorigYorigY_{orig} Saya pikir masuk akal untuk menggunakan beberapa transformasi pada koefisien …

17 regression  data-transformation 

Saya bertanya-tanya mengapa kita menggunakan asumsi Gaussian saat memodelkan kesalahan. Dalam kursus ML Stanford , Prof. Ng menjelaskannya pada dasarnya dalam dua cara: Secara matematis nyaman. (Ini terkait dengan fitting Least Squares dan mudah diselesaikan dengan pseudoinverse) Karena Teorema Limit Sentral, kita dapat berasumsi bahwa ada banyak fakta mendasar yang …

17 regression  normality-assumption  pac-learning 

Saya sedang melakukan percobaan yang memiliki yang berikut: DV: Konsumsi slice (berkelanjutan atau bisa dikategorikan) IV: Pesan sehat, pesan tidak sehat, tidak ada pesan (kontrol) (3 kelompok di mana orang ditugaskan secara acak - kategorikal) Ini adalah pesan yang dimanipulasi tentang kesehatan irisan. IV berikut ini dapat dianggap sebagai variabel …

17 anova  multiple-regression  continuous-data  ancova 

Pertanyaan sederhana: Bagaimana cara menentukan distribusi lognormal dalam argumen keluarga GLM di R? Saya tidak dapat menemukan bagaimana ini dapat dicapai. Mengapa lognormal (atau eksponensial) bukan opsi dalam argumen keluarga? Di suatu tempat di R-Archives saya membaca bahwa seseorang hanya harus menggunakan log-link untuk keluarga yang diatur ke gaussian di …

17 r  distributions  generalized-linear-model  lognormal