Statistik dan Big Data

Misalkan saya memiliki tiga grup independen, dengan mean masing-masing.μ1, μ2, μ3μ1, μ2, μ3\mu_1,~ \mu_2,~\mu_3 Bagaimana saya bisa menguji apakah atau tidak menggunakan sampel dari setiap grup?μ1&lt;μ2&lt;μ3μ1&lt;μ2&lt;μ3\mu_1 < \mu_2 <\mu_3n1, n2, n3n1, n2, n3n_1,~n_2,~n_3 Saya ingin mengetahui beberapa metodologi umum, bukan perhitungan terperinci. Saya tidak tahu cara menetapkan hipotesis saya dan …

9 hypothesis-testing  multiple-comparisons  isotonic 

Bayangkan Anda memiliki poligon yang didefinisikan oleh seperangkat koordinat (x1,y1)...(xn,yn)(x1,y1)...(xn,yn)(x_1,y_1)...(x_n,y_n) dan pusat massanya adalah pada (0,0)(0,0)(0,0) . Anda dapat memperlakukan poligon sebagai distribusi seragam dengan batas poligon. Saya mencari metode yang akan menemukan matriks kovarian poligon . Saya menduga bahwa matriks kovarians poligon terkait erat dengan momen kedua dari area …

9 pca  covariance-matrix  polygon 

Misalkan dan adalah variabel acak geometris independen dengan parameter . Berapa probabilitas ?X1X1X_1X2X2X_2pppX1≥X2X1≥X2X_1 \geq X_2 Saya bingung tentang pertanyaan ini karena kami tidak diberi tahu apa pun tentang dan selain geometris. Tidakkah ini menjadi karena dan dapat berupa apa saja dalam rentang tersebut?X1X1X_1X2X2X_250%50%50\%X1X1X_1X2X2X_2 EDIT: Upaya baru P(X1≥X2)=P(X1&gt;X2)+P(X1=X2)P(X1≥X2)=P(X1&gt;X2)+P(X1=X2)P(X1 ≥ X2) = …

9 self-study  random-variable  geometric-distribution 

Jadi saya telah membaca beberapa buku (atau bagian dari mereka) tentang pemodelan (F. Harrell "Strategi Pemodelan Regresi" antara lain), karena situasi saya saat ini adalah bahwa saya perlu melakukan model logistik berdasarkan data respon biner. Saya memiliki data kontinu, kategoris, dan biner (prediktor) dalam kumpulan data saya. Pada dasarnya saya …

9 logistic  predictive-models  feature-selection  regression-strategies 

Pertimbangkan Bayesian posterior . Secara asimptotik, maksimum terjadi pada estimasi MLE , yang hanya memaksimalkan kemungkinan .θ∣Xθ∣X\theta\mid Xθ^θ^\hat \thetaargminθfθ(X)argminθfθ(X)\operatorname{argmin}_\theta\, f_\theta(X) Semua konsep ini — prior Bayesian, memaksimalkan kemungkinan — terdengar super berprinsip dan sama sekali tidak sewenang-wenang. Tidak ada catatan yang terlihat. Namun MLE meminimalkan divergensi KL antara distribusi nyata …

9 bayesian  maximum-likelihood  kullback-leibler 

Saya mencoba untuk mendapatkan intuisi yang lebih jelas: "Jika membuat lebih mungkin maka membuat lebih mungkin" yaituSEBUAHAABBBBBBSEBUAHAA Misalkan menunjukkan ukuran ruang di mana dan beradan ( S)n(S)n(S)SEBUAHAABBB Klaim: soP( B | A ) &gt; P( B )P(B|A)&gt;P(B)P(B|A)>P(B)n ( A B ) / n ( A ) &gt; n ( B …

9 probability  inference  conditional-probability  intuition  association-measure 

Saya sedang mengerjakan masalah inferensi dimensi tinggi (sekitar 2000 parameter model) yang kami mampu melakukan estimasi MAP dengan kuat dengan menemukan maksimum global log-posterior menggunakan kombinasi optimasi berbasis gradien dan algoritma genetika. Saya sangat ingin dapat membuat beberapa estimasi ketidakpastian pada parameter model selain menemukan estimasi MAP. Kami dapat menghitung …

9 bayesian  uncertainty  high-dimensional  variational-bayes 

Dalam scikit mempelajari dokumen tentang probabilitas kalibrasi mereka membandingkan regresi logistik dengan metode lain dan menyatakan bahwa hutan acak kurang dikalibrasi dengan baik daripada regresi logistik. Mengapa regresi logistik dikalibrasi dengan baik? Bagaimana seseorang dapat merusak kalibrasi dari regresi logistik (bukan yang ingin dilakukannya - seperti latihan)?

9 regression  logistic  calibration 

Dalam Pembelajaran Dalam François Chollet dengan Python dikatakan: Akibatnya, menyetel konfigurasi model berdasarkan kinerjanya pada set validasi dapat dengan cepat menghasilkan overfitting ke set validasi, meskipun model Anda tidak pernah dilatih secara langsung mengenai hal itu. Inti dari fenomena ini adalah gagasan kebocoran informasi. Setiap kali Anda menyetel hyperparameter model …

9 neural-networks  cross-validation  hyperparameter 

Pertimbangkan kasus yang dijelaskan di bawah ini, dari Peacock (1972). Bagian ini tampaknya menyiratkan ahli statistik muda membuat pernyataan yang cerdas dan benar. Tetapi apakah dia?

9 experiment-design  clinical-trials 

Saya ditanya pertanyaan berikut oleh seorang teman. Saya tidak bisa membantunya tetapi saya berharap seseorang dapat menjelaskannya kepada saya. Saya tidak dapat menemukan contoh serupa. Terima kasih atas bantuan dan penjelasannya. T: Hasil dari 100 percobaan lemparan koin dicatat sebagai 0 = "Ekor" dan 1 = "Kepala". Output x adalah …

9 probability  inference  bernoulli-distribution 

Ambil 20 titik acak dalam ruang 10.000 dimensi dengan setiap koordinat iid dari . Bagi mereka menjadi 10 pasangan ("pasangan") dan tambahkan rata-rata setiap pasangan ("anak") ke dataset. Kemudian lakukan PCA pada 30 poin yang dihasilkan dan plot PC1 vs PC2.N(0,1)N(0,1)\mathcal N(0,1) Suatu hal yang luar biasa terjadi: setiap "keluarga" …

9 pca  python  high-dimensional  genetics  gwas 

Apakah fungsi dalam bentuk memiliki nama standar? Misalnya adalah fungsi linier.ex/(1+ex)ex/(1+ex)e^x/(1+e^x)y=a+bxy=a+bxy = a + bx

9 logistic  neural-networks  deep-learning  terminology 

Saya mencoba memahami optimasi gradient descent dalam algoritma ML (pembelajaran mesin). Saya mengerti bahwa ada fungsi biaya — di mana tujuannya adalah untuk meminimalkan kesalahan . Dalam skenario di mana bobot sedang dioptimalkan untuk memberikan kesalahan minimum, dan turunan parsial digunakan, apakah itu mengubah dan di setiap langkah atau merupakan …

9 optimization  gradient-descent 

Dengan regresi OLS diterapkan pada respon kontinu, seseorang dapat membangun persamaan regresi berganda dengan menjalankan regresi residual secara berurutan pada setiap kovariat. Pertanyaan saya adalah, adakah cara untuk melakukan ini dengan regresi logistik melalui residu regresi logistik ? Pr(Y=1|x,z)Pr(Y=1|x,z)\Pr(Y = 1 | x, z)xxxR1R1R_1R1R1R_1zzz

9 regression  logistic  residuals