Statistik dan Big Data

Saya menjalankan validasi silang 10 kali lipat pada algoritma klasifikasi biner yang berbeda, dengan dataset yang sama, dan menerima hasil rata-rata Mikro dan Makro. Harus disebutkan bahwa ini adalah masalah klasifikasi multi-label. Dalam kasus saya, negatif sejati dan positif sejati juga diberi bobot yang sama. Itu berarti memprediksi dengan benar …

21 machine-learning  cross-validation 

Saya memiliki dua fungsi kepadatan probabilitas dari distribusi normal: f1( x1|μ1, σ1) = 1σ12 π--√e- ( x - μ1)22 σ21f1(x1|μ1,σ1)=1σ12πe-(x-μ1)22σ12f_1(x_1 \; | \; \mu_1, \sigma_1) = \frac{1}{\sigma_1\sqrt{2\pi} } \; e^{ -\frac{(x-\mu_1)^2}{2\sigma_1^2} } dan f2( x2|μ2, σ2) = 1σ22 π--√e- ( x - μ2)22 σ22f2(x2|μ2,σ2)=1σ22πe-(x-μ2)22σ22f_2(x_2 \; | \; \mu_2, \sigma_2) = …

21 distributions  normal-distribution  distance 

Saya mencoba menyesuaikan model linier umum untuk beberapa set data jumlah yang mungkin atau mungkin tidak disebarkan secara berlebihan. Dua distribusi kanonik yang berlaku di sini adalah Poisson dan Negative Binomial (Negbin), dengan EV dan variansμμ\mu Va rP= μVSebuahrP=μVar_P = \mu Va rNB= μ + μ2θVSebuahrNB=μ+μ2θVar_{NB} = \mu + \frac{\mu^2}{\theta} …

21 r  generalized-linear-model  negative-binomial  poisson-regression  quasi-likelihood 

Koefisien korelasi biasanya ditulis dengan huruf kapital tetapi terkadang tidak. Saya ingin tahu apakah benar-benar ada perbedaan antara dan ? Dapatkah berarti sesuatu yang lain daripada koefisien korelasi?RRRr2r2r^2R2R2R^2rrr

21 correlation  terminology  r-squared 

Kebanyakan algoritma pengelompokan dan pengurangan dimensi klasik (pengelompokan hierarkis, analisis komponen utama, k-means, peta pengorganisasian sendiri ...) dirancang khusus untuk data numerik, dan data inputnya dipandang sebagai titik dalam ruang euclidean. Ini tentu saja merupakan masalah, karena banyak pertanyaan di dunia nyata melibatkan data yang dicampur: misalnya jika kita mempelajari …

21 clustering  dimensionality-reduction  distance  self-organizing-maps  mixed-type-data 

Saat saya memetakan histogram data saya, ini memiliki dua puncak: Apakah itu berarti distribusi multi-modal yang potensial? Saya menjalankan dip.testdi R ( library(diptest)), dan hasilnya adalah: D = 0.0275, p-value = 0.7913 Saya dapat menyimpulkan bahwa data saya memiliki distribusi multi-modal? DATA 10346 13698 13894 19854 28066 26620 27066 16658 …

21 r  hypothesis-testing  distributions  self-study  histogram 

Saya mengamati perilaku yang sangat aneh dalam hasil SVD dari data acak, yang dapat saya tiru di Matlab dan R. Sepertinya beberapa masalah numerik di perpustakaan LAPACK; Apakah itu? Saya menarik n=1000n=1000n=1000 sampel dari k=2k=2k=2 dimensi Gaussian dengan nol mean dan kovarian identitas: X∼N(0,I)X∼N(0,I)X\sim \mathcal N (0, \mathbf I) . …

21 pca  svd  linear-algebra  numerics 

Saya memiliki 383 sampel yang memiliki bias berat untuk beberapa nilai umum, bagaimana cara menghitung 95% CI untuk rata-rata? CI yang saya hitung sepertinya jauh, yang saya asumsikan adalah karena data saya tidak terlihat seperti kurva ketika saya membuat histogram. Jadi saya pikir saya harus menggunakan sesuatu seperti bootstrap, yang …

21 confidence-interval  mean 

Menurut teks yang saya gunakan, rumus untuk varian dari sisa diberikan oleh:ithithi^{th} σ2(1−1n−(xi−x¯¯¯)2Sxx)σ2(1−1n−(xi−x¯)2Sxx)\sigma^2\left ( 1-\frac{1}{n}-\frac{(x_{i}-\overline{x})^2}{S_{xx}} \right ) Saya menemukan ini sulit untuk percaya karena residual adalah perbedaan antara nilai diamati dan nilai dipasang; jika seseorang menghitung varians dari perbedaan, paling tidak saya akan mengharapkan beberapa "plus" dalam ekspresi yang dihasilkan. …

21 regression  variance  residuals 

Saat menghitung AIC, AIC=2k−2lnLAIC=2k−2lnLAIC = 2k - 2 ln L k berarti 'jumlah parameter'. Tapi apa yang dianggap sebagai parameter? Jadi misalnya dalam model y=ax+by=ax+by = ax + b Apakah a dan b selalu dihitung sebagai parameter? Bagaimana jika saya tidak peduli dengan nilai intersep, dapatkah saya mengabaikannya atau masih …

21 aic 

Apakah itu dalam varian standardisasi diketahui sementara dalam siswaisasi itu tidak diketahui dan karenanya diperkirakan? Terima kasih.

21 standardization 

Saya seorang ahli matematika yang mempelajari statistik dan berjuang terutama dengan bahasa. Dalam buku yang saya gunakan, ada masalah berikut: Variabel acak diberikan sebagai -distribusi dengan . (Tentu saja, Anda dapat mengambil distribusi apa pun tergantung pada satu parameter untuk kepentingan pertanyaan ini.) Kemudian sampel lima nilai 14 , 21 …

21 maximum-likelihood 

Saya mencoba menyesuaikan model regresi linier berganda dengan data saya dengan beberapa parameter input, katakanlah 3. F( x )F( x )= A x1+ B x2+ Cx3+ datau= ( A B C )T( x1 x2 x3) + d(saya)(ii)(saya)F(x)=SEBUAHx1+Bx2+Cx3+datau(ii)F(x)=(SEBUAH B C)T(x1 x2 x3)+d\begin{align} F(x) &= Ax_1 + Bx_2 + Cx_3 + d …

21 regression  data-visualization  multiple-regression  communication 

Saya menerapkan model linier ke data saya: ysaya= β0+ β1xsaya+ ϵsaya,ϵsaya∼ N( 0 , σ2) .ysaya=β0+β1xsaya+ϵsaya,ϵsaya∼N(0,σ2). y_{i}=\beta_{0}+\beta_{1}x_{i}+\epsilon_{i}, \quad\epsilon_{i} \sim N(0,\sigma^{2}). Saya ingin memperkirakan interval kepercayaan (CI) dari koefisien ( , β 1 ) menggunakan metode bootstrap. Ada dua cara agar saya dapat menerapkan metode bootstrap:β0β0\beta_{0}β1β1\beta_{1} Prediktor respons pasangan berpasangan: Secara …

21 regression  bootstrap 

Saya membaca Bishop pada algoritma EM untuk GMM dan hubungan antara GMM dan k-means. Dalam buku ini dikatakan bahwa k-means adalah versi GMM yang sulit. Saya bertanya-tanya apakah itu menyiratkan bahwa jika data yang saya coba kluster bukan Gaussian, saya tidak dapat menggunakan k-means (atau setidaknya itu tidak cocok untuk …

21 clustering  data-mining  k-means  gaussian-mixture