Statistik dan Big Data

Dalam Wilcoxon signed-peringkat uji signifikansi statistik, kami datang di beberapa data yang menghasilkan -nilai dari . Dengan ambang , apakah hasil ini cukup untuk menolak hipotesis nol, atau lebih aman untuk mengatakan tes itu tidak meyakinkan, karena jika kita membulatkan nilai p ke 3 tempat desimal menjadi ?0,04993 p < …

20 hypothesis-testing  statistical-significance  p-value 

Apakah statistik matematika atau tidak? Mengingat itu semua angka, sebagian besar diajarkan oleh departemen matematika dan Anda mendapatkan kredit matematika untuk itu, saya bertanya-tanya apakah orang-orang hanya bersungguh-sungguh bercanda ketika mereka mengatakannya, seperti mengatakan itu adalah bagian kecil dari matematika, atau hanya matematika terapan. Saya ingin tahu apakah sesuatu seperti …

20 mathematical-statistics  philosophical 

Sketsa Wikipedia dan paket sandwich R memberikan informasi yang baik tentang asumsi yang mendukung kesalahan standar koefisien OLS dan latar belakang matematika dari penduga sandwich. Saya masih belum jelas bagaimana masalah heteroscedasticity residual ditangani, mungkin karena saya tidak sepenuhnya memahami estimasi varians koefisien OLS standar di tempat pertama. Apa intuisi …

20 multiple-regression  residuals  heteroscedasticity  robust-standard-error 

Pertanyaan ini dimigrasikan dari Mathematics Stack Exchange karena dapat dijawab di Cross Validated. Bermigrasi 6 tahun yang lalu . Dalam pendekatan algoritma EM kami menggunakan ketidaksetaraan Jensen untuk sampai padalogp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dzlog⁡p(x|θ)≥∫log⁡p(z,x|θ)p(z|x,θ(k))dz−∫log⁡p(z|x,θ)p(z|x,θ(k))dz\log p(x|\theta) \geq \int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz - \int \log p(z|x,\theta) p(z|x,\theta^{(k)})dz dan definisikan olehθ(k+1)θ(k+1)\theta^{(k+1)}θ(k+1)=argmaxθ∫logp(z,x|θ)p(z|x,θ(k))dzθ(k+1)=arg⁡maxθ∫log⁡p(z,x|θ)p(z|x,θ(k))dz\theta^{(k+1)}=\arg \max_{\theta}\int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz …

20 mixture  expectation-maximization 

Dapatkah seseorang membuktikan hubungan berikut antara metrik informasi Fisher dan entropi relatif (atau divergensi KL) dengan cara yang benar-benar ketat secara matematis? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) where a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n), gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) p(x;a) dxg_{i,j}=\int \partial_i (\log p(x;a)) …

20 mathematical-statistics  kullback-leibler  fisher-information 

Apakah ada cara untuk menguji keterpisahan linear dari dataset dua kelas dalam dimensi tinggi? Vektor fitur saya panjangnya 40. Saya tahu saya selalu dapat menjalankan percobaan regresi logistik dan menentukan hitrate vs false alarm rate untuk menyimpulkan apakah kedua kelas terpisah secara linear atau tidak, tetapi akan lebih baik untuk …

20 machine-learning  classification 

Saya ingin menerapkan algoritma EM manual dan kemudian membandingkannya dengan hasil normalmixEMdari mixtoolspaket. Tentu saja, saya akan senang jika keduanya menghasilkan hasil yang sama. Referensi utama adalah Geoffrey McLachlan (2000), Finite Mixture Models . Saya memiliki kerapatan campuran dari dua Gaussians, dalam bentuk umum, log-likelihood diberikan oleh (McLachlan halaman 48): …

20 r  expectation-maximization  gaussian-mixture 

Asumsikan adalah variabel acak kontinu dengan momen kedua terbatas. Versi populasi dari koefisien korelasi peringkat Spearman ρ_s dapat didefinisikan sebagai koefisien momen-produk Pearson dari probabilitas integral mengubah F_X (X) dan F_Y (Y) , di mana F_X, F_Y adalah cdf dari X dan Y , yaitu,X,YX,YX,Yρsρsρ_sFX(X)FX(X)F_X(X)FY(Y)FY(Y)F_Y(Y)FX,FYFX,FYF_X,F_YXXXYYY ρs(X,Y)=ρ(F(X),F(Y))ρs(X,Y)=ρ(F(X),F(Y))ρ_s(X,Y)=ρ(F(X),F(Y)) . Saya bertanya-tanya apakah …

20 correlation  pearson-r  spearman-rho 

Saya tidak ingin tahu apakah beberapa fenomena di alam memiliki distribusi normal, tetapi apakah kita dapat melihat suatu bentuk kurva normal seperti yang dapat kita lihat misalnya di kotak Galton. Lihat gambar ini dari Wikipedia. Perhatikan bahwa banyak bentuk atau kurva matematika secara langsung terlihat di alam, misalnya rerata emas …

20 distributions  normality-assumption 

Saya menggunakan libsvm dalam mode C-SVC dengan kernel polinomial derajat 2 dan saya diminta untuk melatih beberapa SVM. Setiap set pelatihan memiliki 10 fitur dan 5000 vektor. Selama pelatihan, saya mendapatkan peringatan ini untuk sebagian besar SVM yang saya latih: WARNING: reaching max number of iterations optimization finished, #iter = …

20 machine-learning  cross-validation  svm  regularization  libsvm 

Breiman mengatakan bahwa pohon-pohon ditanam tanpa pemangkasan. Mengapa? Maksud saya mengatakan bahwa harus ada alasan kuat mengapa pohon-pohon di hutan acak tidak dipangkas. Di sisi lain itu dianggap sangat penting untuk memangkas pohon keputusan tunggal untuk menghindari pas. Apakah ada bacaan yang tersedia untuk dibaca karena alasan ini? Tentu saja …

20 machine-learning 

Seorang rekan kerja menganalisis beberapa data biologis untuk disertasinya dengan beberapa Heteroscedasticity jahat (gambar di bawah). Dia menganalisanya dengan model campuran tetapi masih mengalami masalah dengan residu. Mentransformasi variabel-variabel respons membersihkan semuanya dan berdasarkan umpan balik terhadap pertanyaan ini, ini tampaknya merupakan pendekatan yang tepat. Awalnya, bagaimanapun, kami berpikir ada …

20 mixed-model  poisson-distribution  biostatistics 

Saya telah menggunakan beberapa imputasi untuk mendapatkan sejumlah set data yang lengkap. Saya telah menggunakan metode Bayesian pada masing-masing set data yang lengkap untuk mendapatkan distribusi posterior untuk parameter (efek acak). Bagaimana saya bisa menggabungkan / menggabungkan hasil untuk parameter ini? Lebih banyak konteks: Model saya bersifat hierarkis dalam arti …

20 bayesian  mixed-model  missing-data 

Saya telah dipanggil untuk tugas juri. Saya sadar akan relevansi statistik dengan beberapa uji coba juri. Sebagai contoh, konsep "tingkat dasar" dan penerapannya pada perhitungan probabilitas terkadang - mungkin selalu - relevan. Apa topik statistik yang mungkin dipelajari oleh seseorang dalam situasi saya, dan materi apa yang cocok untuk seseorang …

20 probability  bayesian  references 

Saya sedang mengerjakan suatu algoritma yang mengandalkan fakta bahwa pengamatan terdistribusi secara normal, dan saya ingin menguji kekokohan algoritma terhadap asumsi ini secara empiris.YYY Untuk melakukan hal ini, saya sedang mencari urutan transformasi yang progresif akan mengganggu normalitas Y . Sebagai contoh jika Y s normal mereka memiliki kemiringan = …

20 data-transformation  normality-assumption  skewness  kurtosis