Statistik dan Big Data

Dalam komentar di sini , @gung menulis, Saya percaya mereka bisa tumpang tindih sedikit (mungkin ~ 25%) & masih signifikan pada level 5%. Ingat bahwa CI 95% yang Anda lihat adalah untuk OR individu, tetapi tes 2 OR adalah tentang perbedaan di antara mereka. Namun, jika mereka tidak tumpang tindih …

9 logistic  confidence-interval  odds-ratio  references 

Saya sedang mempelajari model Gaussian Mixture dan muncul sendiri pertanyaan ini. Misalkan data yang mendasari dihasilkan dari campuran distribusi Gaussian dan masing-masing memiliki vektor rata-rata μ k ∈ R p , di mana 1 ≤ k ≤ K dan masing-masing memiliki co-varian yang sama matriks Σ dan berasumsi ini Σ …

9 self-study  expectation-maximization  gaussian-mixture  consistency 

Saya akan mengajar statistik sebagai asisten pengajar untuk paruh kedua semester ini untuk mahasiswa sarjana berorientasi-CS. Sebagian besar siswa mengambil kelas tidak memiliki insentif untuk mempelajari subjek dan hanya mengambilnya untuk persyaratan utama. Saya ingin membuat subjek menarik dan bermanfaat, bukan hanya kelas yang mereka pelajari untuk mendapatkan B + …

9 hypothesis-testing  confidence-interval  teaching 

Saya mencoba memprediksi skor keseimbangan dan mencoba beberapa metode regresi yang berbeda. Satu hal yang saya perhatikan adalah bahwa nilai yang diprediksi tampaknya memiliki semacam batas atas. Yaitu, saldo aktual dalam , tetapi prediksi saya mencapai sekitar . Plot berikut menunjukkan saldo aktual vs saldo yang diprediksi (diprediksi dengan regresi …

9 regression  distributions  data-transformation  prediction  bounds 

Kehilangan L2, bersama dengan kehilangan L0 dan L1, adalah tiga fungsi kehilangan "standar" yang sangat umum digunakan ketika meringkas posterior dengan kehilangan posterior minimum yang diharapkan. Salah satu alasan untuk ini mungkin karena mereka relatif mudah untuk dihitung (setidaknya untuk 1d-distribusi), L0 menghasilkan mode, L1 di median dan L2 menghasilkan …

9 bayes  teaching  decision-theory  loss-functions 

Saya mencoba memahami bidang reseptif CNN dengan lebih baik. Untuk melakukan itu saya ingin menghitung bidang reseptif dari setiap neuron di LeNet. Untuk MLP normal itu agak mudah (lihat http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), tetapi lebih sulit untuk menghitung bidang reseptif dari neuron dalam lapisan berikut satu atau lebih lapisan konvolusional dan lapisan …

9 deep-learning  conv-neural-network 

Saya memiliki model campuran yang saya ingin menemukan penduga kemungkinan maksimum dari diberikan satu set data dan satu set data yang diamati sebagian . Saya telah mengimplementasikan langkah-E (menghitung ekspektasi dari diberikan dan parameter saat ini ), dan langkah-M, untuk meminimalkan kemungkinan log negatif yang diberikan pada diharapkan .xxxzzzzzzxxxθkθk\theta^kzzz Seperti …

9 maximum-likelihood  mixture  expectation-maximization 

Ini adalah masalah yang muncul dalam ujian semester di universitas kami beberapa tahun yang lalu yang saya perjuangkan untuk diselesaikan. Jika adalah independen acak dengan kepadatan dan masing-masing kemudian menunjukkan bahwa mengikuti .X1,X2X1,X2X_1,X_2ββ\betaβ(n1,n2)β(n1,n2)\beta(n_1,n_2)β(n1+12,n2)β(n1+12,n2)\beta(n_1+\dfrac{1}{2},n_2)X1X2−−−−−√X1X2\sqrt{X_1X_2}β(2n1,2n2)β(2n1,2n2)\beta(2n_1,2n_2) Saya menggunakan metode Jacobian untuk mendapatkan bahwa kepadatan adalah sebagai berikut: Y=X1X2−−−−−√Y=X1X2Y=\sqrt{X_1X_2}fY(y)=4y2n1B(n1,n2)B(n1+12,n2)∫1y1x2(1−x2)n2−1(1−y2x2)n2−1dxfY(y)=4y2n1B(n1,n2)B(n1+12,n2)∫y11x2(1−x2)n2−1(1−y2x2)n2−1dxf_Y(y)=\dfrac{4y^{2n_1}}{B(n_1,n_2)B(n_1+\dfrac{1}{2},n_2)}\int_y^1\dfrac{1}{x^2}(1-x^2)^{n_2-1}(1-\dfrac{y^2}{x^2})^{n_2-1}dx Sebenarnya saya tersesat pada titik …

9 self-study  random-variable  beta-distribution  distributions  jacobian 

Saya memiliki kumpulan data dari survei pelanggan, saya ingin menggunakan uji statistik untuk melihat apakah ada perbedaan signifikan antara produk 1 dan produk 2. Berikut ini adalah kumpulan data ulasan pelanggan. Nilai dari sangat buruk, buruk, oke, bagus, sangat bagus. customer product1 product2 1 very good very bad 2 good …

9 statistical-significance  categorical-data  repeated-measures  ordinal-data 

Untuk uji-t, menurut kebanyakan teks ada asumsi bahwa data populasi terdistribusi secara normal. Saya tidak mengerti mengapa demikian. Bukankah uji-t hanya mensyaratkan bahwa distribusi sampling dari sampel berarti terdistribusi secara normal, dan bukan pada populasi? Jika itu adalah kasus bahwa uji-t hanya pada akhirnya memerlukan normalitas dalam distribusi sampling, populasi …

9 hypothesis-testing  t-test  assumptions  normality-assumption  central-limit-theorem 

Saya menggunakan decomposefungsi ini Rdan menghasilkan 3 komponen rangkaian waktu bulanan saya (tren, musiman dan acak). Jika saya memplot grafik atau melihat tabel, saya dapat dengan jelas melihat bahwa deret waktu dipengaruhi oleh musiman. Namun, ketika saya mengembalikan deret waktu ke 11 variabel dummy musiman, semua koefisien tidak signifikan secara …

9 r  regression  time-series 

Di CNN, kita akan mempelajari filter untuk menghasilkan peta fitur dalam lapisan convolutional. Dalam Autoencoder, unit tersembunyi tunggal setiap lapisan dapat dianggap sebagai filter. Apa perbedaan antara filter yang dipelajari dalam dua jaringan ini?

9 machine-learning  neural-networks  conv-neural-network  autoencoders 

Saya mencoba memahami bentuk normal dari informasi timbal balik yang bijaksana. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Mengapa probabilitas log joint menormalkan informasi mutual pointwise antara [-1, 1]? Informasi timbal balik yang bijak adalah: pmi=log(p(x,y)p(x)p(y))pmi=log(p(x,y)p(x)p(y))pmi = log(\frac{p(x,y)}{p(x)p(y)}) p (x, y) dibatasi oleh [0, 1] jadi log (p (x, y)) dibatasi oleh (, 0]. …

9 entropy  information-theory  mutual-information 

Saya mencari paket untuk membantu saya memecahkan beberapa masalah optimasi kuadratik dan saya melihat setidaknya ada setengah lusin paket yang berbeda. Menurut halaman ini : QP (Quadratic programming, 90C20): cplexAPI , kernlab , limSolve , LowRankQP , quadprog , Rcplex , Rmosek Beberapa di antaranya (Rmosek dan cplexAPI) bergantung pada …

9 r  optimization 

Dalam filogenetik, pohon filogenetik sering dibangun menggunakan analisis MLE atau Bayesian. Seringkali, flat sebelumnya digunakan dalam estimasi Bayesian. Seperti yang saya pahami, perkiraan Bayesian adalah estimasi kemungkinan yang menggabungkan prior. Pertanyaan saya adalah, jika Anda menggunakan flat sebelumnya, apakah ada bedanya dengan hanya melakukan analisis kemungkinan?

9 bayesian  confidence-interval  maximum-likelihood  likelihood  phylogeny