Statistik dan Big Data

Latar Belakang Jadi pertama-tama latar belakang untuk mengukur tingkat pemahaman yang mungkin saya miliki. Saat ini menyelesaikan tesis MSc, statistik telah menjadi bagian yang dapat diabaikan dari ini meskipun saya memiliki pemahaman dasar. Pertanyaan saya saat ini membuat saya ragu apa yang bisa / harus saya lakukan dalam praktik, membaca …

10 r  time-series  variance  descriptive-statistics  structural-change 

Membiarkan X1X1X_1 dan X2X2X_2 menjadi variabel acak eksponensial independen dan terdistribusi secara identik dengan rate λλ\lambda. MembiarkanS2=X1+X2S2=X1+X2S_2 = X_1 + X_2. T: Tunjukkan ituS2S2S_2 memiliki PDF fS2(x)=λ2xe−λx,x≥0fS2(x)=λ2xe−λx,x≥0f_{S_2}(x) = \lambda^2 x \text{e}^{-\lambda x},\, x\ge 0. Perhatikan bahwa jika peristiwa terjadi sesuai dengan Proses Poisson (PP) dengan tingkat λλ\lambda, S2S2S_2 akan mewakili …

10 self-study  distributions  convolution  exponential-distribution 

Dari kursus probabilitas dasar, distribusi probabilitas seperti Gaussian, Poisson atau eksponensial semua memiliki motivasi yang baik. Setelah menatap formula distribusi keluarga eksponensial untuk waktu yang lama, saya masih tidak mendapatkan intuisi. fX(x∣θ)=h(x)exp(η(θ)⋅T(x)−A(θ))fX(x∣θ)=h(x)exp⁡(η(θ)⋅T(x)−A(θ))f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x)-A({\boldsymbol {\theta }}){\Big )} Adakah yang bisa …

10 exponential-family 

Selama setahun terakhir, saya telah banyak mendengar tentang kerangka kerja Programming Probabilistic (PP) seperti PyMC3 dan Stan , dan betapa hebatnya PP. Dan hari ini, seseorang membagikan tautan ini kepada saya: Pyro: Bahasa Pemrograman Probabilitas Jauh Namun, saya tidak benar-benar mengikuti apa yang istimewa tentang itu karena rasanya seperti apa …

10 bayesian  modeling  inference  software 

Pertanyaan ini sudah ada jawabannya di sini : Bagaimana cara threshold prediksi probabilitas multiclass untuk mendapatkan confusion matrix? (1 jawaban) Ditutup 3 bulan lalu . Di atas adalah contoh yang sangat sederhana untuk memiliki output probabilitas classifier untuk kasus kelas biner 0 atau 1 berdasarkan beberapa probabilitas. Selain itu, mudah …

10 probability  classification  precision-recall  multi-class 

Saya memiliki pengalaman sebelumnya dengan validasi silang K-fold 'normal' untuk tuning model dan saya sedikit bingung dengan aplikasi dalam model time-series. Ini adalah pemahaman saya bahwa untuk model deret waktu konsekuensi wajar untuk cross-validasi adalah prosedur 'asal-usul ke depan' yang dijelaskan oleh Hyndman . Ini masuk akal bagi saya dan …

10 time-series  forecasting  cross-validation 

Saya membaca buku "Machine learning with Spark" oleh Nick Pentreath, dan di halaman 224-225 penulis membahas tentang penggunaan K-means sebagai bentuk pengurangan dimensionalitas. Saya belum pernah melihat pengurangan dimensi seperti ini, apakah ada nama atau / dan berguna untuk bentuk data tertentu ? Saya mengutip buku yang menggambarkan algoritma: Asumsikan …

10 clustering  k-means  dimensionality-reduction 

Saya perlu mendapatkan semacam "rata-rata" di antara daftar varian, tetapi mengalami masalah dengan solusi yang masuk akal. Ada diskusi menarik tentang perbedaan di antara tiga cara Pythagoras (aritmatika, geometris, dan harmonik) di utas ini ; Namun, saya masih tidak merasa ada di antara mereka yang akan menjadi kandidat yang baik. …

10 variance  average 

Ketika kami melakukan klasifikasi dan regresi, kami biasanya menetapkan set pengujian dan pelatihan untuk membantu kami membangun dan meningkatkan model. Namun, ketika kita melakukan pengelompokan, apakah kita juga perlu mengatur pengujian dan pelatihan? Mengapa?

10 machine-learning  clustering  unsupervised-learning 

Pertimbangkan fungsi kepadatan posterior yang diberikan (seperti biasa) oleh π( θ )∏i = 1nf(xsaya; θ ) ,π(θ)∏i=1nf(xi;θ), \pi(\theta) \prod_{i=1}^n f(x_i;\theta), dengan kepadatan sebelumnya ππ\pi dan distribusi f( ⋅ ; θ )f(⋅;θ)f(\cdot;\theta) dari nnn pengamatan x1, ... ,xnx1,…,xnx_1, \dots, x_n, tergantung pada nilai parameter θθ\theta. Dalam kondisi tertentu, distribusi posterior normal …

10 bayesian  asymptotics 

Untuk sebuah 2×22×22 \times 2 tabel, dua cara untuk melakukan inferensi di atas meja adalah melalui Fisher Exact Test dan juga Regresi Logistik. Saya diberi tahu bahwa menggunakan Fisher's Exact Test, kami hanya tertarik pada kehadiran asosiasi. Tetapi dengan Regresi Logistik, kami tertarik pada besarnya asosiasi. Namun, saya tidak mengerti …

10 regression  logistic  inference  contingency-tables  fishers-exact 

Untuk memasukkan pertanyaan saya ke dalam konteks, saya seorang fisikawan tetapi dengan paparan statistik yang terbatas dan apa yang telah saya pelajari tentang hal itu lebih dari 30 tahun yang lalu. Saya mencoba mempelajari tentang blok bootstrap karena teknik itu mungkin cocok untuk menyelesaikan masalah yang sedang saya kerjakan. Saya …

10 time-series  bootstrap 

Apa perbedaan mendasar antara Penyaringan Kolaboratif berdasarkan Item dan Analisis Berbasis Pasar? Apakah yang terakhir merupakan kasus khusus yang pertama?

10 machine-learning  recommender-system 

Ini mungkin pertanyaan mendasar: Apa perbedaan antara bias dan kekurangan? Dan, secara analog, apa perbedaan antara varians dan overfitting? Apakah ketentuan masing-masing pasangan memiliki arti yang sama? Jika tidak, apa bedanya?

10 variance  bias  overfitting  model-evaluation 

Saya sedang merencanakan (standar) mengembalikan data dengan qqplot()MATLAB terhadap kuantil teoritis dari distribusi normal. Namun, garis dalam QQ-Plot tidak memiliki sudut 45 ° tetapi diputar sedikit. Mungkin saya salah paham konsep plot QQ tapi bukankah seharusnya garis 45 °? Saya menempatkan plot untuk menggambarkan masalah ini.

10 matlab  qq-plot