Statistik dan Big Data

Baru-baru ini saya membaca buku Skillicorn tentang dekomposisi matriks, dan sedikit kecewa, karena ditargetkan untuk audiens sarjana. Saya ingin mengkompilasi (untuk saya dan orang lain) bibliografi singkat dari makalah penting (survei, tetapi juga makalah terobosan) pada dekomposisi matriks. Apa yang ada dalam pikiran saya terutama adalah sesuatu pada SVD / …

18 matrix-decomposition  svd  numerics 

Saya penulis paket ez untuk R, dan saya sedang mengerjakan pembaruan untuk menyertakan perhitungan otomatis rasio kemungkinan (LR) dalam output ANOVA. Idenya adalah untuk memberikan LR untuk setiap efek yang analog dengan pengujian efek yang dicapai ANOVA. Misalnya, LR untuk efek utama mewakili perbandingan model nol dengan model yang mencakup …

18 r  anova  likelihood-ratio 

Saya ingin memutuskan apakah saya harus mengambil kursus yang disebut "PENGANTAR KE PROSES STOKASTIK" yang akan diadakan semester depan di Universitas saya. Saya bertanya kepada dosen bagaimana belajar kursus seperti itu akan membantu saya sebagai ahli statistik, dia mengatakan bahwa karena dia datang dari probabilitas, dia tahu sedikit statistik dan …

18 probability  stochastic-processes 

Apakah kekuatan regresi logistik dan uji-t setara? Jika demikian, mereka harus "setara kepadatan data" yang saya maksudkan bahwa jumlah pengamatan yang mendasari yang sama menghasilkan kekuatan yang sama dengan alfa tetap 0,05. Pertimbangkan dua kasus: [Uji-parametrik]: 30 gambar dari pengamatan binomial dibuat dan nilai-nilai yang dihasilkan dirata-rata. Ini dilakukan 30 …

18 logistic  t-test  power  power-analysis 

Saya menggunakan regresi ridge pada data yang sangat multikolinier. Menggunakan OLS saya mendapatkan kesalahan standar besar pada koefisien karena multikolinieritas. Saya tahu regresi ridge adalah cara untuk menangani masalah ini, tetapi dalam semua implementasi regresi ridge yang saya lihat, tidak ada kesalahan standar yang dilaporkan untuk koefisien. Saya ingin beberapa …

18 standard-error  ridge-regression 

Pada ukuran jendela yang lebih kecil, n log npengurutan mungkin berhasil. Apakah ada algoritma yang lebih baik untuk mencapai ini?

18 algorithms  median 

Saya mencari buku atau sumber daya daring yang menjelaskan berbagai jenis entropi seperti Contoh Entropi dan Entropi Shannon serta kelebihan dan kekurangannya. Bisakah seseorang mengarahkan saya ke arah yang benar?

18 references  entropy 

Jika kita ingin melihat distribusi data secara terus-menerus, yang manakah di antara histogram dan pdf yang harus digunakan? Apa perbedaannya, bukan berdasarkan rumus, antara histogram dan pdf?

18 distributions  pdf  histogram 

Adakah yang tahu sekitar tahun berapa MCMC menjadi hal yang biasa (yaitu, metode populer untuk inferensi Bayesian)? Tautan ke jumlah artikel MCMC (jurnal) yang diterbitkan seiring waktu akan sangat membantu.

18 bayesian  mcmc  history 

Untuk menghitung interval kepercayaan (CI) untuk rata-rata dengan deviasi standar populasi yang tidak diketahui (SD) kami memperkirakan deviasi standar populasi dengan menggunakan t-distribusi. Khususnya, mana . Tetapi karena, kami tidak memiliki estimasi titik standar deviasi populasi, kami memperkirakan melalui perkiraan manaCI=X¯±Z95%σX¯CI=X¯±Z95%σX¯CI=\bar{X} \pm Z_{95\% }\sigma_{\bar X}σX¯=σn√σX¯=σn\sigma_{\bar X} = \frac{\sigma}{\sqrt n}CI=X¯±t95%(se)CI=X¯±t95%(se)CI=\bar{X} \pm …

18 normal-distribution  confidence-interval  sampling  t-distribution 

Saya ingin menggambar bilangan bulat dari 1 ke beberapa tertentu dengan menggulirkan sejumlah dadu enam sisi yang adil (d6). Jawaban yang baik akan menjelaskan mengapa metodenya menghasilkan bilangan bulat seragam dan independen .NNN Sebagai contoh ilustrasi, akan sangat membantu untuk menjelaskan bagaimana solusi bekerja untuk kasus .N=150N=150N=150 Lebih jauh, saya …

18 probability  random-generation  uniform  dice 

Banyak tutorial bicara online tentang gradient descent dan hampir semuanya menggunakan ukuran langkah tetap (tingkat pembelajaran ). Mengapa tidak ada penggunaan pencarian baris (seperti pencarian garis backtracking atau pencarian baris yang tepat)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

Mengapa menggunakan metode Newton untuk optimasi regresi logistik disebut kuadrat ulang tertimbang iteratif? Sepertinya tidak jelas bagi saya karena kehilangan logistik dan paling tidak hilangnya kotak adalah hal yang sama sekali berbeda.

18 logistic  generalized-linear-model  optimization  irls  fisher-scoring 

Saya telah melihat kesimpulan serupa dari banyak diskusi, bahwa ketika ukuran minibatch semakin besar konvergensi SGD sebenarnya semakin sulit / buruk, misalnya tulisan ini dan jawaban ini . Saya juga pernah mendengar ada orang yang menggunakan trik seperti kecepatan belajar kecil atau ukuran batch pada tahap awal untuk mengatasi kesulitan …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd 

Saya membaca buku: Uskup, Pengenalan Pola dan Pembelajaran Mesin (2006) yang mendefinisikan keluarga eksponensial sebagai distribusi bentuk (Persamaan 2.194): p(x|η)=h(x)g(η)exp{ηTu(x)}p(x|η)=h(x)g(η)exp⁡{ηTu(x)}p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\} Tapi saya melihat tidak ada batasan yang ditempatkan pada atau \ mathbf u (\ mathbf x) …

18 mathematical-statistics  exponential-family