Statistik dan Big Data

Biarkan dan b t menjadi proses white noise. Dapat kita katakan c t = a t + b t adalah tentu proses white noise?atata_tbtbtb_tct=at+btct=at+btc_t=a_t+b_t

30 time-series  econometrics  white-noise 

Saya mencoba untuk menulis serangkaian posting blog pada nilai-p dan saya pikir akan menarik untuk kembali ke tempat semuanya dimulai - yang tampaknya merupakan makalah Pearson tahun 1900. Jika Anda terbiasa dengan kertas itu, Anda akan ingat bahwa ini mencakup pengujian good-of-fit. Pearson agak longgar dengan bahasanya ketika datang ke …

30 p-value  history  ronald-fisher 

Rumus untuk probabilitas bersyarat dari terjadi mengingat bahwa telah terjadi adalah:B P ( AAA\text{A}BB\text{B}P(A | B)=P(A∩B)P(B).P(A | B)=P(A∩B)P(B). P\left(\text{A}~\middle|~\text{B}\right)=\frac{P\left(\text{A} \cap \text{B}\right)}{P\left(\text{B}\right)}. Buku teks saya menjelaskan intuisi di balik ini dalam hal diagram Venn. Mengingat bahwa telah terjadi, satu-satunya cara untuk terjadi adalah untuk peristiwa jatuh di persimpangan dan .A A …

30 probability  conditional-probability  intuition 

Catatan: Saya tahu bahwa L1 memiliki properti pemilihan fitur. Saya mencoba memahami yang mana yang harus dipilih ketika pemilihan fitur sama sekali tidak relevan. Bagaimana cara memutuskan regularisasi (L1 atau L2) mana yang akan digunakan? Apa pro & kontra dari masing-masing regularisasi L1 / L2? Apakah disarankan untuk pertama melakukan …

30 regression  lasso  regularization  ridge-regression 

Dalam buku Model Statistik dan Metode untuk Data Seumur Hidup , ada tertulis: Penyensoran: Ketika pengamatan tidak lengkap karena beberapa penyebab acak. Pemotongan: Ketika sifat pengamatan yang tidak lengkap adalah karena proses seleksi sistematis yang melekat pada desain penelitian. Apa yang dimaksud dengan "proses seleksi sistematis yang melekat pada desain …

30 self-study  censoring  truncation 

Distribusi yang sangat miring seperti log-normal tidak menghasilkan interval kepercayaan bootstrap yang akurat. Berikut adalah contoh yang menunjukkan bahwa area ekor kiri dan kanan jauh dari ideal 0,025 tidak peduli metode bootstrap apa pun yang Anda coba di R: require(boot) n <- 25 B <- 1000 nsim <- 1000 set.seed(1) …

30 confidence-interval  nonparametric  mean  bootstrap  median 

Pembelajaran terawasi 1) Manusia membangun classifier berdasarkan input dan output data 2) Pengklasifikasi tersebut dilatih dengan serangkaian data pelatihan 3) Klasifikasi itu diuji dengan serangkaian data uji 4) Penempatan jika output memuaskan Untuk digunakan ketika, "Saya tahu cara mengklasifikasikan data ini, saya hanya perlu Anda (pengklasifikasi) untuk mengurutkannya." Titik metode: …

30 machine-learning  unsupervised-learning  supervised-learning  reinforcement-learning 

Apa perbedaan dalam kesimpulan yang dapat dibuat dari analisis kelas laten (LCA) versus analisis cluster? Apakah benar bahwa LCA mengasumsikan variabel laten yang mendasari yang menimbulkan kelas, sedangkan analisis cluster adalah deskripsi empiris atribut berkorelasi dari algoritma clustering? Tampaknya dalam ilmu sosial, LCA telah mendapatkan popularitas dan dianggap lebih unggul …

30 clustering  latent-variable  latent-class 

Apa perbedaan antara "inferensi" dan "estimasi" di bawah konteks pembelajaran mesin ? Sebagai seorang pemula, saya merasa bahwa kita menyimpulkan variabel acak dan memperkirakan parameter model. Apakah pemahaman saya ini benar? Jika tidak, apa perbedaan sebenarnya, dan kapan saya harus menggunakan yang mana? Juga, yang mana adalah sinonim dari "belajar"?

30 machine-learning  inference  terminology 

[Pertanyaan ini juga diajukan pada stack overflow] Pertanyaan singkatnya Saya sedang mempelajari jaringan saraf convolutional, dan saya percaya bahwa jaringan ini tidak memperlakukan setiap input neuron (pixel / parameter) secara setara. Bayangkan kita memiliki jaringan yang dalam (banyak lapisan) yang menerapkan konvolusi pada beberapa gambar input. Neuron di "tengah" gambar …

30 machine-learning  neural-networks  convolution 

Dalam posting blog ini oleh Andrew Gelman, ada bagian berikut: Model Bayesian 50 tahun lalu tampak sederhana tanpa harapan (kecuali, tentu saja, untuk masalah sederhana), dan saya berharap model Bayesian hari ini akan tampak sangat sederhana, 50 tahun karenanya. (Hanya untuk contoh sederhana: kita mungkin harus secara rutin menggunakan t …

30 distributions  bayesian  normal-distribution  model  robust 

Saya mengerti bahwa korelasi bukanlah sebab-akibat . Misalkan kita mendapatkan korelasi tinggi antara dua variabel. Bagaimana Anda memeriksa apakah korelasi ini sebenarnya karena sebab akibat? Atau, dalam kondisi apa, tepatnya, dapatkah kita menggunakan data eksperimental untuk menyimpulkan hubungan sebab akibat antara dua atau lebih variabel?

30 correlation  mathematical-statistics  causality 

Saya berharap seseorang dapat memberikan gambaran intuitif tentang apa distribusi quasibinomial dan apa fungsinya. Saya sangat tertarik pada poin-poin ini: Bagaimana kuasibinomial berbeda dengan distribusi binomial. Ketika variabel respon adalah proporsi (nilai contoh termasuk 0,23, 0,11, 0,78, 0,98), model quasibinomial akan berjalan dalam R tetapi model binomial tidak akan. Mengapa …

30 r  generalized-linear-model  binomial  overdispersion  quasi-likelihood 

Saya memainkan Album Stiker FIFA Panini Online , yang merupakan adaptasi Internet dari album Panini klasik yang biasanya diterbitkan untuk piala dunia sepakbola, kejuaraan Eropa, dan mungkin turnamen lainnya. Album ini memiliki penampung untuk 424 stiker berbeda. Tujuan dari permainan ini adalah untuk mengumpulkan semua 424. Stiker datang dalam paket …

30 probability  coupon-collector-problem 

Saya bingung tentang Vector Error Correction Model ( VECM ). Latar belakang teknis: VECM menawarkan kemungkinan untuk menerapkan Vector Autoregressive Model ( VAR ) ke seri waktu multivarian terintegrasi. Dalam buku teks mereka menyebutkan beberapa masalah dalam menerapkan VAR ke deret waktu terintegrasi, yang paling penting adalah yang disebut regresi …

30 time-series  forecasting  var  cointegration  vecm