Statistik dan Big Data

Mengapa regresi linier dan Model Umum memiliki asumsi yang tidak konsisten? Dalam regresi linier, kita asumsikan residual berasal dari Gaussian Dalam regresi lain (regresi logistik, regresi racun), kami menganggap respons datang dari beberapa distribusi (binomial, poission dll). Mengapa kadang-kadang berasumsi sisa dan waktu lain menganggap pada respons? Apakah karena kita …

14 regression  generalized-linear-model  assumptions  linear 

Ini mungkin pertanyaan yang aneh sama sekali tetapi sebagai seorang pemula untuk subjek saya bertanya-tanya mengapa kita menggunakan regresi untuk menentukan deret waktu jika salah satu asumsi regresi adalah data yang harus ditampung sedangkan data yang digunakan regresi adalah bukan iid?

14 regression  time-series  trend  iid 

Dalam "Analisis Data" oleh DS Sivia, ada derivasi dari distribusi Poisson, dari distribusi binomial. Mereka berpendapat bahwa distribusi Poisson adalah kasus terbatas dari distribusi binomial ketika M→∞M→∞M\rightarrow\infty , di mana MMM adalah jumlah percobaan. Pertanyaan 1: Bagaimana argumen itu dimengerti secara intuitif? Pertanyaan 2: Mengapa batas besar MMMuntuk M!N!(M−N)!M!N!(M−N)!\frac{M!}{N!(M-N)!}sama dengan, …

14 binomial  poisson-distribution  combinatorics  intuition  probability-calculus 

θ^θ^\hat\thetaθ∗θ∗\theta^*nnn∥θ^−θ∗∥‖θ^−θ∗‖\lVert\hat\theta-\theta^*\rVertO(1/n−−√)O(1/n)O(1/\sqrt n)∥Eθ^−θ∗∥‖Eθ^−θ∗‖\lVert \mathbb E\hat\theta - \theta^*\rVert∥Eθ^−θ^∥‖Eθ^−θ^‖\lVert \mathbb E\hat\theta - \hat\theta\rVertO(1/n−−√)O(1/n)O(1/\sqrt{n}) Saya tertarik pada model yang memiliki bias yang menyusut lebih cepat dari O(1/n−−√)O(1/n)O(1/\sqrt n) , tetapi di mana kesalahan tidak menyusut pada tingkat yang lebih cepat ini karena penyimpangan masih menyusut sebagai O(1/n−−√)O(1/n)O(1/\sqrt n) . Secara khusus, saya ingin mengetahui …

14 variance  estimation  maximum-likelihood  bias 

Ini sedikit pemeriksaan usus, tolong bantu saya melihat apakah saya salah memahami konsep ini, dan dengan cara apa. Saya memiliki pemahaman fungsional tentang korelasi, tetapi saya merasa sedikit mengerti untuk benar-benar menjelaskan prinsip-prinsip di balik pemahaman fungsional itu. Seperti yang saya pahami, korelasi statistik (berlawanan dengan penggunaan istilah yang lebih …

14 correlation  categorical-data  covariance 

Jika dan adalah dua variabel acak yang hanya dapat mengambil dua kemungkinan keadaan, bagaimana saya bisa menunjukkan bahwa menyiratkan independensi? Jenis ini bertentangan dengan apa yang saya pelajari kembali pada hari dimana tidak menyiratkan independensi ...XXXYYYCov(X,Y)=0Cov(X,Y)=0Cov(X,Y) = 0Cov(X,Y)=0Cov(X,Y)=0Cov(X,Y) = 0 Petunjuk mengatakan mulai dengan dan sebagai status yang memungkinkan dan …

14 covariance  independence 

Saya memiliki satu set data di mana variabel yang ingin saya gunakan sebagai efek acak hanya memiliki satu pengamatan untuk beberapa level. Berdasarkan jawaban atas pertanyaan sebelumnya, saya telah mengumpulkan bahwa, pada prinsipnya, ini baik-baik saja. Bisakah saya memasukkan model campuran dengan subjek yang hanya memiliki 1 observasi? Model penyadapan …

14 r  mixed-model  generalized-linear-model  glmm  lme4-nlme 

Saya mencari contoh 2 variabel acak XXX ,YYY such that |cor(X,Y)|≈0|cor(X,Y)|≈0\newcommand{\cor}{{\rm cor}}|\cor(X,Y)| \approx 0 but when consider the tail part of the distributions, they are highly correlated. (I try to avoid 'correlated' / 'correlation' for the tail because it might not be linear). Probably use this: |cor(X′,Y′)|≫0|cor(X′,Y′)|≫0|\cor(X', Y')| \gg 0 …

14 correlation  extreme-value 

Dalam jaringan saraf berulang, Anda biasanya akan maju merambat melalui beberapa langkah waktu, "membuka gulungan" jaringan, dan kemudian kembali merambat melintasi urutan input. Mengapa Anda tidak hanya memperbarui bobot setelah masing-masing langkah dalam urutan? (setara dengan menggunakan panjang pemotongan 1, sehingga tidak ada yang membuka gulungan) Ini benar-benar menghilangkan masalah …

14 time-series  neural-networks  backpropagation  rnn 

Saya terkesan dengan masalah yang tampaknya mudah, tetapi saya belum menemukan solusi yang cocok untuk beberapa minggu sekarang. Saya memiliki cukup banyak data jajak pendapat / survei (puluhan ribu responden, katakanlah 50k per dataset), yang berasal dari sesuatu yang saya harap disebut survei yang dirancang rumit dengan bobot, stratifikasi, perutean …

14 machine-learning  survey-weights  survey-sampling 

Saya membaca artikel ini tentang kasus Palantir di mana Deparment of Labor menuduh mereka melakukan diskriminasi terhadap orang Asia. Adakah yang tahu dari mana mereka mendapatkan estimasi probabilitas ini? Saya tidak mendapatkan 1/741 dalam item (a). (a) Untuk posisi QA Engineer, dari lebih dari 730 pelamar yang memenuhi syarat - …

14 probability  p-value  contingency-tables  legal 

Misalkan Anda mendefinisikan: X∼Beta(α,β)X∼Beta(α,β)X\sim\mbox{Beta}(\alpha,\beta) Y∼Φ−1(X)Y∼Φ−1(X)Y\sim \Phi^{-1}(X) dimana Φ−1Φ−1\Phi^{-1} adalah kebalikan dari CDF dari distribusi normal standar . Pertanyaan saya adalah: Apakah ada distribusi sederhana yang YYY ikuti, atau yang dapat mendekati YYY ? Saya bertanya karena saya memiliki kecurigaan yang kuat berdasarkan hasil simulasi (ditunjukkan di bawah) bahwa YYY menyatu …

14 r  normal-distribution  mathematical-statistics  beta-distribution 

25% teratas adalah kuartil teratas. 10% teratas adalah desil teratas. 1% teratas adalah persentil teratas. Apakah ada yang setara untuk 0,5% teratas yaitu 1-in-200?

14 terminology  quantiles 

Saya telah mengambil kursus pembelajaran mesin di kampus saya. Di salah satu quize, pertanyaan ini diajukan. Model 1: y=θx+ϵy=θx+ϵ y = \theta x + \epsilon Model 2: y=θx+θ2x+ϵy=θx+θ2x+ϵ y = \theta x + \theta^2 x + \epsilon Manakah dari model di atas yang lebih cocok dengan data? (anggap data dapat …

14 regression  machine-learning  self-study  modeling  model 

Saya berpikir bahwa konsep himpunan tipikal cukup intuitif: urutan panjang akan menjadi milik himpunan jika probabilitas urutan yang keluar tinggi. Jadi, urutan apa pun yang mungkin ada di . (Saya menghindari definisi formal terkait dengan entropi karena saya mencoba memahaminya secara kualitatif.)A ( n ) ϵ A ( n ) …

14 entropy  intuition  information-theory