Statistik dan Big Data

Menurut Lee dan Little 2017 , ketika menggunakan metode skor kecenderungan (PS), pembobotan berdasarkan peluang akan menghasilkan Efek Perlakuan Rata-rata pada Orang yang Diperlakukan (ATT), sementara menggunakan subklasifikasi dan pembobotan dengan inverse probability of treatment (IPTW) akan menghasilkan efek yang diukur pada Efek Perawatan Rata-rata pada seluruh sampel (ATE). Saya …

8 propensity-scores  difference-in-difference  treatment-effect 

Saya menemukan metrik kesalahan yang digunakan untuk menghitung kesalahan rekonstruksi model: mana adalah titik data ke- , adalah estimasi model dari titik data ke- , dan adalah rata-rata dari semua titik data. Pembilangnya adalah total kuadrat kesalahan model, dan penyebutnya adalah deviasi kuadrat dari rata-rata data.ε=∑i(yi−mi)2∑i(yi−y¯)2ε=∑i(yi−mi)2∑i(yi−y¯)2 \varepsilon = \frac{\sum_i{\left(y_i-m_i\right)^2}}{\sum_i{\left(y_i-\bar{y}\right)^2}} yiyiy_iiiimimim_iiiiy¯y¯\bar{y} …

8 terminology  error  model-evaluation 

Algoritme kebijakan dan nilai iterasi dapat digunakan untuk menyelesaikan masalah proses keputusan Markov. Saya mengalami kesulitan memahami kondisi yang diperlukan untuk konvergensi. Jika kebijakan optimal tidak berubah selama dua langkah (yaitu selama iterasi i dan i +1 ), dapatkah disimpulkan bahwa algoritma telah konvergen? Jika tidak, lalu kapan?

8 algorithms  markov-process  convergence 

Pertimbangkan tindakan berulang ANOVA (RM-ANOVA) dengan satu faktor dalam subjek Adan beberapa pengukuran per subjek untuk setiap level A. Ini terkait erat dengan ANOVA dua arah dengan dua faktor: Adan subject. Mereka menggunakan dekomposisi identik jumlah kuadrat menjadi empat bagian: A, subject, A⋅subject, dan residual. Namun, ANOVA dua arah menguji …

8 r  anova  repeated-measures 

Perhatikan contoh sederhana berikut ini: library( rms ) library( lme4 ) params <- structure(list(Ns = c(181L, 191L, 147L, 190L, 243L, 164L, 83L, 383L, 134L, 238L, 528L, 288L, 214L, 502L, 307L, 302L, 199L, 156L, 183L), means = c(0.09, 0.05, 0.03, 0.06, 0.07, 0.07, 0.1, 0.1, 0.06, 0.11, 0.1, 0.11, 0.07, 0.11, …

8 logistic  mixed-model  generalized-linear-model  glmm  lme4-nlme 

Motivasi Dalam konteks inferensi pasca-model-seleksi, Leeb & Pötscher (2005) menulis: Meskipun telah lama diketahui bahwa keseragaman (setidaknya secara lokal) dengan parameter adalah masalah penting dalam analisis asimptotik, pelajaran ini sering dilupakan dalam praktik sehari-hari teori ekonometrik dan statistik di mana kita sering puas untuk membuktikan hasil asimptotik secara langsung ( …

8 mathematical-statistics  convergence  asymptotics  estimators 

Saya mengalami kesulitan menemukan sumber daya online yang mendapatkan Matriks Informasi Fisher yang diharapkan untuk distribusi-t Student yang unik. Apakah ada yang tahu sumber daya seperti itu? Dengan tidak adanya sumber daya yang ada yang mendapatkan matriks informasi Fisher yang diharapkan untuk distribusi-t, saya mencoba untuk mendapatkannya sendiri tetapi saya …

8 probability  t-distribution  fisher-information 

Saya tidak dapat memahami kepala saya tentang properti seri stasioner ini dan fungsi autokorelasi. Saya harus membuktikannya ∑h=1n−1ρ^(h)=−12∑h=1n−1ρ^(h)=−12\begin{align} \sum_{h=1}^{n-1}\hat\rho(h)=-\frac{1}{2} \end{align} Di mana dan adalah fungsi autokovarianρ^(h)=γ^(h)γ^(0)ρ^(h)=γ^(h)γ^(0)\hat\rho(h)=\displaystyle\frac{\hat\gamma(h)}{\hat\gamma(0)}γ^(h)γ^(h)\hat\gamma(h) γ^(h)=1n∑t=1n−h(Xt−X¯)(Xt+h−X¯)γ^(h)=1n∑t=1n−h(Xt−X¯)(Xt+h−X¯)\begin{align} \hat\gamma(h) = \frac{1}{n}\sum_{t=1}^{n-h}(X_t-\bar{X})(X_{t+h}-\bar{X}) \end{align} Semoga seseorang dapat membantu saya dengan bukti, atau setidaknya mengarahkan saya ke arah yang benar.

8 time-series  autocorrelation  stationarity 

Saya memiliki dataset yang melihat aplikasi imigrasi dan penerimaan visa (pemberian visa). Tarif dihitung untuk aplikasi visa yang "diterima" dan "ditolak". Namun, dataset juga memiliki nilai untuk kasus yang ditutup. Biasanya ini adalah ketika imigran berhenti muncul untuk janji, bermigrasi ke tempat lain, atau meninggal. Karena angka-angka ini tidak digunakan …

8 missing-data 

Artikel ini memplot untuk setiap 100 wanita yang menggunakan metode kontrasepsi jenis tertentu dari jumlah kehamilan yang tidak direncanakan dari waktu ke waktu. https://www.nytimes.com/interactive/2014/09/14/sunday-review/unplanned-pregnancies.html?_r=0 Khususnya di akhir artikel mereka mengatakan: Jumlahnya dihitung sebagai berikut: P(Not pregnant after year N)=P(Not pregnant after year 1)NP(Not pregnant after year N)=P(Not pregnant after year …

8 regression  independence  statistics-in-media 

Jika kemungkinan saya memiliki bentuk distribusi beta, dan saya ingin menggunakan Jeffreys 'sebelumnya untuk parameternya, seperti apa bentuk sebelumnya? Untuk beberapa distribusi cukup mudah untuk menghitung. misalnya, dalam kasus binomial, ekspektasi turunan kedua jelas memberi Anda . Tetapi jika kemungkinan itu sendiri sudah memiliki bentuk beta, saya tersesat saat mencoba …

8 beta-distribution  jeffreys-prior 

Sifat mendasar dari regresi efek-acak adalah bahwa estimasi intersep acak "menyusut" terhadap rata-rata keseluruhan respons sebagai fungsi dari varian relatif masing-masing estimasi. U^j=ρjy¯j+(1−ρj)y¯U^j=ρjy¯j+(1−ρj)y¯\hat{U}_j = \rho_j \bar{y}_j + (1-\rho_j)\bar{y} manaρj=τ2/(τ2+σ2/nj).ρj=τ2/(τ2+σ2/nj).\rho_j = \tau^2 / (\tau^2 + \sigma^2/n_j). Ini juga kasus dengan model campuran linier umum (GLMMs) seperti regresi logistik. Bagaimana susut itu …

8 mixed-model  regularization  shrinkage 

Saya memiliki pengaturan berikut untuk proyek penelitian Keuangan / Pembelajaran Mesin di universitas saya: Saya menerapkan Jaringan Saraf (Jauh) (MLP) dengan struktur berikut di Keras / Theano untuk membedakan saham berkinerja lebih baik (label 1) dari saham berkinerja buruk ( label 0). Pertama-tama saya hanya menggunakan kelipatan valuasi aktual dan …

8 machine-learning  neural-networks  deep-learning  regularization  dropout 

Adakah yang bisa memberikan pandangan intuitif tentang mengapa lebih baik memiliki beta yang lebih kecil? Untuk LASSO saya bisa mengerti itu, ada komponen pemilihan fitur di sini. Lebih sedikit fitur membuat model lebih sederhana dan karena itu lebih kecil kemungkinannya untuk pas. Namun, untuk punggungan, semua fitur (faktor) disimpan. Hanya …

8 regression  lasso  ridge-regression  shrinkage 

Bisakah kita menggeneralisasi semua metode ansambel dengan menggunakan voting? Apakah metode peningkatan juga menggunakan pemungutan suara untuk memasukkan siswa yang lemah ke dalam model akhir? Pemahaman saya tentang teknik ini: Boosting: Terus menambahkan pelajar yang lemah untuk meningkatkan poin data yang tidak diklasifikasikan dengan benar. Teknik ensemble: Menggunakan banyak pelajar …

8 machine-learning  boosting  ensemble  gbm  voting-system