Statistik dan Big Data

Prosedur pencocokan skor kecenderungan dasar bekerja dengan data penampang (yaitu dikumpulkan pada titik waktu tertentu). Perintah psmatch2 populer menggunakan variabel dummy yang menunjukkan bahwa pengamatan milik kelompok perlakuan atau kontrol. Namun, dalam dataset saya, fungsi indikator ini beragam waktu. Data terlihat sebagai berikut: Saya mengidentifikasi individu dan melacak mereka selama …

8 stata  panel-data  propensity-scores 

Tujuan saya adalah untuk melihat bahwa algoritma K-means sebenarnya adalah algoritma Ekspektasi-Maksimalisasi untuk campuran Gaussian di mana semua komponen memiliki kovarian dalam batas sebagai .σ2Iσ2I\sigma^2 Ilimσ→0limσ→0\lim_{\sigma \to 0} Misalkan kita memiliki kumpulan data {x1,…,xN}{x1,…,xN}\{x_1, \dots ,x_N\} pengamatan dari variabel acak XXX . Fungsi objektif untuk M-means diberikan oleh: J=∑n=1N∑k=1Krnk||xn−μk||2J=∑n=1N∑k=1Krnk||xn−μk||2J = …

8 self-study  k-means  expectation-maximization  gaussian-mixture 

Misalkan Anda memiliki banyak orang yang menilai seberapa besar mereka menyukai film pada skala diskrit dari 1 hingga 10, dan Anda menginginkan interval [ l , u ] sedemikian rupa sehingga dengan (setidaknya) kepercayaan 95%, (setidaknya) 90 % dari semua orang yang menonton film akan memeringkatnya tidak lebih rendah dari …

8 nonparametric  tolerance-interval 

Kedua jawaban di utas ini, satu dan dua menyatakan bahwa harus ditransformasikan sebelum menerapkan transformasi lain pada prediktor. Memang bab Weisberg tentang transformasi lebih fokus pada DV daripada prediktor, dan begitu juga halaman manual paket mobil R PowerTransform ().YYY Namun, kita tahu bahwa normalitas distribusi DV bukanlah persyaratan dalam OLS …

8 regression  data-transformation 

Asumsikan kita memiliki instrumen biner ZiZiZ_i yang dapat digunakan untuk memperkirakan efek dari variabel endogen DiDiD_ipada hasil . Misalkan instrumen memiliki tahap pertama yang signifikan, itu ditetapkan secara acak, memenuhi batasan eksklusi, dan memenuhi monotonitas sebagaimana diuraikan dalam Angrist dan Imbens (1994). http://www.jstor.org/discover/10.2307/2951620?uid=3738032&uid=2&uid=4&sid=21104754800073YiYiY_i Mereka menyatakan bahwa probabilitas menjadi kompiler ( …

8 mathematical-statistics  econometrics  proof  instrumental-variables 

Pertanyaan ini diajukan oleh penyelia saya dan saya tidak tahu bagaimana menjelaskannya. Biasanya tingkat kepercayaan yang diterima adalah 0,95 yang berarti bahwa probabilitas kesalahan tipe 1 adalah 5%. Tetapi kekuatan yang biasanya diterima adalah 0,8 (Cohen, 1988) yang berarti bahwa probabilitas kesalahan tipe 2 adalah 20%. Mengapa kita dapat menerima …

8 effect-size  power 

Saya memiliki beberapa data intermiten. Berdasarkan data tersebut, saya ingin membandingkan beberapa metode peramalan (Penghalusan Eksponensial, Moving Average, Croston, dan Syntetos-Boylan), dan memutuskan apakah Croston atau Syntetos Boylan lebih baik daripada SES atau MA untuk data berselang atau tidak. Ukuran yang ingin saya bandingkan adalah Mean Absolute Rate atau Mean …

8 forecasting  method-comparison  crostons-method  intermittent-time-series 

Saya mencari kertas yang membahas tentang "mengapa nilai rendah dapat diterima dalam ilmu sosial atau penelitian pendidikan". Tolong tunjukkan saya ke jurnal yang tepat jika Anda tahu.R2R2R^2

8 correlation  references  r-squared  social-science 

Kami telah dilengkapi fungsi nonlinier untuk data yang diamati. Langkah selanjutnya adalah penilaian kebaikan kesesuaian fungsi ini (seperti untuk model linier).R2R2R^2 Apa cara yang biasa untuk mengukur ini? Edit 1: Pemasangan dilakukan sebagai berikut: Lakukan regresi linier dengan variabel bebas A dan B . Hitung parameter distribusi dari parameter regresi. …

8 goodness-of-fit  nonlinear 

Saya ingin melakukan klasifikasi dokumen dengan mewakili setiap dokumen sebagai serangkaian fitur. Saya tahu bahwa ada banyak cara: BOW, TFIDF, ... Saya ingin menggunakan Latent Dirichlet Allocation (LDA) untuk mengekstrak kata kunci topik dokumen EACH TUNGGAL. dokumen diwakili oleh kata-kata topik ini. Tapi saya tidak tahu apakah itu masuk akal …

8 feature-selection  text-mining  topic-models  latent-dirichlet-alloc 

Prior yang tidak informatif lebih disukai dalam kasus di mana bias tidak dapat diterima (mis. Ruang sidang, dll.) Namun, bagi saya tampaknya masuk akal untuk menggunakan pendekatan frequentist saja. Mengapa pendekatan Bayesian bahkan memiliki prior non-informatif? Terima kasih!

8 bayesian  prior  uninformative-prior 

Ada banyak aturan untuk memilih lebar nampan optimal dalam histogram 1D (lihat misalnya ) Saya mencari aturan yang menerapkan pemilihan lebar bin sama optimal pada histogram dua dimensi . Apakah ada aturan seperti itu? Mungkin salah satu aturan terkenal untuk histogram 1D dapat dengan mudah diadaptasi, jika demikian, dapatkah Anda …

8 optimization  histogram 

Fungsi likelihood dari distribusi lognormal adalah: f(x;μ,σ)∝∏ni11σxiexp(−(lnxi−μ)22σ2)f(x;μ,σ)∝∏i1n1σxiexp⁡(−(ln⁡xi−μ)22σ2)f(x; \mu, \sigma) \propto \prod_{i_1}^n \frac{1}{\sigma x_i} \exp \left ( - \frac{(\ln{x_i} - \mu)^2}{2 \sigma^2} \right ) dan Prioritas Jeffreys adalah: p(μ,σ)∝1σ2p(μ,σ)∝1σ2p(\mu,\sigma) \propto \frac{1}{\sigma^2} jadi menggabungkan keduanya memberi: f(μ,σ2|x)=∏ni11σxiexp(−(lnxi−μ)22σ2)⋅σ−2f(μ,σ2|x)=∏i1n1σxiexp⁡(−(ln⁡xi−μ)22σ2)⋅σ−2f(\mu,\sigma^2|x)= \prod_{i_1}^n \frac{1}{\sigma x_i} \exp \left ( - \frac{(\ln{x_i} - \mu)^2}{2 \sigma^2} \right ) \cdot \sigma^{-2} …

8 bayesian  prior  posterior  conjugate-prior  uninformative-prior 

Saya menggunakan paket metafor di R. Saya telah cocok dengan model efek acak dengan prediktor kontinu sebagai berikut SIZE=rma(yi=Ds,sei=SE,data=VPPOOLed,mods=~SIZE) Yang menghasilkan output: R^2 (amount of heterogeneity accounted for): 63.62% Test of Moderators (coefficient(s) 2): QM(df = 1) = 9.3255, p-val = 0.0023 Model Results: se zval pval ci.lb ci.ub intrcpt …

8 r  meta-analysis  meta-regression 

Saya memiliki model untuk mencapai perkiraan Bayesian ukuran populasi dan probabilitas deteksi dalam distribusi binomial semata-mata berdasarkan pada jumlah obyek yang diamati yang diamati : untuk . Untuk kesederhanaan, kita asumsikan bahwa N ditetapkan pada nilai yang sama dan tidak diketahui untuk setiap y_i . Dalam contoh ini, y = …

8 bayesian  mcmc  hierarchical-bayesian  stan