Statistik dan Big Data

Saya tahu bahwa R tidak terlalu membantu untuk menganalisis dataset besar mengingat R memuat semua data dalam memori sedangkan sesuatu seperti SAS melakukan analisis sekuensial. Yang mengatakan, ada paket seperti bigmemory yang memungkinkan pengguna untuk melakukan analisis data besar (analisis statistik) lebih efisien di R. Saya ingin tahu, terlepas dari …

8 r  sas  large-data 

Menggunakan paket ramalan yang sangat baik oleh Rob Hyndman, saya menemukan perlunya tidak hanya memiliki interval prediksi, tetapi untuk mensimulasikan sejumlah jalur masa depan, mengingat pengamatan masa lalu dari serangkaian waktu dengan musiman kompleks. Ada sesuatu untuk deret waktu yang kurang kompleks dengan satu atau dua musiman saja (simulate.ets () …

8 r  time-series  forecasting  simulation  tbats 

Simulasi ilmu semi-komputer terkait masalah di sini. Saya punya distribusi di mana P (x) =(eb−1)eb(n−x)ebn+b−1(eb−1)eb(n−x)ebn+b−1\frac{(e^b-1) e^{b (n-x)}}{e^{b n+b}-1} untuk beberapa konstanta b dan n, dan x adalah bilangan bulat sehingga .0≤x≤n0≤x≤n0\leq x \leq n Sekarang, saya perlu sampel dari distribusi ini. Ini memiliki CDF yang dapat dibalik, jadi dimungkinkan untuk …

8 sampling  simulation  monte-carlo 

Saya pernah membaca bahwa untuk Maximal Margin Classifier SVM, setelah menyelesaikan masalah ganda, sebagian besar pengganda lagrange berubah menjadi nol. Hanya yang sesuai dengan vektor dukungan yang berubah menjadi positif. Mengapa demikian?

8 svm  lagrange-multipliers 

Apakah ada konsep atau teori statistik tentang cara mengukur kebaruan dengan efektif di mana peristiwa baru-baru ini diberi bobot lebih dari yang lebih tua. Saya membuat model regresi logistik dan ingin menerapkan penyesuaian pada berbagai faktor berdasarkan peristiwa yang baru terjadi. ... atau, apakah semata-mata terserah saya untuk membuat formula …

8 regression  logistic 

Sampel rata-rata adalah penduga kemungkinan maksimum μμ\mu untuk distribusi normal Normal ( μ , σ)Normal(μ,σ)\text{Normal}(\mu,\sigma). Median sampel adalah penaksir kemungkinan maksimum sebesarmmmuntuk distribusi Laplace Laplace ( m , s )Laplace(m,s)\text{Laplace}(m,s) (Juga disebut distribusi eksponensial ganda). Apakah distribusi ada dengan parameter lokasi yang berarti rata-rata sampel yang dipangkas adalah penaksir kemungkinan …

8 distributions  maximum-likelihood  trimmed-mean 

Saya mencoba menyesuaikan model log-linear dengan sejumlah besar variabel dari data survei. Ada beberapa alasan yang mungkin lebih cocok untuk memasukkan regresi logistik ke data tersebut. Beberapa pihak berwenang menyatakan bahwa ini setara. Namun, saya punya beberapa alasan untuk meragukan hal ini. Model log-linear memperlakukan semua variabel secara setara, sedangkan …

8 logistic  interaction  log-linear 

Berikut ini adalah masalah dari Bayesian Data Analysis 2nd ed , hal. 97. Andrew Gelman belum memasukkan solusinya dalam panduan di situs webnya dan itu membuatku gila sepanjang hari. Secara harfiah sepanjang hari. Untuk beberapa data , dimodelkan sebagai distribusi binomial dengan parameter populasi dan probabilitas , yang keduanya tidak …

8 self-study  bayesian  binomial 

Saya penggemar berat sepakbola dan tertarik pada pembelajaran mesin juga. Sebagai proyek untuk kursus ML saya, saya mencoba membangun model yang akan memprediksi peluang menang untuk tim tuan rumah, mengingat nama-nama tim tuan rumah dan tandang. (Saya menanyakan dataset saya dan karenanya membuat titik data berdasarkan pertandingan sebelumnya antara kedua …

8 regression  machine-learning  predictive-models  neural-networks 

Mencoba untuk mereplikasi hasil dari artikel yang baru diterbitkan, Aghion, Philippe, John Van Reenen, dan Luigi Zingales. 2013. "Inovasi dan Kepemilikan Institusional." American Economic Review, 103 (1): 277-304. (Data dan kode stata tersedia di http://www.aeaweb.org/aer/data/feb2013/20100973_data.zip ). Saya tidak memiliki masalah untuk menciptakan 5 regresi pertama dalam R (menggunakan metode OLS …

8 r  regression  negative-binomial 

Dapatkah seseorang menjelaskan kepada saya intuisi di balik plot yang dibagi? Dari apa yang saya mengerti, pada dasarnya pengacakan dibatasi. Tapi saya masih belum memahaminya. Apakah ada sumber daya atau contoh yang bisa diberikan kepada saya untuk membuatnya lebih jelas?

8 anova  repeated-measures  experiment-design  split-plot 

Kita tahu bahwa jika estimator adalah estimator yang tidak bias dari theta dan jika variansenya cenderung 0 karena n cenderung tak terhingga maka itu adalah estimator yang konsisten untuk theta. Tetapi ini adalah kondisi yang cukup dan tidak perlu. Saya mencari contoh estimator yang konsisten tetapi variansnya cenderung 0 karena …

8 probability  variance  mathematical-statistics  unbiased-estimator  consistency 

Saya punya pertanyaan tentang bagaimana seorang ahli statistik biasanya menafsirkan output anova. Katakanlah saya memiliki output anova dari R. > summary(fitted_data) Call: lm(formula = V1 ~ V2) Residuals: Min 1Q Median 3Q Max -2.74004 -0.33827 0.04062 0.44064 1.22737 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 2.11405 0.32089 6.588 1.3e-09 …

8 r  self-study  anova  interpretation 

Saya mencoba menguraikan serangkaian waktu nnn pengamatan vcvc\bf{\mathrm{v_c}} ke dalam n×nn×nn \times n struktur varians-kovarians ∑∑\sum dan seri acak vv\bf{\mathrm{v}}. Jadi, saya bisa menurunkan matriks varians-kovarians ∑∑\sum dari fungsi autokorelasi vcvc\bf{\mathrm{v_c}}. Ini akan menjadi matriks Toeplitz, yang merupakan semidefinite positif. Oleh karena itu, saya dapat menghitung matriks yang sesuai∑−12∑−12\sum^{-\frac{1}{2}} untuk …

8 time-series  covariance-matrix 

Saya punya data yang terlihat sedikit seperti ini: ID Status 01 A 02 G 03 E ... ... 100 G Anda mendapatkan idenya, saya pikir. Saya memiliki data ini dari dua populasi yang terpisah (kohort) dan saya ingin membandingkan distribusi variabel status dalam satu populasi dengan distribusi di populasi lain. …

8 r  hypothesis-testing  categorical-data  chi-squared