Statistik dan Big Data

Saya ingin memilih model menggunakan regsubsets(). Saya memiliki kerangka data yang disebut olympiadaten (data diunggah: http://www.sendspace.com/file/8e27d0 ). Saya pertama-tama melampirkan kerangka data ini dan kemudian mulai menganalisis, kode saya adalah: attach(olympiadaten) library(leaps) a<-regsubsets(Gesamt ~ CommunistSocialist + CountrySize + GNI + Lifeexp + Schoolyears + ExpMilitary + Mortality + PopPoverty + …

9 r  multiple-regression  model-selection 

Dengan data kontinu, regresi linier mengasumsikan bahwa istilah kesalahan didistribusikan N (0, )σ 2Y=β1+β2X2+uY=β1+β2X2+uY=\beta_1+\beta_2X_2+uσ2σ2\sigma^2 1) Apakah kita berasumsi bahwa Var (Y | x) juga ~ N (0, )?σ2σ2\sigma^2 2) Apa distribusi kesalahan ini dalam regresi logistik? Ketika data dalam bentuk 1 catatan per kasus, di mana "Y" adalah 1 atau …

9 logistic  generalized-linear-model 

Oke, jadi saya mencoba memahami regresi linier. Saya punya satu set data dan kelihatannya baik-baik saja, tetapi saya bingung. Ini adalah ringkasan model linier saya: Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 0.2068621 0.0247002 8.375 4.13e-09 *** temp 0.0031074 0.0004779 6.502 4.79e-07 *** --- Signif. codes: 0 ‘***’ 0.001 …

9 r  regression 

Saya tidak tahu banyak tentang statistik jadi bersabarlah. Katakanlah saya memiliki 1000 pekerja. Saya ingin mengetahui siapa pekerja yang paling sulit, tetapi saya hanya bisa mengukur jumlah pekerjaan yang dilakukan dalam kelompok 1-100 selama satu jam kerja. Dengan asumsi setiap pekerja selalu melakukan pekerjaan dengan jumlah yang sama, selama sejumlah …

9 r  regression  data-mining 

Saat menggunakan libsvm, parameter adalah parameter untuk fungsi kernel. Nilai standarnya adalah setup sebagaiγ = 1γγ\gammaγ= 1sejumlah fitur.γ=1number of features.\gamma = \frac{1}{\text{number of features.}} Apakah ada panduan teoretis untuk mengatur parameter ini selain metode yang ada, misalnya, pencarian kisi?

9 machine-learning  svm  data-mining  libsvm  kernel-trick 

Saya memiliki tabel tiga dimensi ukuran . Setiap sel tabel adalah tes hipotesis. Mengiris tabel pada dimensi ketiga menghasilkan set tes hipotesis yang independen antara set tetapi tergantung dalam set. Awalnya saya berpikir bahwa saya hanya bisa mengendalikan tingkat penemuan palsu menggunakan prosedur Benjamini-Hochberg pada semua tes hipotesis secara bersamaan. …

9 multiple-comparisons  false-discovery-rate 

Tugas acak sangat berharga karena memastikan independensi pengobatan dari hasil yang potensial. Itulah bagaimana hal itu mengarah pada perkiraan yang tidak bias dari efek pengobatan rata-rata. Tetapi skema penugasan lain juga dapat secara sistematis memastikan independensi pengobatan dari hasil yang potensial. Jadi mengapa kita perlu penugasan acak? Dengan kata lain, …

9 econometrics  experiment-design  causality  instrumental-variables  random-allocation 

Saya menggunakan PROC GLM di SAS agar sesuai dengan persamaan regresi dari bentuk berikut Y= b0+ b1X1+ b2X2+ b3X3+ b4tY=b0+b1X1+b2X2+b3X3+b4t Y = b_0 + b_1X_1 + b_2X_2 + b_3X_3 + b_4t Plot QQ dari redsidual yang dihasilkan menunjukkan penyimpangan dari normalitas. Setiap transformasi tidak berguna dalam membuat residu menjadi normal.YYY …

9 regression  multiple-regression  nonparametric  residuals  sas 

Dokumentasi menyatakan bahwa R gbm dengan distribusi = "adaboost" dapat digunakan untuk masalah klasifikasi 0-1. Pertimbangkan fragmen kode berikut: gbm_algorithm <- gbm(y ~ ., data = train_dataset, distribution = "adaboost", n.trees = 5000) gbm_predicted <- predict(gbm_algorithm, test_dataset, n.trees = 5000) Itu dapat ditemukan di dokumentasi yang memprediksi.gbm Mengembalikan vektor prediksi. …

9 r  gbm 

Apa hubungan antara komponen utama pertama dan korelasi rata-rata dalam matriks korelasi? Sebagai contoh, dalam aplikasi empiris saya mengamati bahwa korelasi rata-rata hampir sama dengan rasio varians dari komponen utama pertama (nilai eigen pertama) dengan total varians (jumlah semua nilai eigen). Apakah ada hubungan matematis? Di bawah ini adalah bagan …

9 correlation  pca  mathematical-statistics  eigenvalues 

Misalkan saya punya satu sampel frekuensi dari 4 peristiwa yang mungkin: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 dan saya memiliki probabilitas yang diharapkan dari peristiwa saya terjadi: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Dengan jumlah frekuensi yang diamati …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

Pertanyaan pendek: Mengapa ini benar ?? Pertanyaan panjang: Sederhananya, saya mencoba mencari tahu apa yang membenarkan persamaan pertama ini. Penulis buku yang saya baca, (konteks di sini jika Anda menginginkannya, tetapi tidak perlu), mengklaim sebagai berikut: Karena asumsi near-gaussianity, kita dapat menulis: p0(ξ)=Aϕ(ξ)exp(an+1ξ+(an+2+12)ξ2+∑i=1naiGi(ξ))p0(ξ)=Aϕ(ξ)exp(an+1ξ+(an+2+12)ξ2+∑i=1naiGi(ξ)) p_0(\xi) = A \; \phi(\xi) \; exp( …

9 probability  normal-distribution  entropy  maximum-entropy 

"On the Behrens – Fisher Problem: A Review" oleh Seock-Ho Kim dan Allen S. Cohen Jurnal Statistik Pendidikan dan Perilaku , volume 23, nomor 4, Musim Dingin, 1998, halaman 356-377 Saya melihat hal ini dan mengatakan: Fisher (1935, 1939) memilih statistik [di mana adalah satu sampel statistik yang biasa untuk …

9 distributions  parameterization  fiducial 

Karena kita tidak dapat mencocokkan model ARIMA ketika asumsi varians konstan dilanggar, model apa yang dapat digunakan agar sesuai dengan deret waktu univariat?

9 time-series  modeling  forecasting  arima 

Saya tidak tahu apakah ini benar-benar di luar topik, tetapi saya pikir mungkin ada gunanya memiliki pendapat dan jawaban agregat tentang mengapa volatilitas merupakan topik penting dalam ekonometrika keuangan. Saya pikir itu dimulai dengan teori portofolio dan kebutuhan untuk memahami sifat-sifat momen kedua yang mendasari pengembalian aset. Selanjutnya formula Black-Scholes …

9 finance  volatility-forecasting