Statistik dan Big Data

Misalkan Anda memiliki log dari server web. Dalam log ini Anda memiliki tupel seperti ini: user1, timestamp1 user1, timestamp2 user1, timestamp3 user2, timestamp4 user1, timestamp5 ... Stempel waktu ini mewakili misalnya klik pengguna. Sekarang, user1akan mengunjungi situs beberapa kali (sesi) selama bulan itu, dan Anda akan memiliki ledakan klik dari …

10 distributions  estimation  mixture 

Saya memiliki 20 variabel yang telah saya analisis faktor di SPSS. Untuk keperluan penelitian, saya perlu mengembangkan 6 faktor. SPSS telah menunjukkan bahwa 8 variabel (dari 20) telah dimuat dengan bobot rendah atau telah dimuat secara sama oleh beberapa faktor, jadi saya telah menghapusnya. 12 variabel yang tersisa telah dimuat …

10 spss  factor-analysis  references  assumptions 

Saya memiliki dataset di mana intuisi empiris mengatakan saya harus mengharapkan musiman mingguan (yaitu, perilaku pada hari Sabtu dan minggu berbeda dari sisa minggu ini). Haruskah premis ini benar, bukankah seharusnya grafik autokorelasi memberi saya kelipatan kelipatan 7? Berikut contoh data: data = TemporalData[{{{2012, 09, 28}, 19160768}, {{2012, 09, 19}, …

10 time-series  autocorrelation  forecasting 

Jika kita memiliki dua variabel acak independen dan , berapakah probabilitas fungsi massa ?X 2 ∼ P o i s ( λ ) X 1 + X 2X1∼Binom(n,p)X1∼Binom(n,p)X_1 \sim \mathrm{Binom}(n,p)X2∼Pois(λ)X2∼Pois(λ)X_2 \sim \mathrm{Pois}(\lambda)X1+X2X1+X2X_1 + X_2 NB Ini bukan pekerjaan rumah bagi saya.

10 distributions  self-study  binomial  poisson-distribution 

Lee dan Lemieux (hlm. 31, 2009) menyarankan peneliti untuk menyajikan grafik saat melakukan analisis desain diskontinuitas Regresi (RDD). Mereka menyarankan prosedur berikut: "... untuk beberapa bandwidth , dan untuk beberapa jumlah nampan K 0 dan K 1 ke kiri dan kanan dari nilai cutoff, masing-masing, idenya adalah untuk membangun nampan …

10 r  regression  data-visualization  stata  regression-discontinuity 

Saya akan mencoba menggambarkan masalah yang dihadapi secara umum. Saya memodelkan pengamatan sebagai distribusi kategoris dengan parameter probabilitas vektor theta. Kemudian, saya berasumsi vektor parameter theta mengikuti Dirichlet prior distribution dengan parameter .α1, α2, ... , αkα1,α2,…,αk\alpha_1,\alpha_2,\ldots,\alpha_k Apakah mungkin juga untuk memaksakan distribusi hyperprior ke parameter ? Apakah itu harus …

10 categorical-data  multinomial  dirichlet-distribution  hierarchical-bayesian  dirichlet-process 

Salah satu metode yang disarankan kepada saya adalah dengan melihat plot scree dan memeriksa "siku" untuk menentukan jumlah PC yang tepat untuk digunakan. Tetapi jika plotnya tidak jelas, apakah R memiliki perhitungan untuk menentukan angka? fit <- princomp(mydata, cor=TRUE)

10 r  pca 

Xi∽iidN(0,1)Xi∽iidN(0,1)X_i \overset{iid}{\backsim} \mathcal{N}(0, 1)i=1,...,ni=1,...,ni = 1, ..., nSn=1n∑i=1nXiSn=1n∑i=1nXi\begin{equation} S_n = \frac{1}{n} \sum_{i=1}^n X_i \end{equation}Tn=1n∑i=1n(X2i−1)Tn=1n∑i=1n(Xi2−1)\begin{equation} T_n = \frac{1}{n} \sum_{i=1}^n (X_i^2 - 1) \end{equation} SnSnS_nTnTnT_nn=1n=1n = 1n−−√SnnSn\sqrt{n} S_nn−−√TnnTn\sqrt{n} T_nn→∞n→∞n \rightarrow \infty Motivasi: Motivasi saya untuk pertanyaan ini berasal dari kenyataan bahwa rasanya aneh (tapi luar biasa) bahwa dan sangat tergantung ketika , …

10 normal-distribution  multivariate-analysis  independence  central-limit-theorem  joint-distribution 

Alasan saya menanyakan hal ini adalah karena tampaknya residual yang dipelajarinya secara internal tampaknya memiliki pola yang sama dengan residual yang diperkirakan mentah. Akan lebih bagus jika seseorang bisa memberikan penjelasan.

10 residuals 

Utama masalah adalah: Saya tidak dapat memperoleh estimasi parameter yang sama dengan EViews dan R. Untuk alasan yang saya sendiri tidak tahu, saya perlu memperkirakan parameter untuk data tertentu menggunakan EViews. Ini dilakukan dengan memilih opsi NLS (nonlinear least square) dan menggunakan rumus berikut:indep_var c dep_var ar(1) EViews mengklaim bahwa …

10 r  autoregressive  software 

Saya memodelkan efek kehamilan pada hasil suatu penyakit (mati-hidup). Kira-kira 40% dari pasien memang hamil setelah waktu diagnosis-tetapi pada titik yang berbeda dalam waktu. Sejauh ini saya sudah melakukan plot KM yang menunjukkan efek perlindungan yang jelas dari kehamilan pada kelangsungan hidup dan juga model Cox biasa - namun ini …

10 survival 

Seringkali dalam artikel penelitian yang Anda baca, para peneliti mengendalikan variabel-variabel tertentu. Ini dapat dilakukan dengan metode seperti pencocokan, pemblokiran, dll. Tetapi saya selalu berpikir bahwa mengendalikan variabel adalah sesuatu yang dilakukan secara statistik dengan mengukur beberapa variabel yang dapat memengaruhi dan melakukan beberapa analisis statistik pada variabel tersebut, yang …

10 experiment-design  random-variable  controlling-for-a-variable 

Saya mencoba menyesuaikan model campuran multivarian (yaitu, beberapa respons) di R. Selain dari paket ASReml-rdan SabreR(yang memerlukan perangkat lunak eksternal), sepertinya ini hanya mungkin di MCMCglmm. Dalam makalah yang menyertai MCMCglmmpaket (hal.6), Jarrod Hadfield menggambarkan proses pemasangan model seperti seperti membentuk kembali beberapa variabel respon menjadi satu variabel format panjang …

10 r  mixed-model  multivariate-analysis  lme4-nlme  multivariate-regression 

Saya menggunakan model regresi Poisson untuk menghitung data dan saya bertanya-tanya apakah ada alasan untuk tidak menggunakan kesalahan standar yang kuat untuk estimasi parameter? Saya khususnya prihatin karena beberapa perkiraan saya tanpa robust tidak signifikan (misalnya, p = 0,13) tetapi dengan robust signifikan (p <0,01). Dalam SAS, ini tersedia dengan …

10 poisson-distribution  robust 

Adakah yang bisa menjelaskan bagaimana merancang fungsi keputusan SVM? Atau arahkan saya ke sumber yang membahas contoh konkret. EDIT Untuk contoh di bawah ini, saya dapat melihat bahwa persamaan memisahkan kelas dengan margin maksimum. Tetapi bagaimana cara menyesuaikan bobot dan menulis persamaan untuk hyperplanes dalam bentuk berikut.X2=1.5X2=1.5X_2 = 1.5 H1:w0+w1x1+w2x2≥1H2:w0+w1x1+w2x2≤−1forYi=+1forYi=−1.H1:w0+w1x1+w2x2≥1forYi=+1H2:w0+w1x1+w2x2≤−1forYi=−1.\begin{array}{ll} …

10 svm