Statistik dan Big Data

UPDATE 25 Jan 2014: kesalahan sekarang diperbaiki Abaikan nilai terhitung dari Nilai yang Diharapkan pada gambar yang diunggah - salah - saya tidak menghapus gambar karena telah menghasilkan jawaban untuk pertanyaan ini. UPDATE 10 Jan 2014: kesalahan ditemukan - salah ketik matematika di salah satu sumber yang digunakan. Mempersiapkan koreksi …

9 normal-distribution  expected-value  order-statistics  minimum 

Saya memiliki satu set data dengan dua variabel nominal kategorikal (keduanya dengan 5 kategori). Saya ingin tahu apakah (dan bagaimana) saya dapat mengidentifikasi korelasi potensial antara kategori dari dua variabel ini. Dengan kata lain apakah misalnya hasil kategori pada variabel 1 menunjukkan korelasi kuat dengan kategori spesifik j dalam variabel …

9 correlation  residuals  contingency-tables  categorical-data 

Saya baru dalam bidang statistik dan saya mencoba memahami perbedaan antara ANOVA dan regresi linier. Saya menggunakan R untuk mengeksplorasi ini. Saya membaca berbagai artikel tentang mengapa ANOVA dan regresi berbeda tetapi masih sama dan bagaimana dapat divisualisasikan dll. Saya pikir saya cantik di sana tetapi satu bit masih hilang. …

9 r  regression  anova 

Misalkan saya memiliki data longitudinal dari bentuk (Saya memiliki beberapa pengamatan, ini hanya bentuk yang tunggal). Saya tertarik pada pembatasan . tidak dibatasi setara dengan mengambil dengan .Σ Σ Y j = α j + j - 1 Σ ℓ = 1 φ ℓ j Y j - ℓ + …

9 feature-selection  lasso  shrinkage 

Saya memiliki dua array poin 2D dan saya perlu memperkirakan korelasinya. Formula apa yang harus saya gunakan? Contoh susunan: X: ( ( 1 , 5 ) , ( 2 , 5 ) , ( 1 , 7 ) , ( 4 , 1 ) ) ,X:((1,5),(2,5),(1,7),(4,1)),X: ((1,5),(2,5),(1,7),(4,1)), Y: ( ( …

9 correlation 

Saya sedang mempersiapkan sebuah wawancara yang membutuhkan pengetahuan yang baik tentang probabilitas dasar (setidaknya untuk melewati wawancara itu sendiri). Saya sedang mengerjakan lembar di bawah ini dari hari-hari mahasiswa saya sebagai revisi. Sebagian besar cukup mudah, tetapi saya benar-benar bingung dengan pertanyaan 12. http://www.trin.cam.ac.uk/dpk10/IA/exsheet2.pdf Bantuan apa pun akan dihargai. Sunting: …

9 probability  self-study  random-variable 

Mari X1, . . . , XnX1,...,XnX_{1},...,X_{n} menjadi pengamatan yang berbeda (tidak ada ikatan). Mari X∗1, . . . , X∗nX1∗,...,Xn∗X_{1}^{*},...,X_{n}^{*} menunjukkan sampel bootstrap (sampel dari CDF empiris) dan biarkan . Temukan dan . E( ˉ X ∗ n )Var( ˉ X ∗ n )X¯∗n= 1n∑ni = 1X∗sayaX¯n∗=1n∑i=1nXi∗\bar{X}_{n}^{*}=\frac{1}{n}\sum_{i=1}^{n}X_{i}^{*}E( X¯∗n)E(X¯n∗)E(\bar{X}_{n}^{*})V a …

9 self-study  variance  bootstrap  cdf  conditional-expectation 

Saya ingin menilai keakuratan tes normalitas pada ukuran sampel yang berbeda dalam R (Saya menyadari bahwa tes normalitas dapat menyesatkan ). Sebagai contoh, untuk melihat tes Shapiro-Wilk, saya sedang melakukan simulasi berikut (dan juga merencanakan hasilnya) dan berharap bahwa ketika ukuran sampel meningkatkan kemungkinan menolak nol menurun: n <- 1000 …

9 r  simulation  power-analysis  normality-assumption 

Baru-baru ini saya selesai membaca The Lady Tasting Tea , sebuah buku yang menyenangkan tentang sejarah statistik. Di akhir buku, penulis, David Salsburg , mengusulkan tiga masalah filosofis terbuka dalam statistik, solusi yang menurutnya akan memiliki implikasi yang lebih besar untuk penerapan teori statistik untuk sains. Saya belum pernah mendengar …

9 probability 

Saya mencoba memperkirakan efek 2 obat ( drug1, drug2) pada kemungkinan pasien jatuh ( event). Para pasien dapat terjatuh lebih dari satu kali dan dapat memakai atau melepas obat kapan saja. Pertanyaan saya adalah bagaimana data harus disusun berkaitan dengan periode waktu (hari), khususnya apakah perlu ada tumpang tindih antara …

9 r  survival  cox-model 

Saya sedang mengerjakan estimasi vektor auto-regression (VAR) dan impulse response function (IRFs) berdasarkan data panel dengan 33 orang lebih dari 77 kuartal. Bagaimana seharusnya jenis situasi ini dianalisis? Algoritma apa yang ada untuk tujuan ini? Saya lebih suka melakukan analisis ini dalam R, jadi jika ada yang akrab dengan kode …

9 r  econometrics  panel-data  var  impulse-response 

Pertanyaan : Apakah pengaturan di bawah ini merupakan implementasi yang masuk akal dari model Hidden Markov? Saya memiliki satu set data 108,000pengamatan (diambil selama 100 hari) dan kira-kira 2000peristiwa di seluruh rentang waktu pengamatan. Data terlihat seperti gambar di bawah ini di mana variabel yang diamati dapat mengambil 3 nilai …

9 time-series  machine-learning  predictive-models  markov-chain  hidden-markov-model 

Saya memiliki model regresi logistik (cocok melalui glmnet di R dengan regularisasi jaring elastis), dan saya ingin memaksimalkan perbedaan antara positif benar dan positif palsu. Untuk melakukan ini, prosedur berikut muncul dalam pikiran: Sesuai dengan model regresi logistik standar Dengan menggunakan ambang prediksi 0,5, identifikasi semua prediksi positif Tetapkan bobot …

9 r  regression  logistic  classification  glmnet 

Saya tertarik menemukan prosedur untuk mensimulasikan data yang konsisten dengan model mediasi yang ditentukan. Menurut kerangka model persamaan struktural linear umum untuk menguji model mediasi pertama kali diuraikan oleh Barron dan Kenny (1986) dan dijelaskan di tempat lain seperti Judd, Yzerbyt, & Muller (2013) , model mediasi untuk hasil YYY …

9 r  regression  simulation  random-generation  mediation 

Dalam Dixon, Coles ( 1997 ), mereka telah menggunakan estimasi kemungkinan maksimum untuk dua model Poisson independen yang dimodifikasi dalam (4.3) untuk memodelkan skor dalam sepak bola. Saya mencoba menggunakan R untuk "mereproduksi" alfa dan beta serta parameter efek rumah (hal 274, Tabel 4) tanpa menggunakan paket apa pun (menggunakan …

9 r  modeling  maximum-likelihood  games