Statistik dan Big Data

ini posting pertama saya. Saya benar-benar berterima kasih atas komunitas ini. Saya mencoba untuk menganalisis data jumlah longitudinal yang terpotong nol (probabilitas bahwa variabel respon = 0 adalah 0), dan rerata! = Varians, sehingga distribusi binomial negatif dipilih daripada poisson. Fungsi / perintah yang saya singkirkan: R fungsi gee () …

13 r  stata  count-data  panel-data  truncation 

Saya mencari metode yang dapat digunakan untuk memperkirakan model kesalahan pengukuran "OLS". x i = X i + e x , i Y i = α + β X iyi=Yi+ey,iyi=Yi+ey,iy_{i}=Y_{i}+e_{y,i} xi=Xi+ex,ixi=Xi+ex,ix_{i}=X_{i}+e_{x,i} Yi=α+βXiYi=α+βXiY_{i}=\alpha + \beta X_{i} Dimana kesalahan independen normal dengan varian yang tidak diketahui dan σ 2 x . OLS …

13 regression  estimation  errors-in-variables 

Adakah yang bisa memberi tahu saya perbedaan antara menggunakan aov()dan lme()untuk menganalisis data longitudinal dan bagaimana menafsirkan hasil dari kedua metode ini? Di bawah ini, saya menganalisis dataset yang sama menggunakan aov()dan lme()dan mendapatkan 2 hasil yang berbeda. Dengan aov(), saya mendapat hasil yang signifikan dalam waktu dengan interaksi pengobatan, …

13 r  mixed-model  repeated-measures  panel-data 

Saya bereksperimen dengan mengklasifikasikan data ke dalam kelompok. Saya cukup baru dalam topik ini, dan mencoba memahami output dari beberapa analisis. Menggunakan contoh dari Quick-R , beberapa Rpaket disarankan. Saya telah mencoba menggunakan dua paket ini ( fpcmenggunakan kmeansfungsi, dan mclust). Salah satu aspek dari analisis ini yang saya tidak …

13 r  clustering 

Saya ingin mendapatkan koefisien untuk masalah LASSO ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Masalahnya adalah fungsi glmnet dan lars memberikan jawaban yang berbeda. Untuk fungsi glmnet, saya meminta koefisien bukan hanya λ , tapi saya masih mendapatkan jawaban yang berbeda.λ/||Y||λ/||Y||\lambda/||Y||λλ\lambda Apakah ini yang diharapkan? Apa hubungan antara lars dan glmnet λ ? Saya mengerti …

13 r  machine-learning  regression  lasso  regularization 

Saya memerlukan rumus untuk probabilitas suatu kejadian dalam distribusi Bernoulli n-variate dengan diberi probabilitas untuk elemen tunggal dan untuk pasangan elemen . Secara ekuivalen saya bisa memberi nilai rata-rata dan kovarianX∈{0,1}nX∈{0,1}nX\in\{0,1\}^nP(Xi=1)=piP(Xi=1)=piP(X_i=1)=p_iP(Xi=1∧Xj=1)=pijP(Xi=1∧Xj=1)=pijP(X_i=1 \wedge X_j=1)=p_{ij}XXX . Saya sudah belajar bahwa ada banyak {0,1}n{0,1}n\{0,1\}^n distribusi yang memiliki sifat sama seperti ada banyak distribusi …

13 multivariate-analysis  discrete-data 

Data: Saya telah bekerja baru-baru ini menganalisis sifat stokastik dari bidang spatio-temporal dari kesalahan perkiraan produksi tenaga angin. Secara formal, dapat dikatakan suatu proses diindeks dua kali dalam waktu (dengantdanh) dan sekali dalam ruang (p) denganHmenjadi jumlah waktu melihat ke depan (sama dengan sesuatu di sekitar24, sampel secara teratur),Tmenjadi jumlah …

13 forecasting  data-mining  stochastic-processes  spatial  spatio-temporal 

Saya baru saja lulus dengan gelar magister saya pada pemodelan medis dan biologi, disertai dengan matematika teknik sebagai latar belakang. Meskipun program pendidikan saya mencakup sejumlah besar kursus statistik matematika (lihat di bawah untuk daftar), yang saya kelola dengan nilai yang cukup tinggi, saya sering kali benar-benar kehilangan pandangan pada …

13 mathematical-statistics  bioinformatics  computational-statistics 

Apa pro dan kontra dari menggunakan LARS [1] dibandingkan menggunakan penurunan koordinat untuk menyesuaikan regresi linier yang diatur L1? Saya terutama tertarik pada aspek kinerja (masalah saya cenderung ada Ndalam ratusan ribu dan p<20.) Namun, wawasan lainnya juga akan dihargai. sunting: Karena saya telah memposting pertanyaan, chl telah dengan ramah …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Saya memiliki seperangkat pemain. Mereka bermain melawan satu sama lain (berpasangan). Pasangan pemain dipilih secara acak. Dalam setiap permainan, satu pemain menang dan satu lainnya kalah. Para pemain bermain satu sama lain dalam jumlah terbatas (beberapa pemain memainkan lebih banyak permainan, beberapa lainnya kurang). Jadi, saya punya data (siapa yang …

13 goodness-of-fit  ranking  rating 

Menanggapi semakin banyaknya ahli statistik dan peneliti yang mengkritik kegunaan uji hipotesis nol (NHT) untuk sains sebagai upaya kumulatif, Gugus Tugas Asosiasi Psikologis Amerika untuk Inferensi Statistik menghindari larangan langsung pada NHT, tetapi sebaliknya menyarankan bahwa para peneliti laporkan ukuran efek selain nilai p yang berasal dari NHT. Namun, ukuran …

13 bayesian  confidence-interval  effect-size  inference 

Saya menyesuaikan regresi logistik bertahap pada satu set data di SPSS. Dalam prosedur, saya menyesuaikan model saya ke subset acak yang kira-kira. 60% dari total sampel, yaitu sekitar 330 kasus. Apa yang saya temukan menarik adalah bahwa setiap kali saya sampel ulang data saya, saya mendapatkan variabel yang berbeda muncul …

13 logistic  spss  stepwise-regression 

Saat ini saya bekerja sebagai asisten pengajar di universitas saya, dalam kursus statistik pengantar (untuk mahasiswa kedokteran). Offline, ada banyak buku yang tersedia dengan informasi untuk membantu guru. Namun, yang saya tertarik ketahui adalah apakah Anda dapat mengarahkan saya ke sumber daya (baik) yang menyediakan latihan (dengan solusi) dalam statistik, …

13 probability  references  inference  descriptive-statistics  teaching 

Saya menanyakan pertanyaan ini kemarin di StackOverflow, dan mendapat jawaban, tetapi kami sepakat bahwa itu agak sedikit meretas dan mungkin ada cara yang lebih baik untuk melihatnya. Pertanyaannya: Saya ingin menghitung kesalahan standar Newey-West (HAC) untuk vektor (dalam hal ini vektor pengembalian saham). Fungsi NeweyWest()dalam sandwichpaket melakukan ini, tetapi mengambil …

13 r  standard-error  autocorrelation  heteroscedasticity 

Saya memiliki dua set data yang kira-kira berpusat di sekitar nol tetapi saya menduga mereka memiliki ekor yang berbeda. Saya tahu beberapa tes untuk membandingkan distribusi ke distribusi normal, tetapi saya ingin membandingkan langsung dua distribusi. Apakah ada tes sederhana untuk membandingkan kegemukan ekor dari 2 distribusi ? Terima kasih …

13 hypothesis-testing  distributions  kurtosis  fat-tails