Statistik dan Big Data

Katakanlah saya memiliki dua model regresi, satu dengan tiga variabel dan satu dengan empat. Masing-masing mengeluarkan r ^ 2 yang disesuaikan, yang bisa saya bandingkan langsung. Jelas, model dengan r ^ 2 yang disesuaikan lebih tinggi lebih cocok, tetapi apakah ada cara untuk menguji perbedaan antara kedua r ^ 2 …

8 regression 

... (opsional) dalam konteks Google Web Optimizer. Misalkan Anda memiliki dua grup dan variabel respons biner. Sekarang Anda mendapatkan hasil berikut: Asli : 401 uji coba, 125 uji coba yang berhasil Kombinasi16 : 441 uji coba, 141 uji coba yang berhasil Perbedaannya tidak signifikan secara statistik, namun seseorang dapat menghitung …

8 bayesian  ab-test 

Saya menggunakan model lag terdistribusi untuk menganalisis data deret waktu. Durasi periode penelitian adalah 18 tahun, dan observasi adalah data tahunan. Ketika menyertakan efek lag 1 tahun, tahun pertama variabel lag menjadi hilang. Kemudian, efek lag 2 tahun membuat dua data pertama variabel lag hilang, dan seterusnya. Saya akan menganalisis …

8 time-series  missing-data 

Saya baru-baru ini terkena beberapa metode pengujian hipotesis statistik (misalnya uji Friedman) di tempat kerja, dan saya ingin menambah pengetahuan saya tentang topik tersebut. Bisakah Anda menyarankan pengantar yang baik untuk signifikansi statistik / pengujian hipotesis statistik untuk ilmuwan komputer? Saya sedang memikirkan buku PDF atau sejenisnya, tetapi segala jenis …

8 hypothesis-testing  statistical-significance  p-value 

Saya memiliki data berikut, mewakili keadaan biner dari empat subjek pada empat kali, perhatikan bahwa hanya mungkin untuk setiap subjek untuk transisi tetapi tidak :0 → 10→10\to 11 → 01→01\to 0 testdata <- data.frame(id = c(1,2,3,4,1,2,3,4,1,2,3,4,1,2,3,4,1,2,3,4), day = c(1,1,1,1,8,8,8,8,16,16,16,16,24,24,24,24,32,32,32,32), obs = c(0,0,0,0,0,1,0,0,0,1,1,0,0,1,1,1,1,1,1,1)) Saya dapat memodelkannya dengan regresi logistik: testmodel <- …

8 logistic  censoring  interval-censoring 

Pertama-tama, saya menyadari beberapa regresi tidak benar-benar memberikan kesimpulan "kausal" tentang data. Biarkan saya jelaskan kasus saya saat ini: Saya memiliki empat variabel independen yang saya harap (tetapi tidak yakin) terlibat dalam mengemudikan hal yang saya ukur. Saya ingin menggunakan regresi berganda untuk melihat seberapa besar masing-masing variabel berkontribusi terhadap …

8 multivariate-analysis  multiple-regression 

Asumsikan Anda memiliki kelas sekitar 800 siswa dan mengikuti serangkaian penilaian, setiap siswa memiliki nilai mentah. Bagaimana seharusnya nilai mentah ini dikonversi menjadi nilai akhir? Apakah ide yang bagus untuk skala nilai mentah ke distribusi normal?

8 normal-distribution 

Saya memiliki banyak deret waktu dalam kolom format 1 ini di mana saya memiliki format tanggal (d / m / tahun) dan banyak kolom yang mewakili deret waktu berbeda seperti di sini: DATE TS1 TS2 TS3 ... 24/03/2003 0.00 0.00 ... 17/04/2003 -0.05 1.46 11/05/2003 0.46 -3.86 04/06/2003 -2.21 -1.08 …

8 r  time-series  clustering 

Ini adalah pertanyaan tentang definisi, apakah komunitas statistik membedakan istilah-istilah ini?

8 seasonality 

Saya menjalankan regresi logit biner di mana saya tahu variabel dependen salah dicatat dalam sebagian kecil kasus. Jadi saya mencoba memperkirakanββ\beta dalam model ini: p r o b (ysaya) = 1 / ( 1 +e-zsaya)halrHaib(ysaya)=1/(1+e-zsaya)prob(y_i) = 1/(1 + e^{-z_i}) zsaya= α +Xsayaβzsaya=α+Xsayaβz_i = \alpha + X_i\beta Tapi bukannya vektor YYY, …

8 logistic  measurement-error 

Saya bertanya-tanya bagaimana statistik dan teori keputusan terkait? Bagiku semua masalah statistik / tugas dapat dirumuskan dalam teori keputusan. Juga masalah dalam teori keputusan dapat dirumuskan dalam masalah statistik / probabilitas, atau dengan cara deterministik. Jadi apakah statistik hanyalah bagian dari masalah yang dipelajari dalam teori keputusan? Atau mereka hanya …

8 mathematical-statistics  decision-theory 

Dalam analisis klasifikasi SVM (linear kernel) dari kumpulan data ekspresi gen (~ 400 variabel / gen) untuk ~ 25 setiap kasus dan kontrol, saya menemukan bahwa pengklasifikasi berbasis ekspresi gen memiliki karakteristik kinerja yang sangat baik. Kasus dan kontrol tidak berbeda secara signifikan untuk sejumlah variabel klinis / demografis variabel …

8 correlation  classification  pca  continuous-data 

Saya mencari bantuan, saran, atau tip bagaimana menjelaskan heterogenitas / heteroskedastisitas kepada ahli biologi di departemen saya. Secara khusus saya ingin menjelaskan mengapa penting untuk mencarinya dan menanganinya jika ada, saya mencari pendapat tentang pertanyaan-pertanyaan berikut. Apakah heterogenitas mempengaruhi reliabilitas estimasi efek acak? Saya cukup yakin, tetapi saya tidak dapat …

8 regression  mixed-model  references  residuals  heteroscedasticity 

Jika saya memiliki objek arima seperti a: set.seed(100) x1 <- cumsum(runif(100)) x2 <- c(rnorm(25, 20), rep(0, 75)) x3 <- x1 + x2 dummy = c(rep(1, 25), rep(0, 75)) a <- arima(x3, order=c(0, 1, 0), xreg=dummy) print(a) . Series: x3 ARIMA(0,1,0) Call: arima(x = x3, order = c(0, 1, 0), xreg …

8 r  regression  time-series  arima  r-squared 

Jika Anda melempar koin dan mendapatkan 268 kepala dan 98 ekor, Anda dapat menghitung probabilitas bahwa koin itu adil beberapa cara. Pengamatan heuristik yang sederhana kemungkinan besar akan menyimpulkan bahwa koin semacam itu tidak adil. Saya telah menghitung nilai p dalam R dengan: > coin <- pbinom(98, 366, 0.5) > …

8 probability