Statistik dan Big Data

Saya telah membaca bahwa uji- t adalah "cukup kuat" ketika distribusi sampel berangkat dari normalitas. Tentu saja, distribusi sampling dari perbedaan itulah yang penting. Saya punya data untuk dua kelompok. Salah satu kelompok sangat condong pada variabel dependen. Ukuran sampel cukup kecil untuk kedua kelompok (n = 33 di satu …

24 t-test  assumptions  normality-assumption  robust 

Jadi saya ditanya pertanyaan yang mengukur L1 (yaitu, laso) dan L2 (yaitu, regresi ridge) diperkirakan. Jawabannya adalah L1 = median dan L2 = rata-rata. Apakah ada jenis alasan intuitif untuk ini? Atau harus ditentukan secara aljabar? Jika demikian, bagaimana cara saya melakukan itu?

24 lasso  regularization  loss-functions  ridge-regression 

Saya memiliki dua variabel: Nama Obat (DN) dan Kejadian Buruk yang sesuai (AE), yang berdiri dalam hubungan banyak-ke-banyak. Ada 33.556 nama obat dan 9.516 efek samping. Ukuran sampel adalah sekitar 5,8 juta pengamatan. Saya ingin belajar dan memahami hubungan / hubungan antara DN dan AE. Saya sedang memikirkan cara memvisualisasikan …

24 r  categorical-data  data-visualization  large-data  association-measure 

Kode berikut mengevaluasi kesamaan antara dua seri waktu: set.seed(10) RandData <- rnorm(8760*2) America <- rep(c('NewYork','Miami'),each=8760) Date = seq(from=as.POSIXct("1991-01-01 00:00"), to=as.POSIXct("1991-12-31 23:00"), length=8760) DatNew <- data.frame(Loc = America, Doy = as.numeric(format(Date,format = "%j")), Tod = as.numeric(format(Date,format = "%H")), Temp = RandData, DecTime = rep(seq(1, length(RandData)/2) / (length(RandData)/2), 2)) require(mgcv) mod1 <- …

24 r  time-series  data-visualization  gam 

Apa perbedaan statistik dan statistik matematika? Saya sudah membaca ini : Statistik adalah studi tentang pengumpulan, organisasi, analisis, dan interpretasi data. Ini berkaitan dengan semua aspek ini, termasuk perencanaan pengumpulan data dalam hal desain survei dan eksperimen. Dan ini : Statistik matematika adalah studi statistik dari sudut pandang matematika, menggunakan …

24 mathematical-statistics  terminology 

Dalam analisis regresi linier, kami menganalisis pencilan, menyelidiki multikolinieritas, uji heteroskedastisitas. Pertanyaannya adalah: Apakah ada perintah untuk menerapkan ini? Maksud saya, apakah kita harus menganalisis outlier terlebih dahulu, dan kemudian memeriksa multikolinieritas? Atau mundur? Apakah ada aturan praktis tentang ini?

24 regression  multiple-regression  outliers 

Saya mencari referensi ke makalah di mana validasi silang k-fold diperkenalkan (bukan hanya referensi akademis yang baik untuk subjek). Mungkin terlalu jauh ke belakang dalam kabut waktu untuk secara gamblang mengidentifikasi kertas pertama, sehingga setiap makalah awal di mana ide itu digunakan akan menarik. Yang paling awal saya sadari adalah …

24 cross-validation  references 

Apa cara / metode termudah untuk menghitung korelasi antara dua seri waktu yang ukurannya persis sama? Saya berpikir untuk mengalikan dan ( y [ t ] - μ y ) , dan menambahkan perkaliannya. Jadi, jika angka tunggal ini positif, dapatkah kita mengatakan bahwa kedua seri ini berkorelasi? Namun saya …

24 time-series 

Saya meninjau makalah yang memiliki eksperimen biologis berikut. Alat digunakan untuk mengekspos sel pada berbagai jumlah tegangan geser cairan. Saat tegangan geser yang lebih besar diterapkan ke sel, lebih banyak sel mulai terlepas dari substrat. Pada setiap tingkat tegangan geser, mereka menghitung sel-sel yang tetap melekat, dan karena mereka tahu …

24 r  logistic  multinomial 

Banyak studi klinis didasarkan pada sampel non-acak. Namun, sebagian besar tes standar (misalnya uji-t, ANOVA, regresi linier, regresi logistik) didasarkan pada asumsi bahwa sampel mengandung "angka acak". Apakah hasilnya valid jika sampel non-acak ini dianalisis dengan tes standar? Terima kasih.

24 sampling  randomness 

Saat ini saya sedang mengerjakan proyek yang pada dasarnya saya butuhkan, seperti yang kita semua lakukan, untuk memahami bagaimana output terkait dengan input . Kekhasan di sini adalah bahwa data diberikan kepada saya satu per satu, jadi saya ingin memperbarui analisis saya setiap kali saya menerima yang baru . Saya …

24 modeling  model-selection 

Saya menggunakan uji ranksum untuk membandingkan rata-rata dua sampel ( ) dan telah menemukan bahwa mereka berbeda secara signifikan dengan: . Haruskah saya curiga dengan nilai- kecil atau haruskah saya menghubungkannya dengan kekuatan statistik tinggi yang terkait dengan memiliki sampel yang sangat besar? Apakah ada yang namanya nilai rendah yang …

24 hypothesis-testing  p-value  sample-size  power 

Apakah ada hubungan antara regresi dan analisis diskriminan linier (LDA)? Apa persamaan dan perbedaan mereka? Apakah ada bedanya jika ada dua kelas atau lebih dari dua kelas?

24 regression  logistic  discriminant-analysis  canonical-correlation  reduced-rank-regression 

Sebuah analisis sementara adalah analisis data pada satu atau lebih titik waktu sebelum resmi penutupan penelitian dengan tujuan, misalnya, mungkin mengakhiri studi awal. Menurut Piantadosi, S. ( Uji klinis - perspektif metodologis ): " Perkiraan efek pengobatan akan menjadi bias ketika uji coba dihentikan pada tahap awal. Semakin awal keputusan, …

24 clinical-trials  bias 

Catatan: Saya memposting pertanyaan dari mantan mahasiswa saya yang tidak dapat memposting sendiri karena alasan teknis. Diberikan sampel iid x1,…,xnx1,…,xnx_1,\ldots,x_n dari distribusi Weibull dengan pdf fk(x)=kxk−1e−xkx>0fk(x)=kxk−1e−xkx>0 f_k(x) = k x^{k-1} e^{-x^k} \quad x>0 apakah ada variabel yang hilang representasi berguna fk(x)=∫Zgk(x,z)dzfk(x)=∫Zgk(x,z)dzf_k(x) = \int_\mathcal{Z} g_k(x,z)\,\text{d}z dan karenanya sebuah terkait EM (harapan-maksimisasi) …

24 optimization  missing-data  expectation-maximization  weibull  gumbel