Statistik dan Big Data

Saya menggunakan lme4 dalam R agar sesuai dengan model campuran lmer(value~status+(1|experiment))) di mana nilai kontinu, status dan percobaan adalah faktor, dan saya dapatkan Linear mixed model fit by REML Formula: value ~ status + (1 | experiment) AIC BIC logLik deviance REMLdev 29.1 46.98 -9.548 5.911 19.1 Random effects: Groups …

56 r  hypothesis-testing  mixed-model  p-value  lme4-nlme 

Saya ingin mendeteksi musiman dalam data yang saya terima. Ada beberapa metode yang saya temukan seperti plot subseries musiman dan plot autocorrelation tetapi masalahnya saya tidak mengerti cara membaca grafik, ada yang bisa membantu? Hal lain adalah, apakah ada metode lain untuk mendeteksi musiman dengan atau tanpa hasil akhir dalam …

56 time-series  seasonality 

Adakah yang punya pengalaman dengan perangkat lunak (lebih disukai gratis, lebih disukai open source) yang akan mengambil gambar data yang diplot pada koordinat kartesius (plot standar, harian) dan mengekstrak koordinat titik-titik yang diplot pada grafik? Pada dasarnya, ini adalah masalah penambangan data dan masalah visualisasi data terbalik .

56 data-visualization  data-mining  software 

Mengapa terus mengajar dan menggunakan pengujian hipotesis (dengan semua konsepnya yang sulit dan yang merupakan dosa yang paling statistik) untuk masalah di mana ada penaksir interval (kepercayaan, sepatu boot, kredibilitas atau apa pun)? Apa penjelasan terbaik (jika ada) untuk diberikan kepada siswa? Hanya tradisi? Pandangan akan sangat disambut.

56 hypothesis-testing  confidence-interval  teaching 

Saya masih ingat tulisan Annals of Statistics tentang Boosting oleh Friedman-Hastie-Tibshirani, dan komentar tentang masalah yang sama oleh penulis lain (termasuk Freund dan Schapire). Pada saat itu, Boosting jelas dipandang sebagai terobosan dalam banyak hal: layak secara komputasi, metode ansambel, dengan kinerja luar biasa namun misterius. Sekitar waktu yang sama, …

56 mathematical-statistics  history 

Saya melihat istilah-istilah ini digunakan dan saya terus mencampuradukkannya. Apakah ada penjelasan sederhana tentang perbedaan di antara mereka?

56 estimation  maximum-likelihood 

Saya memiliki data dari percobaan yang saya analisis menggunakan uji-t. Variabel dependen adalah skala diskalakan dan data baik tidak berpasangan (yaitu, 2 kelompok) atau berpasangan (yaitu, dalam subyek). Misalnya (dalam mata pelajaran): x1 <- c(99, 99.5, 65, 100, 99, 99.5, 99, 99.5, 99.5, 57, 100, 99.5, 99.5, 99, 99, 99.5, …

56 r  t-test  nonparametric  permutation-test 

X1, . . . , XnX1,...,XnX_1, ..., X_nmin ( X1, . . . , Xn)min(X1,...,Xn)\min(X_1, ..., X_n)

56 distributions  random-variable  minimum 

Saya dulu berpikir bahwa "model efek acak" dalam ekonometrik sesuai dengan "model campuran dengan intersep acak" di luar ekonometrik, tetapi sekarang saya tidak yakin. Melakukannya? Ekonometrik menggunakan istilah-istilah seperti "efek tetap" dan "efek acak" agak berbeda dari literatur pada model campuran, dan ini menyebabkan kebingungan yang terkenal. Mari kita perhatikan …

56 mixed-model  econometrics  panel-data  lme4-nlme  plm 

Pertanyaan ini dimotivasi oleh pertanyaan saya tentang meta-analisis . Tapi saya membayangkan bahwa itu juga akan berguna dalam konteks pengajaran di mana Anda ingin membuat dataset yang persis mencerminkan dataset yang sudah ada diterbitkan. Saya tahu cara menghasilkan data acak dari distribusi yang diberikan. Jadi misalnya, jika saya membaca tentang …

56 r  dataset  simulation  random-generation 

Kami sudah memiliki utas bertanya siapa orang Bayesian dan yang satu bertanya apakah kerap orang Bayesian , tetapi tidak ada utas yang bertanya langsung siapa yang sering ? Ini adalah pertanyaan yang ditanyakan oleh @whuber sebagai komentar di utas ini dan perlu dijawab. Apakah mereka ada (adakah yang sering mengidentifikasi …

55 bayesian  frequentist 

Latar Belakang Saya sedang melakukan penelitian klinis di bidang kedokteran dan telah mengikuti beberapa kursus statistik. Saya tidak pernah menerbitkan makalah menggunakan regresi linier / logistik dan ingin melakukan pemilihan variabel dengan benar. Interpretabilitas itu penting, jadi tidak ada teknik pembelajaran mesin yang mewah. Saya telah merangkum pemahaman saya tentang …

55 regression  feature-selection  model-selection 

Untuk menyelesaikan masalah pemilihan model, sejumlah metode (LASSO, ridge regression, dll.) Akan mengecilkan koefisien variabel prediktor menjadi nol. Saya mencari penjelasan intuitif mengapa ini meningkatkan kemampuan prediksi. Jika efek sebenarnya dari variabel itu sebenarnya sangat besar, mengapa tidak menyusutkan parameter menghasilkan prediksi yang lebih buruk?

55 lasso  regularization  ridge-regression  intuition  shrinkage 

Saya merujuk pada praktik yang masih mempertahankan keberadaan mereka, meskipun masalah (biasanya komputasi) yang mereka atasi untuk mengatasi sebagian besar telah diselesaikan. Sebagai contoh, koreksi kontinuitas Yates ditemukan untuk memperkirakan uji pasti Fisher dengan uji , tetapi itu tidak lagi praktis karena perangkat lunak sekarang dapat menangani uji Fisher bahkan …

55 references  philosophical 

Sejauh yang saya mengerti tes Wald dalam konteks regresi logistik digunakan untuk menentukan apakah variabel prediktor tertentu signifikan atau tidak. Ia menolak hipotesis nol dari koefisien yang sesuai menjadi nol.XXX Tes terdiri dari membagi nilai koefisien dengan kesalahan standar .σσ\sigma Yang saya bingung adalah bahwa juga dikenal sebagai Z-score dan …

55 logistic  z-statistic