Statistik dan Big Data

Dari wikipedia , korelasi peringkat Spearman dihitung dengan mengubah variabel XiXiX_i dan YiYiY_i menjadi variabel peringkat xixix_i dan yiyiy_i , dan kemudian menghitung korelasi Pearson antara variabel peringkat: Namun, artikel selanjutnya menyatakan bahwa jika tidak ada ikatan antara variabel XiXiX_i dan YiYiY_i , rumus di atas setara dengan di mana …

14 correlation  proof  spearman-rho 

Dalam variasi pada masalah pengumpul kupon , Anda tidak tahu jumlah kupon dan harus menentukan ini berdasarkan data. Saya akan menyebut ini sebagai masalah kue keberuntungan: Mengingat jumlah yang tidak diketahui yang berbeda pesan kue keberuntungan nnn , estimasi nnn dengan sampling cookies satu per satu dan menghitung berapa kali …

14 estimation  coupon-collector-problem 

Saat ini saya sedang meninjau beberapa pekerjaan dan telah menemukan yang berikut, yang tampaknya salah bagi saya. Dua model campuran dipasang (dalam R) menggunakan lmer. Model tidak bersarang dan dibandingkan dengan uji rasio kemungkinan. Singkatnya, berikut adalah contoh yang dapat direproduksi dari apa yang saya miliki: set.seed(105) Resp = rnorm(100) …

14 r  lme4-nlme  likelihood-ratio  nested-models 

Dari halaman Wikipedia tentang interval kepercayaan : ... jika interval kepercayaan dibangun di banyak analisis data terpisah dari percobaan yang diulang (dan mungkin berbeda), proporsi interval tersebut yang mengandung nilai sebenarnya dari parameter akan cocok dengan tingkat kepercayaan ... Dan dari halaman yang sama: Interval kepercayaan tidak memprediksi bahwa nilai …

14 bayesian  confidence-interval 

Saya sedang melatih model klasifikasi dengan Random Forest untuk membedakan antara 6 kategori. Data transaksional saya memiliki sekitar 60k + pengamatan dan 35 variabel. Berikut adalah contoh bagaimana kira-kira terlihat. _________________________________________________ |user_id|acquisition_date|x_var_1|x_var_2| y_vay | |-------|----------------|-------|-------|--------| |111 | 2013-04-01 | 12 | US | group1 | |222 | 2013-04-12 | 6 …

14 r  machine-learning  classification  random-forest 

Saya tahu ini mungkin sedikit mengikat, secara statistik, tetapi ini adalah masalah saya. Saya memiliki banyak data rentang, yaitu ukuran minimum, maksimum, dan sampel suatu variabel. Untuk beberapa data ini saya juga memiliki nilai rata-rata, tetapi tidak banyak. Saya ingin membandingkan rentang ini satu sama lain untuk mengukur variabilitas masing-masing …

14 r  normal-distribution  estimation  missing-data  order-statistics 

Saya memiliki sampel 100 poin yang kontinu dan satu dimensi. Saya memperkirakan kepadatan non-parametriknya menggunakan metode kernel. Bagaimana saya bisa mengambil sampel acak dari distribusi yang diperkirakan ini?

14 r  sampling  kernel-smoothing 

Saya sedang mereview artikel jurnal akademis dan penulis menulis yang berikut sebagai pembenaran untuk tidak melaporkan statistik inferensial (saya mengidentifikasi sifat kedua kelompok): Secara total, 25 dari 2349 (1,1%) responden melaporkan X . Kami menahan diri dari menyajikan analisis yang secara statistik membandingkan kelompok X dengan kelompok Y (2.324 peserta …

14 hypothesis-testing  sample-size  power-analysis  power  group-differences 

Saya mencoba memahami hasil yang saya lihat pada grafik saya di bawah ini. Biasanya, saya cenderung menggunakan Excel dan mendapatkan garis regresi linier tetapi dalam kasus di bawah ini saya menggunakan R dan saya mendapatkan regresi polinomial dengan perintah: ggplot(visual1, aes(ISSUE_DATE,COUNTED)) + geom_point() + geom_smooth() Jadi pertanyaan saya sampai pada …

14 r  regression  data-visualization  outliers 

Hutan Acak bekerja dengan membuat ansambel pohon keputusan tempat setiap pohon dibuat menggunakan sampel bootstrap dari data pelatihan asli (sampel dari kedua variabel input dan pengamatan). Dapatkah proses serupa diterapkan untuk regresi linier? Buat model regresi linier k menggunakan sampel bootstrap acak untuk setiap regresi k Apa alasan TIDAK untuk …

14 regression  predictive-models  ensemble 

Saya ingin mengembangkan model prediksi (Cox PH) untuk semua penyebab kematian dalam dataset peserta yang (hampir) semuanya meninggal pada akhir masa tindak lanjut (misalnya 1 tahun). Alih-alih memprediksi risiko mutlak kematian pada titik waktu tertentu, saya ingin memprediksi waktu bertahan hidup (dalam beberapa bulan) untuk setiap individu. Apakah mungkin untuk …

14 survival  prediction  cox-model 

Hari ini saya ditanya, apakah nilai p 0,05 (tepat) dianggap signifikan (diberi alpha = 5%) atau tidak. Saya tidak tahu jawabannya dan Google memberikan kedua jawaban: (a) hasilnya signifikan jika p kurang dari 5% dan (b) jika p kurang dari 5% atau sama dengan 5%. Tentu saja, tidak ada situs …

14 hypothesis-testing  statistical-significance  p-value 

Saya ingin memperkirakan korelasi antara: Variabel ordinal: subjek diminta untuk menilai preferensi mereka untuk 6 jenis buah pada skala 1-5 (mulai dari yang sangat menjijikkan hingga sangat lezat). Rata-rata subjek hanya menggunakan 3 poin skala. Variabel kontinu: subjek yang sama diminta untuk dengan cepat mengidentifikasi buah-buahan ini, yang menghasilkan akurasi …

14 correlation  ordinal-data  spearman-rho  continuous-data 

Versi pendek: Saya mencari paket R yang dapat membangun pohon keputusan sedangkan setiap daun di pohon keputusan adalah model Regresi Linier penuh. AFAIK, perpustakaan rpartmembuat pohon keputusan di mana variabel dependen konstan di setiap daun. Apakah ada perpustakaan lain (atau rpartpengaturan yang saya tidak sadari) yang dapat membangun pohon seperti …

14 r  regression  rpart  cart 

Saya diberi data untuk dianalisis untuk penelitian yang melihat efek dari pengobatan terhadap kadar zat besi pada empat titik waktu yang berbeda (sebelum pengobatan, pengobatan hari berakhir, 4 minggu setelah pengobatan, dan 2-4 bulan setelah pengobatan). Tidak ada grup kontrol. Mereka mencari untuk melihat apakah ada peningkatan kadar besi yang …

14 repeated-measures  multiple-comparisons  wilcoxon-signed-rank