Statistik dan Big Data

Katakanlah saya memiliki seorang teman (sebut saja dia "George") yang mengatakan bahwa dia dapat mengendalikan lemparan dadu menggunakan pikirannya (yaitu, membuat dadu lebih mungkin jatuh pada angka tertentu yang dia pikirkan). Bagaimana saya bisa merancang tes yang ketat secara ilmiah untuk menentukan apakah dia benar-benar dapat melakukan ini? (Saya tidak …

11 probability  experiment-design  dice 

Saya mencoba menjalankan regresi nol-naik untuk variabel respon kontinu dalam R. Saya menyadari implementasi gamls, tetapi saya benar-benar ingin mencoba algoritma ini oleh Dale McLerran yang secara konsep sedikit lebih mudah. Sayangnya, kodenya ada di SAS dan saya tidak yakin bagaimana menulisnya kembali untuk sesuatu seperti nlme. Kode tersebut adalah …

11 r  sas  gamlss 

Dalam sebuah makalah yang saya tulis saya memodelkan variabel acak dan X - Y daripada X dan Y untuk secara efektif menghilangkan masalah yang muncul ketika X dan Y sangat berkorelasi dan memiliki varian yang sama (seperti yang ada dalam aplikasi saya) . Wasit ingin saya memberikan referensi. Saya bisa …

11 correlation  multicollinearity 

Saya telah mencari-cari sedikit di arsip Cross Validated dan sepertinya belum menemukan jawaban untuk pertanyaan saya. Pertanyaan saya adalah sebagai berikut: Wikipedia memberikan tiga asumsi yang perlu dimiliki untuk uji peringkat Wilcoxon (sedikit dimodifikasi untuk pertanyaan saya): Biarkan Zi = Xi-Yi untuk i = 1, ..., n. Perbedaan Zi dianggap …

11 r  hypothesis-testing 

Data saya adalah sebagai berikut. Saya punya dua kelompok pasien. Pasien dalam setiap kelompok memiliki jenis operasi mata yang berbeda. 5 variabel diukur pada pasien dalam setiap kelompok. Saya ingin membandingkan variabel-variabel antara kedua kelompok menggunakan tes permutasi atau MANOVA. Mata di mana operasi dilakukan tidak terlalu penting dalam analisis. …

11 sampling 

Konteks Saya ingin mengatur adegan sebelum sedikit memperluas pertanyaan. Saya memiliki data longitudinal, pengukuran dilakukan pada subjek kira-kira setiap 3 bulan, hasil primer adalah numerik (seperti dalam kontinu hingga 1dp) dalam kisaran 5 hingga 14 dengan bulk (dari semua titik data) antara 7 dan 10. Jika saya melakukan plot spaghetti …

11 clustering  panel-data 

Misalkan Anda memiliki kumpulan data dari distribusi kontinu dengan kepadatan didukung pada yang tidak dikenal, tetapi cukup besar sehingga kepadatan kernel (misalnya) estimasi, , cukup akurat. Untuk aplikasi tertentu saya perlu mengubah data yang diamati ke sejumlah kategori terbatas untuk menghasilkan set data baru dengan fungsi massa tersirat .Y1,...,YnY1,...,YnY_{1}, ..., …

11 continuous-data  discrete-data 

Saya perlu menyesuaikan distribusi Gaussian umum ke cloud 7-redup poin yang mengandung cukup banyak outlier dengan leverage tinggi. Apakah Anda tahu paket R yang bagus untuk pekerjaan ini?

11 r  distributions  normal-distribution  robust 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup tahun lalu . Saya menggunakan dekomposisi vektor singular pada sebuah matriks dan mendapatkan matriks U, S dan Vt. Pada titik ini, saya mencoba untuk memilih …

11 data-visualization  python  svd 

Ini adalah pertama kalinya saya di sini, jadi tolong beri tahu saya jika saya dapat mengklarifikasi pertanyaan saya dengan cara apa pun (termasuk pemformatan, tag, dll.). (Dan mudah-mudahan saya dapat mengedit nanti!) Saya mencoba mencari referensi, dan mencoba menyelesaikan sendiri menggunakan induksi, tetapi gagal pada keduanya. Saya mencoba menyederhanakan distribusi …

11 distributions  chi-squared  exponential  order-statistics  minimum 

Ini sudah ada dalam pikiran saya selama setidaknya beberapa jam. Saya mencoba menemukan k yang optimal untuk output dari algoritma k-means (dengan metrik kesamaan cosine ) jadi saya akhirnya merencanakan distorsi sebagai fungsi dari jumlah cluster. Dataset saya adalah kumpulan 800 dokumen dalam ruang 600 dimensi. Dari apa yang saya …

11 machine-learning  clustering  k-means 

Saya biasanya menangani data di mana beberapa individu masing-masing diukur beberapa kali dalam masing-masing 2 atau lebih kondisi. Saya baru-baru ini bermain dengan pemodelan efek campuran untuk mengevaluasi bukti perbedaan antara kondisi, pemodelan individualsebagai efek acak. Untuk memvisualisasikan ketidakpastian mengenai prediksi dari pemodelan seperti itu, saya telah menggunakan bootstrap, di …

11 confidence-interval  mixed-model  bootstrap  monte-carlo  simulation 

Anda mungkin pernah mendengar tentang wabah E. coli ( EHEC ) enterohaemorrhagic baru-baru ini di Jerman . Pertanyaan apa yang akan diajukan ahli statistik tentang analisis EHEC? Saya sedang memikirkan Q + As antara wartawan / pejabat publik ↔ non-ahli, katakanlah guru dan insinyur dengan gelar Diplom / Master tetapi …

11 data-visualization  teaching 

Hanya ingin tahu apakah ada yang akrab dengan pengelompokan input nominal. Saya telah melihat SOM sebagai solusi tetapi ternyata itu hanya bekerja dengan fitur numerik. Apakah ada ekstensi untuk fitur kategorikal? Secara khusus saya bertanya-tanya tentang 'Days of the Week' sebagai fitur yang mungkin. Tentu saja dimungkinkan untuk mengubahnya menjadi …

11 clustering  unsupervised-learning  self-organizing-maps 

Apakah ada cara yang pernah pohon klasifikasi kompleks dibangun menggunakan rpart (dalam R), untuk mengatur aturan keputusan yang dihasilkan untuk setiap kelas? Jadi alih-alih mendapatkan satu pohon besar, kita mendapatkan seperangkat aturan untuk masing-masing kelas? (jika demikian, bagaimana?) Berikut adalah contoh kode sederhana untuk menunjukkan contoh di: fit <- rpart(Kyphosis …

11 r  classification  cart  rpart