Statistik dan Big Data

Apa metode terbaik untuk menyesuaikan 'mode' data sampel dari distribusi kontinu? Karena mode ini secara teknis tidak terdefinisi (kanan?) Untuk distribusi kontinu, saya benar-benar bertanya 'bagaimana Anda menemukan nilai yang paling umum'? Jika Anda menganggap distribusi induk adalah gaussian, Anda dapat meng-bin data dan menemukan mengatakan mode adalah lokasi bin …

12 distributions  fitting  mode 

Manakah fungsi biaya yang lebih baik untuk pohon hutan acak: Indeks atau entropi Gini? Saya mencoba menerapkan hutan acak di Clojure.

12 classification  random-forest  cart 

Baru-baru ini saya mengambil kursus pengantar tentang pemodelan multilevel. Sebagian besar dataset dan contoh yang kami gunakan berasal dari ilmu sosial. Saya baru saja mendapat magang 2 minggu di departemen biostatistik, di mana mereka ingin saya memulai proyek mengenai variasi hasil tingkat pasien di rumah sakit untuk kondisi darurat yang …

12 r  stata  multilevel-analysis  epidemiology 

Jika kita ingin melakukan uji-t berpasangan, persyaratannya adalah (jika saya mengerti dengan benar) bahwa perbedaan rata - rata antara unit pengukuran yang cocok akan didistribusikan secara normal. Dalam uji-t berpasangan, yaitu diartikulasikan (AFAIK) dalam permintaan bahwa perbedaan antara unit pengukuran yang cocok akan didistribusikan secara normal (bahkan jika distribusi masing-masing …

12 t-test  normality-assumption  assumptions 

Biasanya, ketika seseorang menjumpai ukuran hasil yang kontinu tetapi condong dalam desain longitudinal (katakanlah, dengan satu efek antar-subjek) pendekatan yang umum adalah mengubah hasilnya menjadi normal. Jika situasinya ekstrem, seperti dengan pengamatan terpotong, orang mungkin menyukai dan menggunakan model kurva pertumbuhan Tobit, atau semacamnya. Tetapi saya bingung ketika saya melihat …

12 repeated-measures  data-transformation  skewness 

Apakah ada analogi ketidaksetaraan Chebyshev saat yang lebih tinggi dalam kasus satu sisi? Ketidaksamaan Chebyshev-Cantelli hanya berfungsi untuk varians, sedangkan ketidaksetaraan Chebyshev dapat dengan mudah diproduksi untuk semua eksponen. Apakah ada yang tahu tentang ketimpangan satu sisi menggunakan momen yang lebih tinggi?

12 approximation  moments  probability-inequalities 

Jika Hosmer-Lemeshow menunjukkan kurangnya kecocokan tetapi AIC adalah yang terendah di antara semua model .... haruskah Anda masih menggunakan model itu? Jika saya menghapus suatu variabel, statistik Hosmer-Lemeshow tidak signifikan (yang berarti tidak ada kecocokan yang kurang). Tetapi AIC meningkat. Sunting : Saya pikir secara umum, jika AIC dari model …

12 regression  logistic  hosmer-lemeshow-test 

Saya mencoba memahami bagaimana algoritma Lars dapat dimodifikasi untuk menghasilkan Lasso. Meskipun saya mengerti LARS, saya tidak dapat melihat modifikasi Lasso dari kertas oleh Tibshirani et al. Khususnya saya tidak melihat mengapa kondisi tanda bahwa tanda koordinat non-nol harus setuju dengan tanda korelasi saat ini. Dapatkah seseorang tolong bantu saya …

12 lasso 

Misalnya. seperti yang ada di halaman ini http://store.steampowered.com/hwsurvey Apakah ada perangkat lunak siap pakai yang bisa melakukan ini? Atau, ada rekomendasi untuk perangkat lunak lain yang melakukan hal serupa? Saya tahu ini bukan pertanyaan statistik, tetapi saya merasa sangat kuat bahwa data harus disajikan dengan cara yang rapi dan menarik …

12 data-visualization  interactive-visualization 

Saya ingin tahu tentang implementasi praktis dari pemisahan biner dalam pohon keputusan - yang berkaitan dengan tingkat prediktor kategorikal .XjXjX{j} Secara khusus, saya sering akan menggunakan semacam skema pengambilan sampel (misalnya mengantongi, oversampling dll) ketika membangun model prediksi menggunakan pohon keputusan - untuk meningkatkan akurasi dan stabilitas prediksi. Selama rutinitas …

12 cart  rpart  partitioning 

Saya mencoba membangun SVM dari data pelatihan di mana satu kelompok diwakili lebih dari yang lain. Namun, kelompok-kelompok tersebut akan terwakili secara setara dalam data uji yang akhirnya. Oleh karena itu, saya ingin menggunakan class.weightsparameter e1071antarmuka paket R libsvmuntuk menyeimbangkan pengaruh dua kelompok dalam data pelatihan. Karena saya tidak yakin …

12 r  machine-learning  svm 

Jadi Anda telah memutuskan untuk mendukung gagasan penelitian yang dapat direproduksi dan ingin membuat data Anda tersedia secara online untuk dilihat dan digunakan orang. Pertanyaannya adalah, di mana Anda menyimpannya? Kecenderungan pertama saya tentu saja adalah ruang web pribadi yang saya miliki di server universitas, tetapi hal-hal ini sebenarnya tidak …

12 reproducible-research 

Bagaimana cara memperkirakan integral berikut menggunakan simulasi MC? ∫1- 1∫1- 1| x-y|d xd y∫−11∫−11|x−y|dxdy \int_{-1}^{1} \int_{-1}^{1} |x-y| \,\mathrm{d}x \,\mathrm{d}y Terima kasih! Sunting (Beberapa konteks): Saya mencoba mempelajari cara menggunakan simulasi untuk memperkirakan integral, dan saya mendapatkan beberapa latihan yang dilakukan ketika saya mengalami beberapa kesulitan. Sunting 2 + 3 : …

12 r  self-study  monte-carlo 

Saya ingin memodelkan beberapa data, tetapi saya tidak yakin jenis model apa yang dapat saya gunakan. Saya memiliki data hitungan, dan saya menginginkan model yang akan memberikan estimasi parametrik baik dari mean maupun varians dari data. Artinya, saya memiliki berbagai faktor prediktif dan saya ingin menentukan apakah ada di antara …

12 variance  modeling  count-data  overdispersion  gamlss 

Pertanyaan ini menggambarkan sulitnya seseorang menguasai statistik dan probabilitas sendiri, dalam menghadapi sumber daya yang lemah seperti Wikipedia. Terpikir olehku bahwa berkonsultasi dengan ahli statistik, dan ada beberapa di sini, mungkin secara rutin menghadapi tantangan untuk menjelaskan konsep dan metode tertentu kepada klien. Ini adalah sisi lain dari koin pedagogis. …

12 teaching  references