Statistik dan Big Data

Saya ingin menghasilkan data dengan "Model 1" dan cocok dengan "Model 2". Gagasan yang mendasarinya adalah untuk menyelidiki sifat ketahanan dari "Model 2". Saya sangat tertarik pada tingkat cakupan interval kepercayaan 95% (berdasarkan perkiraan normal). Bagaimana cara mengatur jumlah iterasi berjalan? Benarkah replikasi yang lebih besar dari yang diperlukan dapat …

11 simulation  monte-carlo 

Saya mencoba menghitung indeks Gini pada distribusi reputasi SO menggunakan SO Data Explorer. Persamaan yang saya coba terapkan adalah ini: Di mana: = jumlah pengguna di situs; = nomor seri pengguna (1 - 1.225.000); = reputasi pengguna .niyiiG ( S) = 1n - 1( n + 1 - 2 ( …

11 gini 

Dalam model bahaya proporsional Cox dengan banyak variabel, jika residu Schoenfeld tidak rata untuk salah satu variabel, apakah ini membatalkan seluruh model atau dapatkah hanya variabel yang berkinerja buruk diabaikan? Artinya, tafsirkan koefisien untuk variabel lain, tetapi jangan menafsirkan koefisien yang dihasilkan untuk variabel berkinerja buruk. Ada beberapa cara standar …

11 residuals  cox-model  schoenfeld-residuals 

Setelah membaca Bab 3 dalam Elemen Pembelajaran Statistik (Hastie, Tibshrani & Friedman), saya bertanya-tanya apakah mungkin untuk menerapkan metode penyusutan terkenal yang dikutip pada judul pertanyaan ini diberikan struktur kovarian, yaitu, meminimalkan (mungkin lebih umum) ) kuantitas (y⃗ −Xβ⃗ )TV−1(y⃗ −Xβ⃗ )+λf(β), (1)(y→−Xβ→)TV−1(y→−Xβ→)+λf(β), (1)(\vec{y}-X\vec{\beta})^TV^{-1}(\vec{y}-X\vec{\beta})+\lambda f(\beta),\ \ \ (1) alih-alih yang …

11 lasso  ridge-regression 

Saya telah menjalankan glm di R, dan di dekat bagian bawah summary()output, ia menyatakan (Dispersion parameter for gaussian family taken to be 28.35031) Saya telah melakukan beberapa pencarian di Google dan mengetahui bahwa parameter dispersi digunakan agar sesuai dengan kesalahan standar. Saya berharap seseorang dapat memberikan rincian lebih lanjut tentang …

11 r  generalized-linear-model 

Saya memiliki latar belakang tingkat sarjana dalam matematika murni (Teori Ukur, Analisis Fungsional, Aljabar Operator, dll.) Saya juga memiliki pekerjaan yang memerlukan pengetahuan tentang teori probabilitas (dari prinsip dasar hingga teknik pembelajaran mesin). Pertanyaan saya: Dapatkah seseorang memberikan beberapa bacaan kanonik dan bahan referensi yang: Pengantar mandiri untuk teori Probabilitas …

11 probability  references 

Ketika saya menentukan lambda saya melalui validasi silang, semua koefisien menjadi nol. Tapi saya punya beberapa petunjuk dari literatur bahwa beberapa prediktor pasti akan mempengaruhi hasilnya. Apakah itu sampah untuk secara sewenang-wenang memilih lambda sehingga hanya ada sesedikit yang diinginkan seseorang? Saya ingin memilih 10 atau lebih prediktor dari 135 …

11 lasso 

Apakah ada interpretasi silang validasi Bayesian, ML atau MDL? Bisakah saya mengartikan validasi silang sebagai melakukan pembaruan yang benar pada sebelumnya dibuat khusus?

11 bayesian  cross-validation  maximum-likelihood 

Jika seseorang membuat pernyataan seperti di bawah ini: "Secara keseluruhan, bukan perokok yang terpapar asap lingkungan memiliki risiko relatif penyakit jantung koroner 1,25 (interval kepercayaan 95 persen, 1,17-1,32) dibandingkan dengan bukan perokok yang tidak terpapar asap rokok." Apa risiko relatif untuk populasi secara keseluruhan? Berapa banyak hal yang berhubungan dengan …

11 probability  statistical-significance  confidence-interval  conditional-probability  philosophical 

Saya mengetahui tes Reset Ramsey yang dapat mendeteksi dependensi nonlinear. Namun, jika Anda hanya membuang salah satu koefisien regresi (hanya dependensi linier), Anda mungkin mendapatkan bias, tergantung pada korelasinya. Ini jelas tidak terdeteksi oleh tes Reset. Saya tidak menemukan tes untuk kasus ini, tetapi pernyataan ini: "Anda tidak dapat menguji …

11 regression  multiple-regression  bias  causality  diagnostic 

Latar Belakang: Sebuah meta-analisis khas dalam psikologi mungkin berusaha untuk memodelkan korelasi antara dua variabel X dan Y. Analisis ini biasanya melibatkan memperoleh serangkaian korelasi yang relevan dari literatur bersama dengan ukuran sampel. Rumus kemudian dapat diterapkan untuk menghitung korelasi rata-rata tertimbang. Kemudian, analisis dapat dilakukan untuk melihat apakah korelasi …

11 simulation  meta-analysis 

Tujuan saya adalah menggunakan koefisien yang diperoleh dari penelitian sebelumnya pada subjek untuk memprediksi hasil aktual yang diberikan satu set variabel independen. Namun, makalah penelitian hanya mencantumkan koefisien Beta dan nilai-t. Saya ingin tahu apakah mungkin untuk mengubah koefisien terstandarisasi menjadi yang tidak standar. Apakah akan berguna untuk mengubah variabel …

11 regression-coefficients 

Saya seorang ilmuwan komputer yang bekerja di penambangan data. Bukan rahasia lagi untuk mengatakan bahwa para ilmuwan komputer cukup miskin dalam melakukan desain dan evaluasi eksperimental yang sistematis - penggunaan nilai-p dan perkiraan kepercayaan diri dianggap maju :). Apa yang ingin saya ketahui jika ada kursus / materi yang bagus …

11 references  experiment-design 

Dalam jawaban untuk pertanyaan saya sebelumnya, @Erik P. memberikan ekspresi mana adalah kelebihan kurtosis dari distribusi. Referensi ke entri Wikipedia tentang distribusi varian sampel diberikan, tetapi halaman wikipedia mengatakan "rujukan?"κV a r [ s2] = σ4( 2n - 1+ κn),Var[s2]=σ4(2n−1+κn), \mathrm{Var}[s^2]=\sigma^4 \left(\frac{2}{n-1} + \frac{\kappa}{n}\right) \>, κκ\kappa Pertanyaan utama saya adalah, …

11 estimation  variance  references 

Saya sedang mengerjakan data yang sangat miring, jadi saya menggunakan median alih-alih mean untuk meringkas kecenderungan sentral. Saya ingin memiliki ukuran dispersi. Sementara saya sering melihat orang-orang melaporkan mean standar deviasi±±\pm± ± atau median kuartil±±\pm untuk merangkum kecenderungan sentral, apakah boleh melaporkan median median dispersi absolut (MAD)±±\pm ? Apakah ada …

11 mean  skewness  median  reporting  mad