Statistik dan Big Data

Katakanlah saya memiliki beberapa data, dan kemudian saya mencocokkan data dengan model (regresi non-linear). Lalu saya menghitung R-squared ( R2R2R^2 ). Ketika R-squared negatif, apa artinya itu? Apakah itu berarti model saya buruk? Saya tahu kisaran R2R2R^2 bisa [-1,1]. Ketika R2R2R^2 adalah 0, apa artinya itu juga?

17 regression  goodness-of-fit  r-squared  curve-fitting 

Sekelompok orang menjawab satu pertanyaan. Jawabannya bisa "ya" atau "tidak". Peneliti ingin mengetahui apakah usia dikaitkan dengan jenis jawaban. Asosiasi tersebut dinilai dengan melakukan regresi logistik di mana usia adalah variabel penjelas dan jenis jawaban (ya, tidak) adalah variabel dependen. Itu secara terpisah ditangani dengan menghitung usia rata-rata kelompok yang …

17 regression  logistic  t-test 

Grafik asiklik terarah (DAG; misalnya, Greenland, et al, 1999) adalah bagian dari formalisme inferensial kausal dari interpretasi kontrafaktual dari kamp kausalitas. Dalam grafik ini keberadaan panah dari variabel AAA ke variabel BBB menyatakan bahwa variabel AAA secara langsung menyebabkan (beberapa perubahan dalam risiko) variabel BBB , dan tidak adanya panah …

17 interaction  causality  dag 

Beberapa hari yang lalu, seorang psikolog-peneliti saya mengatakan kepada saya tentang metodenya untuk memilih variabel ke model regresi linier. Saya kira itu tidak baik, tetapi saya perlu meminta orang lain untuk memastikan. Metodenya adalah: Lihatlah matriks korelasi antara semua variabel (termasuk Variabel Dependen Y) dan pilih prediktor Xs tersebut, yang …

17 regression  correlation  model-selection 

Saya sedang melakukan studi asosiasi GWAS SNP pada penyakit dengan menggunakan perangkat lunak yang disebut plink ( http://pngu.mgh.harvard.edu/~purcell/plink/download.shtml ). Dengan hasil asosiasi saya mendapatkan nilai p untuk semua SNP yang dianalisis. Sekarang, saya menggunakan plot QQ dari nilai-p untuk menunjukkan apakah nilai-p sangat rendah berbeda dari distribusi yang diharapkan dari …

17 qq-plot 

Berikut ini mirip tetapi berbeda dari posting sebelumnya di sini dan di sini Dengan dua distribusi yang menerima momen dari semua pesanan, jika semua momen dari dua distribusi adalah sama, lalu apakah mereka distribusi yang identik? Dengan dua distribusi yang mengakui fungsi-fungsi pembangkit momen, jika mereka memiliki momen yang sama, …

17 distributions  lognormal  moments  mgf 

Saya tidak terbiasa menggunakan variabel dalam format tanggal dalam R. Saya hanya ingin tahu apakah mungkin untuk menambahkan variabel tanggal sebagai variabel penjelas dalam model regresi linier. Jika memungkinkan, bagaimana kita bisa menafsirkan koefisien? Apakah itu efek satu hari pada variabel hasil? Lihat intisari saya dengan contoh apa yang saya …

17 r  regression  time-series 

Saya mencoba mendapatkan intuisi untuk masing-masing fungsi utama dalam ilmu aktuaria (khusus untuk Cox Proportional Hazards Model). Inilah yang saya miliki sejauh ini: f(x)f(x)f(x) : mulai dari waktu mulai, distribusi probabilitas kapan Anda akan mati. F(x)F(x)F(x) : hanya distribusi kumulatif. Pada waktuTTT , berapa% populasi yang akan mati? S(x)S(x)S(x) :. …

17 probability  survival  hazard 

Saya harap Anda bisa memberi saya beberapa saran. Saya mengajar di kampus yang sangat beragam (terdiri dari kelompok minoritas) dan para siswa kebanyakan adalah jurusan Psikologi. Sebagian besar siswa baru dari sekolah menengah tetapi beberapa dari mereka adalah siswa yang kembali lebih tua di atas 40. Sebagian besar siswa memiliki …

17 references  teaching 

Saya memiliki kerangka data yang berisi dua seri waktu: tanggal dan nomor versi rilis Emacs dan Firefox. Menggunakan satu perintah ggplot2 mudah untuk membuat bagan yang menggunakan loess (dengan cara yang terlihat sedikit lucu, yang saya tidak keberatan) untuk mengubah poin menjadi garis. Bagaimana saya bisa memperluas garis ke masa …

17 prediction  ggplot2 

Saat ini saya sedang dalam proses membuat presentasi poster dan ingin saran (atau referensi untuk saran) tentang beberapa aspek grafik. Sebagai contoh, poster yang saya bicarakan melihat bahan pelengkap untuk artikel ASA Data Expo di Volume 20 Edisi 2 Jurnal Statistik Komputasi dan Grafik (contoh lain ada di sini ( …

17 data-visualization  presentation 

Saya telah menggunakan LDA pada kumpulan dokumen dan menemukan beberapa topik. Output dari kode saya adalah dua matriks yang mengandung probabilitas; satu probabilitas doc-topic dan satu lainnya word-topic. Tapi saya sebenarnya tidak tahu bagaimana menggunakan hasil ini untuk memprediksi topik dokumen baru. Saya menggunakan sampling Gibbs. Adakah yang tahu bagaimana …

17 text-mining  topic-models 

Ada banyak posting blog, video YouTube, dll. Tentang ide mengantongi atau meningkatkan pohon. Pemahaman umum saya adalah bahwa kode pseudo untuk masing-masing adalah: Mengantongi: Ambil N sampel acak x% dari sampel dan y% dari fitur Paskan model Anda (misalnya, pohon keputusan) pada masing-masing N Prediksi dengan setiap N Rata-rata prediksi …

17 cart  boosting  xgboost  bagging 

Saya mencoba memahami bagaimana saya bisa mendapatkan fitur penting dari variabel kategori yang telah dipecah menjadi variabel dummy. Saya menggunakan scikit-learn yang tidak menangani variabel kategorikal untuk Anda seperti R atau h2o. Jika saya memecah variabel kategori menjadi variabel dummy, saya mendapatkan fitur penting terpisah per kelas dalam variabel itu. …

17 categorical-data  random-forest  interpretation  importance 

Saya tidak mengerti apa sebenarnya perbedaan antara prediksi "in-sample" dan "out of sample"? Prakiraan dalam sampel menggunakan subset dari data yang tersedia untuk memperkirakan nilai di luar periode estimasi. Alih-alih perkiraan sampel menggunakan semua data yang tersedia Apakah ini benar ? Secara spesifik, apakah definisi berikut ini benar? Perkiraan sampel …

17 forecasting