Statistik dan Big Data

Bagaimana seharusnya seseorang mengubah hasil yang sering menjadi Bayesian prior? Pertimbangkan skenario umum yang cukup umum: Eksperimen dilakukan di masa lalu dan hasilnya pada beberapa parameter diukur. Analisis dilakukan dengan metodologi frequentist. Interval kepercayaan untuk diberikan dalam hasil.ϕϕ\phiϕϕ\phi Saya sekarang sedang melakukan beberapa percobaan baru di mana saya ingin mengukur …

13 bayesian  confidence-interval  meta-analysis  prior 

Sejauh yang saya tahu, perbedaan antara model logistik dan model respons fraksional (frm) adalah bahwa variabel dependen (Y) di mana frm adalah [0,1], tetapi logistik adalah {0, 1}. Selanjutnya, frm menggunakan estimator kuasi-kemungkinan untuk menentukan parameternya. Biasanya, kita dapat menggunakan glmmodel logistik untuk mendapatkan glm(y ~ x1+x2, data = dat, …

13 r  logistic  generalized-linear-model  quasi-likelihood 

Jadi, saya memiliki proses menghasilkan random log-terdistribusi normal variabel acak XXX . Berikut adalah fungsi kepadatan probabilitas yang sesuai: Saya ingin memperkirakan distribusi beberapa saat dari distribusi asli itu, katakanlah momen pertama: rata-rata aritmatika. Untuk melakukannya, saya menggambar 100 variabel acak 10.000 kali sehingga saya bisa menghitung 10.000 perkiraan rata-rata …

13 estimation  bias  fitting  lognormal  moments 

Saya keprihatinan pertanyaan prior pada efek ukuran, dalam proyek saya mengukur adalah Cohen . Melalui membaca literatur, tampaknya prior yang samar sering digunakan, seperti dalam delapan sekolah yang terkenal contoh meta-analisis Bayesian hirarkis. Dalam contoh delapan sekolah, saya telah melihat samar-samar yang sebelumnya digunakan untuk estimasi mu, seperti μ θ …

13 bayesian  meta-analysis  effect-size 

Saya memodelkan 15.000 tweet untuk prediksi sentimen menggunakan LSTM lapisan tunggal dengan 128 unit tersembunyi menggunakan representasi seperti word2vec dengan 80 dimensi. Saya mendapatkan akurasi keturunan (38% dengan acak = 20%) setelah 1 zaman. Lebih banyak pelatihan membuat akurasi validasi mulai menurun ketika akurasi pelatihan mulai naik - tanda yang …

13 deep-learning  regularization  overfitting  lstm 

Histogram memberikan pengertian yang baik tentang distribusi suatu variabel. Namun, plot kotak berupaya melakukan hal yang sama, jangan memberikan gambaran distribusi variabel ini sebaik mungkin. Saya tidak mengerti mengapa orang menggunakan plot kotak. Histogram lebih baik dalam segala hal. Apakah ada alasan saya akan menggunakan keduanya? Satu-satunya hal yang saya …

13 data-visualization  histogram  boxplot 

Katakanlah saya ingin menguji apakah dua sampel independen memiliki cara yang berbeda. Saya tahu distribusi yang mendasarinya tidak normal . Jika saya mengerti dengan benar, statistik pengujian saya adalah rata - rata , dan untuk ukuran sampel yang cukup besar, rata-rata harus didistribusikan secara normal bahkan jika sampel tidak. Jadi …

13 t-test  central-limit-theorem  z-test 

Saya tahu bahwa model statistik tradisional seperti regresi Cox Proportional Hazards & beberapa model Kaplan-Meier dapat digunakan untuk memprediksi hari sampai kejadian berikutnya dari suatu peristiwa katakanlah kegagalan dll. Yaitu analisis survival Pertanyaan Bagaimana versi regresi model pembelajaran mesin seperti GBM, jaringan saraf dll dapat digunakan untuk memprediksi hari sampai …

13 machine-learning  classification  survival  cox-model  kaplan-meier 

Sambil membaca dengan santai beberapa karya pasar massal tentang teori chaos selama beberapa tahun terakhir, saya mulai bertanya-tanya bagaimana berbagai aspeknya dapat diterapkan pada data mining dan bidang terkait, seperti jaring saraf, pengenalan pola, manajemen ketidakpastian, dll. Sampai saat ini, saya Saya telah menemukan begitu sedikit contoh aplikasi seperti itu …

13 self-study  mathematical-statistics  references  data-mining  fractal 

Richard Dawkins menggambarkan Ronald Fisher sebagai "bapak statistik modern dan desain eksperimental", sebuah baris yang dikutip dalam biografi Wikipedia Fisher . Dan juga Anders Hald memanggilnya "seorang genius yang hampir sendirian menciptakan dasar bagi ilmu statistik modern" dalam bukunya A History of Mathematical Statistics . Saya hanya ingin tahu apa …

13 history  ronald-fisher 

Ketika kami menilai kualitas Hutan Acak, misalnya menggunakan AUC, apakah lebih tepat untuk menghitung jumlah ini di atas Sampel Luar Tas atau lebih dari seperangkat validasi silang tahan? Saya mendengar bahwa menghitungnya melalui Sampel OOB memberikan penilaian yang lebih pesimistis, tetapi saya tidak mengerti mengapa.

13 cross-validation  random-forest  auc 

Saya mencoba untuk mendapatkan kepala saya di sekitar bukti berikut bahwa Gaussian memiliki entropi maksimum. Bagaimana langkah berbintang itu masuk akal? Sebuah kovarians khusus hanya memperbaiki momen kedua. Apa yang terjadi pada momen ketiga, keempat, kelima dll?

13 entropy  information-theory  maximum-entropy 

Dalam bagian 3.2 dari Pengenalan Pola Uskup dan Pembelajaran Mesin , dia membahas dekomposisi bias-varians, yang menyatakan bahwa untuk fungsi kerugian kuadrat, kerugian yang diharapkan dapat didekomposisi menjadi istilah bias kuadrat (yang menggambarkan seberapa jauh rata-rata prediksi dari yang benar. model), istilah varians (yang menggambarkan penyebaran prediksi di sekitar rata-rata), …

13 self-study  variance  bias  regularization  loss-functions 

Saya telah membaca tentang apa itu sensor dan bagaimana hal itu perlu diperhitungkan dalam analisis kelangsungan hidup tetapi saya ingin mendengar definisi yang kurang matematis tentang itu dan definisi yang lebih intuitif (gambar akan lebih bagus!). Adakah yang bisa memberi saya penjelasan tentang 1) penyensoran dan 2) bagaimana pengaruhnya terhadap …

13 survival  cox-model  censoring 

Saya memiliki kumpulan data kecil 14 kali terpisah untuk menyelesaikan tugas. Namun saya mengalami kesulitan menemukan grafik yang sesuai untuk digunakan untuk membuat grafik data. Jika sampel lebih besar saya akan menggunakan plot kotak atau histogram tetapi saya tidak yakin apakah itu akan sesuai untuk digunakan dalam kasus ini ketika …

13 data-visualization  descriptive-statistics  small-sample