Statistik dan Big Data

Latar belakang: Ada beberapa pertanyaan / jawaban yang bagus di sini tentang cara mengkalibrasi model yang memprediksi probabilitas hasil yang terjadi. Sebagai contoh Skor Brier , dan penguraiannya menjadi resolusi, ketidakpastian dan keandalan . Plot kalibrasi dan regresi isotonik . Metode-metode ini sering memerlukan penggunaan metode binning pada probabilitas yang …

12 probability  predictive-models  binary-data  calibration  scoring-rules 

Dalam memodelkan data jumlah klaim di lingkungan asuransi, saya mulai dengan Poisson tetapi kemudian melihat penyebaran berlebihan. Quasi-Poisson lebih baik memodelkan hubungan mean-variance yang lebih besar daripada Poisson dasar, tetapi saya perhatikan bahwa koefisien identik dalam model Poisson dan Quasi-Poisson. Jika ini bukan kesalahan, mengapa ini terjadi? Apa manfaat menggunakan …

12 r  count-data  poisson-regression  overdispersion  quasi-likelihood 

Saya belajar regresi linier menggunakan Pengantar Analisis Regresi Linier oleh Montgomery, Peck, dan Vining . Saya ingin memilih proyek analisis data. Saya memiliki pemikiran naif bahwa regresi linier hanya cocok ketika seseorang menduga ada hubungan fungsional linier antara variabel penjelas dan variabel respons. Tetapi tidak banyak aplikasi dunia nyata yang …

12 regression  data-transformation  model  linear  regression-strategies 

Saya menguji persamaan cara menggunakan uji-t Welch. Distribusi yang mendasarinya jauh dari normal (lebih condong daripada contoh dalam diskusi terkait di sini ). Saya dapat memperoleh lebih banyak data tetapi ingin beberapa cara berprinsip untuk menentukan sejauh mana melakukannya. Apakah ada heuristik yang baik untuk membuat penilaian bahwa distribusi sampel …

12 normal-distribution  t-test  bootstrap  central-limit-theorem  approximation 

Saya ingin menjalankan regresi logistik ordinal dengan Python - untuk variabel respons dengan tiga level dan dengan beberapa faktor penjelas. The statsmodelspaket mendukung logit biner dan model multinomial logit (MNLogit), tapi tidak memerintahkan logit. Karena matematika yang mendasarinya tidak jauh berbeda, saya ingin tahu apakah matematika dapat diimplementasikan dengan mudah …

12 categorical-data  python  logit  ordered-logit  statsmodels 

Saya merujuk pada pertanyaan dan jawabannya: Bagaimana cara membandingkan (kemungkinan) kemampuan prediksi model yang dikembangkan dari regresi logistik? oleh @Clark Chong dan jawaban / komentar oleh @ Frank Harrell. dan untuk pertanyaan Derajat kebebasan dalam tes Hosmer-Lemeshowχ2χ2\chi^2 dan komentar-komentarnya. Saya telah membaca makalah DW Hosmer, T. Hosmer, S. Le Cessie, …

12 hypothesis-testing  logistic  predictive-models  regression-strategies  hosmer-lemeshow-test 

Seperti yang dinyatakan dalam judul, katakan jika saya menggambar secara acak 4 kartu dan Anda menggambar 6 dari kartu yang sama, berapa probabilitas kartu tertinggi saya mengalahkan kartu tertinggi Anda? Bagaimana ini akan berubah jika kita menggambar dari deck yang berbeda? Terima kasih!

12 probability  maximum 

Misalkan saya memiliki panel variabel penjelas , untuk , , serta vektor variabel dependen hasil biner . Jadi hanya diamati pada waktu akhir dan tidak pada waktu sebelumnya. Kasus yang sepenuhnya umum adalah memiliki beberapa untuk untuk setiap unit pada setiap waktu , tetapi mari kita fokus pada kasus untuk …

12 regression  machine-learning  reinforcement-learning 

Katakanlah saya menggunakan RNN / LSTM untuk melakukan analisis sentimen, yang merupakan pendekatan banyak-ke-satu (lihat blog ini ). Jaringan dilatih melalui backpropagation terpotong terpotong (BPTT), di mana jaringan dibuka untuk hanya 30 langkah terakhir seperti biasa. Dalam kasus saya, masing-masing bagian teks yang ingin saya klasifikasikan jauh lebih panjang daripada …

12 neural-networks  deep-learning  natural-language  backpropagation 

Saya sedang mempelajari bagaimana membangun interval kepercayaan 95% untuk rasio odds dari koefisien yang diperoleh dalam regresi logistik. Jadi, mengingat model regresi logistik, log(p1−p)=α+βxlog⁡(p1−p)=α+βx \log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE} sedemikian rupa sehingga x=0x=0x = 0 untuk kelompok kontrol dan x=1x=1x = 1 untuk …

12 logistic  confidence-interval  odds-ratio  delta-method 

Saya baru mengenal pembelajaran mesin, jadi saya mencoba mencari beberapa literatur tetapi saya bahkan tidak yakin apa gunanya Google. Data saya adalah dari formulir berikut: User A performs Action P User B performs Action Q User C performs Action R ... User C performs Action X User A performs Action …

12 machine-learning  cross-correlation 

Ketika saya menemukan pembelajaran mesin, saya melihat berbagai teknik menarik seperti: secara otomatis menyesuaikan algoritma dengan teknik seperti grid search, mendapatkan hasil yang lebih akurat melalui kombinasi berbagai algoritma dari "tipe" yang sama, yaitu boosting, mendapatkan hasil yang lebih akurat melalui kombinasi algoritma yang berbeda (tetapi bukan jenis algoritma yang …

12 machine-learning  algorithms  boosting  stacking  automatic-algorithms 

Seorang wanita tempat saya bekerja meminta saya untuk melakukan ANOVA satu arah pada beberapa data. Saya menjawab bahwa data tersebut adalah data pengukuran berulang (time series), dan saya pikir asumsi independensi dilanggar. Dia menjawab bahwa saya tidak perlu khawatir tentang asumsi, lakukan saja tes dan dia akan mempertimbangkan bahwa asumsi …

12 assumptions 

Selain kegunaan, apakah ada pembenaran epistemik (matematika, filosofis, heuristik, dll) untuk menggunakan prior konjugat? Atau sebagian besar hanya karena biasanya pendekatan yang cukup baik dan membuat banyak hal lebih mudah?

12 bayesian  conjugate-prior  philosophical 

Saya ingin tahu cara mengubah nilai negatif Log(), karena saya memiliki data heteroskedastik. Saya membaca bahwa itu bekerja dengan rumus Log(x+1)tetapi ini tidak bekerja dengan database saya dan saya terus mendapatkan NaNs sebagai hasilnya. Misalnya saya mendapatkan pesan Peringatan ini (saya tidak memasukkan database lengkap saya karena saya pikir dengan …

12 r  logarithm