Statistik dan Big Data

Mengumpulkan metrik tentang objeknnnkkk Misalkan saya mengumpulkan metrik tentang objek . Saya mencari cara yang valid untuk membandingkan objek sehingga mereka dapat "diperingkat". Saya pikir ini mungkin tanah yang terinjak dengan baik (statistik olahraga seperti total quarterback rating dll) tetapi saya tidak terbiasa dengan bidang ini.nnnkkkkkk Saya ingin menjawab pertanyaan …

14 references  descriptive-statistics  ranking  valuation 

Dalam Kahneman dan Deaton (2010) , penulis menulis yang berikut:††^\dagger Regresi ini menjelaskan 37% dari varians, dengan root mean square error (RMSE) dari 0,67852. Untuk menghilangkan pencilan dan laporan pendapatan yang tidak masuk akal, kami menjatuhkan pengamatan di mana nilai absolut dari perbedaan antara pendapatan kayu dan prediksi melebihi 2,5 …

13 regression  outliers 

Jelas ada banyak cara untuk menyalahgunakan metode statistik. Apakah Anda mengetahui contoh praktik statistik buruk yang pertama kali dipublikasikan sebagai saran eksplisit (misalnya, "Anda harus menggunakan metode ini untuk ..."), dalam jurnal akademis terkemuka yang kemudian dikutip berulang kali? Contohnya mungkin 10 peristiwa per aturan prediktor yang sering digunakan untuk …

13 references  statistical-falsehoods 

Diberikan set data dengan hasil biner y∈{0,1}ny∈{0,1}ny\in\{0,1\}^n dan beberapa matriks prediktor X∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p} , model regresi logistik standar memperkirakan koefisien βMLEβMLE\beta_{MLE} yang memaksimalkan kemungkinan binomial. Ketika XXX adalah peringkat penuh βMLEβMLE\beta_{MLE} adalah unik; ketika pemisahan sempurna tidak ada, itu terbatas. Apakah model kemungkinan maksimum ini juga memaksimalkan ROC AUC (alias …

13 logistic  maximum-likelihood  auc 

Apakah valid untuk menggunakan panjang rata-rata ( hhh ) dan berat rata-rata ( www )) dari populasi tertentu untuk menghitung rata-rata Indeks Massa Tubuh ( B M.saya= wh2BM.saya=wh2BMI = \frac{w}{h^2} ) untuk populasi itu?

13 mean  sample  population 

Kelas yang diprediksi dari regresi logistik (biner) ditentukan dengan menggunakan ambang pada probabilitas keanggotaan kelas yang dihasilkan oleh model. Seperti yang saya pahami, biasanya 0,5 digunakan secara default. Tetapi memvariasikan ambang akan mengubah klasifikasi yang diprediksi. Apakah ini berarti ambangnya adalah hiperparameter? Jika demikian, mengapa (misalnya) tidak mungkin untuk dengan …

13 machine-learning  logistic  scikit-learn  hyperparameter 

Biasanya dalam regresi logistik, kami cocok dengan model dan mendapatkan beberapa prediksi pada set pelatihan. Kami kemudian melakukan validasi silang pada prediksi pelatihan tersebut (seperti di sini ) dan memutuskan nilai ambang batas optimal berdasarkan pada sesuatu seperti kurva ROC. Mengapa kita tidak memasukkan validasi silang dari ambang ke dalam …

13 logistic  cross-validation  optimization  roc  threshold 

Ini semacam pemikiran aneh yang saya miliki ketika meninjau beberapa statistik lama dan untuk beberapa alasan saya sepertinya tidak bisa memikirkan jawabannya. PDF kontinu memberi tahu kita kepadatan nilai pengamatan dalam rentang tertentu. Yaitu, jika X∼N(μ,σ2)X∼N(μ,σ2)X \sim N(\mu,\sigma^2) , misalnya, maka probabilitas bahwa realisasi jatuh antara aaa dan bbb hanyalah …

13 normal-distribution  maximum-likelihood  pdf 

Saat ini saya sedang mengerjakan masalah di mana kami memiliki dataset kecil dan tertarik pada efek kausalitas dari perawatan pada hasilnya. Penasihat saya telah menginstruksikan saya untuk melakukan regresi univariat pada setiap prediktor dengan hasilnya sebagai respons, kemudian tugas pengobatan sebagai respons. Yaitu, saya diminta untuk menyesuaikan regresi dengan satu …

13 regression  multivariate-analysis  model-selection  causality  univariate 

Saya telah mengirimkan survei ke sampel artis. Salah satu pertanyaannya adalah untuk menunjukkan persentase pendapatan yang diperoleh dari: aktivitas artistik, dukungan pemerintah, pensiun swasta, aktivitas yang tidak terkait dengan seni. Sekitar 65% dari individu telah menjawab sedemikian sehingga jumlah persentasenya adalah 100. Yang lain tidak: misalnya, ada yang menjawab bahwa …

13 survey  bias 

Regresi yyy pada xxx tidak perlu kausal jika ada variabel yang dihilangkan yang mempengaruhi xxx dan yyy . Tetapi jika tidak untuk variabel yang dihilangkan dan kesalahan pengukuran, apakah kausalitas regresi? Artinya, jika setiap variabel yang mungkin dimasukkan dalam regresi?

13 regression  bias  causality 

Saya sudah mencoba mempelajari distribusi mana yang akan digunakan dalam GLM, dan saya agak bingung kapan harus menggunakan distribusi normal. Di salah satu bagian dari buku teks saya, dikatakan bahwa distribusi normal bisa baik untuk pemodelan nilai ujian. Pada bagian selanjutnya, ia menanyakan distribusi apa yang sesuai untuk memodelkan klaim …

13 normal-distribution  generalized-linear-model  gamma-distribution  inverse-gaussian-distrib 

Saya telah memperhatikan bahwa dalam banyak aplikasi praktis, metode berbasis MCMC digunakan untuk memperkirakan suatu parameter meskipun posterior bersifat analitis (misalnya karena prior adalah konjugat). Bagi saya, lebih masuk akal untuk menggunakan penaksir MAP daripada penaksir berbasis MCMC. Adakah yang bisa menunjukkan mengapa MCMC masih merupakan metode yang tepat di …

13 bayesian  mcmc  posterior 

Saya membaca tentang pemilihan subset terbaik dalam Elemen buku pembelajaran statistik. Jika saya memiliki 3 prediktor , saya membuat 2 3 = 8x1,x2,x3x1,x2,x3x_1,x_2,x_323=823=82^3=8 himpunan bagian: Subset tanpa prediktor himpunan bagian dengan prediktor x1x1x_1 himpunan bagian dengan prediktor x2x2x_2 bagian dengan prediktor x3x3x_3 himpunan bagian dengan prediktor x1,x2x1,x2x_1,x_2 himpunan bagian dengan …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

Saya pikir ini agak mendasar, tetapi katakan saya memiliki variabel acak , adalah probabilitas sama dengan untuk setiap fungsi kontinu bernilai nyata ?P ( X ≤ a ) P ( f ( X ) ≤ f ( a ) ) fXXXP(X≤a)P(X≤a)P(X \leq a)P(f(X)≤f(a))P(f(X)≤f(a))P(f(X) \leq f(a))fff

13 probability  distributions