Statistik dan Big Data

Kadang-kadang saya melihat buku teks merujuk pada parameter kedua dalam distribusi normal sebagai standar deviasi dan varians. Misalnya, variabel acak X ~ N (0, 4). Tidak jelas apakah sigma atau sigma kuadrat sama dengan 4. Saya hanya ingin mengetahui konvensi umum yang digunakan ketika standar deviasi atau varians tidak ditentukan.

16 distributions  normal-distribution 

Aturan penilaian yang tepat adalah aturan yang dimaksimalkan oleh model 'benar' dan itu tidak memungkinkan 'lindung nilai' atau bermain game sistem (sengaja melaporkan hasil yang berbeda seperti keyakinan sejati model untuk meningkatkan skor). Skor penghalang adalah tepat, akurasi (proporsi diklasifikasikan dengan benar) tidak tepat dan sering tidak dianjurkan. Terkadang saya …

16 classification  references  roc  measurement-error  scoring-rules 

Dalam pekerjaan saya, ketika individu merujuk pada nilai "rata-rata" dari suatu kumpulan data, mereka biasanya merujuk pada rata-rata aritmatika (yaitu "rata-rata", atau "nilai yang diharapkan"). Jika saya memberikan rata- rata geometris , orang-orang akan cenderung berpikir saya sinis atau tidak bermanfaat, karena definisi "rata-rata" sudah diketahui sebelumnya. Saya mencoba menentukan …

16 median  definition 

Biarkan dan menjadi variabel acak kontinu independen yang dihasilkan dari bentuk distribusi yang tidak ditentukan yang sama tetapi dengan penyisihan untuk nilai parameter yang berbeda. Saya tertarik untuk menemukan bentuk distribusi parametrik yang memiliki probabilitas pengambilan sampel berikut untuk semua nilai parameter yang diijinkan:X∼Dist(θX)X∼Dist(θX)X \sim \text{Dist}(\theta_X)Y∼Dist(θY)Y∼Dist(θY)Y \sim \text{Dist}(\theta_Y) P(X>Y|θX,θY)=θ2Xθ2X+θ2Y.P(X>Y|θX,θY)=θX2θX2+θY2.\mathbb{P}(X > …

16 probability  distributions 

Dengan tiga vektor aaa , bbb , dan ccc , mungkinkah korelasi antara aaa dan bbb , aaa dan ccc , dan bbb dan ccc semuanya negatif? Yaitu apakah ini mungkin? corr(a,b)&lt;0corr(a,c)&lt;0corr(b,c)&lt;0corr(a,b)&lt;0corr(a,c)&lt;0corr(b,c)&lt;0\begin{align} \text{corr}(a,b) < 0\\ \text{corr}(a,c) < 0 \\ \text{corr}(b,c) < 0\\ \end{align}

16 correlation  correlation-matrix 

Pertanyaan ini terinspirasi oleh dua interaksi terakhir yang saya miliki, satu di sini di CV , yang lain di economics.se. Di sana, saya telah mengirimkan jawaban ke terkenal "Envelope Paradox" (pikiran Anda, bukan sebagai yang "jawaban yang benar" tetapi sebagai jawaban mengalir dari asumsi tertentu tentang struktur situasi). Setelah beberapa …

16 bayesian  mathematical-statistics  prior  theory  philosophical 

Saya baru saja menemukan "kriteria informasi Akaike", dan saya melihat sejumlah besar literatur tentang pemilihan model (juga hal-hal seperti BIC tampaknya ada). Mengapa metode pembelajaran mesin kontemporer tidak memanfaatkan kriteria pemilihan model BIC dan AIC ini?

16 machine-learning  model-selection  aic  bic 

Apa derivasi pertama dari distribusi normal, dapatkah Anda mereproduksi derivasi itu dan juga menjelaskannya dalam konteks historisnya ? Maksud saya, jika manusia lupa tentang distribusi normal, apa cara yang paling mungkin saya temukan kembali dan apa derivasi yang paling mungkin? Saya kira derivasi pertama pasti datang sebagai produk sampingan dari …

16 probability  distributions  normal-distribution  references  history 

Saya mencoba menggunakan kuadrat kerugian untuk melakukan klasifikasi biner pada kumpulan data mainan. Saya menggunakan mtcarskumpulan data, menggunakan mil per galon dan berat untuk memprediksi jenis transmisi. Plot di bawah ini menunjukkan dua jenis data tipe transmisi dalam warna berbeda, dan batas keputusan dihasilkan oleh fungsi kerugian yang berbeda. Kerugian …

16 r  machine-learning  logistic  optimization  loss-functions 

Rumus model dalam R seperti y ~ x + a*b + c:d didasarkan pada apa yang disebut notasi Wilkinson : Wilkinson dan Rogers 1973, Deskripsi Simbolik Model Faktorial untuk Analisis Varians . Makalah ini tidak membahas notasi untuk model campuran (yang mungkin belum ada saat itu). Jadi di mana formula …

16 r  mixed-model  lme4-nlme  notation  history 

Sampel populasi acak disurvei. Mereka ditanya apakah mereka makan diet vegetarian. Jika mereka menjawab ya, mereka juga diminta untuk menentukan berapa lama mereka telah makan diet vegetarian tanpa gangguan. Saya ingin menggunakan data ini untuk menghitung panjang rata-rata kepatuhan pada vegetarian. Dengan kata lain, ketika seseorang menjadi vegetarian, saya ingin …

16 survival  mean  missing-data  survey  weighted-mean 

Sementara hasil dari set tes pribadi tidak dapat digunakan untuk memperbaiki model lebih lanjut, bukankah pemilihan model dari sejumlah besar model yang dilakukan berdasarkan hasil set tes pribadi? Tidakkah Anda, melalui proses itu sendiri, berakhir overfitting ke set tes pribadi? Menurut "Pseudo-Matematika dan Charlatanisme Keuangan: Pengaruh Overtest Overfitting pada Out-of-Sample …

16 model-selection  overfitting  out-of-sample 

Pertimbangkan variabel acak gamma . Ada rumus rapi untuk mean, varians, dan skewness:X∼Γ(α,θ)X∼Γ(α,θ)X\sim\Gamma(\alpha, \theta) E[X]Var[X]Skewness[X]=αθ=αθ2=1/α⋅E[X]2=2/α−−√E[X]=αθVar⁡[X]=αθ2=1/α⋅E[X]2Skewness⁡[X]=2/α\begin{align} \mathbb E[X]&=\alpha\theta\\ \operatorname{Var}[X]&=\alpha\theta^2=1/\alpha\cdot\mathbb E[X]^2\\ \operatorname{Skewness}[X]&=2/\sqrt{\alpha} \end{align} Pertimbangkan sekarang variabel acak log-transformed . Wikipedia memberikan rumus untuk mean dan varians:Y=log(X)Y=log⁡(X)Y=\log(X) E[Y]Var[Y]=ψ(α)+log(θ)=ψ1(α)E[Y]=ψ(α)+log⁡(θ)Var⁡[Y]=ψ1(α)\begin{align} \mathbb E[Y]&=\psi(\alpha)+\log(\theta)\\ \operatorname{Var}[Y]&=\psi_1(\alpha)\\ \end{align} melalui fungsi digamma dan trigamma yang didefinisikan sebagai turunan pertama dan …

16 gamma-distribution  skewness  logarithm 

Saya mencoba untuk lebih memahami kehilangan log dan bagaimana cara kerjanya tetapi satu hal yang sepertinya tidak bisa saya temukan adalah memasukkan nomor kehilangan log ke dalam semacam konteks. Jika model saya memiliki kehilangan log 0,5, apakah itu bagus? Apa yang dianggap sebagai skor baik dan buruk? Bagaimana ambang batas …

16 machine-learning  loss-functions  log-loss 

Saya sedang membaca sebuah artikel dan saya melihat kalimat berikut: Untuk martingale yang diberikan, jika memiliki batas atas atau bawah, maka martingale harus menyatu (as). Karena kemungkinannya selalu non-negatif, 0 adalah batas bawah. Apa artinya "sebagai" berdiri? Apakah ini penggunaan umum? Dugaan saya adalah "tanpa gejala" tetapi saya ingin memverifikasi.

16 abbreviation