Statistik dan Big Data

Saya sering mendengar pengambilan sampel data atas atau bawah yang dibahas sebagai cara berurusan dengan klasifikasi data yang tidak seimbang. Saya mengerti bahwa ini bisa berguna jika Anda bekerja dengan classifier biner (bukan berdasarkan probabilistik atau berbasis skor) dan memperlakukannya sebagai kotak hitam, jadi skema pengambilan sampel adalah satu-satunya cara …

8 classification  roc  unbalanced-classes 

Saya punya pertanyaan tentang campuran prior konjugat. Saya belajar dan mengatakan campuran beberapa konjugasi beberapa kali ketika saya belajar bayesian. Saya bertanya-tanya mengapa teorema ini sangat penting, bagaimana kita akan menerapkannya ketika kita melakukan analisis Bayesian. Untuk lebih spesifik, satu teorema dari Diaconis dan Ylivisaker 1985 mengilustrasikan teorema sebagai berikut: …

8 bayesian  conditional-probability  hierarchical-bayesian  conjugate-prior  exponential-family 

Saya mencoba memperkirakan kesenjangan upah gender untuk pekerja kantoran pria dan wanita di sebuah perusahaan besar Swedia untuk menguji apakah ada diskriminasi gender. Tes Hausman menolak nol bahwa efek tetap individu adalah acak dan karena itu saya tidak dapat mengandalkan OLS gabungan atau efek acak. Masalahnya adalah bahwa saya tidak …

8 econometrics  panel-data  random-effects-model  fixed-effects-model  hausman 

Diberikan dua set data bilangan real positif X dan Y, keduanya dengan ukuran yang sama, dan 0 <= Y <= X untuk setiap baris; dapatkah CDF empiris X pernah melewati CDF empiris Y?

8 distributions  cdf 

Saya sedang memeriksa tren (antara 1998 dan 2011) dalam tingkat kematian di antara pasien dengan penyakit Crohn. Setiap pasien (kasus) telah dimasukkan selama tahun 1998 hingga 2011. Pada saat inklusi, setiap pasien telah dicocokkan dengan kontrol yang sehat dengan usia dan jenis kelamin yang sama. Saya menganalisis tren tingkat kematian. …

8 regression  multiple-regression  survival  poisson-regression 

Dalam kondisi apa analisis komponen utama (PCA) dan analisis faktor (FA) diharapkan menghasilkan hasil yang serupa?

8 pca  factor-analysis 

Saya ingin menentukan model regresi logistik di mana saya memiliki hubungan berikut: E[Yi|Xi]=f(βxi1+β2xi2)E[Yi|Xi]=f(βxi1+β2xi2)E[Y_i|X_i] = f(\beta x_{i1} + \beta^2x_{i2}) dimana fff adalah fungsi invit logit. Apakah ada cara "cepat" untuk melakukan ini dengan fungsi R yang sudah ada atau apakah ada nama untuk model seperti ini? Saya menyadari bahwa saya dapat …

8 r  logistic  generalized-linear-model  nonlinear-regression 

Biasanya dikatakan bahwa prior pada statistik bayesian dapat dianggap sebagai faktor regularisasi karena mereka menghukum solusi di mana sebelumnya menempatkan kepadatan probabilitas rendah. Kemudian, diberikan model sederhana ini yang parameter MLE-nya adalah: argmaxμ N(y;μ,σ)argmaxμ N(y;μ,σ) argmax_{\mu} \text{ } \mathcal{N}(y; \mu, \sigma) dan saya menambahkan sebelumnya: parameternya bukan parameter MLE tetapi …

8 bayesian  regularization  frequentist  philosophical 

Saya memiliki banyak uraian tugas yang dimasukkan oleh pengguna. Ada semua jenis salah eja dan data buruk. yaitu: ... tulane univ hospital tulip tullett prebon ... weik investment weill cornell university medical center weis weiss waldee hohimer dds welded constrction l.p. welder welder welder ... Langkah apa yang akan Anda …

8 classification  categorical-data  text-mining 

Saya relatif baru dalam statistik Bayesian jadi harap bersikap lembut. Saya baru saja melakukan Perkiraan Bayesian Computation (ABC) untuk inferensi model multi-parameter. Sekarang saya mencari untuk melakukan pemeriksaan prediktif posterior pada parameter yang telah disimpulkan. Apa yang ingin saya ketahui adalah bahwa, ketika pengambilan sampel dari posterior untuk menghasilkan statistik …

8 bayesian  posterior  abc 

Dalam buku mereka "Analisis Multilevel: Pengantar Pemodelan Multilevel Dasar dan Lanjutan" (1999), Snijders & Bosker (bab 8, bagian 8.2, halaman 119) mengatakan bahwa korelasi intersep-slope, dihitung sebagai kovarians intersep-slope yang dibagi oleh akar kuadrat dari produk intercept variance dan slope variance, tidak dibatasi antara -1 dan +1 dan bahkan bisa …

8 mixed-model  stata  multilevel-analysis 

Saya mencari ukuran yang sesuai dari "varians yang dijelaskan" dari Poisson GLM (menggunakan fungsi log-link). Saya telah menemukan sejumlah sumber daya yang berbeda (baik di situs ini dan di tempat lain) yang membahas sejumlah pseudo- berbedaR2R2R^2 tindakan, tetapi hampir setiap situs menyebutkan langkah-langkah dalam kaitannya dengan fungsi link-logit, dan mereka …

8 generalized-linear-model  poisson-distribution  r-squared 

Seseorang diberikan tiga item, katakan gambar wajah, dan diminta untuk memilih mana dua dari tiga wajah yang paling mirip. Ini diulangi berkali-kali dengan kombinasi wajah yang berbeda, di mana setiap wajah dapat terjadi dalam banyak kombinasi. Dengan data seperti ini, saya ingin memodelkan / memperkirakan perbedaan / kesamaan antara wajah …

8 modeling  dimensionality-reduction  psychometrics  similarities 

Saat ini saya memodelkan beberapa data menggunakan regresi logistik biner. Variabel dependen memiliki jumlah kasus positif dan negatif yang baik - tidak jarang. Saya juga memiliki satu set pelatihan besar (> 100.000) dan jumlah efek utama yang saya minati sekitar 15 jadi saya tidak khawatir tentang masalah p> n. Yang …

8 regression  logistic  predictor  sparse 

Hubungan antara distribusi normal normal dan distribusi kuadrat diketahui. Saya bertanya-tanya, apakah ada transformasi yang dapat mengarah dari kembali ke distribusi normal standar?χ2( 1 )χ2(1)\chi^2 (1) Dapat dengan mudah dilihat bahwa transformasi akar kuadrat tidak berfungsi karena jangkauannya hanya angka positif. Saya percaya distribusi yang dihasilkan disebut normal terlipat . …

8 probability  normal-distribution  mathematical-statistics  chi-squared  data-transformation