Statistik dan Big Data

Ini adalah masalah latihan untuk ujian tengah semester. Masalahnya adalah contoh algoritma EM. Saya mengalami masalah dengan bagian (f). Saya membuat daftar bagian (a) - (e) untuk penyelesaian dan jika saya melakukan kesalahan sebelumnya. Misalkan X1,…,XnX1,…,XnX_1,\ldots,X_n menjadi variabel acak eksponensial independen dengan laju θθ\theta . Sayangnya, nilai aktual XXXtidak diamati, …

9 self-study  maximum-likelihood  latent-variable  expectation-maximization 

Ketika (yaitu, Y berasal dari model regresi linier), ε ∼ N ( 0 , σ 2 I )Y= A X+ εY=AX+εY = AX + \varepsilonYYY Dan dalam kasus residu e 1 , ... , e n berkorelasi dan tidak independen. Tetapi ketika kita melakukan diagnosa regresi dan ingin menguji asumsi …

9 regression  residuals  non-independent 

Misalkan saya memiliki dataset titik 2D dan saya ingin mendeteksi arah semua maxima lokal dari varians dalam data, misalnya: PCA tidak membantu dalam situasi ini karena merupakan dekomposisi ortogonal dan oleh karena itu tidak dapat mendeteksi kedua garis yang saya indikasikan dengan warna biru, tetapi outputnya mungkin terlihat seperti yang …

9 pca  dimensionality-reduction 

Saya melihat waktu yang dibutuhkan oleh hakim untuk mencapai keputusan. Setiap hakim menilai sejumlah pelamar dan dapat menyetujui atau tidak menyetujui aplikasi. Kasus ini selesai ketika hakim menyampaikan laporannya, yang mungkin beberapa saat setelah sidang. Sejumlah kasus masih terbuka pada akhir periode penelitian. Saya ingin memperkirakan waktu rata-rata yang diperlukan …

9 survival 

Saya mencari untuk memprediksi kelompok item yang akan dibeli seseorang ... yaitu, saya memiliki beberapa variabel dependen colinear. Daripada membangun 7 atau lebih model independen untuk memprediksi probabilitas seseorang membeli masing-masing dari 7 item, dan kemudian menggabungkan hasilnya, metode apa yang harus saya perhatikan untuk memiliki satu model yang menjelaskan …

9 r  machine-learning  multivariate-analysis 

Saya sedang mengerjakan model biaya prediksi di mana usia pasien (kuantitas bilangan bulat yang diukur dalam tahun) adalah salah satu variabel prediktor. Hubungan nonlinear yang kuat antara usia dan risiko rawat inap jelas: Saya sedang mempertimbangkan penghalusan regresi penghalusan hukuman untuk usia pasien. Menurut The Elements of Statistics Learning (Hastie …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

Maksud saya alasan selain dari kemudahan untuk menyelesaikan analisis dalam satu prosedur.

9 anova 

Jelas keliru untuk menganggap bahwa kegagalan untuk menolak nol menyiratkan bahwa nol itu benar. Tetapi dalam kasus di mana nol tidak ditolak dan interval kepercayaan yang sesuai (CI) sempit dan berpusat di sekitar 0, apakah ini tidak memberikan bukti untuk nol? Saya memiliki dua pemikiran: Ya, dalam praktiknya ini akan …

9 hypothesis-testing  statistical-significance  confidence-interval 

Saya membaca "Kausalitas" Judea Pearl (edisi kedua 2009) dan di bagian 1.1.5 Independensi Bersyarat dan Graphoids, ia menyatakan: Berikut ini adalah daftar (sebagian) properti yang dipenuhi oleh hubungan independensi bersyarat (X_ || _Y | Z). Simetri: (X_ || _ Y | Z) ==> (Y_ || _X | Z). Dekomposisi: (X_ …

9 self-study  bayesian 

Saat ini saya sedang membaca " Program" Probabilistic Programming dan Metode Bayesian untuk Peretas . Saya telah membaca beberapa bab dan saya berpikir pada Bab pertama di mana contoh pertama dengan pymc terdiri dari mendeteksi titik penyihir dalam pesan teks. Dalam contoh itu variabel acak untuk menunjukkan kapan switchpoint terjadi …

9 probability  mcmc  pymc  change-point 

Pendekatan khas untuk memecahkan masalah klasifikasi adalah mengidentifikasi kelas model kandidat, dan kemudian melakukan pemilihan model menggunakan beberapa prosedur seperti validasi silang. Biasanya seseorang memilih model dengan akurasi tertinggi, atau beberapa fungsi terkait yang menyandikan informasi spesifik masalah, seperti .FβFβ\text{F}_\beta Dengan asumsi tujuan akhir adalah untuk menghasilkan classifier yang akurat …

9 machine-learning  model-selection  error  scoring-rules 

Asumsikan pengaturan berikut: Biarkan Zsaya= min { ksaya, Xsaya} , I = 1 , . . . , nZsaya=min{ksaya,Xsaya},saya=1,...,nZ_i = \min\{k_i, X_i\}, i=1,...,n . Juga Xsaya∼ U[ asaya, bsaya] ,Sebuahsaya, bsaya> 0Xsaya∼U[Sebuahsaya,bsaya],Sebuahsaya,bsaya>0X_i \sim U[a_i, b_i], \; a_i, b_i >0 . Selain itu ksaya= c asaya+ ( 1 - c ) …

9 distributions  central-limit-theorem  censoring  minimum 

Dalam presentasi hari ini pembicara membuat klaim di atas. Dia mengatakan bahwa bahkan jika tahap pertama tidak ditentukan, koefisien estimasi tahap kedua akan tetap valid. Sebagai mahasiswa pascasarjana yang rendah saya tidak bisa meminta penjelasan, jadi sekarang saya mohon bantuan Anda!

9 econometrics  2sls 

Saya diberi artikel yang melaporkan penelitian yang sangat mirip dengan yang ingin dijalankan oleh lab saya. Tapi, saya perhatikan bahwa untuk variabel yang diminati, Durasi, SD lebih besar daripada rata-rata ... karena ini adalah durasi yang diukur dalam hitungan menit, itu tidak pernah bisa negatif dan ini tampaknya sangat aneh …

9 standard-deviation  power-analysis 

Dalam komentar untuk jawaban pertanyaan ini , dinyatakan bahwa menggunakan AIC dalam pemilihan model setara dengan menggunakan p-value 0,154. Saya mencobanya di R, di mana saya menggunakan algoritma seleksi subset "terbelakang" untuk membuang variabel dari spesifikasi lengkap. Pertama, dengan secara berurutan membuang variabel dengan nilai-p tertinggi dan berhenti ketika semua …

9 model-selection  p-value  aic