Statistik dan Big Data

Saya selalu berjuang untuk mendapatkan esensi identifikasi sejati dalam ekonometrik. Saya tahu bahwa kami menyatakan bahwa parameter (katakanlahθ^θ^\hat{\theta}) dapat diidentifikasi jika hanya dengan melihat distribusi (bersama) kita dapat menyimpulkan nilai parameter. Dalam kasus sederhanay=b1X+uy=b1X+uy=b_1X+udimana E[u]=0,E[u|x]=0E[u]=0,E[u|x]=0E[u]=0,E[u|x]=0 kita bisa nyatakan itu b1b1b_1 diidentifikasi jika kita tahu variansnya Var(b^)>0Var(b^)>0Var(\hat{b})>0. Tetapi bagaimana jikaE[u|X]=aE[u|X]=aE[u|X]=a dimana …

8 estimation  identifiability 

Apakah mungkin untuk menafsirkan koefisien dari regresi kuantil pada data terstandarisasi? Misalkan saya membakukan variabel dependen dan variabel independen (kurangi mean dan bagi dengan deviasi standar) dan kemudian jalankan regresi kuantil untuk median sepertiyyyxxx qreg y x, q(0.5) di stata. Koefisien estimasi untuk variabel independen adalah . Apakah interpretasi berikut …

8 regression  stata  quantiles 

Pembaruan : Karena saya sekarang tahu bahwa masalah saya disebut pemisahan semu-lengkap, saya memperbarui pertanyaan untuk mencerminkan hal ini (terima kasih kepada Aaron). Saya memiliki dataset dari percobaan di mana 29 peserta manusia (faktor code) bekerja pada satu set uji coba dan responseitu adalah 1 atau 0. Selain itu, kami …

8 r  logistic  standard-error  lme4-nlme  separation 

Saya memiliki masalah regresi berganda, yang saya coba selesaikan menggunakan regresi berganda sederhana: model1 <- lm(Y ~ X1 + X2 + X3 + X4 + X5, data=data) Ini sepertinya menjelaskan 85% varian (menurut R-squared) yang tampaknya cukup bagus. Namun yang membuat saya khawatir adalah plot aneh yang tampak Residual vs …

8 r  regression  multiple-regression 

Membiarkan U⊂RnU⊂RnU \subset \mathbb{R}^n menjadi ruang vektor dengan redup( U) = ddim⁡(U)=d\dim(U)=d. Distribusi normal standar aktifUUU adalah hukum vektor acak X= (X1, ... ,Xn)X=(X1,…,Xn)X=(X_1, \ldots, X_n) mengambil nilai dalam UUU dan sedemikian rupa sehingga koordinat XXX jadi satu (⟺⟺\iff dalam) dasar ortonormal dari UUU adalah vektor acak yang terbuat dari …

8 normal-distribution  conditioning 

Saya telah membaca beberapa posting tentang pemilihan fitur dan validasi silang tetapi saya masih memiliki pertanyaan tentang prosedur yang benar. Misalkan saya memiliki dataset dengan 10 fitur dan saya ingin memilih fitur terbaik. Anggap saya menggunakan pengelompokan tetangga terdekat. Dapatkah saya melakukan pencarian lengkap menggunakan validasi silang untuk memperkirakan tingkat …

8 cross-validation  model-selection  feature-selection 

Untuk statistik uji diskrit, distribusi yang sesuai ppp-nilai terpisah dan stokastik lebih besar dari distribusi seragam. Oleh karena itu uji hipotesis yang sesuai berdasarkan nilai-p (menolak jika nilai-p kurang dari 0,05, misalnya) selalu konservatif dalam arti bahwa kemungkinan membuat kesalahan Tipe I akan lebih kecil dari 0,05. Saya tahu kadang-kadang …

8 distributions  statistical-significance  hypothesis-testing  discrete-data 

Teorema tersebut adalah "Jika matriks transisi untuk rantai Markov yang tidak dapat direduksi dengan ruang keadaan terbatas S adalah dua kali lipat stokastik, ukuran invariannya (yang unik) seragam di atas S." Jika Rantai Markov memiliki matriks transisi ganda-stokastik, saya membaca bahwa probabilitas pembatasnya membentuk distribusi yang seragam, tetapi saya tidak …

8 probability  self-study  markov-process 

Seseorang berbincang-bincang bahwa tiga temannya berulang tahun berturut-turut (seperti 10, 11, dan 12 November), dan saya ingin mengetahui seberapa besar kemungkinan itu untuk tiga orang yang dipilih secara acak, dengan asumsi bahwa hari ulang tahun didistribusikan secara acak dan ulang tahun dua orang dalam sampel independen. Jawabanku: = possible arrangement …

8 probability 

Saya mencoba membuat model prediksi menggunakan regresi. Ini adalah plot diagnostik untuk model yang saya dapatkan dari menggunakan lm () di R: Apa yang saya baca dari plot QQ adalah bahwa residual memiliki distribusi berekor berat, dan plot Residual vs Fitted tampaknya menunjukkan bahwa varians residu tidak konstan. Saya bisa …

8 regression  residuals  heteroscedasticity  robust  rlm 

Saya bekerja untuk organisasi yang mengawasi sekitar 180 sekolah di seluruh negeri. Kami secara teratur mengumpulkan data hasil dari sekolah-sekolah ini dan memberi peringkat mereka. Saya telah diminta untuk melakukan survei terhadap kantor nasional (sekitar 100 orang) untuk menentukan sekolah mana yang dianggap terbaik dan terburuk , berdasarkan kesan non-data …

8 survey  ranking  bradley-terry-model 

Misalkan saya sedang membangun classifier regresi logistik yang memprediksi apakah seseorang sudah menikah atau lajang. (1 = menikah, 0 = tunggal) Saya ingin memilih titik pada kurva presisi-ingat yang memberi saya setidaknya 75% presisi, jadi saya ingin memilih ambang dan , sehingga:t1t1t_1t2t2t_2 Jika output dari classifier saya lebih besar dari …

8 r  precision-recall 

Katakanlah, misalnya, bahwa kita memiliki model regresi logistik yang menghasilkan probabilitas bahwa seorang pasien akan mengembangkan penyakit tertentu berdasarkan banyak kovariat. Kita bisa mendapatkan gambaran tentang besarnya dan arah pengaruh masing-masing kovariat secara umum dengan memeriksa koefisien model dan mempertimbangkan perubahan dalam odds-rasio. Bagaimana jika kita ingin tahu untuk seorang …

8 logistic  regression-coefficients  model 

Saya mencari beberapa jenis distribusi melalui simpleks di mana komponen-komponennya berkorelasi secara ordinal. Yaitu, jika diambil dari distribusi kami pada simpleks, saya ingin berkorelasi positif dengan tetangganya dan , katakan . Vanilla Dirichlet jelas tidak dapat memenuhi persyaratan ini. Satu opsi yang saya kira adalah campuran dari distribusi Dirichlet; misalnya, …

8 correlation  dirichlet-distribution 

Biarkan menjadi fungsi non-negatif. Saya tertarik menemukan sedemikian rupa sehingga Peringatan itu : yang bisa saya lakukan adalah sampel pada titik di . Aku bisa, bagaimanapun, memilih lokasi di mana saya sampel secara acak, jika saya menginginkannya. fffz∈[0,1]z∈[0,1]z \in [0,1]∫z0f(x)dx=12∫10f(x)dx∫0zf(x)dx=12∫01f(x)dx \int_0^{z} f(x)\,dx = \frac{1}{2}\int_0^1 f(x)\,dxfff[0,1][0,1][0,1]fff Pertanyaan: Apakah mungkin untuk mendapatkan …

8 sampling  monte-carlo  quantiles  quasi-monte-carlo