Statistik dan Big Data

Saya memiliki model ekonomi teoretis yaitu sebagai berikut, y=a+b1x1+b2x2+b3x3+uy=a+b1x1+b2x2+b3x3+u y = a + b_1x_1 + b_2x_2 + b_3x_3 + u Jadi teori mengatakan bahwa ada x1x1x_1 , x2x2x_2 dan x3x3x_3 faktor untuk memperkirakan yyy . Sekarang saya memiliki data nyata dan saya perlu memperkirakan b1b1b_1 , b2b2b_2 , b3b3b_3 . …

14 regression  multiple-regression  endogeneity 

Saya tertarik untuk mendapatkan estimasi tidak bias dalam regresi linier berganda.R2R2R^2 Pada refleksi, saya dapat memikirkan dua nilai yang berbeda yang estimasi yang tidak bias dari mungkin berusaha mencocokkan.R2R2R^2 Dari sampel :R2R2R^2 r-square yang akan diperoleh jika persamaan regresi yang diperoleh dari sampel ) yang diterapkan untuk jumlah tak terbatas …

14 estimation  multiple-regression  r-squared  bias 

Data yang saya miliki adalah nilai kemiringan regresi waktu y, kesalahan standar, nilai n dan nilai ap, untuk spesies tertentu di dua area yang berbeda. Saya ingin memeriksa apakah kemiringan regresi untuk satu area berbeda secara signifikan dari kemiringan regresi untuk area lain - apakah ini mungkin dengan data seperti …

14 r  regression  statistical-significance 

Bagaimana cara menguji persamaan simultan dari koefisien yang dipilih dalam model logit atau probit? Apa pendekatan standar dan apa pendekatan canggih?

14 hypothesis-testing  logit  probit 

Saya memiliki 100 poin data dari proses acak. Bagaimana cara saya menempatkan interval kepercayaan di sekitar perkiraan ? Fungsi distribusi tidak diketahui dan condong positif. Kecenderungan pertama saya adalah menggunakan bootstrap berdasarkan materi yang telah saya baca untuk kelas ini, tetapi apakah ada cara lain untuk melakukan ini?Pr ( X> …

14 self-study 

Saya sudah diberi data x = c(21,34,6,47,10,49,23,32,12,16,29,49,28,8,57,9,31,10,21,26,31,52,21,8,18,5,18,26,27,26,32,2,59,58,19,14,16,9,23,28,34,70,69,54,39,9,21,54,26) y = c(47,76,33,78,62,78,33,64,83,67,61,85,46,53,55,71,59,41,82,56,39,89,31,43,29,55, 81,82,82,85,59,74,80,88,29,58,71,60,86,91,72,89,80,84,54,71,75,84,79) Bagaimana saya bisa mendapatkan sisa dan plot versus ? Dan bagaimana saya bisa menguji apakah residu tampaknya mendekati normal?xxx Saya tidak yakin apakah saya melakukan fit linear asli dengan benar karena saya mendapatkan persamaan tetapi catatan kuliah mengatakan bahwa …

14 r  regression 

Saya menggunakan regresi kuantil (misalnya melalui gbmatau quantregdalam R) - tidak berfokus pada median melainkan kuantil atas (misalnya ke-75). Berasal dari latar belakang pemodelan prediktif, saya ingin mengukur seberapa baik model tersebut cocok pada set uji dan dapat menggambarkan ini kepada pengguna bisnis. Pertanyaan saya adalah bagaimana? Dalam pengaturan tipikal …

14 regression  data-mining  predictive-models  quantile-regression 

Saat menjalankan regresi ridge, bagaimana Anda menginterpretasikan koefisien yang berakhir lebih besar dari koefisien yang sesuai di bawah kuadrat terkecil (untuk nilai λλ\lambda )? Bukankah regresi ridge seharusnya mengecilkan koefisien secara monoton? Pada catatan terkait, bagaimana seseorang menginterpretasikan koefisien yang tandanya berubah selama regresi ridge (yaitu, jejak ridge melintasi dari …

14 interpretation  regression-coefficients  ridge-regression 

Saya ingin membuat hutan acak menggunakan proses berikut: Bangun pohon pada sampel data dan fitur acak menggunakan penguatan informasi untuk menentukan pemisahan Hentikan simpul daun jika melebihi kedalaman yang telah ditentukan ATAU perpecahan apa pun akan menghasilkan jumlah daun kurang dari minimum yang telah ditentukan Daripada menetapkan label kelas untuk …

14 classification  random-forest  lasso  ensemble 

Saat ini saya sedang mengerjakan model regresi di mana saya hanya memiliki variabel kategori / faktor sebagai variabel independen. Variabel dependen saya adalah rasio transformasi logit. Cukup mudah hanya untuk menjalankan regresi normal dalam R, karena R secara otomatis tahu cara mengkodekan boneka begitu mereka adalah tipe "faktor". Namun jenis …

14 r  regression  categorical-data  categorical-encoding 

Saya punya dataset seperti +--------+------+-------------------+ | income | year | use | +--------+------+-------------------+ | 46328 | 1989 | COMMERCIAL EXEMPT | | 75469 | 1998 | CONDOMINIUM | | 49250 | 1950 | SINGLE FAMILY | | 82354 | 2001 | SINGLE FAMILY | | 88281 | 1985 | SHOP …

14 categorical-data  svm  mixed-type-data 

Saya bertanya-tanya apakah ada yang bisa menjelaskan perbedaan antara akurasi yang seimbang b_acc = (sensitivity + specificity)/2 dan skor f1 yaitu: f1 = 2*precision*recall/(precision + recall)

14 unbalanced-classes 

Saya telah mencoba menyelesaikan masalah ini selama lebih dari setahun tanpa banyak kemajuan. Ini adalah bagian dari proyek penelitian yang saya lakukan, tetapi saya akan mengilustrasikannya dengan contoh cerita yang saya buat, karena domain sebenarnya dari masalah ini agak membingungkan (eye-tracking). Anda adalah pesawat yang melacak kapal musuh yang melakukan …

14 time-series  machine-learning  prediction 

Saya telah menemukan rumor bahwa beberapa studi menunjukkan bahwa kinerja model prediksi lebih tergantung pada keahlian analis data dengan metode yang dipilih daripada pada pilihan metode. Dengan kata lain, klaimnya adalah bahwa lebih penting bahwa analis data memahami metode yang dipilih daripada seberapa "tepat" metode tersebut untuk masalah dari sudut …

14 predictive-models  method-comparison 

Saya pikir saya mungkin mempermainkan beberapa pemilihan variabel Bayesian, mengikuti posting blog yang bagus dan makalah terkait di dalamnya. Saya menulis sebuah program dalam rjags (di mana saya cukup pemula) dan mengambil data harga untuk Exxon Mobil, bersama dengan beberapa hal yang tidak mungkin menjelaskan pengembaliannya (misalnya harga paladium) dan …

14 regression  bayesian  multiple-regression  feature-selection  jags