Statistik dan Big Data

Adakah yang punya contoh yang baik untuk Time Series Forecasting / smoothing menggunakan Kalman Filter di R?

23 r  time-series  kalman-filter 

Saya mencari alternatif untuk Pohon Klasifikasi yang mungkin menghasilkan daya prediksi yang lebih baik. Data yang saya hadapi memiliki faktor untuk variabel penjelas dan penjelas. Saya ingat pernah menemukan hutan acak dan jaringan saraf dalam konteks ini, meskipun tidak pernah mencobanya sebelumnya, apakah ada kandidat lain yang baik untuk tugas …

23 r  machine-learning  classification  cart 

Dalam dua makalah pada tahun 1986 dan 1988 , Connor dan Korajczyk mengusulkan pendekatan untuk pemodelan pengembalian aset. Karena rangkaian waktu ini biasanya memiliki lebih banyak aset daripada pengamatan periode waktu, mereka mengusulkan untuk melakukan PCA pada kovarian lintas-seksi pengembalian aset. Mereka menyebut metode ini Asymptotic Principal Component Analysis (APCA, …

23 pca  econometrics 

Pertanyaan: Saya memiliki matriks korelasi yang besar. Alih-alih mengelompokkan korelasi individu, saya ingin mengelompokkan variabel berdasarkan korelasi mereka satu sama lain, yaitu jika variabel A dan variabel B memiliki korelasi yang sama dengan variabel C ke Z, maka A dan B harus menjadi bagian dari cluster yang sama. Contoh kehidupan …

23 correlation  clustering  correlation-matrix 

Kapan orang akan lebih suka menggunakan model Autoregressive Bersyarat daripada model Autoregresif Simultan ketika memodelkan data udara geo-referen yang diautokorelasi-otomatis?

23 modeling  spatial 

Metode luas apa yang ada untuk mendeteksi kecurangan, anomali, fudging, dll. Dalam karya ilmiah yang diproduksi oleh pihak ketiga? (Saya termotivasi untuk menanyakan hal ini oleh perselingkuhan Marc Hauser baru-baru ini .) Biasanya untuk pemilihan dan penipuan akuntansi, beberapa varian dari Hukum Benford dikutip. Saya tidak yakin bagaimana ini dapat …

23 meta-analysis  fraud 

Ini adalah tindak lanjut dari pertanyaan Stackoverflow tentang mengacak array secara acak . Ada algoritma yang sudah mapan (seperti Knuth-Fisher-Yates Shuffle ) yang harus digunakan untuk mengocok array, daripada mengandalkan implementasi ad-hoc "naif". Saya sekarang tertarik untuk membuktikan (atau menyangkal) bahwa algoritma naif saya rusak (seperti pada: tidak menghasilkan semua …

23 combinatorics  randomness 

Baru-baru ini saya mulai bekerja di klinik TBC. Kami bertemu secara berkala untuk membahas jumlah kasus TB yang saat ini kami tangani, jumlah tes yang diberikan, dll. Saya ingin mulai memodelkan jumlah ini sehingga kami tidak hanya menebak apakah ada sesuatu yang tidak biasa atau tidak. Sayangnya, saya hanya memiliki …

23 r  time-series  poisson-distribution  count-data  epidemiology 

Mekanisme perhatian telah digunakan dalam berbagai makalah Deep Learning dalam beberapa tahun terakhir. Ilya Sutskever, kepala penelitian di Open AI, dengan antusias memuji mereka: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello di Purdue University telah mengklaim bahwa RNN dan LSTM harus ditinggalkan demi jaringan saraf murni berdasarkan perhatian: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Ini tampaknya berlebihan, tetapi tidak …

23 time-series  deep-learning  lstm  rnn  attention 

The definisi parameter min_child_weight di xgboost diberikan sebagai: jumlah minimum contoh berat badan (goni) yang dibutuhkan pada anak. Jika langkah partisi pohon menghasilkan simpul daun dengan jumlah bobot contoh kurang dari min_child_weight, maka proses pembangunan akan berhenti mempartisi lebih lanjut. Dalam mode regresi linier, ini hanya sesuai dengan jumlah minimum …

23 machine-learning  xgboost  hessian 

Saya mencoba untuk merasakan manfaat dan kelemahan relatif, serta domain aplikasi yang berbeda dari dua skema MCMC ini. Kapan Anda akan menggunakan yang mana dan mengapa? Kapan yang satu gagal tapi yang lain tidak (mis. Di mana HMC berlaku tetapi SMC tidak, dan sebaliknya) Bisakah satu, sangat naif diberikan, menempatkan …

23 mcmc  random-walk  particle-filter  probabilistic-programming  hmc 

Saya telah melihat dua jenis formulasi kehilangan logistik. Kita dapat dengan mudah menunjukkan bahwa keduanya identik, satu-satunya perbedaan adalah definisi label .yyy Formulasi / notasi 1, :y∈{0,+1}y∈{0,+1}y \in \{0, +1\} L(y,βTx)=−ylog(p)−(1−y)log(1−p)L(y,βTx)=−ylog⁡(p)−(1−y)log⁡(1−p) L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p) di mana , di mana fungsi logistik memetakan angka nyata hingga 0,1 interval.p=11+exp(−βTx)p=11+exp⁡(−βTx)p=\frac 1 {1+\exp(-\beta^Tx)}βTxβTx\beta^T x Formulasi / …

23 logistic  generalized-linear-model  notation  loss-functions 

Pertanyaan ini dimigrasikan dari Stack Overflow karena dapat dijawab di Cross Validated. Bermigrasi 3 tahun yang lalu . Dalam statistik kami melakukan regresi linier, yang paling awal dari mereka. Secara umum, kita tahu bahwa semakin tinggi R2R2R^2 semakin baik, tetapi apakah pernah ada skenario di mana tinggi R2R2R^2akan menjadi model …

23 regression  r-squared 

Dalam kesimpulan statistik , masalah 9.6b, "Wilayah Kepadatan Tertinggi (HDR)" disebutkan. Namun, saya tidak menemukan definisi istilah ini di buku ini. Satu istilah serupa adalah Kepadatan Posterior Tertinggi (HPD). Tapi itu tidak cocok dalam konteks ini, karena 9.6b tidak menyebutkan apa pun tentang prior. Dan dalam solusi yang disarankan , …

23 confidence-interval  estimation  definition  credible-interval  highest-density-region 

Saya tertarik pada pemilihan model dalam pengaturan deret waktu. Untuk konkret, anggaplah saya ingin memilih model ARMA dari kumpulan model ARMA dengan pesanan lag yang berbeda. Maksud utamanya adalah perkiraan . Pemilihan model dapat dilakukan oleh validasi silang, penggunaan kriteria informasi (AIC, BIC), antara metode lainnya. Rob J. Hyndman menyediakan …

23 time-series  forecasting  cross-validation  model-selection  aic