Statistik dan Big Data

Saat menggunakan bootstrap untuk evaluasi model, saya selalu berpikir sampel out-of-bag langsung digunakan sebagai set tes. Namun, ini tampaknya tidak menjadi kasus untuk pendekatan scikit-learning yang sudah ketinggalan zamanBootstrap , yang tampaknya membangun set tes dari menggambar dengan penggantian dari subset data out-of-bag. Apa alasan statistik di balik ini? Adakah …

15 cross-validation  bootstrap  random-forest  scikit-learn  bagging 

Katakanlah saya memiliki variabel kategori yang dapat mengambil nilai A, B, C, dan D. Bagaimana saya bisa menghasilkan 10.000 poin data acak dan mengontrol frekuensi masing-masing? Sebagai contoh: A = 10% B = 20% C = 65% D = 5% Ada ide bagaimana saya bisa melakukan ini?

15 random-variable 

Saya mencoba memahami bagaimana fungsi pengaruh bekerja. Bisakah seseorang menjelaskan dalam konteks regresi OLS sederhana yi=α+β⋅xi+εiyi=α+β⋅xi+εi\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation} di mana saya ingin fungsi pengaruh untuk .ββ\beta

15 regression  least-squares 

Saya mempelajari Tutorial ini pada Variational Autoencoders oleh Carl Doersch . Di halaman kedua disebutkan: Salah satu kerangka kerja yang paling populer adalah Varienc Autoencoder [1, 3], subjek tutorial ini. Asumsi model ini lemah, dan pelatihan cepat melalui backpropagation. VAE memang membuat perkiraan, tetapi kesalahan yang diperkenalkan oleh perkiraan ini …

15 machine-learning  deep-learning  autoencoders  variational-bayes 

Saya melatih jaringan saraf menggunakan i) SGD dan ii) Adam Optimizer. Saat menggunakan SGD normal, saya mendapatkan loss pelatihan yang mulus vs kurva iterasi seperti terlihat di bawah ini (yang merah) Namun, ketika saya menggunakan Adam Optimizer, kurva kehilangan pelatihan memiliki beberapa lonjakan. Apa penjelasan dari paku-paku ini? Detail Model: …

15 neural-networks  deep-learning  adam 

Saya memiliki dua set data (sumber dan data target) yang mengikuti distribusi yang berbeda. Saya menggunakan MMD - yang merupakan distribusi jarak non-parametrik - untuk menghitung distribusi marginal antara sumber dan data target. sumber data, Xs data target, Xt Matriks adaptasi A * Data yang diproyeksikan, Zs = A '* …

15 machine-learning  distributions  distance  feature-construction  domain-adaptation 

Saya mencoba memahami aplikasi tingkat tinggi RNNs untuk pelabelan urutan melalui (antara lain) makalah Graves 2005 tentang klasifikasi fonem. Untuk meringkas masalah: Kami memiliki satu set pelatihan besar yang terdiri dari (input) file audio dari kalimat tunggal dan (output) waktu mulai berlabel ahli, waktu berhenti dan label untuk fonem individu …

15 lstm  rnn 

Grafik asiklik terarah (DAG) adalah representasi visual yang efisien dari asumsi kausal kualitatif dalam model statistik, tetapi dapatkah mereka digunakan untuk menyajikan persamaan variabel instrumen biasa (atau persamaan lainnya)? Jika ya, bagaimana caranya? Jika tidak, mengapa?

15 causality  instrumental-variables  dag 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 4 tahun yang lalu . Saya memiliki laporan suhu harian dan harian untuk banyak stasiun di http://data.barrycarter.info/ Saya mendorong orang untuk mengunduhnya, tetapi pada 6.6G, …

14 dataset 

Dalam salah satu latihan untuk kursus saya, kami menggunakan dataset medis Kaggle . Latihan ini mengatakan: kami ingin memodelkan distribusi biaya individual dan kami juga benar-benar ingin dapat menangkap ketidakpastian kami tentang distribusi tersebut sehingga kami dapat lebih menangkap kisaran nilai yang mungkin kami lihat. Memuat data dan melakukan tampilan …

14 gamma-distribution 

Saya melakukan proyek analisis data yang melibatkan penyelidikan waktu penggunaan situs web sepanjang tahun. Apa yang ingin saya lakukan adalah membandingkan seberapa "konsisten" pola penggunaannya, katakanlah, seberapa dekat mereka dengan suatu pola yang melibatkan penggunaannya selama 1 jam seminggu sekali, atau yang melibatkan penggunaannya selama 10 menit, 6 kali per …

14 distributions  distance  frequency  comparison 

Apa yang Anda sebut statistik berarti yang dihitung dari ekstrem atas dan bawah dalam setiap dataset yang diberikan? Misalnya, jika Anda memiliki set: { -2, 0 , 8, 9, 1, 50, -2, 6} Ekstrem atas dari himpunan ini adalah 50dan ekstrem bawah adalah -2. Jadi, rata-rata dari yang ekstrem adalah(-2 …

14 mean  terminology  average  range 

Biasanya distribusi probabilitas lebih dari variabel diskrit dijelaskan menggunakan probabilitas fungsi massa (PMF): Ketika bekerja dengan variabel acak kontinu, kami menggambarkan distribusi probabilitas menggunakan probabilitas probabilitas fungsi (PDF) daripada fungsi massa probabilitas. - Pembelajaran Jauh oleh Goodfellow, Bengio, dan Courville Namun, Wolfram Mathworld menggunakan PDF untuk menggambarkan distribusi probabilitas lebih …

14 probability  mathematical-statistics  terminology  pdf 

Ketika saya membaca tentang cara mengatur data Anda, satu hal yang sering saya temui adalah bahwa mengubah beberapa data kontinu menjadi data kategorikal bukan ide yang baik, karena Anda mungkin membuat kesimpulan yang salah jika ambang batas tidak ditentukan dengan baik. Namun, saat ini saya memiliki beberapa data (nilai PSA …

14 categorical-data  continuous-data 

Saya memiliki kumpulan data termasuk permintaan beberapa produk (1.200 produk) selama 25 periode dan saya perlu memprediksi permintaan masing-masing produk untuk periode berikutnya. Pada awalnya, saya ingin menggunakan ARIMA dan melatih model untuk setiap produk, tetapi karena jumlah produk dan penyetelan parameter (p, d, q), sangat memakan waktu dan tidak …

14 machine-learning  time-series  arima