Statistik dan Big Data

Tampaknya ada saran yang bertentangan di luar sana tentang bagaimana menangani membandingkan kesalahan kereta vs tes, terutama ketika ada kesenjangan antara keduanya. Tampaknya ada dua aliran pemikiran yang bagi saya, tampaknya bertentangan. Saya ingin memahami cara mendamaikan keduanya (atau memahami apa yang saya lewatkan di sini). Pemikiran # 1: Kesenjangan …

14 cross-validation  overfitting 

Ini dengan merujuk pada kertas Pelokalan Objek Efisien Menggunakan Jaringan Konvolusional , dan dari apa yang saya pahami dropout diimplementasikan dalam 2D. Setelah membaca kode dari Keras tentang bagaimana Dropout 2D Spasial diimplementasikan, pada dasarnya bentuk biner acak [batch_size, 1, 1, num_channels] diimplementasikan. Namun, apa sebenarnya yang dilakukan Dropout 2D …

14 machine-learning  deep-learning  tensorflow  dropout 

Mengikuti pertanyaan yang sudah dijawab ( Mengekstraksi bobot penting dari jaringan umpan-maju Satu-Lapisan ) Saya mencari kesimpulan tentang relevansi input dalam jaringan saraf. Mempertimbangkan jaring yang dalam, di mana merekonstruksi kepentingan input dengan mundur melewati lapisan-lapisan dari simpul keluaran yang menarik mungkin sulit atau memakan waktu, saya bertanya-tanya apakah ada …

14 neural-networks  python  feature-selection  sensitivity-analysis 

Katakanlah kita memiliki X bentuk (2, 5) dan y bentuk (2,) Ini bekerja: np.linalg.lstsq(X, y) Kami berharap ini berfungsi hanya jika X adalah bentuk (N, 5) di mana N> = 5 Tapi mengapa dan bagaimana? Kami mendapatkan kembali 5 bobot seperti yang diharapkan, tetapi bagaimana masalah ini diselesaikan? Bukankah kita …

14 least-squares  linear-algebra  numpy 

Saya mengambil kursus tentang model regresi dan salah satu properti yang disediakan untuk regresi linier adalah bahwa residual selalu berjumlah nol ketika intersep dimasukkan. Adakah yang bisa memberikan penjelasan yang baik mengapa ini terjadi?

14 regression  residuals 

Ini adalah pertanyaan mengenai praktik atau metode yang diikuti oleh beberapa rekan saya. Saat membuat model regresi logistik, saya telah melihat orang-orang mengganti variabel kategori (atau variabel kontinu yang dihilangkan) dengan masing-masing Bobot Bukti (WoE) masing-masing. Ini seharusnya dilakukan untuk membangun hubungan monoton antara regressor dan variabel dependen. Sekarang sejauh …

14 regression  logistic  categorical-data  modeling 

Saya lulusan dari bisnis dan ekonomi yang saat ini belajar untuk gelar master dalam bidang teknik data. Saat mempelajari regresi linier (LR) dan kemudian analisis deret waktu (TS), sebuah pertanyaan muncul di benak saya. Mengapa membuat metode yang sama sekali baru, yaitu deret waktu (ARIMA), alih-alih menggunakan regresi linier berganda …

14 regression  time-series  multiple-regression  least-squares  arima 

Pertanyaan: Apa keuntungan / kerugian dari menggunakan satu sebelum yang lain untuk pemilihan variabel? Misalkan saya memiliki kemungkinan: di mana saya dapat menempatkan salah satu prior: w i ~ π delta 0 + ( 1 - π ) N ( 0 , 100 )y∼ N( Xw , σ2saya)y∼N(Xw,σ2I)y\sim\mathcal{N}(Xw,\sigma^2I) atau: w …

14 bayesian  feature-selection 

Apakah ada sistem peringkat atau peringkat yang terkenal, mirip dengan Elo, untuk acara multi-peserta? Misalnya, sistem yang dapat menilai berbagai bentuk balap (otomatis, menuruni bukit, kuda dll) atau olahraga individu lainnya (golf, misalnya)?

14 ranking  elo 

Adakah alasan bagus untuk memilih nilai biner (0/1) daripada nilai diskrit atau dinormalisasi berkelanjutan , misalnya (1; 3), sebagai input untuk jaringan umpan-maju untuk semua node input (dengan atau tanpa backpropagation)? Tentu saja, saya hanya berbicara tentang input yang dapat diubah menjadi bentuk apa pun; misalnya, ketika Anda memiliki variabel …

14 neural-networks 

Saya mengikuti kursus pembelajaran mesin Andrew Ng dan tidak bisa mendapatkan jawaban untuk pertanyaan ini dengan benar setelah beberapa upaya. Mohon bantu selesaikan ini, meskipun saya sudah melewati level. Misalkan siswa telah mengambil beberapa kelas, dan kelas memiliki ujian tengah semester dan ujian akhir. Anda telah mengumpulkan dataset nilai mereka …

14 machine-learning  self-study  normalization 

Kesalahan standar adalah estimasi standar deviasi dari estimator untuk parameter . θ θσ^( θ^)σ^(θ^)\hat \sigma(\hat\theta)θ^θ^\hat\thetaθθ\theta Mengapa estimasi standar deviasi residual disebut "residual standard error" (misalnya, dalam output summary.lmfungsi R ) dan bukan "standar deviasi residual"? Perkiraan parameter apa yang kami lengkapi dengan kesalahan standar di sini? Apakah kita menganggap setiap …

14 r  standard-error  residuals  terminology 

Sangat sering ketika saya menyelidiki metode dan konsep statistik baru, saya mengalami perbedaan kuadrat (atau rata-rata kesalahan kuadrat, atau kebanyakan julukan lainnya). Sama seperti contoh, r Pearson diputuskan berdasarkan perbedaan kuadrat rata-rata dari garis regresi di mana titik terletak. Untuk ANOVA, Anda melihat jumlah kuadrat, dan sebagainya. Sekarang, saya mengerti …

14 normal-distribution 

Saya menerapkan regresi logistik pada data saya di SAS dan di sini adalah kurva ROC dan tabel klasifikasi. Saya nyaman dengan angka-angka di tabel klasifikasi, tetapi tidak yakin apa yang ditunjukkan oleh kurva roc dan area di bawahnya. Penjelasan apa pun akan sangat dihargai.

14 regression  logistic  classification  roc 

Saya ingin melakukan perkiraan berdasarkan beberapa seri ARIMA-model dengan beberapa variabel eksogen. Karena saya tidak begitu mahir dalam hal statistik dan RI tidak ingin menjaga sesederhana mungkin (Prakiraan tren selama 3 bulan sudah cukup). Saya memiliki 1 deret waktu tergantung dan 3-5 deret waktu prediktor, semua data bulanan, tanpa celah, …

14 r  time-series  arima