Ilmu Data

Saya akan lulus dari Master saya dan telah belajar tentang pembelajaran mesin serta melakukan proyek penelitian dengannya. Saya bertanya-tanya tentang praktik terbaik di industri saat melakukan tugas pembelajaran mesin dengan Kumpulan Data Besar (seperti 100-an GB atau TB). Menghargai jika sesama ilmuwan data dapat berbagi pengalaman mereka. Ini pertanyaan saya: …

9 machine-learning  predictive-modeling  bigdata 

Apakah ada sumber daya dengan daftar teknik teknik fitur? Pemetaan tipe data, model dan teknik teknik fitur akan menjadi tambang emas

9 feature-selection  feature-extraction  feature-engineering  feature-construction  featurization 

Ketika menerapkan gradient descent mini-batch untuk jaringan saraf, apakah penting untuk mengambil elemen acak di setiap mini-batch? Atau apakah cukup dengan mengocok elemen di awal pelatihan satu kali? (Saya juga tertarik pada sumber yang jelas mengatakan apa yang mereka lakukan.)

9 machine-learning  neural-network 

Saya memiliki dataset yang saya coba prediksi variabel targetnya. Col1 Col2 Col3 Col4 Col5 1 2 23 11 1 2 22 12 14 1 22 11 43 38 3 14 22 25 19 3 12 42 11 14 1 22 11 43 38 2 1 2 23 11 4 2 …

9 machine-learning  python  data-mining  dataset  pandas 

Saya mencoba untuk memahami penguatan pembelajaran dan proses keputusan markov (MDP) dalam kasus di mana jaringan syaraf sedang digunakan sebagai penaksir fungsi. Saya mengalami kesulitan dengan hubungan antara MDP di mana lingkungan dieksplorasi secara probabilistik, bagaimana peta ini kembali ke parameter pembelajaran dan bagaimana solusi / kebijakan akhir ditemukan. Apakah …

9 machine-learning  neural-network  q-learning 

Manakah dari set pilihan langkah di bawah ini yang benar ketika membuat model prediksi? Pilihan 1: Pertama, hilangkan prediktor yang paling buruk, dan siapkan yang tersisa jika perlu, kemudian latih berbagai model dengan validasi silang, pilih beberapa yang terbaik, identifikasi prediktor teratas yang digunakan masing-masing, kemudian latih kembali model-model tersebut …

9 machine-learning  predictive-modeling 

Misalkan Anda memiliki lapisan input dengan n neuron dan lapisan tersembunyi pertama mmm neuron, dengan biasanya m &lt; nm&lt;nm < n. Kemudian Anda menghitung aktingnyaSebuahjaja_j dari jjj-th neuron di lapisan tersembunyi oleh aj=f(∑i=1..nwi,jxi+bj)aj=f(∑i=1..nwi,jxi+bj)a_j = f\left(\sum\limits_{i=1..n} w_{i,j} x_i+b_j\right)dimana fff adalah fungsi aktivasi seperti tanhtanh\tanh atau sigmoidsigmoid\text{sigmoid}. Untuk melatih jaringan, Anda menghitung …

9 machine-learning  visualization  deep-learning  autoencoder 

Saya melihat bagaimana menerapkan dropout pada jaringan saraf yang dalam, dan saya menemukan sesuatu yang berlawanan secara intuitif. Dalam fase maju, topeng aktivasi putus dengan tensor acak 1s dan 0s untuk memaksa net mempelajari rata-rata bobot. Ini membantu jaring untuk menggeneralisasi dengan lebih baik. Tetapi selama fase pembaruan dari gradient …

9 neural-network  deep-learning  gradient-descent 

Saya menggunakan perpustakaan seaborn untuk menghasilkan plot bar dengan python. Saya ingin tahu statistik apa yang digunakan untuk menghitung bar kesalahan, tetapi tidak dapat menemukan referensi untuk ini dalam dokumentasi barplot seaborn . Saya tahu nilai bar dihitung berdasarkan rata-rata dalam kasus saya (opsi default), dan saya menganggap bar kesalahan …

9 python  visualization 

Ketika disimpan ke disk menggunakan cPickle: /programming/20662023/save-python-random-forest-model-to-file , hutan acak saya adalah 6,57 GB. with open('rforest.cpickle', 'wb') as f: cPickle.dump(rforest, f) Saya ingin menggunakan hutan itu sendiri untuk membuat prediksi melalui API python yang dihosting di Heroku - tentu saja, ukuran file itu tidak dapat diterima. Mengapa ukuran file begitu …

9 python  random-forest 

Saya sedang belajar Dukungan Mesin Vektor , dan saya tidak dapat memahami bagaimana label kelas dipilih untuk titik data dalam pengklasifikasi biner. Apakah dipilih berdasarkan konsensus sehubungan dengan klasifikasi di setiap dimensi hyperplane pemisah?

9 svm  classification  binary 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Data Science Stack Exchange. Ditutup 6 tahun yang lalu . Saya selalu tertarik dengan pembelajaran mesin, tetapi saya tidak dapat menemukan satu hal tentang memulai dengan contoh sederhana …

9 machine-learning 

Detail API Prediksi Google ada di halaman ini , tetapi saya tidak dapat menemukan detail tentang algoritma prediksi yang berjalan di belakang API. Sejauh ini saya telah mengumpulkan bahwa mereka membiarkan Anda memberikan langkah preprocessing Anda dalam format PMML.

9 tools 

Saya menggunakan teknik smote untuk mengecualikan dataset saya dan sekarang saya memiliki dataset yang seimbang. Masalah yang saya hadapi adalah metrik kinerja; presisi, recall, ukuran f1, akurasi dalam dataset tidak seimbang lebih baik dilakukan daripada dengan dataset seimbang. Pengukuran mana yang dapat saya gunakan untuk menunjukkan bahwa menyeimbangkan dataset dapat …

8 performance 

Saya mencoba untuk melatih model dengan keras dan saya menggunakan ModelCheckpoint untuk menyimpan model terbaik sesuai dengan metrik validasi yang dimonitor (dalam kasus saya indeks Jaccard ). Walaupun saya bisa melihat modelnya meningkat dalam tensorboard, ketika saya mencoba memuat bobot dan mengevaluasi model itu tidak berfungsi sama sekali. Lebih lanjut, …

8 keras  convnet