Ilmu Data

Kami membuat aplikasi jejaring sosial untuk tujuan eLearning. Ini adalah proyek percobaan yang sedang kami teliti di lab kami. Ini telah digunakan dalam beberapa studi kasus untuk sementara waktu dan data dalam DBMS relasional kami (SQL Server 2008) semakin besar. Sekarang beberapa gigabyte dan tabel-tabelnya saling terhubung satu sama lain. …

17 nosql  relational-dbms 

Pemecahan validasi dalam fungsi model Keras Sequential didokumentasikan sebagai berikut di https://keras.io/models/ berikutnyaential / : validation_split: Mengambang antara 0 dan 1. Fraksi data pelatihan yang akan digunakan sebagai data validasi. Model akan memisahkan sebagian kecil dari data pelatihan ini, tidak akan melatihnya, dan akan mengevaluasi kerugian dan metrik model apa …

17 keras  data  cross-validation 

Pertimbangkan jaringan saraf: Untuk set data tertentu, kami membaginya ke dalam pelatihan, validasi, dan set tes. Misalkan kita melakukannya dalam rasio klasik 60:20:20, maka kita mencegah overfitting dengan memvalidasi jaringan dengan memeriksa pada set validasi. Lalu apa perlunya mengujinya pada set tes untuk memeriksa kinerjanya? Tidakkah kesalahan pada set tes …

17 machine-learning  neural-network  cross-validation 

Saya bertanya-tanya, apakah ada heuristik pada sejumlah fitur versus jumlah pengamatan. Jelas, jika sejumlah fitur sama dengan jumlah pengamatan, model akan sesuai. Dengan menggunakan metode jarang (LASSO, elastic net) kita dapat menghapus beberapa fitur untuk mengurangi model. Pertanyaan saya adalah (secara teoritis): sebelum kita menggunakan metrik untuk menilai pemilihan model, …

17 feature-selection  model-selection 

Saya mencoba menghitung jumlah memori yang dibutuhkan oleh GPU untuk melatih model saya berdasarkan catatan dari Andrej Karphaty: http://cs231n.github.io/convolutional-networks/#computational-considerations Jaringan saya memiliki 532.752 aktivasi dan 19.072.984 parameter (bobot dan bias). Ini semua adalah nilai float 32 bit, sehingga masing-masing membutuhkan 4 byte dalam memori. Gambar input saya adalah 180x50x1 (lebar …

17 deep-learning  tensorflow 

Saya mengalami beberapa kesulitan dalam menurunkan propagasi kembali dengan ReLU, dan saya melakukan beberapa pekerjaan, tetapi saya tidak yakin apakah saya berada di jalur yang benar. Fungsi Biaya: 12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2di manayyyadalah nilai riil, dan y adalah nilai prediksi. Juga asumsikanx> 0 selalu.y^y^\hat yxxx 1 Layer ReLU, di mana bobot pada …

17 neural-network  backpropagation 

Saya sedang mengerjakan pengenalan suara dengan Tensorflow dan berencana untuk melatih LSTM NN dengan dataset gelombang besar. Karena keuntungan kinerja, saya berencana menggunakan tfrecords. Ada beberapa contoh di internet (Inception for ex.) Di mana file tfrecords dibagi menjadi pecahan. Pertanyaan saya adalah: apa manfaat memiliki file tfrecords ke dalam pecahan? …

17 python  tensorflow 

Saya memiliki fitur jarang yang bersifat prediksi, juga saya memiliki beberapa fitur padat yang juga dapat memprediksi. Saya perlu menggabungkan fitur-fitur ini bersama-sama untuk meningkatkan kinerja keseluruhan classifier. Sekarang, masalahnya adalah ketika saya mencoba untuk menggabungkan ini bersama-sama, fitur padat cenderung lebih mendominasi fitur jarang, maka hanya memberikan peningkatan 1% …

17 machine-learning  classification  predictive-modeling  scikit-learn  supervised-learning 

Saya sedang mengerjakan proyek tentang masalah identifikasi penulis. Saya telah menerapkan normalisasi tf-idf untuk melatih data dan kemudian melatih svm pada data itu. Sekarang ketika menggunakan classifier saya harus menormalkan data uji juga. Saya merasa bahwa tujuan dasar dari normalisasi adalah untuk membuat pembelajaran juga memberikan bobot lebih untuk fitur-fitur …

17 machine-learning  neural-network  deep-learning 

Apakah ada paket open source yang komprehensif (lebih disukai dalam python atau R) yang dapat digunakan untuk deteksi anomali dalam deret waktu? Ada paket SVM satu kelas di scikit-learn tetapi tidak untuk data deret waktu. Saya mencari paket yang lebih canggih yang, misalnya, menggunakan jaringan Bayesian untuk deteksi anomali.

17 python  time-series  anomaly-detection 

Dapatkah seseorang tolong posting contoh langsung dari Keras menggunakan panggilan balik untuk menyimpan model setelah setiap zaman? Saya dapat menemukan contoh penghematan bobot, tetapi saya ingin dapat menyimpan model yang berfungsi penuh setelah setiap zaman pelatihan.

17 python  keras 

Saya memiliki dataset dengan 3 kelas dengan item berikut: Kelas 1: 900 elemen Kelas 2: 15000 elemen Kelas 3: 800 elemen Saya perlu memprediksi kelas 1 dan kelas 3, yang menandakan penyimpangan penting dari norma. Kelas 2 adalah kasus "normal" default yang tidak saya pedulikan. Fungsi kerugian apa yang akan …

17 neural-network  pytorch 

Saya sedang membangun alur kerja untuk membuat model pembelajaran mesin (dalam kasus saya, menggunakan Python pandasdan sklearnpaket - paket) dari data yang diambil dari database yang sangat besar (di sini, Vertica melalui SQL dan pyodbc), dan langkah penting dalam proses itu melibatkan memasukkan hilang nilai-nilai prediktor. Ini sangat mudah dalam …

16 machine-learning  python  pandas  scikit-learn 

Saya sadar bahwa keras berfungsi sebagai antarmuka tingkat tinggi ke TensorFlow. Tetapi bagi saya tampaknya keras dapat melakukan banyak fungsi sendiri (input data, pembuatan model, pelatihan, evaluasi). Selain itu, beberapa fungsionalitas TensorFlow dapat porting langsung ke keras (misalnya dimungkinkan untuk menggunakan metrik tf atau fungsi kerugian dalam keras). Pertanyaan saya …

16 keras  tensorflow 

Saya telah melalui artikel di blog kaggle. Berulang kali, penulis menyebutkan 'skor LB' dan 'LB fit') sebagai metrik untuk efektivitas pembelajaran mesin (bersama dengan skor cross validation (CV)). Dengan penelitian untuk makna 'LB' saya menghabiskan sedikit waktu, saya menyadari bahwa umumnya orang secara langsung menyebutnya sebagai LB tanpa banyak latar …

16 machine-learning  accuracy