Ilmu Data

Saya mencoba membuat jaringan saraf menggunakan deret waktu sebagai input, untuk melatihnya berdasarkan jenis masing-masing seri. Saya membaca bahwa menggunakan RNNs Anda dapat membagi input ke dalam batch dan menggunakan setiap titik dari rangkaian waktu menjadi neuron individu dan akhirnya melatih jaringan. Apa yang saya coba lakukan adalah menggunakan beberapa …

14 time-series  rnn 

Jika saya memiliki kumpulan data pelatihan dan saya melatih Naive Bayes Classifier di atasnya dan saya memiliki nilai atribut yang memiliki probabilitas nol. Bagaimana saya menangani ini jika nanti saya ingin memprediksi klasifikasi pada data baru? Masalahnya adalah, jika ada nol dalam perhitungan seluruh produk menjadi nol, tidak peduli berapa …

14 classification  naive-bayes-classifier 

Saya bekerja di kantor di mana SQL Server adalah tulang punggung dari semua yang kami lakukan, dari pemrosesan data hingga pembersihan hingga munging. Kolega saya mengkhususkan diri dalam penulisan fungsi kompleks dan prosedur tersimpan untuk memproses data yang masuk secara metodis sehingga dapat distandarisasi dan digunakan dalam laporan, visualisasi, dan …

14 python  r  data-cleaning  data  sql 

https://radimrehurek.com/gensim/models/doc2vec.html Misalnya, jika kita telah melatih doc2vec dengan "aaaaaAAAAAaaaaaa" - "label 1" "BbbbbbBBBBBbbbb" - "label 2" dapatkah kita menyimpulkan "aaaaAAAAaaaaAA" ​​adalah label 1 menggunakan Doc2vec? Saya tahu Doc2vec dapat melatih vektor kata dan label label. Dengan menggunakan vektor ini, dapatkah kita menyimpulkan kalimat yang tidak terlihat (kombinasi kata-kata terlatih) di …

14 gensim 

Saya telah membaca bahwa HMM, Filter Partikel dan filter Kalman adalah kasus khusus dari jaringan Bayes yang dinamis. Namun, saya hanya tahu HMM dan saya tidak melihat perbedaan pada jaringan Bayes yang dinamis. Bisakah seseorang tolong jelaskan? Akan lebih baik jika jawaban Anda bisa mirip dengan yang berikut, tetapi untuk …

14 bayesian-networks  pgm 

Karena berbagai kutukan dimensi , keakuratan dan kecepatan banyak teknik prediksi umum menurun pada data dimensi tinggi. Apa saja teknik / trik / heuristik yang paling berguna yang membantu menangani data dimensi tinggi secara efektif? Sebagai contoh, Apakah metode statistik / pemodelan tertentu berfungsi baik pada dataset dimensi tinggi? Bisakah …

14 machine-learning  statistics  dimensionality-reduction 

Apa kondisi data yang harus kita waspadai, di mana nilai-p mungkin bukan cara terbaik untuk menentukan signifikansi statistik? Apakah ada tipe masalah spesifik yang termasuk dalam kategori ini?

14 bigdata  statistics 

Saya ingin melatih CNN untuk pengenalan gambar. Gambar untuk pelatihan belum memiliki ukuran tetap. Saya ingin ukuran input untuk CNN menjadi 50x100 (tinggi x lebar), misalnya. Ketika saya mengubah ukuran beberapa gambar berukuran kecil (misalnya 32x32) menjadi ukuran input, konten gambar terlalu banyak membentang secara horizontal, tetapi untuk beberapa gambar …

14 machine-learning  image-classification  preprocessing  image-recognition 

Masalah 1: Saya bingung dengan deskripsi LightGBM mengenai cara pohon diperluas. Mereka menyatakan: Sebagian besar algoritma pembelajaran pohon keputusan menumbuhkan pohon berdasarkan level (kedalaman), seperti gambar berikut: Pertanyaan 1 : Algoritma "paling" mana yang diimplementasikan dengan cara ini? Sejauh yang saya tahu C4.5 dan CART menggunakan DFS. XGBoost menggunakan BFS. …

14 decision-trees  xgboost 

Saya bertanya-tanya dalam situasi apa menguntungkan menumpuk LSTM?

14 machine-learning  neural-network  deep-learning  lstm 

Saya menggunakan Perpustakaan Gensim dalam python untuk menggunakan dan melatih model word2vector. Baru-baru ini, saya melihat inisialisasi bobot model saya dengan beberapa model word2vec yang sudah dilatih sebelumnya seperti (model pretrained GoogleNewDataset). Saya telah berjuang dengan itu beberapa minggu. Sekarang, saya hanya mencari bahwa di gesim ada fungsi yang dapat …

14 python  nlp  word-embeddings  word2vec  gensim 

Saya membaca di posting ini Apakah bahasa R cocok untuk Big Data yang merupakan data besar 5TB, dan sementara itu melakukan pekerjaan yang baik dalam memberikan informasi tentang kelayakan bekerja dengan jenis data di Rdalamnya memberikan informasi yang sangat sedikit tentang Python. Saya bertanya-tanya apakah Pythondapat bekerja dengan data sebanyak …

14 bigdata  python 

Saya harap pertanyaan ini adalah yang paling cocok di situs ini ... Dalam Python, biasanya nama kelas didefinisikan menggunakan huruf kapital sebagai karakter pertama, misalnya class Vehicle: ... Namun, dalam bidang pembelajaran mesin, sering kali melatih dan menguji data didefinisikan sebagai Xdan Y- bukan xdan y. Sebagai contoh, saya sekarang …

14 python  dataset 

Sejauh yang saya tahu, untuk melatih pembelajaran membuat peringkat model, Anda perlu memiliki tiga hal dalam dataset: label atau relevansi grup atau id permintaan vektor fitur Misalnya, dataset Microsoft Learning to Rank menggunakan format ini (label, id grup, dan fitur). 1 qid:10 1:0.031310 2:0.666667 ... 0 qid:10 1:0.078682 2:0.166667 ... …

14 search  ranking  xgboost  gbm 

Saya telah membangun model LSTM untuk memprediksi pertanyaan duplikat pada dataset resmi Quora. Label uji adalah 0 atau 1. 1 menunjukkan pasangan pertanyaan duplikat. Setelah membangun model menggunakan model.fit, saya menguji model menggunakan model.predictpada data uji. Outputnya adalah array nilai seperti di bawah ini: [ 0.00514298] [ 0.15161049] [ 0.27588326] …

14 machine-learning  python  neural-network  keras  lstm