Ilmu Data

Saya mencoba menyelesaikan serangkaian persamaan yang memiliki 40 variabel independen (x1, ..., x40) dan satu variabel dependen (y). Jumlah total persamaan (jumlah baris) adalah ~ 300, dan saya ingin menyelesaikan set 40 koefisien yang meminimalkan total jumlah kesalahan kuadrat antara y dan nilai prediksi. Masalah saya adalah bahwa matriks sangat …

11 machine-learning  regression  algorithms  genetic 

Saya berpikir bahwa model linier umum (GLM) akan dianggap sebagai model statistik, tetapi seorang teman mengatakan kepada saya bahwa beberapa makalah mengklasifikasikannya sebagai teknik pembelajaran mesin. Mana yang benar (atau lebih tepat)? Penjelasan apa pun akan dihargai.

11 machine-learning  statistics  glm 

Saya sering membangun model (klasifikasi atau regresi) di mana saya memiliki beberapa variabel prediktor yang berurutan dan saya telah berusaha untuk menemukan rekomendasi teknik untuk merangkumnya dengan cara terbaik untuk dimasukkan sebagai prediktor dalam model. Sebagai contoh konkret, katakanlah model sedang dibangun untuk memprediksi jika pelanggan akan meninggalkan perusahaan dalam …

11 machine-learning  feature-selection  time-series 

Jadi kami memiliki potensi untuk aplikasi pembelajaran mesin yang cocok dengan cukup rapi ke dalam domain masalah tradisional yang diselesaikan oleh pengklasifikasi, yaitu, kami memiliki seperangkat atribut yang menggambarkan item dan "ember" yang akhirnya dimasukkan. Namun, daripada membuat model probabilitas seperti di Naif Bayes atau pengklasifikasi serupa, kami ingin output …

11 machine-learning  classification 

Di perusahaan kami, kami memiliki database MongoDB yang berisi banyak data tidak terstruktur, di mana kami perlu menjalankan algoritma pengurangan peta untuk menghasilkan laporan dan analisis lainnya. Kami memiliki dua pendekatan untuk dipilih untuk mengimplementasikan analisis yang diperlukan: Salah satu pendekatan adalah mengekstraksi data dari MongoDB ke cluster Hadoop dan …

11 scalability  apache-hadoop  map-reduce  mongodb 

Saya mencari perpustakaan / alat untuk memvisualisasikan bagaimana jaringan sosial berubah ketika node / tepi baru ditambahkan ke dalamnya. Salah satu solusi yang ada adalah SoNIA: Social Network Image Animator . Mari kita membuat film seperti ini . Dokumentasi SoNIA mengatakan bahwa itu rusak saat ini, dan selain itu saya …

11 social-network-analysis  time-series  javascript  visualization 

Menggunakan multi-layer LSTMdengan dropout, apakah disarankan untuk meletakkan dropout pada semua layer yang tersembunyi serta output layer padat? Dalam makalah Hinton (yang mengusulkan Dropout) ia hanya menempatkan Dropout pada layer Dense, tapi itu karena lapisan dalam yang tersembunyi bersifat convolutional. Jelas, saya dapat menguji untuk model spesifik saya, tetapi saya …

11 neural-network  lstm  rnn  dropout  stacked-lstm 

Sebagai bagian dari penelitian saya, saya tertarik untuk melakukan propagasi label pada grafik. Saya terutama tertarik pada dua metode ini: Xiaojin Zhu dan Zoubin Ghahramani. Belajar dari data berlabel dan tidak berlabel dengan propagasi label. Laporan Teknis CMU-CALD-02-107, Universitas Carnegie Mellon, 2002 http://pages.cs.wisc.edu/~jerryzhu/pub/CMU-CALD-02-107.pdf Dengyong Zhou, Olivier Bousquet, Thomas Navin Lal, …

11 scikit-learn  graphs 

Saya mengubah kumpulan dokumen teks menjadi vektor kata untuk setiap dokumen. Saya sudah mencoba ini menggunakan TfidfVectorizer dan HashingVectorizer Saya mengerti bahwa a HashingVectorizertidak mempertimbangkan IDFskor seperti halnya a TfidfVectorizer. Alasan saya masih bekerja dengan a HashingVectorizeradalah fleksibilitas yang diberikannya ketika berhadapan dengan dataset besar, seperti yang dijelaskan di sini …

11 nlp  scikit-learn  text-mining  tfidf 

Saya baru mengenal TensorFlow dan saya perlu memahami kemampuan dan kekurangan TensorFlow sebelum saya dapat menggunakannya. Saya tahu bahwa ini adalah kerangka kerja pembelajaran yang mendalam, tetapi terlepas dari itu algoritma pembelajaran mesin lainnya dapat kita gunakan dengan aliran tensor. Sebagai contoh, bisakah kita menggunakan SVM atau hutan acak menggunakan …

11 machine-learning 

Saya agak bingung dengan koeksistensi metrik Rugi dan Akurasi di Neural Networks. Keduanya seharusnya untuk membuat "ketepatan" dari perbandingan yyy dan y , bukan? Jadi bukankah aplikasi dari dua berlebihan dalam masa pelatihan? Selain itu, mengapa mereka tidak berkorelasi?y^y^\hat{y}

11 neural-network  evaluation 

Saya mencoba mencari tahu berapa berat dan bias yang dibutuhkan untuk CNN. Katakanlah saya memiliki (3, 32, 32) gambar dan ingin menerapkan filter (32, 5, 5). Untuk setiap peta fitur, saya memiliki bobot 5x5, jadi saya harus memiliki parameter 3 x (5x5) x 32. Sekarang saya perlu menambahkan bias. Saya …

11 deep-learning  convnet  backpropagation 

Ketika mencoba melakukan mis klasifikasi, pendekatan saya saat ini adalah coba berbagai algoritma terlebih dahulu dan patok mereka melakukan pemilihan fitur pada algoritma terbaik dari 1 di atas tune parameter menggunakan fitur dan algoritma yang dipilih Namun, saya sering tidak dapat meyakinkan diri sendiri bahwa mungkin ada algoritma yang lebih …

11 feature-selection  parameter-estimation 

Misalkan saya memiliki fungsi yang halus seperti . Saya memiliki set pelatihan D \ subsetneq \ {((x, y), f (x, y)) | (x, y) \ dalam \ mathbb {R} ^ 2 \} dan, tentu saja, saya tidak tahu f meskipun saya dapat mengevaluasi f di mana pun saya inginkan.f(x,y)=x2+y2f(x,y)=x2+y2f(x, y) …

11 predictive-modeling  regression  decision-trees 

Saya menggunakan notebook Ipython untuk bekerja dengan aplikasi pyspark. Saya memiliki file CSV dengan banyak kolom kategorikal untuk menentukan apakah pendapatan berada di bawah atau di atas kisaran 50k. Saya ingin melakukan algoritma klasifikasi mengambil semua input untuk menentukan kisaran pendapatan. Saya perlu membuat kamus variabel untuk memetakan variabel dan …

11 python  apache-spark  categorical-data  pyspark