Ilmu Data

Saya mencoba menggunakan CNN (jaringan saraf convolutional) untuk mengklasifikasikan dokumen. CNN untuk teks / kalimat pendek telah dipelajari di banyak makalah. Namun, tampaknya tidak ada kertas yang menggunakan CNN untuk teks atau dokumen yang panjang. Masalah saya adalah bahwa ada terlalu banyak fitur dari suatu dokumen. Dalam dataset saya, setiap …

11 classification  neural-network  text-mining  convnet  word2vec 

Jenis fitur apa yang akan Anda coba ekstrak dari daftar kata untuk diprediksi di masa depan, apakah itu kata yang ada atau hanya karakter yang berantakan? Ada deskripsi tugas yang saya temukan di sana . Anda harus menulis sebuah program yang dapat menjawab apakah kata yang diberikan adalah bahasa Inggris. …

11 machine-learning  nlp  text-mining  algorithms 

Amazon Alexa , Nuance's Mix dan Facebook's Wit.ai semuanya menggunakan sistem yang sama untuk menentukan cara mengubah perintah teks menjadi maksud - yaitu sesuatu yang akan dipahami komputer. Saya tidak yakin apa nama "resmi" untuk ini, tetapi saya menyebutnya "pengakuan niat". Pada dasarnya cara untuk beralih dari "setel lampu saya …

11 machine-learning  nlp 

Saya benar-benar baru di word2vec jadi tolong bawa. Saya memiliki satu set file teks yang masing-masing berisi satu set tweet, antara 1000-3000. Saya telah memilih kata kunci yang umum ("kw1") dan ingin mencari istilah yang relevan secara semantik untuk "kw1" menggunakan word2vec. Misalnya jika kata kuncinya adalah "apel", saya akan …

11 machine-learning  nlp  text-mining 

Saya sedang mengerjakan model gensim word2vec dan merasa sangat menarik. Saya tertarik menemukan bagaimana kata yang tidak diketahui / tidak terlihat ketika diperiksa dengan model akan bisa mendapatkan istilah yang sama dari model yang dilatih. Apakah ini mungkin? Bisakah word2vec di-tweak untuk ini? Atau pelatihan corpus perlu memiliki semua kata …

11 nlp  deep-learning  word-embeddings  unsupervised-learning 

Saya memiliki dataset yang memiliki atribut kelas biner. Ada 623 contoh dengan kelas +1 (kanker positif) dan 101.671 contoh dengan kelas -1 (kanker negatif). Saya telah mencoba berbagai algoritma (Naif Bayes, Random Forest, AODE, C4.5) dan semuanya memiliki rasio negatif palsu yang tidak dapat diterima. Random Forest memiliki akurasi prediksi …

11 classification  random-forest  decision-trees  unbalanced-classes 

Saya sedang bekerja menyiapkan seperangkat VM untuk bereksperimen dengan Spark sebelum saya menghabiskan keluar dan menghabiskan uang untuk membangun sebuah cluster dengan beberapa perangkat keras. Catatan singkat: Saya adalah seorang akademisi dengan latar belakang dalam pembelajaran mesin yang diterapkan dan pekerjaan berhenti sedikit dalam ilmu data. Saya menggunakan alat untuk …

11 python  apache-spark  pyspark  ipython 

Saya ingin menghindari overfitting di hutan acak. Dalam hal ini, saya bermaksud menggunakan mtry, nodesize, dan maxnodes dll. Bisakah Anda membantu saya memilih nilai untuk parameter ini? Saya menggunakan R. Juga, jika mungkin, tolong katakan padaku bagaimana saya bisa menggunakan validasi silang k-fold untuk hutan acak (dalam R).

11 machine-learning  data-mining  r  predictive-modeling  random-forest 

Baru- baru ini saya menemukan paket R baru untuk terhubung ke API LinkedIn. Sayangnya API LinkedIn tampaknya cukup terbatas untuk memulainya; misalnya, Anda hanya bisa mendapatkan data dasar tentang perusahaan, dan ini terlepas dari data individu. Saya ingin mendapatkan data tentang semua karyawan perusahaan tertentu, yang dapat Anda lakukan secara …

11 data-mining  social-network-analysis  crawling  scraping 

Adakah yang bisa menjelaskan bagaimana mesin faktorisasi sadar lapangan (FFM) dibandingkan dengan Mesin Factorisasi standar (FM)? Standar: http://www.ismll.uni-hildesheim.de/pub/pdfs/Rendle2010FM.pdf "Field Aware": http://www.csie.ntu.edu.tw/~r01922136/kaggle-2014-criteo.pdf

11 machine-learning  recommender-system 

Google Trends mengembalikan data mingguan sehingga saya harus menemukan cara untuk menggabungkannya dengan data harian / bulanan saya. Apa yang telah saya lakukan sejauh ini adalah memecah setiap seri menjadi data harian, sebagai contoh: dari: 2013-03-03 - 2013-03-09 37 untuk: 2013-03-03 37 2013-03-04 37 2013-03-05 37 2013-03-06 37 2013-03-07 37 …

11 time-series 

Saya melihat pybrain untuk mengambil alarm monitor server dan menentukan akar penyebab masalah. Saya senang melatihnya menggunakan pembelajaran terawasi dan menyusun set data pelatihan. Data terstruktur seperti ini: Server Tipe A # 1 Jenis alarm 1 Jenis alarm 2 Server Type A # 2 Jenis alarm 1 Jenis alarm 2 …

11 machine-learning  neural-network 

Fungsi dasar R glm()menggunakan Fishers Scoring untuk MLE, sedangkan glmnettampaknya menggunakan metode penurunan koordinat untuk menyelesaikan persamaan yang sama. Keturunan koordinat lebih hemat waktu daripada Fisher Scoring, karena Fisher Scoring menghitung matriks turunan urutan kedua, di samping beberapa operasi matriks lainnya. yang membuat mahal untuk dilakukan, sedangkan koordinat keturunan dapat …

11 machine-learning  r  algorithms  optimization 

Izinkan saya menunjukkan kepada Anda sebuah contoh aplikasi pengelompokan online hipotetis: Pada saat n poin 1,2,3,4 dialokasikan ke cluster biru A dan poin b, 5,6,7 dialokasikan untuk cluster merah B. Pada waktu n +1 titik baru a diperkenalkan yang ditugaskan ke gugus biru A tetapi juga menyebabkan titik b ditugaskan …

11 machine-learning  clustering 

Saya memiliki 2 kumpulan data, satu dengan contoh positif dari apa yang ingin saya deteksi, dan satu dengan contoh tidak berlabel. Metode apa yang bisa saya gunakan? Sebagai contoh, misalkan kita ingin memahami mendeteksi email spam berdasarkan beberapa karakteristik email terstruktur. Kami memiliki satu dataset 10.000 email spam, dan satu …

11 classification  semi-supervised-learning