Ilmu Data

Saya mencoba menyiapkan infrastruktur data besar menggunakan Hadoop, Hive, Elastic Search (di antara yang lain), dan saya ingin menjalankan beberapa algoritma melalui set data tertentu. Saya ingin algoritma itu sendiri dapat diskalakan, jadi ini tidak termasuk menggunakan alat seperti Weka, R, atau bahkan RHadoop. The Apache Mahout Perpustakaan tampaknya menjadi …

10 data-mining  bigdata  algorithms  outlier 

Saya mencoba membuat kumpulan data pada beberapa file log dari salah satu produk kami. File log yang berbeda memiliki tata letak dan konten sendiri; Saya berhasil mengelompokkan mereka bersama, hanya satu langkah tersisa ... Memang, log "pesan" adalah informasi terbaik. Saya tidak memiliki daftar lengkap semua pesan itu, dan itu …

10 text-mining  clustering 

Deskripsi umum masalah Saya memiliki grafik di mana beberapa simpul diberi label dengan tipe dengan 3 atau 4 nilai yang mungkin. Untuk simpul lainnya, jenisnya tidak diketahui. Tujuan saya adalah menggunakan grafik untuk memprediksi tipe untuk simpul yang tidak berlabel. Kerangka yang mungkin Saya menduga ini cocok dengan kerangka umum …

10 classification  r  graphs 

Saya mencari paket (baik dalam python, R, atau paket mandiri) untuk melakukan pembelajaran online untuk memprediksi data stok. Saya telah menemukan dan membaca tentang Vowpal Wabbit ( https://github.com/JohnLangford/vowpal_wabbit/wiki ), yang tampaknya cukup menjanjikan tetapi saya bertanya-tanya apakah ada paket lain di luar sana. Terima kasih sebelumnya.

10 machine-learning  online-learning 

Saya telah mengembangkan program catur yang memanfaatkan algoritma pemangkasan alpha-beta dan fungsi evaluasi yang mengevaluasi posisi menggunakan fitur-fitur berikut yaitu bahan, keamanan, mobilitas, struktur gadai dan potongan terperangkap dll ..... Fungsi evaluasi saya adalah berasal dari f( p ) = w1⋅ bahan + w2⋅ keamanan Kings + w3⋅ mobilitas + …

10 machine-learning  algorithms  reinforcement-learning 

Saya memiliki ribuan daftar string, dan setiap daftar memiliki sekitar 10 string. Sebagian besar string dalam daftar yang diberikan sangat mirip, meskipun beberapa string (jarang) sama sekali tidak terkait dengan yang lain dan beberapa string berisi kata-kata yang tidak relevan. Mereka dapat dianggap sebagai variasi berisik dari string kanonik. Saya …

10 nlp  similarity  information-retrieval 

Peringatan: Saya seorang pemula yang lengkap dalam hal pembelajaran mesin, tetapi ingin sekali belajar. Saya memiliki dataset besar dan saya mencoba menemukan pola di dalamnya. Mungkin ada / mungkin tidak ada korelasi di seluruh data, baik dengan variabel yang diketahui, atau variabel yang terkandung dalam data tetapi yang belum saya …

10 machine-learning  data-mining  tools  beginner 

Adakah tabel umum teknik statistik yang diketahui yang menjelaskan bagaimana skala dengan ukuran dan dimensi sampel? Sebagai contoh, seorang teman saya mengatakan kepada saya tempo hari bahwa waktu perhitungan hanya menyortir data satu dimensi dengan ukuran n berjalan seperti n * log (n). Jadi, misalnya, jika kita mundur y terhadap …

10 bigdata  statistics  efficiency  scalability 

Saya telah menganalisis satu set data ~ 400k catatan dan 9 variabel. Variabel dependen adalah biner. Saya telah memasang regresi logistik, pohon regresi, hutan acak, dan gradien yang didorong pohon. Semuanya memberikan angka cocok virtual yang identik ketika saya memvalidasinya pada set data lain. Kenapa begitu? Saya menduga itu karena …

10 data-mining  classification  binary 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Data Science Stack Exchange. Ditutup 5 tahun yang lalu . saya ingin menjadi ilmuwan data . Saya mempelajari statistik terapan (ilmu aktuaria), jadi saya memiliki latar belakang statistik …

10 machine-learning  statistics  career 

Saya ingin menggunakan data non-atom, sebagai fitur untuk prediksi. Misalkan saya punya Meja dengan fitur-fitur ini: - Column 1: Categorical - House - Column 2: Numerical - 23.22 - Column 3: A Vector - [ 12, 22, 32 ] - Column 4: A Tree - [ [ 2323, 2323 ],[2323, …

10 machine-learning 

Saya ingin menggunakan JST untuk mengotomatisasi mata uang perdagangan, lebih disukai USD / EUR atau USD / GBP. Saya tahu ini sulit dan mungkin tidak langsung. Saya sudah membaca beberapa makalah dan melakukan beberapa percobaan tetapi tidak berhasil. Saya ingin mendapatkan saran dari AHLI untuk membuat ini berhasil. Inilah yang …

10 neural-network 

Saya sedang mengerjakan sistem deteksi penipuan. Di bidang ini, penipuan baru muncul secara teratur, sehingga fitur baru harus ditambahkan ke model secara berkelanjutan. Saya bertanya-tanya apa cara terbaik untuk menanganinya (dari perspektif proses pengembangan)? Hanya menambahkan fitur baru ke dalam vektor fitur dan melatih ulang penggolong tampaknya menjadi pendekatan yang …

10 machine-learning  bigdata 

Saya sedang mengerjakan sebuah proyek dan membutuhkan sumber daya untuk mempercepat saya. Dataset adalah sekitar 35.000 pengamatan pada 30 atau lebih variabel. Sekitar setengah variabel adalah kategori dengan beberapa memiliki banyak nilai yang berbeda, yaitu jika Anda membagi variabel kategori menjadi variabel dummy Anda akan memiliki lebih dari 30 variabel. …

10 r  logistic-regression 

Saya mencoba mendeteksi pencilan dalam konsumsi gas energi dari beberapa bangunan Belanda, membangun model jaringan saraf. Saya memiliki hasil yang sangat buruk, tetapi saya tidak dapat menemukan alasannya. Saya bukan ahli sehingga saya ingin bertanya kepada Anda apa yang bisa saya tingkatkan dan apa yang saya lakukan salah. Ini adalah …

10 neural-network  outlier