Ilmu Data

Tampaknya menjadi aksiomatis bahwa ansambel peserta didik mengarah ke hasil model terbaik - dan itu menjadi jauh lebih jarang, misalnya, untuk model tunggal untuk memenangkan kompetisi seperti Kaggle. Apakah ada penjelasan teoretis mengapa ansambel sangat efektif?

14 machine-learning  data-mining  predictive-modeling 

Saya ingin tahu cara mencocokkan alamat pos ketika formatnya berbeda atau ketika salah satu dari mereka salah eja. Sejauh ini saya telah menemukan solusi yang berbeda tetapi saya pikir mereka sudah cukup tua dan tidak terlalu efisien. Saya yakin ada beberapa metode yang lebih baik, jadi jika Anda memiliki referensi …

14 text-mining  data-cleaning 

Saya mengerti dari makalah Hinton bahwa T-SNE melakukan pekerjaan dengan baik dalam menjaga kesamaan lokal dan pekerjaan yang layak dalam melestarikan struktur global (klasterisasi). Namun saya tidak jelas apakah poin yang muncul lebih dekat dalam visualisasi t-sne 2D dapat dianggap sebagai titik data "lebih mirip". Saya menggunakan data dengan 25 …

14 visualization  dimensionality-reduction  tsne  manifold 

Saya sedang mengerjakan masalah klasifikasi. Saya memiliki dataset yang berisi jumlah variabel kategori dan variabel kontinu yang sama. Bagaimana saya tahu teknik apa yang digunakan? antara pohon keputusan dan regresi logistik? Apakah benar untuk berasumsi bahwa regresi logistik akan lebih cocok untuk variabel kontinu dan pohon keputusan akan lebih cocok …

14 classification  logistic-regression  decision-trees 

Saya memiliki kumpulan data pengguna yang membeli produk dari situs web. Atribut yang saya miliki adalah id pengguna, wilayah (negara bagian) pengguna, id kategori produk, id kata kunci produk, id kata kunci situs web, dan jumlah penjualan yang dihabiskan untuk produk tersebut. Tujuannya adalah untuk menggunakan informasi produk dan situs …

14 machine-learning  data-mining  classification  clustering 

Saya mencari untuk melakukan k-means pengelompokan pada set poin 10-dimensi. Tangkapan: ada 10 ^ 10 poin . Saya hanya mencari pusat dan ukuran cluster terbesar (misalkan 10 hingga 100 cluster); Saya tidak peduli tentang tujuan dari setiap titik. Menggunakan k-means secara spesifik tidak penting; Saya hanya mencari efek yang sama, …

14 clustering  k-means 

Apakah ada pustaka pembelajaran mesin untuk Ruby yang relatif lengkap (termasuk beragam algoritma untuk pembelajaran yang diawasi dan tidak diawasi), diuji dengan kuat, dan didokumentasikan dengan baik? Saya suka Python Scikit-belajar untuk dokumentasi yang luar biasa, tetapi klien lebih suka untuk menulis kode dalam Ruby karena itulah yang mereka kenal. …

14 machine-learning 

Saya memiliki dataset dengan spesifikasi sebagai berikut: Kumpulan data pelatihan dengan 193.176 sampel dengan 2.821 positif Uji Dataset dengan 82.887 sampel dengan 673 positif Ada 10 fitur. Saya ingin melakukan klasifikasi biner (0 atau 1). Masalah yang saya hadapi adalah bahwa datanya sangat tidak seimbang. Setelah normalisasi dan penskalaan data …

14 machine-learning  python  classification  logistic-regression 

Saya memiliki dataset biner yang sangat bias - Saya memiliki 1000x lebih banyak contoh kelas negatif daripada kelas positif. Saya ingin melatih Ensemble Pohon (seperti Pohon Acak Ekstra atau Hutan Acak) pada data ini, tetapi sulit untuk membuat kumpulan data pelatihan yang berisi cukup contoh kelas positif. Apa implikasi dari …

14 machine-learning  feature-selection  unbalanced-classes 

Saya mencoba memahami bagaimana semua komponen "data besar" bermain bersama dalam kasus penggunaan dunia nyata, misalnya hadoop, monogodb / nosql, storm, kafka, ... Saya tahu bahwa ini adalah cukup banyak alat yang digunakan untuk berbagai jenis, tetapi saya ingin mengetahui lebih banyak tentang interaksi mereka dalam aplikasi, misalnya mesin pembelajaran …

14 machine-learning  bigdata  efficiency  scalability  distributed 

Untuk jaringan saraf kami memiliki teorema aproksimasi universal yang menyatakan bahwa jaringan saraf dapat memperkirakan fungsi kontinu pada subset kompak .RnRnR^n Apakah ada hasil yang serupa untuk pohon yang didorong oleh gradien? Tampaknya masuk akal karena Anda dapat terus menambahkan lebih banyak cabang, tetapi saya tidak dapat menemukan diskusi formal …

14 decision-trees 

Saya melatih jaringan saraf convolutional untuk mengklasifikasikan gambar pada kondisi kabut (3 kelas). Namun, untuk masing-masing sekitar 150.000 gambar saya juga memiliki empat variabel meteorologis yang tersedia yang dapat membantu dalam memprediksi kelas-kelas gambar. Saya bertanya-tanya bagaimana saya bisa menambahkan variabel meteorologi (misalnya suhu, kecepatan angin) ke struktur CNN yang …

14 machine-learning  neural-network  deep-learning  tensorflow  cnn 

Jika saya melihat salah satu dari sekian banyak sumber untuk kelas Imagenet di Internet, saya tidak dapat menemukan satu kelas pun yang berhubungan dengan manusia (dan tidak, pemanen bukanlah seseorang yang memanen, tetapi itulah yang saya kenal sebagai bapak longlegs, semacam laba-laba :-). Bagaimana mungkin? Saya akan memiliki setidaknya diharapkan …

14 machine-learning  deep-learning  dataset  convnet  image-classification 

Saya punya dua pertanyaan terkait pohon keputusan: Jika kita memiliki atribut kontinu, bagaimana kita memilih nilai pemisahan? Contoh: Usia = (20,29,50,40 ....) Bayangkan bahwa kita memiliki atribut kontinyu yang memiliki nilai-nilai dalam R . Bagaimana saya bisa menulis algoritma yang menemukan titik split v , agar ketika kita membagi f …

14 classification  data  decision-trees 

Saya seorang insinyur Ilmu Komputer tanpa latar belakang statistik atau matematika tingkat lanjut. Saya sedang mempelajari buku Python Machine Learning oleh Raschka dan Mirjalili, tetapi ketika saya mencoba memahami matematika dari Machine Learning, saya tidak dapat memahami buku hebat yang disarankan seorang teman kepada saya The Elements of Statistics Learning …

14 machine-learning  statistics  reference-request  math