Ilmu Data

Saya memiliki dokumen teks yang sebagian besar berisi daftar Item. Setiap Item adalah sekelompok token dari berbagai jenis: FirstName, LastName, BirthDate, PhoneNumber, City, Occupation, dll. Token adalah sekelompok kata. Barang bisa terletak pada beberapa baris. Item dari dokumen memiliki sintaks token yang sama, tetapi tidak harus sama persis. Mereka mungkin …

13 data-mining  clustering  text-mining  time-series  correlation 

Saya seorang pemula dalam pembelajaran mesin dan saya menghadapi situasi. Saya sedang mengerjakan masalah Penawaran Waktu Nyata, dengan dataset IPinYou dan saya mencoba melakukan prediksi klik. Masalahnya adalah, seperti yang Anda ketahui, dataset sangat tidak seimbang: Sekitar 1.300 contoh negatif (non klik) untuk 1 contoh positif (klik). Inilah yang saya …

13 machine-learning  dataset  sampling 

Misalkan saya memiliki pengklasifikasi C_1 ... C_n yang terpisah dalam arti bahwa tidak ada dua akan mengembalikan true pada input yang sama (misalnya node dalam pohon keputusan). Saya ingin membangun classifier baru yang merupakan gabungan dari beberapa subset dari ini (misalnya saya ingin memutuskan daun pohon keputusan mana yang memberikan …

13 algorithms 

Adakah yang bisa memberi tahu saya apa tujuan pembuatan fitur? dan mengapa pengayaan ruang fitur diperlukan sebelum mengklasifikasikan gambar? Apakah ini langkah yang perlu? Apakah ada metode untuk memperkaya ruang fitur?

13 machine-learning  classification 

Saya sangat baru di Scala dan Spark, dan sedang mengerjakan beberapa latihan buatan sendiri menggunakan statistik bisbol. Saya menggunakan kelas kasus membuat RDD dan menetapkan skema untuk data, dan kemudian mengubahnya menjadi DataFrame sehingga saya dapat menggunakan SparkSQL untuk memilih kelompok pemain melalui statistik mereka yang memenuhi kriteria tertentu. Setelah …

13 apache-spark  scala 

Saya sedang mengerjakan proyek data-sains yang terkait dengan penambangan hubungan sosial dan perlu menyimpan data dalam beberapa basis data grafik. Awalnya saya memilih Neo4j sebagai databasenya. Tapi sepertinya Neo4j tidak skala dengan baik. Alternatif yang saya temukan adalah Titan dan oriebtDB. Saya telah melalui perbandingan ini pada ketiga Basis Data …

13 data-mining  graphs  databases  social-network-analysis 

Hutan Acak (RF) dibuat oleh ensemble dari Decision Trees's (DT). Dengan menggunakan bagging, setiap DT dilatih dalam subset data yang berbeda. Oleh karena itu, adakah cara menerapkan hutan acak online dengan menambahkan lebih banyak keputusan pengambilan data baru? Sebagai contoh, kami memiliki sampel 10K dan melatih 10 DT. Kemudian kami …

13 random-forest  online-learning 

Pertama-tama istilah ini terdengar sangat tidak jelas. Omong-omong..Saya seorang programmer perangkat lunak. Salah satu bahasa yang saya dapat kode adalah Python. Berbicara tentang Data Saya dapat menggunakan SQL dan dapat melakukan Pengikisan Data. Apa yang saya ketahui sejauh ini setelah membaca begitu banyak artikel bahwa Ilmu Data adalah tentang yang …

13 beginner  career 

Saya mencoba menemukan yang setara dengan Diagram Hinton untuk jaringan multilayer untuk merencanakan bobot selama pelatihan. Jaringan terlatih agak mirip dengan Deep SRN, yaitu ia memiliki sejumlah besar matriks banyak berat yang akan membuat plot simultan dari beberapa Diagram Hinton secara visual membingungkan. Adakah yang tahu cara yang bagus untuk …

13 machine-learning  neural-network  visualization  deep-learning 

Saya menjelajahi berbagai jenis struktur pohon parse. Dua struktur pohon parse yang dikenal luas adalah a) pohon parse berbasiskan konstituensi dan b) struktur pohon parsing berdasarkan ketergantungan. Saya dapat menggunakan menghasilkan kedua jenis struktur pohon parse menggunakan paket NLP Stanford. Namun, saya tidak yakin bagaimana menggunakan struktur pohon ini untuk …

13 machine-learning  nlp  feature-selection  feature-extraction 

Saya memiliki serangkaian hasil dari uji A / B (satu grup kontrol, satu grup fitur) yang tidak sesuai dengan Distribusi Normal. Bahkan distribusi lebih menyerupai Distribusi Landau. Saya percaya uji-t independen mensyaratkan bahwa sampel harus setidaknya terdistribusi secara normal, yang menghambat saya menggunakan uji-t sebagai metode pengujian signifikansi yang valid. …

13 dataset  statistics  ab-test 

Ketika database relasional, seperti MySQL, memiliki kinerja yang lebih baik daripada yang tidak relasional, seperti MongoDB? Saya melihat pertanyaan pada Quora tempo hari, tentang mengapa Quora masih menggunakan MySQL sebagai backend mereka, dan bahwa kinerja mereka masih bagus.

13 bigdata  performance  databases  nosql 

Baru-baru ini saya diperkenalkan ke bidang Ilmu Data (sudah sekitar 6 bulan), dan Ii memulai perjalanan dengan Kursus Pembelajaran Mesin oleh Andrew Ng dan pos yang mulai mengerjakan Spesialisasi Ilmu Data oleh JHU. Di depan aplikasi praktis, saya telah bekerja membangun model prediksi yang akan memprediksi gesekan. Sejauh ini saya …

13 machine-learning 

Saya seorang mahasiswa master CS dalam penambangan data. Atasan saya pernah mengatakan kepada saya bahwa sebelum saya menjalankan classifier atau melakukan apa pun dengan dataset saya harus sepenuhnya memahami data dan memastikan bahwa data tersebut bersih dan benar. Pertanyaan saya: Apa praktik terbaik untuk memahami dataset (dimensi tinggi dengan atribut …

13 statistics  dataset 

Saya telah membaca banyak artikel \ blog tentang bagaimana berbagai jenis industri menggunakan Big Data Analytic. Tetapi sebagian besar dari artikel ini gagal menyebutkan Apa yang agak data perusahaan ini digunakan. Berapa ukuran data Alat teknologi apa yang mereka gunakan untuk memproses data Apa masalah yang mereka hadapi dan bagaimana …

13 data-mining  bigdata  usecase