Ilmu Data

Tugas 'pembelajaran mesin' saya adalah memisahkan lalu lintas Internet jinak dari lalu lintas jahat. Dalam skenario dunia nyata, sebagian besar (katakanlah 90% atau lebih) dari lalu lintas Internet tidak berbahaya. Jadi saya merasa bahwa saya harus memilih pengaturan data yang serupa untuk melatih model saya juga. Tetapi saya menemukan satu …

48 machine-learning  dataset  unbalanced-classes 

Saya seorang mahasiswa PhD Geofisika dan bekerja dengan sejumlah besar data gambar (ratusan GB, puluhan ribu file). Saya tahu svndan gitcukup baik dan datang untuk menghargai sejarah proyek, dikombinasikan dengan kemampuan untuk mudah bekerja sama dan memiliki perlindungan terhadap kerusakan disk. Saya menemukan gitjuga sangat membantu untuk memiliki cadangan yang …

46 bigdata  databases  binary  version-control 

Saya menggunakan RStudio untuk pemrograman R. Saya ingat tentang IDE-s yang solid dari tumpukan teknologi lain, seperti Visual Studio atau Eclipse. Saya punya dua pertanyaan: Apa IDE-s selain RStudio yang digunakan (harap pertimbangkan untuk memberikan deskripsi singkat tentang mereka). Apakah ada di antara mereka yang memiliki keunggulan nyata dibandingkan RStudio? …

46 r  tools  rstudio  programming 

Apa praktik umum / terbaik untuk menangani data waktu untuk aplikasi pembelajaran mesin? Misalnya, jika dalam kumpulan data ada kolom dengan stempel waktu acara, seperti "2014-05-05", bagaimana Anda dapat mengekstrak fitur yang berguna dari kolom ini jika ada? Terima kasih sebelumnya!

45 machine-learning  time-series  feature-selection 

Saat ini saya bekerja sebagai ilmuwan data di perusahaan ritel (pekerjaan pertama saya sebagai DS, jadi pertanyaan ini mungkin merupakan hasil dari kurangnya pengalaman saya). Mereka memiliki tumpukan besar proyek-proyek sains data yang sangat penting yang akan memiliki dampak positif yang besar jika diterapkan. Tapi. Jalur pipa data tidak ada …

44 data-wrangling 

Berapa banyak parameter yang dimiliki oleh satu LSTM bertumpuk? Jumlah parameter memaksakan batas bawah pada jumlah contoh pelatihan yang diperlukan dan juga mempengaruhi waktu pelatihan. Karenanya mengetahui jumlah parameter berguna untuk model pelatihan menggunakan LSTM.

43 deep-learning  rnn 

telah membaca sedikit tentang LSTM dan penggunaannya untuk seri waktu dan itu menarik tetapi sulit pada saat yang sama. Satu hal yang saya punya kesulitan dalam memahami adalah pendekatan untuk menambahkan fitur tambahan pada apa yang sudah menjadi daftar fitur deret waktu. Dengan asumsi Anda memiliki dataset Anda seperti ini: …

43 machine-learning  neural-network  deep-learning  time-series 

Motivasi Saya bekerja dengan kumpulan data yang berisi informasi pengenal pribadi (PII) dan kadang-kadang perlu berbagi bagian dari dataset dengan pihak ketiga, dengan cara yang tidak mengekspos PII dan membuat majikan saya bertanggung jawab. Pendekatan kami yang biasa di sini adalah menahan data sepenuhnya, atau dalam beberapa kasus mengurangi resolusinya; …

42 data-cleaning  anonymization 

f( x ) = maks ( x , α x ) dengan α ∈ ( 0 , 1 )f(x)=max(x,αx) with α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Keras, bagaimanapun, memiliki kedua fungsi dalam dokumen . LeLU ReLU Sumber LeakyReLU : return K.relu(inputs, alpha=self.alpha) Karenanya …

42 neural-network 

Saya mendapat ValueError saat memprediksi data uji menggunakan model RandomForest. Kode saya: clf = RandomForestClassifier(n_estimators=10, max_depth=6, n_jobs=1, verbose=2) clf.fit(X_fit, y_fit) df_test.fillna(df_test.mean()) X_test = df_test.values y_pred = clf.predict(X_test) Kesalahan: ValueError: Input contains NaN, infinity or a value too large for dtype('float32'). Bagaimana cara menemukan nilai buruk dalam dataset uji? Juga, saya …

42 python  random-forest  pandas 

Saya ingin menggunakan jaringan saraf untuk klasifikasi gambar. Saya akan mulai dengan CaffeNet yang sudah dilatih sebelumnya dan melatihnya untuk aplikasi saya. Bagaimana saya menyiapkan gambar input? Dalam hal ini, semua gambar adalah objek yang sama tetapi dengan variasi (pikirkan: kontrol kualitas). Mereka berada pada skala yang agak berbeda / …

41 neural-network  image-classification  preprocessing  convnet 

Sepertinya kesamaan cosinus dari dua fitur hanyalah produk titik mereka diskalakan oleh produk besarnya mereka. Kapan kesamaan cosinus membuat metrik jarak yang lebih baik daripada produk titik? Apakah produk titik dan persamaan cosinus memiliki kekuatan atau kelemahan yang berbeda dalam situasi yang berbeda?

41 classification 

Saya sering membaca bahwa dalam kasus model Deep Learning, praktik yang biasa dilakukan adalah menerapkan batch mini (umumnya yang kecil, 32/64) pada beberapa periode pelatihan. Saya tidak dapat memahami alasan di balik ini. Kecuali saya salah, ukuran bets adalah jumlah instance pelatihan yang dilihat oleh model selama iterasi pelatihan; dan …

40 machine-learning  deep-learning 

Saya sedang membaca posting blog ini berjudul: Dunia Keuangan Ingin Membuka Kotak Hitam AI , di mana penulis berulang kali menyebut model ML sebagai "kotak hitam". Terminologi serupa telah digunakan di beberapa tempat ketika merujuk pada model ML. Kenapa gitu? Ini tidak seperti insinyur ML tidak tahu apa yang terjadi …

40 machine-learning  terminology 

Saya memiliki berbagai dataset NFL yang saya pikir mungkin bisa menjadi proyek sampingan yang baik, tetapi saya belum melakukan apa pun dengan mereka. Datang ke situs ini membuat saya berpikir tentang algoritma pembelajaran mesin dan saya bertanya-tanya seberapa bagus mereka dalam memprediksi hasil pertandingan sepak bola atau bahkan permainan selanjutnya. …

40 machine-learning  sports