Ilmu Data

Saya harap kutipan berikut ini akan memberikan wawasan tentang apa yang akan menjadi pertanyaan saya. Ini dari http://neuralnetworksanddeeplearning.com/chap3.html Pembelajaran kemudian secara bertahap melambat. Akhirnya, pada sekitar zaman 280 akurasi klasifikasi cukup banyak berhenti meningkat. Zaman kemudian hanya melihat fluktuasi stokastik kecil di dekat nilai akurasi pada zaman 280. Bandingkan ini …

12 neural-network  overfitting 

Saya mencoba menerapkan makalah ini pada serangkaian gambar medis. Saya melakukannya di Keras. Jaringan pada dasarnya terdiri dari 4 lapisan conv dan max-pool diikuti oleh lapisan yang sepenuhnya terhubung dan classifier soft max. Sejauh yang saya tahu, saya telah mengikuti arsitektur yang disebutkan di koran. Namun, validasi kehilangan dan akurasi …

12 machine-learning  python  deep-learning  keras 

Saya memiliki bingkai data panda dengan banyak kolom kategori, yang saya rencanakan untuk digunakan di pohon keputusan dengan scikit-belajar. Saya perlu mengubahnya menjadi nilai numerik (bukan satu vektor panas). Saya dapat melakukannya dengan LabelEncoder dari scikit-learn. Masalahnya ada terlalu banyak, dan saya tidak ingin mengonversinya secara manual. Apa yang akan …

12 scikit-learn  pandas  categorical-data  labels 

Saya memulai proyek di mana tugasnya adalah mengidentifikasi jenis sepatu dari gambar. Saat ini saya membaca implementasi TensorFlow dan Torch . Pertanyaan saya adalah: berapa banyak gambar per kelas yang diperlukan untuk mencapai kinerja klasifikasi yang masuk akal?

12 machine-learning  neural-network  image-classification  convnet  image-recognition 

Saya memiliki masalah klasifikasi dengan data yang sangat tidak seimbang. Saya telah membaca bahwa over dan undersampling serta mengubah biaya untuk output kategoris yang kurang terwakili akan mengarah pada pemasangan yang lebih baik. Sebelum ini dilakukan, tensorflow akan mengategorikan setiap input sebagai kelompok mayoritas (dan mendapatkan akurasi lebih dari 90%, …

12 tensorflow  loss-function 

Latar Belakang: di xgboost yang iterasi mencoba untuk menyesuaikan pohon atas segala contoh yang meminimalkan tujuan berikut:f t ntttftftf_tnnn ∑i=1n[gift(xi)+12hif2t(xi)]∑i=1n[gift(xi)+12hift2(xi)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] di mana adalah urutan pertama dan kedua, di atas estimasi terbaik kami sebelumnya (dari iterasi ):y t - 1gi,higi,hig_i, h_iy^y^\hat{y}t−1t−1t-1 gi=dy^l(yi,y^)gi=dy^l(yi,y^)g_i=d_{\hat{y}}l(y_i, \hat{y}) hi=d2y^l(yi,y^)hi=dy^2l(yi,y^)h_i=d^2_{\hat{y}}l(y_i, \hat{y}) dan adalah fungsi kerugian …

12 xgboost  gbm 

Saya mencari kemungkinan untuk mengklasifikasikan suara (misalnya suara binatang) menggunakan spektrogram. Idenya adalah untuk menggunakan jaringan saraf convolutional yang mendalam untuk mengenali segmen dalam spektrogram dan menghasilkan satu (atau banyak) label kelas. Ini bukan ide baru (lihat misalnya klasifikasi suara ikan paus atau pengenalan gaya musik ). Masalah yang saya …

12 deep-learning  multilabel-classification  audio-recognition 

Saya kenal seseorang yang mengerjakan proyek yang melibatkan menelan file data tanpa memperhatikan kolom atau tipe data. Tugasnya adalah mengambil file dengan sejumlah kolom dan berbagai tipe data serta statistik ringkasan keluaran pada data numerik. Namun, ia tidak yakin bagaimana cara menetapkan tipe data secara dinamis untuk data berbasis angka …

12 categorical-data  numerical 

Saya telah merencanakan fitur penting di hutan acak dengan scikit-learn . Untuk meningkatkan prediksi menggunakan hutan acak, bagaimana saya bisa menggunakan informasi plot untuk menghapus fitur? Apakah cara menemukan apakah fitur tidak berguna atau bahkan lebih buruk dari kinerja hutan acak, berdasarkan informasi plot? Plot didasarkan pada atribut feature_importances_dan saya …

12 feature-selection  random-forest  scikit-learn 

Saya telah bekerja di NLTK untuk sementara menggunakan Python. Masalah yang saya hadapi adalah tidak ada bantuan yang tersedia untuk melatih NER di NLTK dengan data khusus saya. Mereka telah menggunakan MaxEnt dan melatihnya pada ACE corpus. Saya telah mencari di web banyak tetapi saya tidak dapat menemukan cara yang …

12 machine-learning  python  nlp 

Adakah yang tahu apakah mungkin mengimpor set data besar ke Amazon S3 dari URL? Pada dasarnya, saya ingin menghindari mengunduh file besar dan kemudian mengunggahnya kembali ke S3 melalui portal web. Saya hanya ingin menyediakan URL unduhan ke S3 dan menunggu mereka mengunduhnya ke sistem file mereka. Sepertinya ini hal …

12 dataset  aws 

Saya memiliki variabel kontinu, disampel selama periode satu tahun dengan interval tidak teratur. Beberapa hari memiliki lebih dari satu pengamatan per jam, sedangkan periode lainnya tidak memiliki apa-apa selama berhari-hari. Ini membuatnya sangat sulit untuk mendeteksi pola dalam deret waktu, karena beberapa bulan (misalnya Oktober) sangat diambil sampelnya, sementara yang …

12 neural-network  time-series  regression 

Pertimbangkan aliran berisi tupel yang (user, new_score) mewakili skor pengguna dalam game online. Aliran bisa memiliki 100-1.000 elemen baru per detik. Permainan ini memiliki 200 ribu hingga 300 ribu pemain unik. Saya ingin memiliki beberapa pertanyaan berdiri seperti: Pemain mana yang memposting lebih dari skor x dalam jendela geser selama …

12 tools  data-stream-mining 

Misalnya, saat mencari sesuatu di Google, hasilnya kembali hampir secara instan. Saya memahami bahwa Google mengurutkan dan mengindeks halaman dengan algoritme, dll., Tetapi saya membayangkan tidak mungkin untuk membuat setiap kueri yang mungkin diindeks (dan hasilnya dipersonalisasi, yang menjadikan ini semakin tidak layak)? Selain itu, bukankah latensi perangkat keras di …

12 bigdata  google  search 

Sejauh ini ada banyak aplikasi menarik untuk pembelajaran mendalam dalam visi komputer atau pemrosesan bahasa alami. Bagaimana di bidang lain yang lebih tradisional? Sebagai contoh, saya memiliki variabel sosio-demografis tradisional plus mungkin banyak pengukuran laboratorium dan ingin memprediksi penyakit tertentu. Apakah ini akan menjadi aplikasi pembelajaran yang mendalam jika saya …

12 deep-learning