Ilmu Data

Jika menghapus beberapa neuron menghasilkan model yang berkinerja lebih baik, mengapa tidak menggunakan jaringan saraf yang lebih sederhana dengan lebih sedikit lapisan dan lebih sedikit neuron di tempat pertama? Mengapa membangun model yang lebih besar dan lebih rumit pada awalnya dan menekan bagian-bagiannya nanti?

13 machine-learning  deep-learning  keras  regularization  dropout 

Saya baru-baru ini menemukan grafik embedding seperti DeepWalk dan LINE. Namun, saya masih belum memiliki ide yang jelas seperti apa yang dimaksud dengan embeddings grafik dan kapan menggunakannya (aplikasi)? Ada saran dipersilahkan!

13 graphs 

Saya bukan ahli autoencoder atau jaringan saraf dengan cara apa pun, jadi maafkan saya jika ini adalah pertanyaan konyol. Untuk tujuan pengurangan dimensi atau memvisualisasikan cluster dalam data dimensi tinggi, kita dapat menggunakan autoencoder untuk membuat representasi 2 dimensi (lossy) dengan memeriksa output dari lapisan jaringan dengan 2 node. Sebagai …

13 neural-network  dimensionality-reduction  autoencoder 

Jika kita melihat 90-99% dari makalah yang diterbitkan menggunakan CNN (ConvNet). Sebagian besar dari mereka menggunakan ukuran filter angka ganjil : {1, 3, 5, 7} untuk yang paling banyak digunakan. Situasi ini dapat menyebabkan beberapa masalah: Dengan ukuran filter ini, biasanya operasi konvolusi tidak sempurna dengan padding 2 (padding umum) …

13 deep-learning  convnet  computer-vision  convolution 

Saya membaca ini: Untuk melatih jaringan saraf kita, kita akan menginisialisasi setiap parameter W (l) ijWij (l) dan setiap b (l) ibi (l) ke nilai acak kecil mendekati nol (katakan menurut Normal (0, ϵ2) Normal (0 , ϵ2) distribusi untuk beberapa ϵϵ kecil, katakan 0,01) dari Stanford Deep, tutorial pembelajaran …

13 deep-learning  stanford-nlp  randomized-algorithms 

Saya telah membaca beberapa makalah tentang inisialisasi kernel dan banyak makalah yang menyebutkan bahwa mereka menggunakan L2 regularisasi kernel (seringkali dengan ).λ=0.0001λ=0.0001\lambda = 0.0001 Adakah yang melakukan sesuatu yang berbeda dari menginisialisasi bias dengan nol konstan dan tidak mengaturnya? Makalah inisialisasi kernel Mishkin dan Matas: Yang Anda butuhkan adalah init …

13 neural-network 

Dalam Pohon Keputusan, kita dapat memahami output dari struktur pohon dan kita juga dapat memvisualisasikan bagaimana Pohon Keputusan membuat keputusan. Jadi pohon keputusan memiliki kemampuan menjelaskan (hasil mereka dapat dijelaskan dengan mudah.) Apakah kita memiliki kemampuan menjelaskan dalam Jaringan Saraf Tiruan seperti dengan Pohon Keputusan?

13 neural-network 

Saya memiliki pemahaman umum yang baik tentang peran dan mekanisme lapisan konvolusional dalam Pembelajaran Jauh untuk pemrosesan gambar dalam kasus implementasi 2D atau 3D - mereka "hanya" mencoba menangkap pola 2D dalam gambar (dalam 3 saluran dalam kasus 3D). Tetapi baru-baru ini saya bertemu lapisan konvolusional 1D dalam konteks Natural …

13 deep-learning  nlp  convolution 

Saya mencoba mencari tahu dimensi masing-masing variabel dalam RNN di lapisan lupa, namun, saya tidak yakin apakah saya berada di jalur yang benar. Gambar dan persamaan selanjutnya adalah dari posting blog Colah "Memahami Jaringan LSTM" : dimana: m ∗ 1xtxtx_t adalah input ukuran vektorm∗1m∗1m*1 n ∗ 1ht−1ht−1h_{t-1} adalah status tersembunyi …

13 neural-network  rnn 

Gagasan menerapkan filter untuk melakukan sesuatu seperti mengidentifikasi tepi, adalah ide yang cukup keren. Misalnya, Anda dapat mengambil gambar 7. Dengan beberapa filter, Anda dapat berakhir dengan gambar yang diubah yang menekankan berbagai karakteristik gambar asli. 7 yang asli: dapat dialami oleh jaringan sebagai: Perhatikan bagaimana setiap gambar telah mengekstraksi …

13 neural-network 

Ketika kita melakukan validasi k-fold cross, haruskah kita menggunakan classifier yang memiliki akurasi pengujian tertinggi? Apa yang umumnya pendekatan terbaik dalam mendapatkan classifier dari validasi silang?

13 machine-learning  cross-validation 

Saya membaca presentasi dan merekomendasikan untuk tidak menggunakan menyisakan satu penyandian, tetapi tidak masalah dengan satu penyandian panas. Saya pikir mereka berdua sama. Adakah yang bisa menggambarkan perbedaan di antara mereka?

13 machine-learning  data-mining  feature-selection  feature-extraction  feature-engineering 

Saya mencari bobot pra-terlatih dari model yang sudah dilatih seperti data Google News dll. Saya merasa sulit untuk melatih model baru dengan jumlah data (10 GB dll) yang cukup untuk saya sendiri. Jadi, saya ingin mengambil manfaat dari pembelajaran transfer di mana saya akan bisa mendapatkan bobot lapisan pra-dilatih dan …

13 machine-learning  bigdata  word2vec 

Beberapa hal dalam hidup memberi saya kesenangan seperti menggores data terstruktur dan tidak terstruktur dari Internet dan memanfaatkannya dalam model saya. Sebagai contoh, Data Science Toolkit (atau RDSTKuntuk programmer R) memungkinkan saya untuk menarik banyak data berbasis lokasi yang baik menggunakan IP atau alamat dan paket tm.webmining.pluginuntuk R tmmembuat goresan …

13 text-mining  scraping 

Saya ingin tahu apa cara terbaik untuk mengklasifikasikan kumpulan data yang terdiri dari berbagai jenis atribut, misalnya, tekstual dan numerik. Saya tahu saya bisa mengonversi teks menjadi boolean, tetapi perbendaharaan katanya beragam dan datanya terlalu jarang. Saya juga mencoba untuk mengklasifikasikan jenis atribut secara terpisah dan menggabungkan hasilnya melalui teknik …

13 machine-learning  classification