Pertanyaan yang diberi tag «word2vec»

Saya mencoba memahami apa persamaan antara Alokasi Dirichlet Laten dan word2vec untuk menghitung kesamaan kata. Seperti yang saya pahami, LDA memetakan kata ke vektor probabilitas dari topik laten , sementara word2vec memetakannya ke vektor bilangan real (terkait dengan penguraian nilai singular dari informasi timbal balik yang saling berhadapan, lihat O. …

39 machine-learning  self-study  natural-language  latent-variable  word2vec 

Bagaimana cara saya menggunakan kata embedding untuk memetakan dokumen ke vektor fitur, cocok untuk digunakan dengan pembelajaran yang diawasi? Sebuah embedding kata memetakan setiap kata ke vektor , dimana adalah beberapa nomor yang tidak terlalu besar (misalnya, 500). Kata embeddings yang populer termasuk word2vec dan Glove .wwwv∈Rdv∈Rdv \in \mathbb{R}^dddd Saya …

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

Setelah melatih vektor kata dengan word2vec, apakah lebih baik untuk menormalkannya sebelum menggunakannya untuk beberapa aplikasi hilir? Yaitu apa pro / kontra dari menormalkan mereka?

38 natural-language  word2vec  word-embeddings 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 2 tahun yang lalu . Saya menggunakan tanda sisipan untuk menjalankan hutan acak lintas divalidasi atas dataset. Variabel Y adalah faktor. Tidak ada NaN, Inf, …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Saya telah berusaha keras untuk memahami konsep pengambilan sampel negatif dalam konteks word2vec. Saya tidak dapat mencerna ide pengambilan sampel [negatif]. Misalnya dalam makalah Mikolov, harapan pengambilan sampel negatif dirumuskan sebagai catatanσ( ⟨ W , c ⟩ ) + k ⋅ EcN∼ P.D[ logσ( - ⟨ w , cN⟩ ) …

19 machine-learning  word2vec  word-embeddings 

Saya bertanya-tanya mengapa melewatkan-gram lebih baik untuk kata-kata yang jarang terjadi daripada CBOW di word2vec. Saya telah membaca klaim di https://code.google.com/p/word2vec/ .

19 natural-language  word2vec  word-embeddings 

Pertanyaan saya mungkin konyol. Jadi saya akan minta maaf sebelumnya. Saya mencoba menggunakan model GLOVE yang sudah dilatih oleh Stanford NLP group ( tautan ). Namun, saya perhatikan bahwa hasil kesamaan saya menunjukkan beberapa angka negatif. Itu segera mendorong saya untuk melihat file data kata-vektor. Rupanya, nilai-nilai dalam kata vektor …

17 machine-learning  word2vec  cosine-similarity 

Tidak yakin apakah ini situs tumpukan yang tepat, tetapi begini saja. Bagaimana cara kerja metode .similiarity? Wah spanya bagus! Model tfidf-nya bisa lebih mudah, tetapi w2v dengan hanya satu baris kode ?! Dalam 10 baris tutorialnya di spaCy andrazhribernik, tunjukkan pada kami metode .similaritas yang dapat dijalankan pada token, sents, …

13 natural-language  word2vec  tf-idf  nltk 

Saya bertanya-tanya mengapa softmax hierarkis lebih baik untuk kata-kata yang jarang, sedangkan pengambilan sampel negatif lebih baik untuk kata-kata yang sering, dalam CBOW dan skip-gram model word2vec. Saya telah membaca klaim di https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

Saya mengalami masalah dalam memahami model skip-gram dari algoritma Word2Vec. Dalam kata-kata kontinyu mudah untuk melihat bagaimana kata konteks dapat "cocok" di Neural Network, karena Anda pada dasarnya meratakannya setelah mengalikan masing-masing representasi pengodean satu-panas dengan matriks input W. Namun, dalam kasus lompatan-gram, Anda hanya mendapatkan vektor kata input dengan …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Saya mencoba menanamkan sekitar 60 juta frasa ke dalam ruang vektor , lalu menghitung persamaan cosinus di antara mereka. Saya telah menggunakan sklearn's CountVectorizerdengan fungsi tokenizer yang dibuat khusus yang menghasilkan unigrams dan bigrams. Ternyata untuk mendapatkan representasi yang bermakna, saya harus mengizinkan sejumlah besar kolom, linier dalam jumlah baris. …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Saya sangat baru menggunakan kata embeddings. Saya ingin memvisualisasikan bagaimana dokumen mencari setelah belajar. Saya membaca bahwa t-SNE adalah pendekatan untuk melakukannya. Saya memiliki 100 ribu dokumen dengan 250 dimensi sebagai ukuran penyematan. Ada beberapa paket yang tersedia juga. Namun, untuk t-SNE, saya tidak tahu berapa banyak iterasi atau nilai …

11 pca  dimensionality-reduction  word2vec  word-embeddings  tsne 

Untuk tugas pemrosesan bahasa alami (NLP) seseorang sering menggunakan vektor word2vec sebagai embedding kata-kata. Namun, mungkin ada banyak kata yang tidak dikenal yang tidak ditangkap oleh vektor word2vec hanya karena kata-kata ini tidak cukup sering terlihat dalam data pelatihan (banyak implementasi menggunakan jumlah minimum sebelum menambahkan kata ke dalam kosakata). …

11 natural-language  word2vec  lstm  word-embeddings 

Saya mencoba untuk bekerja dengan cara saya melalui set masalah pertama dari materi kursus stanford kelas cs224d online dan saya mengalami beberapa masalah dengan masalah 3A: Ketika menggunakan model skip gram word2vec dengan fungsi prediksi softmax dan fungsi kehilangan entropi silang, kami ingin menghitung gradien sehubungan dengan vektor kata yang …

10 machine-learning  self-study  word2vec 

Saya akan membahas masalah-masalah dalam tugas penugasan tertulis kelas pembelajaran mendalam di Stanford NLP http://cs224d.stanford.edu/assignment1/assignment1_soln Saya mencoba memahami jawaban untuk 3a di mana mereka mencari turunan ke vektor untuk kata pusat. Asumsikan Anda diberikan vektor kata yang diprediksi sesuai dengan kata tengah c untuk skipgram, dan prediksi kata dibuat dengan …

9 self-study  neural-networks  backpropagation  word2vec