Pertanyaan yang diberi tag «word2vec»

Apa cara terbaik untuk mengetahui kemiripan semantik kata-kata? Word2Vec baik-baik saja, tetapi tidak ideal: # Using the 840B word Common Crawl GloVe vectors with gensim: # 'hot' is closer to 'cold' than 'warm' In [7]: model.similarity('hot', 'cold') Out[7]: 0.59720456121072973 In [8]: model.similarity('hot', 'warm') Out[8]: 0.56784095376659627 # Cold is much closer …

20 nlp  word-embeddings  word2vec  nltk 

Saya memiliki dua kalimat, S1 dan S2, keduanya memiliki jumlah kata (biasanya) di bawah 15. Apa algoritma (pembelajaran mesin) yang praktis dan paling berguna, yang mungkin mudah diimplementasikan (jaringan saraf ok, kecuali arsitekturnya serumit Google Inception, dll.). Saya mencari algoritma yang akan bekerja dengan baik tanpa terlalu banyak waktu. Apakah …

18 nlp  clustering  word2vec  similarity 

Saya bertanya-tanya bagaimana cara memberi label (tag) kalimat / paragraf / dokumen dengan doc2vec di gensim - dari sudut pandang praktis. Apakah Anda perlu memiliki setiap kalimat / paragraf / dokumen dengan label uniknya sendiri (mis. "Sent_123")? Ini sepertinya berguna jika Anda ingin mengatakan "kata atau kalimat apa yang paling …

17 machine-learning  text-mining  word-embeddings  word2vec 

Saya membuat corr()df dari df asli. The corr()df keluar 70 X 70 dan tidak mungkin untuk memvisualisasikan heatmap tersebut ... sns.heatmap(df). Jika saya mencoba untuk menampilkan corr = df.corr(), tabel tidak cocok dengan layar dan saya bisa melihat semua korelasinya. Apakah ini cara untuk mencetak keseluruhan dfterlepas dari ukurannya atau …

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Saya menggunakan Perpustakaan Gensim dalam python untuk menggunakan dan melatih model word2vector. Baru-baru ini, saya melihat inisialisasi bobot model saya dengan beberapa model word2vec yang sudah dilatih sebelumnya seperti (model pretrained GoogleNewDataset). Saya telah berjuang dengan itu beberapa minggu. Sekarang, saya hanya mencari bahwa di gesim ada fungsi yang dapat …

14 python  nlp  word-embeddings  word2vec  gensim 

Ada iterparameter dalam gensimimplementasi Word2Vec class gensim.models.word2vec.Word2Vec (kalimat = Tidak ada, ukuran = 100, alpha = 0,025, window = 5, min_count = 5, max_vocab_size = Tidak ada, sampel = 0, seed = 1, pekerja = 1, min_alpha = 0,0001, sg = 1, hs = 1, negatif = 0, cbow_mean = …

14 gensim  word2vec  convergence 

Saya mencari bobot pra-terlatih dari model yang sudah dilatih seperti data Google News dll. Saya merasa sulit untuk melatih model baru dengan jumlah data (10 GB dll) yang cukup untuk saya sendiri. Jadi, saya ingin mengambil manfaat dari pembelajaran transfer di mana saya akan bisa mendapatkan bobot lapisan pra-dilatih dan …

13 machine-learning  bigdata  word2vec 

Saya mencoba menggunakan CNN (jaringan saraf convolutional) untuk mengklasifikasikan dokumen. CNN untuk teks / kalimat pendek telah dipelajari di banyak makalah. Namun, tampaknya tidak ada kertas yang menggunakan CNN untuk teks atau dokumen yang panjang. Masalah saya adalah bahwa ada terlalu banyak fitur dari suatu dokumen. Dalam dataset saya, setiap …

11 classification  neural-network  text-mining  convnet  word2vec 

Saya telah membaca bahwa representasi distribusi didasarkan pada hipotesis distribusi bahwa kata-kata yang muncul dalam konteks yang sama cenderung memiliki makna yang sama. Word2Vec dan Doc2Vec keduanya dimodelkan sesuai dengan hipotesis ini. Tapi, di koran aslinya, bahkan mereka diberi judul sebagai Distributed representation of words and phrasesdan Distributed representation of …

10 nlp  word-embeddings  terminology  word2vec 

Saya seorang pemula dalam jaringan saraf dan saat ini saya sedang mengeksplorasi model word2vec. Namun saya mengalami kesulitan untuk memahami apa sebenarnya fitur matriks. Saya bisa mengerti bahwa matriks pertama adalah vektor pengodean satu-panas untuk kata tertentu, tetapi apa yang ditandakan oleh matriks kedua? Lebih khusus lagi, apa arti dari …

10 machine-learning  neural-network  word2vec 

Saya sudah membaca penjelasan konvolusi dan memahaminya sampai batas tertentu. Adakah yang bisa membantu saya memahami bagaimana operasi ini berhubungan dengan konvolusi dalam Jaring Saraf Konvolusional? Apakah fungsi seperti filter gyang menerapkan bobot?

10 machine-learning  neural-network  deep-learning  cnn  convolution  machine-learning  ensemble-modeling  machine-learning  classification  data-mining  clustering  machine-learning  feature-selection  convnet  pandas  graphs  ipython  machine-learning  apache-spark  multiclass-classification  naive-bayes-classifier  multilabel-classification  machine-learning  data-mining  dataset  data-cleaning  data  machine-learning  data-mining  statistics  correlation  machine-learning  data-mining  dataset  data-cleaning  data  beginner  career  python  r  visualization  machine-learning  data-mining  nlp  stanford-nlp  dataset  linear-regression  time-series  correlation  anomaly-detection  ensemble-modeling  data-mining  machine-learning  python  data-mining  recommender-system  machine-learning  cross-validation  model-selection  scoring  prediction  sequential-pattern-mining  categorical-data  python  tensorflow  image-recognition  statistics  machine-learning  data-mining  predictive-modeling  data-cleaning  preprocessing  classification  deep-learning  tensorflow  machine-learning  algorithms  data  keras  categorical-data  reference-request  loss-function  classification  logistic-regression  apache-spark  prediction  naive-bayes-classifier  beginner  nlp  word2vec  vector-space-models  scikit-learn  decision-trees  data  programming 

Saya mencoba melakukan analisis sentimen. Untuk mengkonversi kata ke vektor kata saya menggunakan model word2vec. Misalkan saya memiliki semua kalimat dalam daftar bernama 'kalimat' dan saya meneruskan kalimat ini ke word2vec sebagai berikut: model = word2vec.Word2Vec(sentences, workers=4 , min_count=40, size=300, window=5, sample=1e-3) Karena saya noob untuk kata vektor saya punya …

9 machine-learning  deep-learning  word-embeddings  word2vec  sentiment-analysis 

Saya telah mengerjakan data yang terlatih untuk algoritma Word2vec. Karena kita membutuhkan kata-kata untuk tetap seperti aslinya, kita tidak membuatnya menjadi huruf kecil pada tahap preprocessing. Jadi ada kata-kata dengan variasi berbeda (mis. "Bumi" dan "bumi"). Satu-satunya cara saya dapat memikirkan adalah untuk mengambil rata-rata vektor untuk "Bumi" dan "bumi" …

8 feature-extraction  word-embeddings  word2vec