Pertanyaan yang diberi tag «tf-idf»

Tidak yakin apakah ini situs tumpukan yang tepat, tetapi begini saja. Bagaimana cara kerja metode .similiarity? Wah spanya bagus! Model tfidf-nya bisa lebih mudah, tetapi w2v dengan hanya satu baris kode ?! Dalam 10 baris tutorialnya di spaCy andrazhribernik, tunjukkan pada kami metode .similaritas yang dapat dijalankan pada token, sents, …

13 natural-language  word2vec  tf-idf  nltk 

Dari dokumen Lucene IDF=1+log(numDocsdocFreq+1)IDF=1+log⁡(numDocsdocFreq+1)\text{IDF} = 1 + \log\left(\frac{\text{numDocs}}{\text{docFreq}+1}\right) Dalam referensi lain (mis. Wikipedia ), IDF biasanya dihitung sebagai atau untuk menghindari menyelam oleh 0.log(numDocsdocFreq)log⁡(numDocsdocFreq)\log\left(\frac{\text{numDocs}}{\text{docFreq}}\right)catatan(numDocsdocFreq + 1)catatan⁡(numDocsdocFreq+1)\log\left(\frac{\text{numDocs}}{\text{docFreq}+1}\right) Saya juga menyadari Lucene menggunakan daripada untuk menghitung TF, tetapi pemahaman saya adalah bahwa ini hanya transformasi yang disukai, mungkin untuk menghindari .x--√x\sqrt{x}catatan( x …

8 information-retrieval  tf-idf