Pertanyaan yang diberi tag «nltk»

Saya membaca buku ini ( NLTK ) dan itu membingungkan. Entropi adalah didefinisikan sebagai : Entropi adalah jumlah dari probabilitas setiap label dikalikan dengan probabilitas log dari label yang sama Bagaimana saya bisa menerapkan entropi dan entropi maksimum dalam hal penambangan teks? Bisakah seseorang memberi saya contoh yang mudah dan …

338 math  text  computer-science  nltk  text-mining 

Saat mencoba memuat punkttokenizer ... import nltk.data tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') ... a LookupErrordibesarkan: > LookupError: > ********************************************************************* > Resource 'tokenizers/punkt/english.pickle' not found. Please use the NLTK Downloader to obtain the resource: nltk.download(). Searched in: > - 'C:\\Users\\Martinos/nltk_data' > - 'C:\\nltk_data' > - 'D:\\nltk_data' > - 'E:\\nltk_data' > - 'E:\\Python26\\nltk_data' > …

144 python  jenkins  nltk 

Bagaimana cara menemukan daftar dengan semua kemungkinan tag pos yang digunakan oleh Natural Language Toolkit (nltk)?

141 python  nltk 

Saya mencari cara untuk membagi teks menjadi n-gram. Biasanya saya akan melakukan sesuatu seperti: import nltk from nltk import bigrams string = "I really like python, it's pretty awesome." string_bigrams = bigrams(string) print string_bigrams Saya sadar bahwa nltk hanya menawarkan bigrams dan trigram, tetapi apakah ada cara untuk membagi teks …

137 python  string  nltk  n-gram 

Saya ingin memeriksa program Python jika ada kata dalam kamus bahasa Inggris. Saya percaya antarmuka wordnet nltk mungkin cara untuk pergi tapi saya tidak tahu bagaimana menggunakannya untuk tugas yang sederhana. def is_english_word(word): pass # how to I implement is_english_word? is_english_word(token.lower()) Di masa depan, saya mungkin ingin memeriksa apakah bentuk …

134 python  nltk  wordnet 

Kapan saya menggunakan masing-masing? Juga ... apakah lemmatisasi NLTK tergantung pada Bagian Bicara? Bukankah lebih akurat jika itu?

131 python  nlp  nltk  lemmatization 

Saya baru mulai menggunakan NLTK dan saya tidak begitu mengerti bagaimana cara mendapatkan daftar kata dari teks. Jika saya menggunakan nltk.word_tokenize(), saya mendapatkan daftar kata dan tanda baca. Saya hanya membutuhkan kata-kata saja. Bagaimana cara menghilangkan tanda baca? Juga word_tokenizetidak berfungsi dengan beberapa kalimat: titik ditambahkan ke kata terakhir.

125 python  nlp  tokenize  nltk 

Jadi saya memiliki kumpulan data yang ingin saya hapus kata-kata henti dari penggunaan stopwords.words('english') Saya berjuang bagaimana menggunakan ini dalam kode saya untuk hanya mengambil kata-kata ini. Saya sudah memiliki daftar kata-kata dari kumpulan data ini, bagian yang saya perjuangkan adalah membandingkan dengan daftar ini dan menghapus kata-kata berhenti. Bantuan …

110 python  nltk  stop-words 

Dalam skrip shell saya memeriksa apakah paket ini diinstal atau tidak, jika tidak diinstal maka instal. Jadi dengan skrip shell: import nltk echo nltk.__version__ tetapi menghentikan skrip shell pada importbaris di terminal linux mencoba melihat dengan cara ini: which nltk yang tidak memberikan pemikiran apa-apa itu diinstal. Apakah ada cara …

102 python  linux  shell  scikit-learn  nltk 

Saya mengalami kesulitan menggunakan pip untuk menginstal hampir semua hal. Saya baru mengenal pengkodean, jadi saya pikir mungkin ini adalah kesalahan yang telah saya lakukan dan telah memilih untuk keluar dari easy_install untuk menyelesaikan sebagian besar dari apa yang perlu saya selesaikan, yang umumnya berfungsi. Namun, sekarang saya mencoba mengunduh …

101 python  pip  nltk  easy-install 

Kode Saya: import nltk.data tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') Pesan eror: [ec2-user@ip-172-31-31-31 sentiment]$ python mapper_local_v1.0.py Traceback (most recent call last): File "mapper_local_v1.0.py", line 16, in <module> tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') File "/usr/lib/python2.6/site-packages/nltk/data.py", line 774, in load opened_resource = _open(resource_url) File "/usr/lib/python2.6/site-packages/nltk/data.py", line 888, in _open return find(path_, path + ['']).open() File "/usr/lib/python2.6/site-packages/nltk/data.py", line …

96 python  unix  nltk 

Saya mengikuti tutorial yang tersedia di Bagian 1 & Bagian 2 . Sayangnya penulis tidak memiliki waktu untuk bagian terakhir yang menggunakan kesamaan kosinus untuk benar-benar menemukan jarak antara dua dokumen. Saya mengikuti contoh dalam artikel dengan bantuan tautan berikut dari stackoverflow , termasuk kode yang disebutkan di tautan di …

93 python  machine-learning  nltk  information-retrieval  tf-idf 

Apakah mungkin menggunakan Stanford Parser di NLTK? (Saya tidak berbicara tentang Stanford POS.)

90 python  parsing  nlp  nltk  stanford-nlp