Pertanyaan yang diberi tag «nlp»

Pemrosesan bahasa alami (NLP) adalah bidang ilmu komputer, kecerdasan buatan, dan linguistik yang berkaitan dengan interaksi antara komputer dan bahasa manusia (alami). Dengan demikian, NLP terkait dengan bidang interaksi manusia-komputer. Banyak tantangan dalam NLP melibatkan pemahaman bahasa alami, yaitu, memungkinkan komputer untuk mendapatkan makna dari input bahasa manusia atau bahasa alami, dan yang lain melibatkan generasi bahasa alami.

5
Algoritma praktis terbaik untuk kesamaan kalimat
Saya memiliki dua kalimat, S1 dan S2, keduanya memiliki jumlah kata (biasanya) di bawah 15. Apa algoritma (pembelajaran mesin) yang praktis dan paling berguna, yang mungkin mudah diimplementasikan (jaringan saraf ok, kecuali arsitekturnya serumit Google Inception, dll.). Saya mencari algoritma yang akan bekerja dengan baik tanpa terlalu banyak waktu. Apakah …
1
NLP - mengapa "bukan" kata yang berhenti?
Saya mencoba untuk menghapus kata-kata berhenti sebelum melakukan pemodelan topik. Saya perhatikan bahwa beberapa kata negasi (tidak, tidak, tidak, tidak ada, dll.) Biasanya dianggap sebagai kata-kata berhenti. Misalnya, NLTK, spacy dan sklearn menyertakan "tidak" pada daftar kata stop mereka. Namun, jika kita menghapus "tidak" dari kalimat-kalimat di bawah ini, mereka …
4
Meningkatkan kecepatan implementasi t-sne di python untuk data yang sangat besar
Saya ingin melakukan pengurangan dimensionalitas pada hampir 1 juta vektor masing-masing dengan 200 dimensi ( doc2vec). Saya menggunakan TSNEimplementasi dari sklearn.manifoldmodul untuk itu dan masalah utama adalah kompleksitas waktu. Bahkan dengan method = barnes_hut, kecepatan komputasi masih rendah. Beberapa waktu bahkan kehabisan Memori. Saya menjalankannya pada prosesor 48 core dengan …
2
NLP - Apakah Gazetteer curang?
Di NLP, ada konsep Gazetteeryang bisa sangat berguna untuk membuat anotasi. Sejauh yang saya mengerti: Gazetteer terdiri dari serangkaian daftar yang berisi nama entitas seperti kota, organisasi, hari dalam seminggu, dll. Daftar ini digunakan untuk menemukan kemunculan nama-nama ini dalam teks, misalnya untuk tugas pengenalan entitas yang bernama. Jadi pada …
2
Ekstrak bagian teks yang paling informatif dari dokumen
Apakah ada artikel atau diskusi tentang penggalian bagian teks yang paling banyak menyimpan informasi tentang dokumen saat ini. Misalnya, saya memiliki kumpulan besar dokumen dari domain yang sama. Ada bagian teks yang menyimpan informasi penting yang dibicarakan oleh satu dokumen. Saya ingin mengekstrak beberapa bagian itu dan menggunakannya sebagai ringkasan …
16 nlp  text-mining 
5
membuat peta panas seaborn lebih besar
Saya membuat corr()df dari df asli. The corr()df keluar 70 X 70 dan tidak mungkin untuk memvisualisasikan heatmap tersebut ... sns.heatmap(df). Jika saya mencoba untuk menampilkan corr = df.corr(), tabel tidak cocok dengan layar dan saya bisa melihat semua korelasinya. Apakah ini cara untuk mencetak keseluruhan dfterlepas dari ukurannya atau …
16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 
4
Kesamaan antara dua kata
Saya mencari perpustakaan Python yang membantu saya mengidentifikasi kesamaan antara dua kata atau kalimat. Saya akan melakukan konversi Audio ke Teks yang akan menghasilkan kamus bahasa Inggris atau kata-kata non-kamus (Ini bisa berupa Orang atau nama Perusahaan) Setelah itu, saya perlu membandingkannya dengan kata atau kata-kata yang dikenal. Contoh: 1) …
15 nlp  nltk 
5
Prediksi kesamaan kalimat
Saya mencari untuk memecahkan masalah berikut: Saya memiliki satu set kalimat sebagai dataset saya, dan saya ingin dapat mengetikkan kalimat baru, dan menemukan kalimat yang paling mirip dengan yang ada di dataset. Contohnya akan terlihat seperti: Kalimat baru: " I opened a new mailbox" Prediksi berdasarkan dataset: Sentence | Similarity …
4
Bagaimana cara menginisialisasi model word2vec baru dengan bobot model pra-terlatih?
Saya menggunakan Perpustakaan Gensim dalam python untuk menggunakan dan melatih model word2vector. Baru-baru ini, saya melihat inisialisasi bobot model saya dengan beberapa model word2vec yang sudah dilatih sebelumnya seperti (model pretrained GoogleNewDataset). Saya telah berjuang dengan itu beberapa minggu. Sekarang, saya hanya mencari bahwa di gesim ada fungsi yang dapat …
2
Fitur apa yang biasanya digunakan dari pohon Parse dalam proses klasifikasi di NLP?
Saya menjelajahi berbagai jenis struktur pohon parse. Dua struktur pohon parse yang dikenal luas adalah a) pohon parse berbasiskan konstituensi dan b) struktur pohon parsing berdasarkan ketergantungan. Saya dapat menggunakan menghasilkan kedua jenis struktur pohon parse menggunakan paket NLP Stanford. Namun, saya tidak yakin bagaimana menggunakan struktur pohon ini untuk …
1
Apa itu Layer Konvolusional 1D dalam Pembelajaran Jauh?
Saya memiliki pemahaman umum yang baik tentang peran dan mekanisme lapisan konvolusional dalam Pembelajaran Jauh untuk pemrosesan gambar dalam kasus implementasi 2D atau 3D - mereka "hanya" mencoba menangkap pola 2D dalam gambar (dalam 3 saluran dalam kasus 3D). Tetapi baru-baru ini saya bertemu lapisan konvolusional 1D dalam konteks Natural …
1
Jadi apa masalahnya dengan LSTM?
Saya memperluas pengetahuan saya tentang paket Keras dan saya telah menggunakan beberapa model yang tersedia. Saya memiliki masalah klasifikasi biner NLP yang saya coba selesaikan dan telah menerapkan berbagai model. Setelah bekerja dengan beberapa hasil dan membaca lebih banyak tentang LSTM, sepertinya pendekatan ini jauh lebih unggul daripada yang lain …
4
Alternatif untuk TF-IDF dan Cosine Similarity ketika membandingkan dokumen dengan format berbeda
Saya telah mengerjakan proyek kecil pribadi yang membutuhkan keterampilan kerja pengguna dan menyarankan karier yang paling ideal bagi mereka berdasarkan keterampilan itu. Saya menggunakan database daftar pekerjaan untuk mencapai ini. Saat ini, kodenya berfungsi sebagai berikut: 1) Memproses teks dari setiap daftar pekerjaan untuk mengekstrak keterampilan yang disebutkan dalam daftar …
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.