Java atau Python untuk Pemrosesan Bahasa Alami [tutup]

Saya ingin tahu bahasa pemrograman mana yang lebih baik untuk pemrosesan bahasa alami. Java atau Python ? Saya telah menemukan banyak pertanyaan dan jawaban tentang hal itu. Tapi saya masih bingung memilih mana yang akan digunakan.

Dan saya ingin tahu library NLP mana yang akan digunakan untuk Java karena ada banyak library (LingPipe, GATE, OpenNLP, StandfordNLP). Untuk Python, kebanyakan programmer merekomendasikan NLTK.

Tetapi jika saya akan melakukan pemrosesan teks atau ekstraksi informasi dari data tidak terstruktur (hanya teks bahasa Inggris biasa yang dibentuk bebas) untuk mendapatkan beberapa informasi yang berguna, apa pilihan terbaik? Java atau Python? Perpustakaan yang cocok?

Diperbarui

Yang ingin saya lakukan adalah mengekstrak informasi produk yang berguna dari data tidak terstruktur (Misalnya, pengguna membuat berbagai bentuk iklan tentang ponsel atau laptop dengan bahasa Inggris yang tidak terlalu standar)

Java vs Python untuk NLP adalah preferensi atau kebutuhan. Bergantung pada perusahaan / proyek, Anda harus menggunakan satu atau yang lain dan seringkali tidak banyak pilihan kecuali Anda sedang menuju proyek.

Selain NLTK(www.nltk.org), sebenarnya ada perpustakaan lain untuk pemrosesan teks di python:

• TextBlob : http://textblob.readthedocs.org/en/dev/
• Gensim : http://radimrehurek.com/gensim/
• Pola : http://www.clips.ua.ac.be/pattern
• Spacy :: http://spacy.io
• Oranye : http://orange.biolab.si/features/
• Nanas : https://github.com/proycon/pynlpl

(untuk lebih lanjut, lihat https://pypi.python.org/pypi?%3Aaction=search&term=natural+language+processing&submit=search )

Karena Java, ada banyak sekali lainnya, tetapi inilah daftar lainnya:

• Freeling : http://nlp.lsi.upc.edu/freeling/
• OpenNLP : http://opennlp.apache.org/
• LingPipe : http://alias-i.com/lingpipe/
• Stanford CoreNLP : http://stanfordnlp.github.io/CoreNLP/ (dilengkapi dengan pembungkus untuk bahasa lain, termasuk python)
• CogComp NLP : https://github.com/CogComp/cogcomp-nlp

Ini adalah perbandingan yang bagus untuk pemrosesan string dasar, lihat http://nltk.googlecode.com/svn/trunk/doc/howto/nlp-python.html

Perbandingan berguna antara GATE vs UIMA vs OpenNLP, lihat https://www.assembla.com/spaces/extraction-of-cost-data/wiki/Gate-vs-UIMA-vs-OpenNLP?version=4

Jika Anda tidak yakin, bahasa mana yang akan digunakan untuk NLP, secara pribadi saya katakan, "bahasa apa pun yang akan memberi Anda analisis / keluaran yang diinginkan", lihat Bahasa atau alat apa yang harus dipelajari untuk pemrosesan bahasa alami?

Berikut ini (2017) alat NLP yang cukup baru: https://github.com/alvations/awesome-community-curated-nlp

Daftar alat NLP yang lama (2013): http://web.archive.org/web/20130703190201/http://yauhenklimovich.wordpress.com/2013/05/20/tools-nlp

Selain alat pengolah bahasa, Anda akan sangat membutuhkan machine learningalat untuk dimasukkan ke dalam NLPpipeline.

Ada keseluruhan rentang dalam Pythondan Java, dan sekali lagi terserah preferensi dan apakah pustaka cukup ramah pengguna:

Library Machine Learning di python:

• Sklearn (Scikit-learn): http://scikit-learn.org/stable/
• Susu : http://luispedro.org/software/milk
• Scipy : http://www.scipy.org/
• Theano : http://deeplearning.net/software/theano/
• PyML : http://pyml.sourceforge.net/
• pyBrain : http://pybrain.org/
• Graphlab Create (Alat Komersial tetapi lisensi akademik gratis selama 1 tahun): https://dato.com/products/create/

(untuk lebih lanjut, lihat https://pypi.python.org/pypi?%3Aaction=search&term=machine+learning&submit=search )

• Weka : http://www.cs.waikato.ac.nz/ml/weka/index.html
• Palu : http://mallet.cs.umass.edu/
• Mahout : https://mahout.apache.org/

Dengan tsunami deep learning (2015) baru-baru ini di NLP , Anda mungkin dapat mempertimbangkan: https://en.wikipedia.org/wiki/Comparison_of_deep_learning_software

Saya akan menghindari mencantumkan alat pembelajaran mendalam dari non-favoritisme / netralitas.

Pertanyaan Stackoverflow lain yang juga menanyakan fitur NLP / ML:

• Pembelajaran Mesin dan Pemrosesan Bahasa Alami
• Apa titik awal yang baik bagi seseorang yang tertarik dengan pemrosesan bahasa alami?
• Pemrosesan bahasa alami
• Pemrosesan Bahasa Alami di Java (NLP)
• Apakah ada perpustakaan pemrosesan bahasa alami yang bagus
• Startup Pemrosesan Bahasa Alami Sederhana untuk Java
• Perpustakaan apa yang menawarkan metode NLP dasar atau lanjutan?
• Bahasa dan buku bagus terbaru untuk Pemrosesan Bahasa Alami, dasar-dasar
• (Untuk NER) Ekstraksi / Pengakuan Entitas dengan alat gratis saat memberi makan Indeks Lucene
• (Dengan PHP) Alat pemrograman NLP menggunakan PHP?
• (Dengan Ruby) /programming/3776361/ruby-nlp-libraries

Pertanyaannya sangat terbuka. Oleh karena itu, daripada memilih satu, di bawah ini adalah perbandingan bergantung pada bahasa yang ingin Anda gunakan (karena ada pustaka bagus yang tersedia di kedua bahasa).

Python

Dalam hal Python, tempat pertama yang harus Anda lihat adalah Python Natural Language Toolkit . Seperti yang mereka catat dalam deskripsinya, NLTK adalah platform terdepan untuk membangun program Python untuk bekerja dengan data bahasa manusia. Ini menyediakan antarmuka yang mudah digunakan ke lebih dari 50 korpora dan sumber daya leksikal seperti WordNet, bersama dengan rangkaian pustaka pemrosesan teks untuk klasifikasi, tokenisasi, stemming, penandaan, parsing, dan penalaran semantik.

Ada juga beberapa kode bagus yang dapat Anda cari yang berasal dari proyek Toolkit Bahasa Alami Google yang berbasis Python. Anda dapat menemukan tautan ke kode itu di sini di GitHub .

Jawa

Tempat pertama untuk melihat adalah Grup Pemrosesan Bahasa Alami Stanford . Semua perangkat lunak yang didistribusikan di sana ditulis dalam Java. Semua distribusi terbaru membutuhkan Oracle Java 6+ atau OpenJDK 7+. Paket distribusi mencakup komponen untuk pemanggilan baris perintah, file jar, Java API, dan kode sumber.

Opsi hebat lainnya yang Anda lihat di banyak lingkungan pembelajaran mesin di sini (opsi umum), adalah Weka . Weka adalah kumpulan algoritma pembelajaran mesin untuk tugas-tugas penambangan data. Algoritme dapat diterapkan secara langsung ke kumpulan data atau dipanggil dari kode Java Anda sendiri. Weka berisi alat untuk pemrosesan awal data, klasifikasi, regresi, pengelompokan, aturan asosiasi, dan visualisasi. Ini juga cocok untuk mengembangkan skema pembelajaran mesin baru.