Pertanyaan yang diberi tag «tokenize»


16
Parsing (pisahkan) string dalam C ++ menggunakan pembatas string (standar C ++)
Saya mengurai string dalam C ++ menggunakan yang berikut ini: using namespace std; string parsed,input="text to be parsed"; stringstream input_stringstream(input); if (getline(input_stringstream,parsed,' ')) { // do some processing. } Parsing dengan pembatas char tunggal baik-baik saja. Tetapi bagaimana jika saya ingin menggunakan string sebagai pembatas. Contoh: Saya ingin membagi: scott>=tiger …
363 c++  parsing  split  token  tokenize 



10
Pemindai vs. StringTokenizer vs. String.Split
Saya baru saja belajar tentang kelas Scanner Java dan sekarang saya bertanya-tanya bagaimana membandingkan / bersaing dengan StringTokenizer dan String.Split. Saya tahu bahwa StringTokenizer dan String.Split hanya berfungsi pada Strings, jadi mengapa saya ingin menggunakan Scanner untuk String? Apakah Scanner hanya dimaksudkan sebagai one-stop-shopping untuk pemisahan?

4
Mencari definisi yang jelas tentang "tokenizer", "parser" dan "lexers" apa dan bagaimana mereka terkait satu sama lain dan digunakan?
Saya mencari definisi yang jelas tentang apa itu "tokenizer", "parser" dan "lexer" dan bagaimana mereka terkait satu sama lain (misalnya, apakah parser menggunakan tokenizer atau sebaliknya)? Saya perlu membuat program akan melalui c / h file sumber untuk mengekstrak deklarasi dan definisi data. Saya telah mencari contoh dan dapat menemukan …
151 parsing  lexer  tokenize 

5
Bisakah satu baris kode Python mengetahui tingkat lekukan lekukannya?
Dari sesuatu seperti ini: print(get_indentation_level()) print(get_indentation_level()) print(get_indentation_level()) Saya ingin mendapatkan sesuatu seperti ini: 1 2 3 Bisakah kode membaca sendiri dengan cara ini? Yang saya inginkan adalah output dari bagian kode yang lebih bersarang menjadi lebih bersarang. Dengan cara yang sama ini membuat kode lebih mudah dibaca, itu akan membuat …


11
Bagaimana cara menghilangkan tanda baca menggunakan NLTK tokenizer?
Saya baru mulai menggunakan NLTK dan saya tidak begitu mengerti bagaimana cara mendapatkan daftar kata dari teks. Jika saya menggunakan nltk.word_tokenize(), saya mendapatkan daftar kata dan tanda baca. Saya hanya membutuhkan kata-kata saja. Bagaimana cara menghilangkan tanda baca? Juga word_tokenizetidak berfungsi dengan beberapa kalimat: titik ditambahkan ke kata terakhir.
125 python  nlp  tokenize  nltk 

13
Memisahkan string menjadi beberapa baris di Oracle
Saya tahu ini telah dijawab sampai tingkat tertentu dengan PHP dan MYSQL, tetapi saya bertanya-tanya apakah seseorang dapat mengajari saya pendekatan paling sederhana untuk membagi string (dipisahkan koma) menjadi beberapa baris di Oracle 10g (lebih disukai) dan 11g. Tabelnya adalah sebagai berikut: Name | Project | Error 108 test Err1, …
104 sql  string  oracle  plsql  tokenize 
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.