Pertanyaan yang diberi tag «lexer»

Apakah lexers dan parser benar-benar berbeda dalam teori? Tampaknya modis untuk membenci ekspresi reguler: pengkodean horor , posting blog lain . Namun, alat berbasis lexing yang populer: pygments , geshi , atau prettify , semuanya menggunakan ekspresi reguler. Mereka tampaknya lex apa pun ... Kapan cukup lexing, kapan Anda membutuhkan …

308 parsing  antlr  lexer  pygments 

Saya mencari definisi yang jelas tentang apa itu "tokenizer", "parser" dan "lexer" dan bagaimana mereka terkait satu sama lain (misalnya, apakah parser menggunakan tokenizer atau sebaliknya)? Saya perlu membuat program akan melalui c / h file sumber untuk mengekstrak deklarasi dan definisi data. Saya telah mencari contoh dan dapat menemukan …

151 parsing  lexer  tokenize