Pertanyaan yang diberi tag «lexer»

Saya telah terjun ke dunia parser baru-baru ini, ingin membuat bahasa pemrograman saya sendiri. Namun, saya menemukan bahwa ada dua pendekatan penulisan parser yang agak berbeda: Parser Generators dan Parser Combinators. Menariknya, saya tidak dapat menemukan sumber daya yang menjelaskan dalam kasus apa pendekatan mana yang lebih baik; Sebaliknya, banyak …

59 parsing  lexer  parser-combinator 

Saya perlahan-lahan bekerja untuk menyelesaikan gelar saya, dan semester ini adalah Compiler 101. Kami menggunakan Buku Naga . Singkat ke kursus dan kita berbicara tentang analisis leksikal dan bagaimana itu dapat diimplementasikan melalui automata terbatas deterministik (selanjutnya, DFA). Siapkan berbagai status lexer Anda, tentukan transisi di antaranya, dll. Tetapi baik …

24 compiler  lexer  pragmatism 

Seperti yang dikatakan dalam judul, tipe data mana yang harus dikembalikan / diberikan parser lexer? Ketika membaca artikel analisis leksikal yang dimiliki Wikipedia, dinyatakan bahwa: Dalam ilmu komputer, analisis leksikal adalah proses mengubah urutan karakter (seperti dalam program komputer atau halaman web) menjadi urutan token ( string dengan "makna" yang …

21 data-types  lexer  flex 

Ketika saya mulai menggunakan kombinator parser, reaksi pertama saya adalah rasa pembebasan dari apa yang terasa seperti perbedaan buatan antara parsing dan lexing. Tiba-tiba semuanya hanya parsing! Namun, saya baru-baru ini menemukan posting ini di codereview.stackexchange menggambarkan seseorang mengembalikan perbedaan ini. Pada awalnya saya pikir ini sangat konyol bagi mereka, …

18 parsing  lexer  parser-combinator 

Apa sumber yang bagus tentang cara menulis lexer di C ++ (buku, tutorial, dokumen), apa sajakah teknik dan praktik yang baik? Saya telah melihat di internet dan semua orang mengatakan untuk menggunakan generator lexer seperti lex. Saya tidak ingin melakukan itu, saya ingin menulis lexer dengan tangan.

18 c++  compiler  lexer 

Saya sedang menulis parser untuk bahasa markup yang telah saya buat (menulis dengan python, tapi itu tidak benar-benar relevan dengan pertanyaan ini - bahkan jika ini sepertinya ide yang buruk, saya akan menyukai saran untuk jalur yang lebih baik) . Saya membaca tentang parser di sini: http://www.ferg.org/parsing/index.html , dan saya …

14 python  parsing  lexer 

Saat membaca jawaban atas pertanyaan Klarifikasi tentang Tata Bahasa, Sketsa dan Parser , jawabannya menyatakan bahwa: [...] tata bahasa BNF berisi semua aturan yang Anda butuhkan untuk analisis leksikal dan penguraian. Bagi saya ini agak aneh karena sampai sekarang, saya selalu berpikir bahwa lexer sama sekali tidak didasarkan pada tata …

13 design  design-patterns  development-process  grammar  lexer 

Saya telah melihat beberapa lexer di berbagai bahasa tingkat yang lebih tinggi ( Python , PHP , Javascript antara lain) dan mereka semua tampaknya menggunakan ekspresi reguler dalam satu bentuk atau lainnya. Walaupun saya yakin regex mungkin adalah cara terbaik untuk melakukan ini, saya bertanya-tanya apakah ada cara untuk mencapai …

9 theory  regular-expressions  lexer