Saya mencoba memahami kompilasi dan interpretasi, langkah demi langkah mencari gambaran total. Jadi saya mengajukan pertanyaan saat membaca http://www.cs.man.ac.uk/~pjj/farrell/comp3.html artikel ini
Ia mengatakan :
Tahap selanjutnya dari kompiler disebut Parser. Bagian kompiler ini memiliki pemahaman tentang tata bahasa bahasa. Ia bertanggung jawab untuk mengidentifikasi kesalahan sintaksis dan untuk menerjemahkan program bebas kesalahan ke dalam struktur data internal yang dapat ditafsirkan atau ditulis dalam bahasa lain.
Tapi saya tidak tahu bagaimana tokenizer dapat dengan benar tokenize aliran yang diberikan yang memiliki kesalahan sintaksis.
Ini harus macet di sana atau memberikan informasi yang salah kepada pengurai. Maksud saya bukankah tokenizing juga semacam penerjemah?
Jadi bagaimana itu hanya mengatasi baris kode yang rusak leksikal sementara tokenizing.
Ada contoh token di dalam tautan di atas di tajuk The Tokenizer .
Seperti yang saya mengerti bentuk token sepertinya, jika ada sesuatu yang salah dalam kode token juga akan rusak.
Bisakah Anda jelaskan kesalahpahaman saya?