Apa kualitas terjemahan mesin yang sebenarnya?

Hingga hari ini saya - sebagai orang awam AI - saya bingung dengan perbaikan terjemahan otomatis yang dijanjikan dan dicapai.

Kesan saya adalah: masih ada jalan yang sangat, sangat jauh untuk ditempuh. Atau adakah penjelasan lain mengapa terjemahan otomatis (ditawarkan dan disediakan misalnya oleh Google) dari artikel Wikipedia yang cukup sederhana masih membaca dan terdengar terutama konyol, sulit dibaca, dan hanya sangat membantu dan bermanfaat?

Ini mungkin tergantung pada preferensi pribadi (menyangkut keterbacaan, membantu dan kegunaan), tetapi harapan pribadi saya sangat kecewa.

Cara sebaliknya: Apakah terjemahan Google tetap dapat dibaca, bermanfaat, dan bermanfaat bagi sebagian besar pengguna ?

Atau apakah Google memiliki alasan untuk mempertahankan pencapaiannya (dan tidak menunjukkan kepada pengguna sebaik mungkin yang bisa mereka tunjukkan)?

Hasil awal: Kami masih jauh dari kemampuan untuk berbicara dengan kecerdasan buatan dengan pijakan dan pemahaman yang sama - hanya pada level string. Jadi mengapa kita harus takut? Karena mereka tahu lebih banyak dari yang kita tahu - tetapi kita tidak tahu?

Siapa yang mengklaim bahwa terjemahan mesin sebagus penerjemah manusia? Bagi saya, sebagai penerjemah profesional yang mencari nafkah pada terjemahan selama 35 tahun sekarang, MT berarti bahwa produksi harian saya untuk terjemahan kualitas manusia telah meningkat dengan faktor 3 hingga 5, tergantung pada kerumitan teks sumber.

Saya tidak bisa setuju bahwa kualitas MT turun dengan lamanya input bahasa asing. Itu dulu benar untuk sistem lama dengan analisis semantik dan tata bahasa. Saya tidak berpikir bahwa saya tahu semua sistem lama (saya tahu Systran, alat sampah dari Siemens yang dijual dari satu perusahaan ke perusahaan lain seperti hadiah Danaer, XL8, Personal Translator and Translate), tetapi bahkan sistem profesional di mana saya menginvestasikan 28.000 DM (!!!!) gagal total.

Misalnya, kalimat:

Pada hari musim panas ini aku harus bekerja dan itu menyebalkan.

dapat diterjemahkan menggunakan beberapa alat MT ke Jerman.

Penerjemah Pribadi 20 :

Auf diesem heißen Sommertag musste ich arbeiten, und war war in Schmerz im Esel.

Prompt :

Sebuah dies heißen Sommertag musste ich arbeiten, und war war in Schmerz im Esel.

DeepL :

Sebuah dies heißen Sommertag musste ich arbeiten und es war eine Qual.

Google:

Sebuah diesem heißen Sommertag musste ich arbeiten und es war ein Schmerz im Arsch.

Hari ini, Google biasanya menyajikan terjemahan yang mudah dibaca dan hampir benar kepada saya dan DeepL bahkan lebih baik. Pagi ini saya menerjemahkan 3500 kata dalam 3 jam dan hasilnya sempurna, meskipun teks sumbernya penuh kesalahan (ditulis oleh China).

Terjemahan Google dapat bermanfaat, terutama jika Anda tahu bahwa terjemahannya tidak sempurna dan jika Anda hanya ingin memiliki gagasan awal tentang arti teks (yang terjemahan Google-nya kadang-kadang bisa sangat menyesatkan atau salah). Saya tidak akan merekomendasikan terjemahan Google (atau penerjemah non-manusia lainnya) untuk melakukan terjemahan yang serius, kecuali mungkin kalimat atau kata yang umum, itu tidak melibatkan teks yang sangat panjang dan bahasa informal (atau gaul), terjemahan melibatkan Bahasa Inggris atau Anda tidak memiliki akses ke penerjemah manusia.

$0$$100$$100$

Dalam makalah Making AI Meaningful Again , penulis juga membahas kesulitan tugas penerjemahan (yang diyakini sebagai masalah AI-complete ). Mereka juga menyebutkan transformator (model terjemahan mesin canggih lainnya), yang mencapai hasil yang sangat buruk (dievaluasi menggunakan metrik BLEU).

Untuk menyimpulkan, terjemahan mesin adalah masalah yang sulit dan sistem terjemahan mesin saat ini jelas tidak berkinerja sebaik penerjemah manusia yang profesional.

Anda telah mengajukan cukup banyak pertanyaan, beberapa di antaranya tidak dapat dijawab secara pasti. Untuk memberikan wawasan tentang kualitas (dan sejarahnya) terjemahan mesin, saya ingin merujuk pada Christopher Manning 'tolok ukur satu kalimat' seperti yang disajikan dalam kuliahnya . Ini berisi satu contoh Bahasa Mandarin ke Bahasa Inggris yang dibandingkan dengan keluaran Google Translate. Terjemahan yang benar untuk contohnya adalah:

Pada 1519, enam ratus orang Spanyol mendarat di Meksiko untuk menaklukkan Kekaisaran Aztec dengan populasi beberapa juta. Mereka kehilangan dua pertiga prajurit mereka dalam bentrokan pertama.

Google Translate mengembalikan terjemahan berikut.

2009 1519 600 orang Spanyol mendarat di Meksiko, jutaan orang untuk menaklukkan kekaisaran Aztec, dua pertiga tentara pertama melawan kehilangan mereka.

2011 1519 600 orang Spanyol mendarat di Meksiko, jutaan orang menaklukkan kekaisaran Aztec, kehilangan awal tentara, dua pertiga dari pertemuan mereka.

2013 1519 600 Spanyol mendarat di Meksiko untuk menaklukkan kekaisaran Aztec, ratusan juta orang, kehilangan konfrontasi awal tentara dua pertiga.

2015 1519 600 orang Spanyol mendarat di Meksiko, jutaan orang untuk menaklukkan kekaisaran Aztec, dua pertiga pertama dari hilangnya tentara yang mereka bentrok.

2017 Pada 1519, 600 orang Spanyol mendarat di Meksiko, untuk menaklukkan jutaan orang di kerajaan Aztec, konfrontasi pertama yang mereka bunuh dua pertiga.

Apakah Google mempertahankan atau 'menyembunyikan' hasil terbaik mereka: Saya ragu. Ada banyak peneliti hebat yang bekerja di bidang pemrosesan bahasa alami (NLP). Jika Google akan memiliki 'prestasi terbesar' untuk terjemahan, para peneliti akan mengetahuinya cepat atau lambat. (Lagi pula, mengapa Google menyembunyikan 'pencapaian terbesar' mereka? Mereka tampaknya melihat manfaat dari open source, lihat Transformer [1] atau BERT [2])

NB. Untuk daftar terbaru algoritma canggih di NLP, lihat papan peringkat SQuAD2.0 .

[1] Vaswani, Ashish, et al. "Hanya perhatian yang kamu butuhkan." Kemajuan dalam sistem pemrosesan informasi saraf. 2017

[2] Devlin, Jacob, et al. "Bert: Pra-pelatihan transformator dua arah yang dalam untuk pemahaman bahasa." arXiv preprint arXiv: 1810.04805 (2018).

Itu benar-benar tergantung pada pasangan bahasa dan topik konten. Menerjemahkan ke / dari bahasa Inggris ke bahasa lain biasanya merupakan yang terbaik didukung. Menerjemahkan ke dan dari bahasa populer berfungsi lebih baik, misalnya, menerjemahkan dari Bahasa Inggris ke Bahasa Rumania adalah terjemahan yang lebih buruk daripada Bahasa Inggris ke Bahasa Rusia. Tetapi menerjemahkan dari Bahasa Inggris ke Bahasa Rusia atau Rumania lebih baik daripada menerjemahkan Bahasa Rusia ke Bahasa Rumania. Dan menerjemahkan Bahasa Rumania ke Bahasa Inggris lebih baik daripada menerjemahkan Bahasa Inggris ke Bahasa Rumania.

Tetapi jika Anda terbiasa bekerja dengan penerjemah dan Anda memiliki keakraban yang lewat dengan bahasa, kesalahan terjemahan dan topik, mudah untuk memahami apa yang seharusnya ada di sana. Dan, pada saat itu, terkadang lebih mudah untuk membaca sesuatu yang diterjemahkan ke dalam bahasa asli Anda untuk pemindaian cepat daripada membacanya dalam bahasa kedua.

Bahasa yang kurang populer (untuk terjemahan tidak harus dalam jumlah penutur) jauh lebih dekat dengan terjemahan literal hanya sedikit lebih baik daripada apa yang Anda lakukan secara pribadi menggunakan kamus untuk dua bahasa yang tidak Anda kenal.

Apakah saya salah dan terjemahan Google tetap dapat dibaca, bermanfaat, dan bermanfaat bagi sebagian besar pengguna?

Ya, mereka agak membantu dan memungkinkan Anda untuk menerjemahkan lebih cepat.

Atau apakah Google memiliki alasan untuk mempertahankan pencapaian terbesarnya (dan tidak menunjukkan kepada pengguna yang terbaik yang bisa mereka tunjukkan)?

Mungkin saya tidak tahu. Jika Anda mencari info, Google benar-benar melakukan banyak hal bodoh yang mengerikan, seperti belajar dari apa yang pengguna katakan di internet, mengambil data yang tidak sesuai sebagai kumpulan data input tepercaya.

Permintaan maaf karena tidak menulis dalam bahasa Inggris. Silakan temukan terjemahan yang disesuaikan di sini:

Untuk memberi orang yang tertarik gambaran tentang kualitas MT (DeepL), silakan lihat contoh ini dari teks yang saya kerjakan pagi ini (6.300 kata, dimulai pukul 9 pagi, pengiriman hari ini sekitar jam 1 siang dan masih ada waktu untuk posting ini). Saya sedang mengerjakan kalimat ini (201 kata) ketika saya memposting komentar saya.

atau proses apa pun yang menjalankan atau diaktifkan saat Anda tidak masuk ke Situs Web ini, atau yang sebaliknya mengganggu kerja yang tepat atau menempatkan beban yang tidak masuk akal pada infrastruktur Situs Web ini; atau (e) Gunakan perangkat lunak, perangkat, atau proses manual atau otomatis untuk "merangkak," "mengikis," atau "spider" halaman apa pun dari Situs Web ini; atau (f) Mengurai, merekayasa balik, atau berupaya mendapatkan kode sumber dari situs web ini. "

DeepL mengembalikan ini:

Dengan kata lain, garantieren und verpflichten sich gegenüber ABC, dass Sie dies nicht tun werden: (a) betrügerische, missbräuchliche oder anderweitig ilegal, Aktivitäten durchzuführen, die Anlass für die Beendigung I under und und ich und und ich und und und und und und uf / und; oder (b) Baca lebih lanjut dari Aufforderungen, dan lebih baik dari yang lain, Pengguna, Konten informasi pribadi, dan mati Nutzern dieser Situs web zu erhalten, zu posten oder zu übertragen oder zu posten oder zu übertragen; oder (c) die Sicherheit eines Computernetzwerks verletzen, Passwörter oder Sicherheitsverschlüsselungscodes knacken, illegal Material (einschließlich Material, das als bedrohlich oder obszön angesehen werden kann), atau lebih baik secara otomatis karena itu juga tidak berlaku. die ausdrücklich verboten sind; oder (d) Mailliste, Listenserver oder jede andere Form von Auto-Responder oder "Spam" auf dieser Situs web oz Prozesse, mati ausgeführt werden oder aktiviert werden, während Sie nicht auf dieser Situs web angemeldet sind, oder die, dan tidak ada komentar. Situs web Belastung der Infrastruktur dies stören; oder (e) manuelle oder automatisierte Software, Perangkat lunak dan perangkat lunak, seperti Situs web Seite dieser zu "crawlen", zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, dan Situs web Quellcode dieser zu erhalten. die ausgeführt werden oder aktiviert werden, während Sie nicht auf dieser Situs web angemeldet sind, oder die anderweitig das ordnungsgemäße Funktionieren oder eine unangemessene Belastung der Infrastruktur dieser Website stören; oder (e) manuelle oder automatisierte Software, Perangkat lunak dan perangkat lunak, seperti Situs web Seite dieser zu "crawlen", zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, dan Situs web Quellcode dieser zu erhalten. die ausgeführt werden oder aktiviert werden, während Sie nicht auf dieser Situs web angemeldet sind, oder die anderweitig das ordnungsgemäße Funktionieren oder eine unangemessene Belastung der Infrastruktur dieser Website stören; oder (e) manuelle oder automatisierte Software, Perangkat lunak dan perangkat lunak, seperti Situs web Seite dieser zu "crawlen", zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, dan Situs web Quellcode dieser zu erhalten. zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, dan Situs web Quellcode dieser zu erhalten. zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, dan Situs web Quellcode dieser zu erhalten.

Butuh sekitar 5 hingga 10 menit untuk menyesuaikan paragraf ini.

Sebagai penerjemah, saya tahu bahwa saya tidak dapat mengandalkan terjemahan mesin, tetapi saya mempelajari secara spesifik dan kapabilitas dari berbagai sistem dari waktu ke waktu dan saya tahu apa yang harus diperhatikan.

MT banyak membantu saya dalam pekerjaan saya.

Ini bukan jawaban sebagai komentar.

Kualitasnya tergantung pada beberapa hal, termasuk (seperti kata Aaron di atas) 1) pasangan bahasa dan 2) topik, tetapi juga 3) genera dan 4) gaya aslinya, dan 5) jumlah teks paralel yang Anda miliki untuk melatih sistem MT.

Untuk mengatur panggung, hampir semua MT hari ini didasarkan pada teks paralel, yaitu teks dalam dua bahasa yang berbeda, dengan yang satu mungkin merupakan terjemahan dari yang lain (atau keduanya merupakan terjemahan dari beberapa bahasa ketiga); dan berpotensi menggunakan kamus (mungkin dibantu oleh proses morfologis) sebagai backoff ketika teks paralel tidak mengandung kata-kata tertentu.

Selain itu, seperti yang dikatakan orang lain, sistem MT sama sekali tidak memahami teks yang diterjemahkan; hanya melihat string karakter, dan urutan kata-kata yang terdiri dari karakter, dan mencari string dan urutan yang sama dalam teks yang diterjemahkan sebelumnya. (Ok, ini sedikit lebih rumit dari itu, dan ada upaya untuk mendapatkan semantik dalam sistem komputasi, tetapi untuk saat ini sebagian besar adalah string.)

1) Bahasa bervariasi. Beberapa bahasa memiliki banyak morfologi, yang berarti mereka melakukan sesuatu dengan satu kata yang dilakukan oleh bahasa lain dengan beberapa kata. Contoh sederhananya adalah bahasa Spanyol 'cantaremos' = Bahasa Inggris "we will sing". Dan satu bahasa dapat melakukan hal-hal yang tidak mengganggu bahasa lain, seperti perbedaan informal / formal (tu / usted) dalam bahasa Spanyol, yang tidak dimiliki oleh bahasa Inggris. Atau satu bahasa dapat melakukan hal-hal dengan morfologi yang dilakukan oleh bahasa lain dengan urutan kata. Atau skrip yang digunakan bahasa mungkin bahkan tidak menandai batas kata (Cina, dan beberapa lainnya). Semakin berbeda kedua bahasa tersebut, semakin sulit bagi sistem MT untuk menerjemahkan di antara mereka. Eksperimen pertama dalam statistik MT dilakukan antara Perancis dan Inggris,

2) Topik: Jika Anda memiliki teks paralel dalam Alkitab (yang berlaku untuk hampir semua bahasa tertulis), dan Anda melatih sistem MT Anda dari itu, jangan berharap untuk melakukannya dengan baik pada teks rekayasa. (Yah, Alkitab adalah teks dalam jumlah relatif kecil menurut standar pelatihan sistem MT, tetapi berpura-pura :-).) Kosakata Alkitab sangat berbeda dari teks teknik, dan begitu juga frekuensi berbagai tata bahasa konstruksi. (Tata bahasanya pada dasarnya sama, tetapi dalam bahasa Inggris, misalnya, Anda mendapatkan lebih banyak suara pasif dan lebih banyak kata majemuk dalam teks-teks ilmiah dan teknik.)

3) Genera: Jika teks paralel Anda semuanya deklaratif (seperti manual traktor, katakanlah), mencoba menggunakan sistem MT yang dihasilkan pada dialog tidak akan memberi Anda hasil yang baik.

4) Gaya: Pikirkan Hilary vs. Donald; terpelajar vs populer. Pelatihan satu tidak akan mendapatkan hasil yang baik pada yang lain. Demikian juga pelatihan sistem MT pada novel tingkat dewasa dan menggunakannya pada buku anak-anak.

5) Pasangan bahasa: Bahasa Inggris memiliki banyak teks, dan kemungkinan menemukan teks dalam beberapa bahasa lain yang paralel dengan teks bahasa Inggris yang diberikan jauh lebih tinggi daripada kemungkinan menemukan teks paralel di, katakanlah, Rusia dan Igbo. (Yang mengatakan, mungkin ada pengecualian, seperti bahasa India.) Sebagai generalisasi besar, semakin banyak teks paralel yang Anda miliki untuk melatih sistem MT, semakin baik hasilnya.

Singkatnya, bahasa itu rumit (itulah sebabnya saya menyukainya - saya seorang ahli bahasa). Jadi tidak mengherankan bahwa sistem MT tidak selalu bekerja dengan baik.

BTW, penerjemah manusia juga tidak selalu melakukannya dengan baik. Satu atau dua dekade yang lalu, saya mendapatkan terjemahan dokumen dari penerjemah manusia ke dalam bahasa Inggris, untuk digunakan sebagai materi pelatihan untuk sistem MT. Beberapa terjemahan sulit dipahami, dan dalam beberapa kasus di mana kami mendapat terjemahan dari dua (atau lebih) penerjemah manusia, sulit untuk percaya bahwa para penerjemah telah membaca dokumen yang sama.

Dan akhirnya, hampir tidak pernah ada satu pun terjemahan yang benar; ada beberapa cara untuk menerjemahkan suatu bagian, yang mungkin lebih atau kurang baik, tergantung pada fitur apa (kebenaran tata bahasa, gaya, konsistensi penggunaan, ...) yang Anda inginkan. Tidak ada ukuran mudah "akurasi".

Anehnya semua jawaban lain sangat kabur dan mencoba untuk mendekati ini dari POV penerjemah manusia. Mari beralih ke insinyur ML.

Saat membuat alat terjemahan, salah satu pertanyaan pertama yang harus kita pertimbangkan adalah "Bagaimana kita mengukur bahwa alat kita berfungsi?" .

Yang pada dasarnya adalah apa yang diminta OP.

Sekarang ini bukan tugas yang mudah (beberapa jawaban lain menjelaskan alasannya). Ada Artikel Wikipedia yang menyebutkan berbagai cara untuk mengevaluasi hasil terjemahan mesin - skor manusia dan otomatis ada (seperti BLEU , NIST , LEPOR ).

Dengan munculnya teknik jaringan saraf, skor tersebut meningkat secara signifikan.

Penerjemahan adalah masalah yang kompleks. Ada banyak hal yang dapat menjadi benar (atau salah), dan sistem terjemahan komputer sering mengabaikan beberapa seluk-beluk, yang menonjol bagi seorang pembicara manusia.

Saya pikir jika kita berpikir tentang masa depan, ada beberapa hal yang dapat kita andalkan:

• Teknik kami semakin baik, dikenal luas dan diuji. Ini akan meningkatkan akurasi dalam jangka panjang.
• Kami sedang mengembangkan teknik baru yang dapat mempertimbangkan variabel akun yang sebelumnya diabaikan atau hanya melakukan pekerjaan yang lebih baik.
• Banyak model terjemahan yang ada saat ini sering "digunakan kembali" untuk menerjemahkan bahasa lain (misalnya, coba terjemahkan "JEDEN" dari Polandia ke Mandarin (tradisional) menggunakan Google Translator - Anda akan berakhir dengan "ONE", yang merupakan bukti yang menunjukkan fakta bahwa Google menerjemahkan Bahasa Polandia ke Bahasa Inggris, dan kemudian Bahasa Inggris ke Bahasa Mandarin). Ini jelas bukan pendekatan yang baik - Anda akan kehilangan beberapa informasi dalam proses - tetapi ini masih akan berfungsi, jadi perusahaan seperti Google menggunakannya untuk bahasa di mana mereka tidak memiliki cukup tenaga kerja atau data. Seiring waktu, model yang lebih terspesialisasi akan muncul, yang akan memperbaiki situasi.
• Juga, seperti yang dinyatakan poin sebelumnya, semakin banyak data hanya akan membantu meningkatkan terjemahan mesin.

Untuk meringkas, masalah kompleks ini, meskipun tidak diselesaikan, tentu saja pada cara yang baik dan memungkinkan untuk beberapa hasil yang mengesankan untuk pasangan bahasa yang diteliti dengan baik.

"Atau apakah Google memiliki alasan untuk mempertahankan pencapaiannya (dan tidak menunjukkan kepada pengguna sebaik mungkin yang bisa mereka tunjukkan)"

Jika ya, maka apa yang mereka tahan akan menjadi luar biasa . Google menerbitkan banyak makalah yang kuat di Natural Language Processing, termasuk yang mendapatkan hasil terbaik atau membuat terobosan konseptual yang signifikan . Mereka juga telah merilis dataset dan alat yang sangat berguna . Google adalah salah satu dari sedikit perusahaan di luar sana yang tidak hanya menggunakan ujung tombak penelitian saat ini, tetapi secara aktif berkontribusi pada literatur.

Terjemahan mesin hanyalah masalah yang sulit. Seorang penerjemah manusia yang baik harus fasih dalam kedua bahasa untuk melakukan pekerjaan dengan baik. Setiap bahasa akan memiliki idiom sendiri dan makna non-literal atau tergantung konteks. Hanya bekerja dari kamus dua bahasa akan menghasilkan hasil yang mengerikan (untuk manusia atau komputer), jadi kita perlu melatih model kita pada korpora yang ada yang ada dalam berbagai bahasa untuk mempelajari bagaimana kata-kata sebenarnya digunakan (nb frase yang dikompilasi dengan tangan) tabel terjemahan dapat digunakan sebagai fitur ; hanya saja tidak bisa keseluruhan cerita). Untuk beberapa pasangan bahasa, korpora paralel berlimpah (misalnya untuk bahasa UE, kami memiliki proses lengkap dari Parlemen Eropa). Untuk pasangan lain, data pelatihan jauh lebih jarang. Dan bahkan jika kita memiliki data pelatihan, akan ada kata-kata dan frase yang lebih jarang digunakan yang tidak cukup sering dipelajari.

Ini dulunya merupakan masalah yang lebih besar, karena sinonim sulit untuk dijelaskan. Jika data latihan kami memiliki kalimat untuk "Anjing yang menangkap bola", tetapi bukan "Anak anjing yang menangkap bola", kami akan memiliki probabilitas yang rendah untuk kalimat kedua. Memang, perataan yang signifikan akan diperlukan untuk mencegah probabilitas menjadi nol dalam banyak kasus seperti itu.

Munculnya model bahasa neural dalam 15 tahun terakhir atau lebih telah secara besar-besaran membantu dengan masalah ini, dengan memungkinkan kata-kata dipetakan ke ruang semantik bernilai nyata sebelum mempelajari hubungan antara kata-kata. Hal ini memungkinkan model untuk dipelajari di mana kata-kata yang berdekatan dalam makna juga berdekatan di ruang semantik, dan dengan demikian mengganti kata untuk sinonimnya tidak akan sangat mempengaruhi probabilitas kalimat yang mengandung. word2vecadalah model yang menggambarkan ini dengan sangat baik; itu menunjukkan bahwa Anda dapat, misalnya, mengambil vektor semantik untuk "raja", kurangi vektor untuk "pria", tambahkan vektor untuk "wanita", dan temukan bahwa kata terdekat dengan vektor yang dihasilkan adalah "ratu". Setelah penelitian dalam model bahasa saraf mulai dilakukan dengan sungguh-sungguh, kami mulai melihat penurunan langsung dan besar dalam kebingungan (yaitu betapa bingungnya model-model tersebut dengan teks alami) dan kami melihat peningkatan yang sesuai dalam skor BLEU (kualitas terjemahan) sekarang karena model bahasa sedang diintegrasikan ke dalam sistem terjemahan mesin.

Mesin terjemahan masih tidak sebagus kualitas terjemahan manusia, dan sangat mungkin tidak akan yang baik sampai kita retak sepenuhnya budiman AI. Tetapi penerjemah manusia yang baik itu mahal, sementara semua orang dengan akses internet memiliki penerjemah mesin yang tersedia. Pertanyaannya bukan apakah terjemahan manusia lebih baik, tetapi seberapa dekat mesin dengan tingkat kualitas itu. Kesenjangan itu telah menyusut dan terus menyusut.