Pertanyaan yang diberi tag «text-processing»

Saya memiliki file teks dalam penyandian yang tidak dikenal atau campuran. Saya ingin melihat baris yang berisi urutan byte yang tidak valid UTF-8 (dengan memipipkan file teks ke beberapa program). Setara, saya ingin menyaring baris yang valid UTF-8. Dengan kata lain, saya sedang mencari .grep [notutf8] Solusi ideal adalah portable, …

50 command-line  text-processing  character-encoding  unicode 

Saya perlu secara berkala menjalankan perintah yang memastikan bahwa beberapa file teks disimpan dalam mode Linux. Sayangnya dos2unixselalu memodifikasi file, yang akan mengacaukan cap waktu file dan folder dan menyebabkan penulisan yang tidak perlu. Script yang saya tulis ada di Bash, jadi saya lebih suka jawaban berdasarkan Bash.

48 bash  text-processing  newlines 

Input file1 adalah: dog 123 4335 cat 13123 23424 deer 2131 213132 bear 2313 21313 Saya memberikan kecocokan pola dari dalam other file(seperti dog 123 4335dari file2). Saya cocok dengan pola garis itu dog 123 4335dan setelah mencetak semua garis tanpa garis cocok keluaran saya adalah: cat 13123 23424 deer …

48 text-processing  sed  grep 

Saya bekerja dengan file CSV dan kadang-kadang perlu memeriksa isi baris atau kolom dari baris perintah dengan cepat. Dalam banyak kasus cut, head, tail, dan teman-teman akan melakukan pekerjaan; namun, pemotongan tidak dapat dengan mudah menangani situasi seperti "this, is the first entry", this is the second, 34.5 Di sini, …

47 command-line  software-rec  text-processing  csv 

Saya memiliki beberapa .htmfile yang terbuka di Gedit tanpa peringatan / kesalahan, tetapi ketika saya membuka file yang sama ini Jedit, ia memperingatkan saya tentang pengkodean UTF-8 yang tidak valid ... Tag meta HTML menyatakan "charset = ISO-8859-1". Jedit memungkinkan Daftar penyandian mundur dan Daftar pendeteksi otomatis penyandian (saat ini …

46 text-processing  utilities  character-encoding 

Saya ingin mengonversi .txtfile menjadi .pdf. Saya menggunakan ini: ls | while read ONELINE; do convert -density 400 "$ONELINE" "$(echo "$ONELINE" | sed 's/.txt/.pdf/g')"; done Tapi ini menghasilkan satu "kesalahan" - jika ada baris yang sangat panjang di file teks, itu tidak bisa dibungkus. Masukkan teks Keluarkan PDF - Selain …

45 text-processing  pdf  imagemagick  conversion 

Saya gunakan sed untuk menghapus baris dengan posisi tertentu dengan cepat sed '1d' sed '5d' Tapi, bagaimana jika saya ingin menghapus baris terakhir file dan saya tidak tahu jumlah baris (saya tahu saya bisa menggunakan itu wcdan beberapa trik lainnya). Saat ini, menggunakan solusi dengan headdan taildikombinasikan dengan wcuntuk melakukannya. …

44 text-processing  sed 

Apakah ada cara mudah untuk mengganti / mengevaluasi variabel lingkungan dalam file? Seperti katakanlah saya memiliki file config.xmlyang berisi: <property> <name>instanceId</name> <value>$INSTANCE_ID</value> </property> <property> <name>rootPath</name> <value>/services/$SERVICE_NAME</value> </property> ... dll. Saya ingin mengganti $INSTANCE_IDdalam file dengan nilai INSTANCE_IDvariabel lingkungan, $SERVICE_NAMEdengan nilai SERVICE_NAMEenv var. Saya tidak akan tahu apriori mana vars lingkungan …

41 shell-script  text-processing  scripting  environment-variables 

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ Hasil yang saya butuhkan adalah untuk menampilkan semua baris dari file asli menghapus semua duplikat (bukan hanya yang berturut-turut), sambil mempertahankan …

40 text-processing  uniq 

Dalam shell, bagaimana saya bisa membaca byte dari file biner yang saya miliki, dan mencetak hasilnya sebagai angka heksadesimal?

39 shell  text-processing  binary 

Kadang-kadang, saya mendapatkan daftar terpisah sebagai input tab, yang tidak cukup selaras, misalnya var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3 Apakah ada cara mudah untuk membuat mereka selaras? var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3

39 command-line  text-processing  csv  tabulation 

Bagaimana saya bisa mengganti semua baris baru dengan spasi kecuali baris baru terakhir. Saya bisa mengganti semua baris baru ke ruang angkasa menggunakan trtetapi bagaimana saya bisa melakukannya dengan beberapa pengecualian?

38 bash  shell-script  text-processing  tr 

Saya memiliki file dengan sekitar 30.000.000 baris (Radius Accounting) dan saya perlu menemukan kecocokan terakhir dari pola yang diberikan. Perintah: tac accounting.log | grep $pattern memberikan apa yang saya butuhkan, tetapi terlalu lambat karena OS harus terlebih dahulu membaca seluruh file dan kemudian mengirim ke pipa. Jadi, saya butuh sesuatu …

38 text-processing  files  grep  tail 

Apakah ada cara untuk mengomentari / menghapus komentar skrip shell / config / ruby ​​menggunakan baris perintah? sebagai contoh: $ comment 14-18 bla.conf $ uncomment 14-18 bla.conf ini akan menambah atau menghapus #tanda on bla.confon line 14ke 18. Biasanya saya gunakan sed, tapi saya harus tahu isi dari garis-garis itu …

37 shell-script  text-processing 

Saya mencoba untuk menghapus beberapa karakter dari file (UTF-8). Saya menggunakan truntuk tujuan ini: tr -cs '[[:alpha:][:space:]]' ' ' <testdata.dat File berisi beberapa karakter asing (seperti "Латвийская" atau "àé"). trtampaknya tidak memahaminya: itu memperlakukan mereka sebagai non-alpha dan menghapus juga. Saya telah mencoba mengubah beberapa pengaturan lokal saya: LC_CTYPE=C LC_COLLATE=C …

36 linux  text-processing  unicode  tr