Pertanyaan yang diberi tag «large-files»

Katakanlah saya memiliki file teks besar (> 2GB) dan saya hanya ingin catbaris Xke Y(misalnya 57890000 hingga 57890010). Dari apa yang saya mengerti saya bisa melakukan ini dengan menyalurkan headke tailatau sebaliknya, yaitu head -A /path/to/file | tail -B atau sebagai alternatif tail -C /path/to/file | head -D di mana …

132 tail  cat  large-files  head 

Saya memiliki file teks (70GB), satu baris , dan saya ingin mengganti string (token) di dalamnya. Saya ingin mengganti token <unk>, dengan token dummy lainnya ( masalah sarung tangan ). Saya mencoba sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new tetapi file output corpus.txt.newmemiliki nol-byte! Saya juga mencoba menggunakan perl: perl …

126 text-processing  sed  large-files 

File teks saya yang besar (hingga 2 GiB) berisi sekitar 100 duplikat tepat dari setiap baris di dalamnya (tidak berguna dalam kasus saya, karena file tersebut adalah tabel data seperti CSV). Yang saya butuhkan adalah menghapus semua pengulangan sementara (lebih disukai, tetapi ini dapat dikorbankan untuk meningkatkan kinerja yang signifikan) …

126 files  text-processing  large-files 

Saya memiliki file yang cukup besar (35Gb), dan saya ingin memfilter file ini di situ (yaitu saya tidak memiliki cukup ruang disk untuk file lain), khususnya saya ingin menangkap dan mengabaikan beberapa pola - apakah ada cara untuk lakukan ini tanpa menggunakan file lain? Katakanlah saya ingin memfilter semua baris …

54 text-processing  grep  large-files 

Saya memiliki dua file besar (masing-masing 6GB). Mereka tidak disortir, dengan umpan baris ( \n) sebagai pemisah. Bagaimana saya bisa membedakan mereka? Itu harus di bawah 24 jam.

32 performance  diff  large-files 

Saya mencobanya dengan SCP, tetapi tertulis "Ukuran file negatif". >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size Juga mencoba menggunakan SFTP, berfungsi dengan baik hingga 2 GB file telah ditransfer, lalu berhenti: sftp> put matlab.iso Uploading matlab.iso to /home/x/matlab.iso matlab.iso -298% 2021MB -16651.-8KB/s 00:5d o_upload: offset < 0 Adakah yang tahu …

27 scp  sftp  large-files 

Saya memiliki file teks 25GB yang perlu diganti string hanya pada beberapa baris. Saya dapat menggunakan dengan sedsukses tetapi butuh waktu sangat lama untuk dijalankan. sed -i 's|old text|new text|g' gigantic_file.sql Apakah ada cara yang lebih cepat untuk melakukan ini?

25 sed  replace  large-files 

Saya memiliki ext4partisi 900GB pada hard drive (magnetik) yang tidak memiliki cacat dan tidak ada bad sector. Partisi ini benar-benar kosong kecuali untuk lost+founddirektori kosong . Partisi diformat menggunakan parameter default kecuali bahwa saya mengatur jumlah blok filesystem yang dicadangkan ke 1%. Saya mengunduh ~ 900MB file xubuntu-15.04-desktop-amd64.isoke direktori mount …

19 filesystems  ext4  large-files 

Saya memiliki direktori dengan sekitar 100.000 file kecil (setiap file dari 1-3 baris, setiap file adalah file teks). Dalam ukuran direktori tidak terlalu besar (<2GB). Data ini hidup di server NFS yang dikelola secara profesional. Server menjalankan Linux. Saya pikir filesystem ext3, tapi saya tidak tahu pasti. Juga, saya tidak …

19 filesystems  large-files 

Saya memiliki beberapa file berukuran masing-masing> 1 GB. Saya perlu menghapus beberapa byte terakhir dari file. Bagaimana saya bisa melakukannya? Saya lebih suka mengedit file di tempat untuk menghemat ruang disk. Saya menggunakan HP-UX.

18 files  editors  hp-ux  large-files 

Apakah berguna untuk menggunakan flag -T largefile dalam menciptakan sistem file untuk partisi dengan file besar seperti video, dan audio dalam format flac? Saya menguji partisi yang sama dengan flag itu dan tanpa itu, dan menggunakan tune2fs -l [partisi] , saya memeriksa "Fitur Sistem File" yang keduanya memiliki "large_file" diaktifkan. …

17 filesystems  ext4  ext3  large-files  ext2 

Dengan semangat yang sama dengan pertanyaan lain ini: cat baris X ke baris Y pada file besar : Apakah ada cara untuk membuka dari dalam Emacs (dan menunjukkan pada buffer) satu set garis tertentu (misalnya semua garis antara garis Xdan Y) dari file teks besar? Misalnya Buka dan tampilkan dalam …

10 emacs  large-files 

Saya memiliki file teks 250 MB, semuanya dalam satu baris. Dalam file ini saya ingin mengganti akarakter dengan bkarakter: sed -e "s/a/b/g" < one-line-250-mb.txt Gagal dengan: sed: couldn't re-allocate memory Tampak bagi saya bahwa tugas semacam ini dapat dilakukan inline tanpa mengalokasikan banyak memori. Apakah ada alat yang lebih baik …

10 text-processing  sed  performance  large-files  out-of-memory 

Saya punya ~ 30k file. Setiap file berisi ~ 100 ribu baris. Garis tidak mengandung spasi. Baris-baris di dalam file individual diurutkan dan digandakan gratis. Tujuan saya: Saya ingin mencari semua semua duplikat garis di dua atau lebih file dan juga nama-nama file yang berisi entri digandakan. Solusi sederhana adalah …

9 shell-script  text-processing  performance  large-files  deduplication 

Saya perlu melihat gambar png (50000x40000 px) besar di Linux. Sayangnya sebagian besar alat (eog, konversi dll.) Macet atau gagal dengan catatan tentang memori yang terlalu sedikit. Apakah ada cara untuk melihat gambar ini (saya lebih suka melihat gambar yang sudah diubah ukurannya dan detailnya)?

9 images  large-files