Memecahkan "mv: Daftar argumen terlalu panjang"?

Saya memiliki folder dengan lebih dari satu juta file yang perlu disortir, tetapi saya tidak dapat melakukan apa-apa karena mvmenampilkan pesan ini sepanjang waktu

-bash: /bin/mv: Argument list too long

Saya menggunakan perintah ini untuk memindahkan file ekstensi-kurang:

mv -- !(*.jpg|*.png|*.bmp) targetdir/

xargsadalah alat untuk pekerjaan itu. Itu, atau finddengan -exec … {} +. Alat-alat ini menjalankan perintah beberapa kali, dengan sebanyak mungkin argumen yang dapat dilewati dalam sekali jalan.

Kedua metode lebih mudah dilakukan ketika daftar argumen variabel di akhir, yang tidak terjadi di sini: argumen terakhir mvadalah tujuannya. Dengan utilitas GNU (yaitu pada Linux yang tidak tertanam atau Cygwin), -topsi untuk mvberguna, untuk melewati tujuan terlebih dahulu.

Jika nama file tidak memiliki spasi putih atau apapun \"', maka Anda dapat memberikan nama file sebagai input xargs( echoperintahnya adalah bash builtin, sehingga tidak tunduk pada batas panjang baris perintah):

echo !(*.jpg|*.png|*.bmp) | xargs mv -t targetdir

Anda dapat menggunakan -0opsi untuk xargsmenggunakan input yang dibatasi-nol alih-alih format kuotasi default.

printf '%s\0' !(*.jpg|*.png|*.bmp) | xargs -0 mv -t targetdir

Atau, Anda dapat membuat daftar nama file dengan find. Untuk menghindari pengulangan ke subdirektori, gunakan -type d -prune. Karena tidak ada tindakan yang ditentukan untuk file gambar yang terdaftar, hanya file lain yang dipindahkan.

find . -name . -o -type d -prune -o \
       -name '*.jpg' -o -name '*.png' -o -name '*.bmp' -o \
       -exec mv -t targetdir/ {} +

(Ini termasuk file dot, tidak seperti metode wildcard shell.)

Jika Anda tidak memiliki utilitas GNU, Anda dapat menggunakan shell perantara untuk mendapatkan argumen dalam urutan yang benar. Metode ini berfungsi pada semua sistem POSIX.

find . -name . -o -type d -prune -o \
       -name '*.jpg' -o -name '*.png' -o -name '*.bmp' -o \
       -exec sh -c 'mv "$@" "$0"' targetdir/ {} +

Di zsh, Anda dapat memuat mvbuiltin :

setopt extended_glob
zmodload zsh/files
mv -- ^*.(jpg|png|bmp) targetdir/

atau jika Anda lebih suka membiarkan mvdan nama lain terus mengacu pada perintah eksternal:

setopt extended_glob
zmodload -Fm zsh/files b:zf_\*
zf_mv -- ^*.(jpg|png|bmp) targetdir/

atau dengan gumpalan ksh-style:

setopt ksh_glob
zmodload -Fm zsh/files b:zf_\*
zf_mv -- !(*.jpg|*.png|*.bmp) targetdir/

Atau, gunakan GNU mvdan zargs:

autoload -U zargs
setopt extended_glob
zargs -- ./^*.(jpg|png|bmp) -- mv -t targetdir/

Jika bekerja dengan kernel Linux sudah cukup, Anda cukup melakukannya

ulimit -s 100000

itu akan berfungsi karena kernel Linux menyertakan tambalan sekitar 10 tahun yang lalu yang mengubah batas argumen berdasarkan ukuran tumpukan: https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/ komit /? id = b6a2fea39318e43fee84fa7b0b90d68bed92d2ba

Perbarui: Jika Anda merasa berani, Anda bisa mengatakannya

ulimit -s unlimited

dan Anda akan baik-baik saja dengan ekspansi shell apa pun selama Anda memiliki cukup RAM.

Batas kelalaian argumen sistem operasi tidak berlaku untuk ekspansi yang terjadi di dalam shell interpreter. Jadi selain menggunakan xargsatau find, kita bisa menggunakan shell loop untuk memecah pemrosesan menjadi mvperintah - perintah individual :

for x in *; do case "$x" in *.jpg|*.png|*.bmp) ;; *) mv -- "$x" target ;; esac ; done

Ini hanya menggunakan fitur dan utilitas POSIX Shell Command Language. Satu garis ini lebih jelas dengan lekukan, dengan titik koma yang tidak perlu dihapus:

for x in *; do
  case "$x" in
    *.jpg|*.png|*.bmp) 
       ;; # nothing
    *) # catch-all case
       mv -- "$x" target
       ;;
  esac
done

Untuk solusi yang lebih agresif daripada yang ditawarkan sebelumnya, tarik sumber kernel Anda dan edit include/linux/binfmts.h

Tingkatkan ukuran MAX_ARG_PAGESmenjadi sesuatu yang lebih besar dari 32. Ini meningkatkan jumlah memori yang akan diizinkan oleh kernel untuk argumen program, sehingga memungkinkan Anda menentukan mvatau rmperintah Anda untuk jutaan file atau apa pun yang Anda lakukan. Kompilasi ulang, instal, reboot.

WASPADALAH! Jika Anda mengatur ini terlalu besar untuk memori sistem Anda, dan kemudian jalankan perintah dengan banyak argumen BURUK HAL AKAN TERJADI! Berhati-hatilah dalam melakukan hal ini pada sistem multi-pengguna, ini membuat lebih mudah bagi pengguna jahat untuk menggunakan semua memori Anda!

Jika Anda tidak tahu cara mengkompilasi ulang dan menginstal ulang kernel Anda secara manual, mungkin yang terbaik adalah Anda berpura-pura jawaban ini tidak ada untuk saat ini.

Solusi yang lebih sederhana menggunakan "$origin"/!(*.jpg|*.png|*.bmp)alih-alih blok tangkap:

for file in "$origin"/!(*.jpg|*.png|*.bmp); do mv -- "$file" "$destination" ; done

Terima kasih kepada @Score_Under

Untuk skrip multi-baris Anda dapat melakukan hal berikut (perhatikan ;sebelum donedijatuhkan):

for file in "$origin"/!(*.jpg|*.png|*.bmp); do        # don't copy types *.jpg|*.png|*.bmp
    mv -- "$file" "$destination" 
done 

Untuk melakukan solusi yang lebih umum yang memindahkan semua file, Anda bisa melakukan satu-baris:

for file in "$origin"/*; do mv -- "$file" "$destination" ; done

Yang terlihat seperti ini jika Anda melakukan lekukan:

for file in "$origin"/*; do
    mv -- "$file" "$destination"
done 

Ini mengambil setiap file dalam asal dan memindahkannya satu per satu ke tujuan. Kutipan di sekitar $filediperlukan jika ada spasi atau karakter khusus lainnya dalam nama file.

Berikut adalah contoh metode ini yang bekerja dengan sempurna

for file in "/Users/william/Pictures/export_folder_111210/"*.jpg; do
    mv -- "$file" "/Users/william/Desktop/southland/landingphotos/";
done

Terkadang lebih mudah untuk hanya menulis skrip kecil, misalnya dengan Python:

import glob, shutil

for i in glob.glob('*.jpg'):
  shutil.move(i, 'new_dir/' + i)

Anda dapat mengatasi batasan itu saat masih menggunakan mvjika Anda tidak keberatan menjalankannya beberapa kali.

Anda dapat memindahkan bagian sekaligus. Katakanlah misalnya Anda memiliki daftar panjang nama file alfanumerik.

mv ./subdir/a* ./

Itu bekerja. Kemudian pukullah satu potongan besar lagi. Setelah beberapa bergerak, Anda bisa kembali menggunakanmv ./subdir/* ./

Ini dua sen saya, tambahkan ini .bash_profile

mv() {
  if [[ -d $1 ]]; then #directory mv
    /bin/mv $1 $2
  elif [[ -f $1 ]]; then #file mv
    /bin/mv $1 $2
  else
    for f in $1
    do
      source_path=$f
      #echo $source_path
      source_file=${source_path##*/}
      #echo $source_file
      destination_path=${2%/} #get rid of trailing forward slash

      echo "Moving $f to $destination_path/$source_file"

      /bin/mv $f $destination_path/$source_file
    done
  fi
}
export -f mv

Pemakaian

mv '*.jpg' ./destination/
mv '/path/*' ./destination/