Apa cara mudah untuk membaca baris acak dari file di baris perintah Unix?

Apa cara mudah untuk membaca baris acak dari file di baris perintah Unix?

Anda bisa menggunakan shuf:

shuf -n 1 $FILE

Ada juga utilitas yang disebut rl. Di Debian ada dalam randomize-linespaket yang melakukan persis apa yang Anda inginkan, meskipun tidak tersedia di semua distro. Di halaman beranda sebenarnya merekomendasikan penggunaan shufsebagai gantinya (yang tidak ada saat itu dibuat, saya percaya). shufadalah bagian dari GNU coreutils, rlbukan.

rl -c 1 $FILE

Alternatif lain:

head -$((${RANDOM} % `wc -l < file` + 1)) file | tail -1

sort --random-sort $FILE | head -n 1

(Saya suka pendekatan shuf di atas bahkan lebih baik - saya bahkan tidak tahu itu ada dan saya tidak akan pernah menemukan alat itu sendiri)

Ini sederhana.

cat file.txt | shuf -n 1

Memang ini hanya sedikit lebih lambat daripada "shuf -n 1 file.txt" sendiri.

perlfaq5: Bagaimana cara memilih garis acak dari suatu file? Berikut algoritma pengambilan sampel reservoir dari Buku Unta:

perl -e 'srand; rand($.) < 1 && ($line = $_) while <>; print $line;' file

Ini memiliki keuntungan yang signifikan dalam ruang dibandingkan membaca seluruh file. Anda dapat menemukan bukti metode ini di The Art of Computer Programming, Volume 2, Bagian 3.4.2, oleh Donald E. Knuth.

menggunakan skrip bash:

#!/bin/bash
# replace with file to read
FILE=tmp.txt
# count number of lines
NUM=$(wc - l < ${FILE})
# generate random number in range 0-NUM
let X=${RANDOM} % ${NUM} + 1
# extract X-th line
sed -n ${X}p ${FILE}

Garis bash tunggal:

sed -n $((1+$RANDOM%`wc -l test.txt | cut -f 1 -d ' '`))p test.txt

Sedikit masalah: duplikat nama file.

Berikut skrip Python sederhana yang akan melakukan pekerjaan:

import random, sys
lines = open(sys.argv[1]).readlines()
print(lines[random.randrange(len(lines))])

Pemakaian:

python randline.py file_to_get_random_line_from

Cara lain menggunakan ' awk '

awk NR==$((${RANDOM} % `wc -l < file.name` + 1)) file.name

Solusi yang juga berfungsi di MacOSX, dan seharusnya juga bekerja di Linux (?):

N=5
awk 'NR==FNR {lineN[$1]; next}(FNR in lineN)' <(jot -r $N 1 $(wc -l < $file)) $file 

Dimana:

• N adalah jumlah garis acak yang Anda inginkan

• NR==FNR {lineN[$1]; next}(FNR in lineN) file1 file2 -> simpan nomor baris yang ditulis file1dan kemudian cetak baris yang sesuaifile2

• jot -r $N 1 $(wc -l < $file)-> menggambar Nangka secara acak ( -r) dalam kisaran (1, number_of_line_in_file)dengan jot. Substitusi proses <()akan membuatnya terlihat seperti file untuk penerjemah, jadi file1pada contoh sebelumnya.

#!/bin/bash

IFS=$'\n' wordsArray=($(<$1))

numWords=${#wordsArray[@]}
sizeOfNumWords=${#numWords}

while [ True ]
do
    for ((i=0; i<$sizeOfNumWords; i++))
    do
        let ranNumArray[$i]=$(( ( $RANDOM % 10 )  + 1 ))-1
        ranNumStr="$ranNumStr${ranNumArray[$i]}"
    done
    if [ $ranNumStr -le $numWords ]
    then
        break
    fi
    ranNumStr=""
done

noLeadZeroStr=$((10#$ranNumStr))
echo ${wordsArray[$noLeadZeroStr]}

Inilah yang saya temukan karena Mac OS saya tidak menggunakan semua jawaban mudah. Saya menggunakan perintah jot untuk menghasilkan angka karena solusi variabel $ RANDOM tampaknya tidak terlalu acak dalam pengujian saya. Saat menguji solusi saya, saya memiliki varian yang luas dalam solusi yang disediakan dalam output.

  RANDOM1=`jot -r 1 1 235886`
   #range of jot ( 1 235886 ) found from earlier wc -w /usr/share/dict/web2
   echo $RANDOM1
   head -n $RANDOM1 /usr/share/dict/web2 | tail -n 1

Gema variabel adalah untuk mendapatkan visual dari angka acak yang dihasilkan.

Hanya menggunakan vanilla sed dan awk, dan tanpa menggunakan $ RANDOM, "one-liner" sederhana, hemat ruang, dan cukup cepat untuk memilih satu baris pseudo-acak dari file bernama FILENAME adalah sebagai berikut:

sed -n $(awk 'END {srand(); r=rand()*NR; if (r<NR) {sub(/\..*/,"",r); r++;}; print r}' FILENAME)p FILENAME

(Ini berfungsi bahkan jika FILENAME kosong, dalam hal ini tidak ada garis yang dipancarkan.)

Satu keuntungan yang mungkin dari pendekatan ini adalah hanya memanggil rand () sekali.

Seperti yang ditunjukkan oleh @AdamKatz di komentar, kemungkinan lain adalah memanggil rand () untuk setiap baris:

awk 'rand() * NR < 1 { line = $0 } END { print line }' FILENAME

(Bukti kebenaran sederhana dapat diberikan berdasarkan induksi.)

Peringatan tentang rand()

"Di sebagian besar implementasi awk, termasuk gawk, rand () mulai menghasilkan angka dari nomor awal yang sama, atau seed, setiap kali Anda menjalankan awk."

- https://www.gnu.org/software/gawk/manual/html_node/Numeric-Functions.html