CentOs 6, rsync / scp berhenti file besar di 40% (2.4G)

Saya mencoba mengunduh dari server jauh ke laptop lokal file besar (~ 5G), tetapi unduhan berhenti di 40% dari ukuran (2.4G).

Saya menggunakan perintah rsync ini:

rsync --bwlimit=1200 -rh --progress -e 'ssh -p port' server:/path/to/file Downloads/

Saya juga mencoba menurunkan mtu di server dari 1500 menjadi 1492, tanpa hasil.

Ada saran? : D

— DITTiD
sumber

Berapa banyak RAM yang tersedia untuk mesin? Itu terdengar khas dari masalah kehabisan memori di rsync. Versi Windows rsync dulu sangat rentan terhadap masalah itu.

— Julian Knight 15

@JulianKnight Terima kasih atas komentar Anda, server memiliki 2Gb Ram. Klien adalah Mac OSX w / 8GB RAM.

— DiTTiD

Saya bertanya-tanya berapa banyak memori virtual yang telah Anda konfigurasi, mungkin tidak cukup. Saya masih curiga Anda mencapai batas memori. Saya akan merekomendasikan untuk mengawasi statistik saat Anda menjalankannya.

— Julian Knight

@JulianKnight Saya benar-benar tidak mengatur memori virtual. Hanya memiliki server seperti yang dikonfigurasikan pada instalasi pertama ...

— DiTTiD

Jawaban:

Saya tidak percaya ini menjadi masalah jaringan.

Jauh lebih mungkin menjadi masalah memori. Dengan hanya 2GB server RAM dan menjalankan RSYNC pada file 5G, saya menduga server terlebih dahulu. Anda dapat memonitor memori server semoga saat Anda menjalankannya.

Sisi klien dapat memiliki masalah juga. Saya menyerah di RSYNC untuk Windows misalnya karena selalu macet pada file besar tidak peduli berapa banyak RAM yang Anda miliki.

Saya harus mempertanyakan apakah rsync adalah alat yang tepat untuk pekerjaan pada file besar seperti itu. Itu tergantung pada file tentu saja tetapi kecuali jika ada pembaruan setuju dengan mesin diff rsync, mungkin tidak ada gunanya. Transfer langsung mungkin lebih baik. Anda bahkan dapat menggunakan sesuatu seperti zip atau tar untuk membagi file sehingga Anda bisa mengirimnya menjadi beberapa bagian dan memasang kembali di ujung lainnya.

— Julian Knight
sumber

Terima kasih atas jawaban anda. Saya akan memeriksa statistik sejauh ini. Sebagai transfer langsung, apa yang Anda maksud? Bagaimana saya harus mentransfer file itu alih-alih perintah yang berhubungan dengan ssh?

— DiTTiD

Gunakan SCP atau SFTP yang keduanya menggunakan SSH di bawah kulit. Saya biasanya menggunakan WinSCP di Windows, Anda harus menemukan sesuatu untuk Mac.

— Julian Knight

Terima kasih atas jawaban anda. Saya pikir itu tetap jelas saya mendapatkan perilaku yang sama bahkan dengan scp: stall di 40% ...

— DiTTiD

silakan coba yang berikut ini:

turunkan MTU Anda ke 1492

sudo ifconfig eth0 mtu 1492

nonaktifkan TCP SACK

sudo sysctl -w net.ipv4.tcp_sack = 0

— Cyril Chaboisseau
sumber