Memindahkan data melintasi lingkungan

Saya memiliki situasi yang sangat timpang saat ini tentang memindahkan data melintasi lingkungan di tempat kerja.

Data-data ini adalah dump database, indeks Solr atau gambar sederhana. Proses kami adalah: "tarball data" + "rsync / scp data ke lingkungan lain / mesin" + "buka paket data".

Ukuran data tersebut bervariasi dari beberapa Gigabytes hingga maksimal ~ 1 Terabytes.

Beberapa proses "scripted" lainnya masih membutuhkan pemrosesan manual.

Pokoknya masalah utama adalah waktu untuk mengemas / membongkar dan rsync data.

Mempertimbangkan kinerja dan "automatisme", adakah strategi yang lebih baik untuk memindahkan data?

— Acak
sumber

Jawaban:

Anda bisa memasang sistem file jarak jauh dengan sshfs misalnya.

sshfs user@remotehoste:<remotepath> <localpath>

Kemudian Anda dapat menghubungkan data di mana Anda membutuhkannya atau mengaksesnya di sana.

ln -s <mountpont/file> <targetlocation>

Tapi itu tergantung pada apa yang ingin Anda lakukan dengan data ini.

— mstruebing
sumber

Saya sedang memikirkan solusi yang sama. Sebagian besar data "hanya baca". Itu berarti mereka akan diakses hanya untuk dibaca (jadi tidak ada tulisan).

— Acak

Maka saya pikir ini akan menjadi solusi terbaik, lebih baik daripada mengemas / membongkar setiap kali dan jika dibaca saja Anda tidak akan mendapatkan masalah dengan itu.

— mstruebing

bagaimana data sebagian besar "hanya baca"? Anda memiliki izin untuk mengubah data atau Anda tidak memiliki izin (yaitu hanya baca).

— Ramhound

Maksudnya apa yang dia lakukan dengan data dan bukan hak akses yang saya pikir ...

— mstruebing

@Ramhound sebagai mstruebing mengatakan maksud saya adalah bagaimana data digunakan seperti gambar yang perlu ditampilkan atau indeks Solr untuk mencari.

— Acak

Kemungkinan lain tergantung pada apa yang Anda coba lakukan adalah mereplikasi data di tingkat blok - misalnya menggunakan DRBD atau MARS pada LVM dan menggunakan snapshotting untuk PITR dan / atau memodifikasi data dari salinan gambar - hanya perlu diketahui bahwa snapshot LVM memperlambat IO turun cukup banyak pada subsistem yang sedang snapshotted.

— davidgo
sumber