Solusi penyimpanan berjenjang otomatis buatan rumah dengan Linux? (Memori -> SSD -> HDD -> penyimpanan jauh)

13

Terkait dengan pertanyaan ini tentang penggunaan SSD untuk sistem dan HDD untuk data , kecuali saya ingin sistem saya melakukan ini secara otomatis ...

Apakah mungkin untuk memiliki beberapa lapisan penyimpanan dan mendorong item secara otomatis di antara mereka, menggunakan perangkat lunak open-source lebih disukai?

Saya tahu solusi kelas enterprise yang sangat mahal seperti EMC SAN-> EMC Centera pengarsipan otomatis , tetapi saya bertanya-tanya apakah penyimpanan bertahap semacam ini dapat dilakukan secara otomatis.

Akan menyenangkan untuk dapat memiliki beberapa lapisan dalam hal ini: Memori-> SSD-> HDD-> HDD lebih lambat atau pita atau beberapa solusi arsip lainnya.

Apakah ada sistem file yang dapat melakukan ini secara otomatis?(ZFS, Btrfs, HAMMER?)

Setiap varian Unix baik-baik saja, karena saya tertarik pada cara kerjanya dan apakah itu portable untuk Linux atau citarasa lain (BSD dll).

— David Gardner
sumber

14

Nah, ZFS menggunakan layering penyimpanan yang disebut Hybrid Storage Pool (HSP) :

Lapisan: memori
Lapisan: cache baca berbasis SSD (L2ARC) dan write-cache (log maksud terpisah alias slog).
Lapisan: harddisk (murah)

Dengan HSP, mudah untuk secara otomatis mendapatkan keuntungan dari kelebihan SSD dibandingkan dengan solusi khusus harddisk. Sistem yang menggunakan HSP bisa lebih cepat dan lebih murah daripada yang terakhir. Lihat tautan ini untuk beberapa contoh bagus dan detail lebih lanjut.

Saya pikir ada rencana mengenai manajemen penyimpanan hierarkis (HSM) untuk ZFS (lihat misalnya proyek OpenSolaris Migrasi Data Otomatis ) tetapi saya tidak tahu statusnya saat ini.

— knweiss
sumber

Ini hanya apa yang saya pikirkan, terima kasih! (Sekarang untuk membantu pada port Linux ...;)

— David Gardner

Saya tidak akan menyebut ini tingkatan tetapi caching. Dalam arti bahwa caching berarti menyimpan salinan blok yang sering digunakan, tiering memindahkan data ke penyimpanan yang lebih lambat / lebih cepat. Saya tidak akan menyebut log maksud di ZFS sebagai cache tulis sungguhan jika saya memahaminya dengan benar.

— mrossi

5

Lihatlah solusi "lvmts" (LVM Tiered Storage) berbasis LVM yang sedang disiapkan orang ini:

https://bbs.archlinux.org/viewtopic.php?pid=1140640#p1140640

Cukup keren.

— Shane
sumber

+1 Ini terlihat sangat menarik - Saya akan mengawasinya!

— David Gardner

5

TIER sepertinya menjawab kebutuhan Anda. Ini adalah modul kernel linux yang dapat membuat penyimpanan berjenjang. Tampaknya belajar dengan sendirinya pola dan mengoptimalkan penempatan ke dalam penyimpanan

http://www.lessfs.com/wordpress/?p=776

— Dolanor
sumber

Hanya melihat pertanyaannya sudah tua ... Maaf ^^ '

— Dolanor

2

Merevitalisasi pertanyaan lama lebih baik daripada membusuk dengan informasi lama dan ketinggalan zaman!

— David Gardner

Saya khawatir orang ini ingin mengurangi redundansi demi kapasitas ekstra (terutama ketika SSD relatif kecil dan tidak dapat diandalkan).

— Tobu

Juga khawatir bahwa ia menyarankan serangan sebagai solusi, ketika perangkat lunak eksperimental paling membutuhkan cadangan.

— Tobu

Namun, berikut ini sedikit umpan balik yang lebih positif: permalink.gmane.org/gmane.comp.file-systems.ceph.devel/8316

— Tobu

1

Menjawab pertanyaan saya sendiri dengan sesuatu yang baru saja saya temukan:

Saya baru saja memperbarui kernel dan melihat hal-hal baru yang telah ditambahkan, dan sekarang ada pilihan 'CACHEFILES' yang memungkinkan untuk caching (biasanya jauh) filesystem ke sistem file lokal. Saya kira saya bisa menggunakan ini untuk menyimpan mekanisme penyimpanan yang lebih lambat (HDD) ke yang lebih cepat (SSD), setidaknya untuk satu tingkat hierarki.

— David Gardner
sumber

Apakah Anda mencoba solusi ini? Bagaimana kinerjanya?

— Skolima

1

Nevermind - Saya menemukan diri saya bahwa CacheFS untuk saat ini hanya mendukung NFS dan AFS.

— Skolima

Menggunakan sistem file jaringan untuk ini bukan ide yang buruk, mereka cenderung matang jauh lebih cepat daripada patchsets kernel. Saya ingin tahu apakah Ceph atau DRBD memiliki mode yang berguna untuk penyimpanan berjenjang.

— Tobu

1

Beberapa tautan yang relevan. YMMV.

http://code.google.com/p/fscops/ - "Hierarchical Storage Manager (OHSM) Online adalah upaya pertama menuju pengelola penyimpanan data sumber terbuka tingkat perusahaan yang secara otomatis memindahkan data antara penyimpanan biaya tinggi dan biaya rendah media.".

http://www.tack.ch/unix/dmapi/ - XFS + DMAPI di Linux

http://jfs.sourceforge.net/ - JFS + DMAPI di Linux

— sendmoreinfo
sumber

Proyek OHSM sepertinya menarik untuk diikuti. Hanya ext2 dan kernel 2.6.30 yang didukung untuk saat ini, tetapi saya berharap jika itu bekerja dengan baik maka ini akan mendapatkan lebih banyak filesystem.

— David Gardner

Proyek itu terlihat terbengkalai, aktivitas terakhir adalah pada 2009.

— sendmoreinfo

1

Pengontrol RAID menawarkan beberapa fitur ini.

"Memanfaatkan SSD di depan volume HDD untuk membuat kumpulan cache pengontrol berkinerja tinggi dan berkapasitas tinggi"

http://www.lsi.com/channel/products/storagesw/Pages/MegaRAIDCacheCadeSoftware2-0.aspx

— dmourati
sumber

0

Snapshots LVM2 muncul di pikiran ... tetapi Anda tidak dapat benar-benar melakukan lebih dari satu snapshot.

— dyasny
sumber

0

SAM-QFS adalah produk Sun yang ada dan bersumber terbuka tahun lalu. Ini CDDL, jadi Anda hanya bisa langsung porting ke * BSD.

— TRS-80
sumber