Pada memori sistem ... khususnya perbedaan antara `tmpfs,` `shm,` dan `hugepages ...`

Saya ingin tahu akhir-akhir ini tentang berbagai sistem file berbasis memori kernel Linux.

Note:Sejauh yang saya ketahui, pertanyaan-pertanyaan di bawah ini harus dianggap lebih atau kurang opsional jika dibandingkan dengan pemahaman yang lebih baik dari yang diajukan dalam judul. Saya bertanya kepada mereka di bawah ini karena saya yakin menjawabnya dapat lebih membantu saya untuk memahami perbedaan, tetapi karena pemahaman saya diakui terbatas, maka orang lain mungkin tahu lebih baik. Saya siap menerima jawaban apa pun yang memperkaya pemahaman saya tentang perbedaan antara ketiga sistem file yang disebutkan dalam judul.

Pada akhirnya saya pikir saya ingin me-mount sistem file yang dapat digunakan dengan hugepages,meskipun beberapa penelitian ringan (dan masih bermain-main lebih ringan) telah membuat saya percaya bahwa a rewritable hugepage mountbukanlah pilihan. Apakah saya salah? Apa mekanika yang berperan di sini?

Juga tentang hugepages:

     uname -a
3.13.3-1-MANJARO \
#1 SMP PREEMPT \
x86_64 GNU/Linux

    tail -n8 /proc/meminfo
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:     8223772 kB
DirectMap2M:    16924672 kB
DirectMap1G:     2097152 kB

(Berikut adalah versi teks lengkap dari / proc / meminfo dan / proc / cpuinfo )

Apa yang terjadi di atas? Apakah saya sudah mengalokasikan hugepages?Apakah ada perbedaan antara DirectMaphalaman memori danhugepages?

Perbarui Setelah sedikit dorongan dari @Gilles, saya telah menambahkan 4 baris lebih di atas dan tampaknya pasti ada perbedaan, meskipun saya belum pernah mendengar DirectMapsebelumnya menariknya tailkemarin ... mungkin DMIatau sesuatu?

Hanya sedikit lagi ...

Gagal dalam keberhasilan apa pun dengan hugepagesupaya ini, dan dengan asumsi cadangan harddisk dari semua file gambar, apa risiko memasang loop dari tmpfs?Apakah sistem file saya menjadi swappedskenario terburuk? Saya mengerti tmpfsapakah cache sistem file sudah terpasang - dapatkah loopfile yang dipasang saya ditekan keluar dari memori? Apakah ada tindakan meringankan yang dapat saya lakukan untuk menghindari hal ini?

Terakhir - tepatnya apa shm,itu? Bagaimana perbedaannya dari atau termasuk salah satu hugepagesatautmpfs?

Tidak ada perbedaan antara tmpfs dan shm. tmpfs adalah nama baru untuk shm. shm adalah singkatan dari SHaredMemory.

Lihat: Linux tmpfs .

Alasan utama tmpfs bahkan digunakan hari ini adalah komentar ini di / etc / fstab di kotak gentoo saya. Chromium BTW tidak akan dibangun jika saluran tidak ada:

# glibc 2.2 and above expects tmpfs to be mounted at /dev/shm for 
# POSIX shared memory (shm_open, shm_unlink). 
shm                     /dev/shm        tmpfs           nodev,nosuid,noexec     0 0 

yang keluar dari dokumentasi kernel linux

Mengutip:

tmpfs memiliki kegunaan berikut:

1) Selalu ada mount internal kernel yang tidak akan Anda lihat sama
sekali. Ini digunakan untuk pemetaan anonim bersama dan
memori bersama SYSV .

Mount ini tidak tergantung pada CONFIG_TMPFS. Jika CONFIG_TMPFS tidak disetel, bagian tmpfs yang terlihat pengguna tidak dibuat. Tetapi
mekanisme internal selalu ada.

2) glibc 2.2 dan di atas mengharapkan tmpfs untuk dipasang di / dev / shm untuk
memori bersama POSIX (shm_open, shm_unlink). Menambahkan
baris berikut ke / etc / fstab harus menangani ini:

tmpfs / dev / shm tmpfs default 0 0

Ingatlah untuk membuat direktori yang ingin Anda pasang tmpfs jika perlu.

Pemasangan ini tidak diperlukan untuk memori bersama SYSV.
Mount internal digunakan untuk itu. (Dalam versi kernel 2.3,
perlu untuk memasang pendahulu tmpfs (shm fs) untuk menggunakan
memori bersama SYSV )

3) Beberapa orang (termasuk saya) merasa sangat nyaman untuk memasangnya
misalnya pada / tmp dan / var / tmp dan memiliki partisi swap yang besar. Dan sekarang
loop mount file tmpfs berfungsi, jadi mkinitrd yang dikirimkan oleh sebagian besar
distribusi harus berhasil dengan tmpfs / tmp.

4) Dan mungkin lebih banyak yang saya tidak tahu tentang :-)

tmpfs memiliki tiga opsi pemasangan untuk ukuran:

size: Batas byte yang dialokasikan untuk instance tmpfs ini. Standarnya adalah setengah dari RAM fisik Anda tanpa swap. Jika Anda memperbesar instance tmpfs Anda, mesin akan menemui jalan buntu karena OOM handler tidak akan dapat membebaskan memori itu.
nr_blocks: Sama seperti ukuran, tetapi dalam blok PAGE_CACHE_SIZE.
nr_inodes: Jumlah maksimum inode untuk instance ini. Defaultnya adalah setengah dari jumlah halaman RAM fisik Anda, atau (pada mesin dengan highmem) jumlah halaman RAM lowmem, mana yang lebih rendah.

Dari Dokumen Transparan Hugepage Kernel:

Dukungan Transparan Hugepage memaksimalkan kegunaan memori bebas jika dibandingkan dengan pendekatan reservasi hugetlbfs dengan memungkinkan semua memori yang tidak digunakan untuk digunakan sebagai cache atau bergerak lainnya (atau bahkan entitas tidak bergerak). Itu tidak memerlukan reservasi untuk mencegah kegagalan alokasi hugepage agar terlihat dari userland. Ini memungkinkan paging dan semua fitur VM canggih lainnya tersedia di hugepages. Tidak memerlukan modifikasi untuk aplikasi untuk memanfaatkannya.

Namun aplikasi dapat lebih dioptimalkan untuk memanfaatkan fitur ini, seperti misalnya mereka telah dioptimalkan sebelumnya untuk menghindari banjir panggilan sistem mmap untuk setiap malloc (4k). Mengoptimalkan userland sejauh ini tidak wajib dan sudah ditentukan sebelumnya dapat menangani alokasi halaman berumur panjang bahkan untuk hugepage aplikasi yang tidak sadar yang berurusan dengan sejumlah besar memori.

Komentar Baru setelah melakukan beberapa perhitungan:

HugePage Ukuran: 2MB
HugePages Digunakan: Tidak Ada / Nonaktif, sebagaimana dibuktikan oleh semua 0's, tetapi diaktifkan sesuai 2Mb di atas.
DirectMap4k: 8.03Gb
DirectMap2M: 16.5Gb
DirectMap1G: 2Gb

Dengan menggunakan paragraf di atas tentang Pengoptimalan dalam THS, sepertinya 8Gb memori Anda sedang digunakan oleh aplikasi yang beroperasi menggunakan mallocs 4k, 16.5Gb, telah diminta oleh aplikasi yang menggunakan mallocs 2M. Aplikasi yang menggunakan mallocs dari 2M meniru Dukungan HugePage dengan melepas bagian 2M ke kernel. Ini adalah metode yang disukai, karena begitu malloc dilepaskan oleh kernel, memori dilepaskan ke sistem, sedangkan pemasangan tmpfs menggunakan hugepage tidak akan menghasilkan pembersihan penuh sampai sistem reboot. Terakhir, yang mudah, Anda memiliki 2 program terbuka / berjalan yang meminta malloc 1Gb

Bagi Anda yang membaca yang tidak tahu malloc adalah Struktur Standar dalam C yang merupakan singkatan dari Memory ALLOCation. Perhitungan ini berfungsi sebagai bukti bahwa korelasi OP antara DirectMapping dan THS mungkin benar. Juga perhatikan bahwa memasang HUGEPAGE ONLY fs hanya akan menghasilkan peningkatan 2MB, sedangkan membiarkan sistem mengelola memori menggunakan THS sebagian besar terjadi dalam blok 4k, yang berarti dalam hal manajemen memori setiap panggilan malloc menghemat sistem 2044k (2048 - 4 ) untuk beberapa proses lain untuk digunakan.

Untuk mengatasi masalah "DirectMap": kernel memiliki pemetaan linear ("direct") memori fisik , terpisah dari pemetaan virtual yang dialokasikan untuk setiap proses pengguna.

Kernel menggunakan halaman terbesar yang mungkin untuk pemetaan ini untuk mengurangi tekanan TLB.

DirectMap1G terlihat jika CPU Anda mendukung halaman 1Gb (Barcelona dan seterusnya; beberapa lingkungan virtual menonaktifkannya), dan jika diaktifkan di kernel - defaultnya adalah untuk 2.6.29+.

Tidak ada perbedaan antara shmdan tmpfs(sebenarnya, tmpfshanya nama baru dari mantan shmfs). hugetlbfsadalah tmpfsfilesystem berbasis yang mengalokasikan ruangnya dari halaman kernel yang besar dan membutuhkan beberapa konfigurasi tambahan yang dapat dibeli (cara menggunakan ini dijelaskan dalam Dokumentasi / vm / hugetlbpage.txt ).