Bagaimana menangani penyimpanan persisten (mis. Database) di Docker

Bagaimana orang berurusan dengan penyimpanan persisten untuk wadah Docker Anda?

Saat ini saya menggunakan pendekatan ini: membangun gambar, misalnya untuk PostgreSQL, dan kemudian mulai wadah dengan

docker run --volumes-from c0dbc34fd631 -d app_name/postgres

IMHO, yang memiliki kelemahan, bahwa saya tidak boleh (secara tidak sengaja) menghapus wadah "c0dbc34fd631".

Gagasan lain adalah memasang volume host "-v" ke dalam wadah, namun, userid di dalam wadah tidak selalu cocok dengan userid dari host, dan kemudian izin mungkin akan kacau.

Catatan: Alih-alih --volumes-from 'cryptic_id'Anda juga dapat menggunakan di --volumes-from my-data-containermana my-data-containernama yang Anda tetapkan untuk wadah hanya data, mis. docker run --name my-data-container ...(Lihat jawaban yang diterima)

Docker 1.9.0 dan lebih tinggi

Gunakan API volume

docker volume create --name hello
docker run -d -v hello:/container/path/for/volume container_image my_command

Ini berarti bahwa pola wadah hanya-data harus ditinggalkan demi volume baru.

Sebenarnya volume API hanyalah cara yang lebih baik untuk mencapai apa yang menjadi pola data-container.

Jika Anda membuat wadah dengan -v volume_name:/container/fs/pathDocker secara otomatis akan membuat volume bernama untuk Anda yang dapat:

1. Daftarkan diri Anda melalui docker volume ls
2. Diidentifikasi melalui docker volume inspect volume_name
3. Dicadangkan sebagai direktori normal
4. Dicadangkan seperti sebelumnya melalui --volumes-fromkoneksi

API volume baru menambahkan perintah yang berguna yang memungkinkan Anda mengidentifikasi volume yang menggantung:

docker volume ls -f dangling=true

Dan kemudian hapus melalui namanya:

docker volume rm <volume name>

Sebagai @mpugach menggarisbawahi dalam komentar, Anda dapat menyingkirkan semua volume yang menggantung dengan one-liner yang bagus:

docker volume rm $(docker volume ls -f dangling=true -q)
# Or using 1.13.x
docker volume prune

Docker 1.8.x dan di bawah

Pendekatan yang tampaknya bekerja paling baik untuk produksi adalah dengan menggunakan wadah data saja .

Wadah data saja dijalankan pada gambar barebones dan sebenarnya tidak melakukan apa-apa selain mengekspos volume data.

Kemudian Anda bisa menjalankan wadah lain untuk memiliki akses ke volume wadah data:

docker run --volumes-from data-container some-other-container command-to-execute

• Di sini Anda bisa mendapatkan gambaran yang baik tentang bagaimana mengatur wadah yang berbeda.
• Di sini ada wawasan yang bagus tentang cara kerja volume.

Dalam posting blog ini ada deskripsi yang baik tentang wadah yang disebut sebagai pola volume yang menjelaskan titik utama memiliki data wadah saja .

Dokumentasi Docker sekarang memiliki deskripsi DEFINITIF dari wadah sebagai pola volume .

Berikut ini adalah prosedur pencadangan / pemulihan untuk Docker 1.8.x dan di bawah ini.

CADANGAN:

sudo docker run --rm --volumes-from DATA -v $(pwd):/backup busybox tar cvf /backup/backup.tar /data

• --rm: lepaskan wadah saat keluar
• --volumes-from DATA: lampirkan volume yang dibagikan oleh wadah DATA
• -v $ (pwd): / backup: bind mount direktori saat ini ke dalam wadah; untuk menulis file tar
• busybox: gambar kecil yang lebih sederhana - bagus untuk perawatan cepat
• tar cvf /backup/backup.tar / data: membuat file tar terkompresi dari semua file di direktori / data

MENGEMBALIKAN:

# Create a new data container
$ sudo docker run -v /data -name DATA2 busybox true
# untar the backup files into the new container᾿s data volume
$ sudo docker run --rm --volumes-from DATA2 -v $(pwd):/backup busybox tar xvf /backup/backup.tar
data/
data/sven.txt
# Compare to the original container
$ sudo docker run --rm --volumes-from DATA -v `pwd`:/backup busybox ls /data
sven.txt

Berikut ini adalah artikel bagus dari Brian Goff yang luar biasa yang menjelaskan mengapa sebaiknya menggunakan gambar yang sama untuk wadah dan wadah data.

Dalam Docker release v1.0 , mengikat mount file atau direktori pada mesin host dapat dilakukan dengan perintah yang diberikan:

$ docker run -v /host:/container ...

Volume di atas dapat digunakan sebagai penyimpanan persisten pada host yang menjalankan Docker.

Pada Docker Compose 1.6, sekarang ada peningkatan dukungan untuk volume data di Docker Compose. File penulisan berikut akan membuat gambar data yang akan bertahan di antara restart (atau bahkan menghapus) wadah induk:

Berikut adalah pengumuman blog: Compose 1.6: New Compose file untuk mendefinisikan jaringan dan volume

Berikut ini contoh file penulisan:

version: "2"

services:
  db:
    restart: on-failure:10
    image: postgres:9.4
    volumes:
      - "db-data:/var/lib/postgresql/data"
  web:
    restart: on-failure:10
    build: .
    command: gunicorn mypythonapp.wsgi:application -b :8000 --reload
    volumes:
      - .:/code
    ports:
      - "8000:8000"
    links:
      - db

volumes:
  db-data:

Sejauh yang saya mengerti: Ini akan membuat wadah volume data (db_data ) yang akan bertahan di antara restart.

Jika Anda menjalankan: docker volume lsAnda akan melihat volume Anda terdaftar:

local               mypthonapp_db-data
...

Anda bisa mendapatkan detail lebih lanjut tentang volume data:

docker volume inspect mypthonapp_db-data
[
  {
    "Name": "mypthonapp_db-data",
    "Driver": "local",
    "Mountpoint": "/mnt/sda1/var/lib/docker/volumes/mypthonapp_db-data/_data"
  }
]

Beberapa pengujian:

# Start the containers
docker-compose up -d

# .. input some data into the database
docker-compose run --rm web python manage.py migrate
docker-compose run --rm web python manage.py createsuperuser
...

# Stop and remove the containers:
docker-compose stop
docker-compose rm -f

# Start it back up again
docker-compose up -d

# Verify the data is still there
...
(it is)

# Stop and remove with the -v (volumes) tag:

docker-compose stop
docker=compose rm -f -v

# Up again ..
docker-compose up -d

# Check the data is still there:
...
(it is).

Catatan:

• Anda juga dapat menentukan berbagai driver di volumesblok. Misalnya, Anda bisa menentukan driver Flocker untuk db_data:

  volumes:
    db-data:
      driver: flocker
  

• Ketika mereka meningkatkan integrasi antara Docker Swarm dan Docker Compose (dan mungkin mulai mengintegrasikan Flocker ke dalam sistem ekosistem Docker (saya mendengar desas-desus bahwa Docker telah membeli Flocker), saya pikir pendekatan ini harus menjadi semakin kuat.

Penafian: Pendekatan ini menjanjikan, dan saya menggunakannya dengan sukses di lingkungan pengembangan. Saya akan khawatir untuk menggunakan ini dalam produksi dulu!

Dalam hal tidak jelas dari pembaruan 5 dari jawaban yang dipilih, pada Docker 1.9, Anda dapat membuat volume yang dapat ada tanpa dikaitkan dengan wadah tertentu, sehingga membuat pola "wadah hanya-data" usang.

Lihat Wadah khusus data yang usang dengan docker 1.9.0? # 17.798 .

Saya pikir pemilik Docker menyadari bahwa pola wadah data-satunya adalah sedikit bau desain dan memutuskan untuk membuat volume sebagai entitas terpisah yang dapat ada tanpa wadah terkait.

Meskipun ini masih merupakan bagian dari Docker yang memerlukan beberapa pekerjaan , Anda harus meletakkan volume di Dockerfile dengan instruksi VOLUME sehingga Anda tidak perlu menyalin volume dari wadah lain.

Itu akan membuat wadah Anda kurang saling bergantung dan Anda tidak perlu khawatir tentang penghapusan satu wadah yang memengaruhi wadah lainnya.

Saat menggunakan Docker Compose , cukup lampirkan volume bernama, misalnya:

version: '2'
services:
  db:
    image: mysql:5.6
    volumes:
      - db_data:/var/lib/mysql:rw
    environment:
      MYSQL_ROOT_PASSWORD: root
volumes:
  db_data:

@tommasop jawaban baik, dan menjelaskan beberapa mekanisme menggunakan wadah data saja. Tetapi sebagai seseorang yang awalnya berpikir bahwa kontainer data konyol ketika seseorang hanya dapat mengikat volume ke host (seperti yang disarankan oleh beberapa jawaban lain), tetapi sekarang menyadari bahwa sebenarnya hanya wadah data yang cukup rapi, saya dapat menyarankan saya sendiri posting blog tentang topik ini: Mengapa Wadah Data Docker (Volume!) Bagus

Lihat juga: jawaban saya untuk pertanyaan " Apa cara (terbaik) untuk mengelola izin untuk volume bersama Docker? " Untuk contoh tentang bagaimana menggunakan wadah data untuk menghindari masalah seperti izin dan pemetaan uid / gid dengan tuan rumah.

Untuk mengatasi salah satu masalah awal OP: wadah data tidak boleh dihapus. Bahkan jika kontainer data dihapus, data itu sendiri tidak akan hilang selama setiap kontainer memiliki referensi ke volume itu yaitu setiap kontainer yang memasang volume melalui --volumes-from. Jadi kecuali semua kontainer terkait dihentikan dan dihapus (orang bisa menganggap ini setara dengan kecelakaan rm -fr /) datanya aman. Anda selalu dapat membuat ulang wadah data dengan melakukan--volumes-from wadah apa pun yang memiliki referensi ke volume itu.

Seperti biasa, buat cadangan!

PEMBARUAN: Docker sekarang memiliki volume yang dapat dikelola secara terpisah dari wadah, yang selanjutnya membuatnya lebih mudah untuk dikelola.

Ada beberapa tingkat mengelola data persisten, tergantung pada kebutuhan Anda:

• Simpan di host Anda
  • Gunakan bendera -v host-path:container-pathuntuk bertahan data direktori kontainer ke direktori host.
  • Pencadangan / pemulihan terjadi dengan menjalankan wadah pencadangan / pengembalian (seperti tutumcloud / dockup) yang dipasang pada direktori yang sama.
• Buat wadah data dan pasang volumenya ke wadah aplikasi Anda
  • Buat wadah yang mengekspor volume data, gunakan --volumes-from untuk memasang data itu ke wadah aplikasi Anda.
  • Cadangkan / kembalikan sama dengan solusi di atas.
• Gunakan plugin volume Docker yang mendukung layanan eksternal / pihak ketiga
  • Plugin volume Docker memungkinkan sumber data Anda berasal dari mana saja - NFS, AWS (S3, EFS, dan EBS)
  • Bergantung pada plugin / layanan, Anda dapat melampirkan wadah tunggal atau ganda ke volume tunggal.
  • Bergantung pada layanan, cadangan / pengembalian mungkin otomatis untuk Anda.
  • Meskipun hal ini bisa rumit untuk dilakukan secara manual, beberapa solusi orkestrasi - seperti Rancher - membuatnya dipanggang dan mudah digunakan.
  • Konvoi adalah solusi termudah untuk melakukan ini secara manual.

Jika Anda ingin memindahkan volume Anda, Anda juga harus melihat Flocker .

Dari README:

Flocker adalah pengelola volume data dan alat manajemen multi-host Docker. Dengannya Anda dapat mengontrol data Anda menggunakan alat yang sama yang Anda gunakan untuk aplikasi stateless Anda dengan memanfaatkan kekuatan ZFS di Linux.

Ini berarti Anda dapat menjalankan basis data, antrian, dan penyimpanan nilai kunci di Docker dan memindahkannya semudah aplikasi lainnya.

Itu tergantung pada skenario Anda (ini tidak benar-benar cocok untuk lingkungan produksi), tetapi di sini ada satu cara:

Membuat Kontainer Docker MySQL

Inti dari ini adalah menggunakan direktori pada host Anda untuk kegigihan data.

Baru-baru ini saya menulis tentang solusi potensial dan aplikasi yang menunjukkan teknik tersebut. Saya merasa cukup efisien selama pengembangan dan produksi. Semoga ini bisa membantu atau memicu beberapa ide.

Repo: https://github.com/LevInteractive/docker-nodejs-example
Artikel: http://lev-interactive.com/2015/03/30/docker-load-balanced-mongodb-persistence/

Saya hanya menggunakan direktori yang sudah ditentukan pada host untuk bertahan data PostgreSQL. Selain itu, dengan cara ini dimungkinkan untuk dengan mudah memigrasi instalasi PostgreSQL yang sudah ada ke wadah Docker: https://crondev.com/persistent-postgresql-inside-docker/

Solusi saya adalah menggunakan yang baru docker cp , yang sekarang dapat menyalin data dari wadah, tidak masalah apakah itu berjalan atau tidak dan berbagi volume host ke lokasi yang sama persis di mana aplikasi database membuat file database di dalam wadah . Solusi ganda ini berfungsi tanpa wadah khusus data, langsung dari wadah basis data asli.

Jadi skrip init systemd saya mengambil pekerjaan mencadangkan database ke dalam arsip di host. Saya menempatkan cap waktu di nama file untuk tidak pernah menulis ulang file.

Itu melakukannya di ExecStartPre:

ExecStartPre=-/usr/bin/docker cp lanti-debian-mariadb:/var/lib/mysql /home/core/sql
ExecStartPre=-/bin/bash -c '/usr/bin/tar -zcvf /home/core/sql/sqlbackup_$$(date +%%Y-%%m-%%d_%%H-%%M-%%S)_ExecStartPre.tar.gz /home/core/sql/mysql --remove-files'

Dan itu juga melakukan hal yang sama di ExecStopPost:

ExecStopPost=-/usr/bin/docker cp lanti-debian-mariadb:/var/lib/mysql /home/core/sql
ExecStopPost=-/bin/bash -c 'tar -zcvf /home/core/sql/sqlbackup_$$(date +%%Y-%%m-%%d_%%H-%%M-%%S)_ExecStopPost.tar.gz /home/core/sql/mysql --remove-files'

Plus, saya mengekspos folder dari host sebagai volume ke lokasi yang sama persis di mana database disimpan:

mariadb:
  build: ./mariadb
  volumes:
    - $HOME/server/mysql/:/var/lib/mysql/:rw

Ini bekerja sangat baik pada VM saya (saya membangun sendiri tumpukan LEMP): https://github.com/DJviolin/LEMP

Tapi saya tidak tahu apakah itu solusi "antipeluru" ketika hidup Anda benar-benar bergantung padanya (misalnya, toko web dengan transaksi dalam milidetik yang memungkinkan)?

Pada 20 menit 20 detik dari video utama Docker ini, presenter melakukan hal yang sama dengan database:

Memulai dengan Docker

"Untuk basis data kami memiliki volume, sehingga kami dapat memastikan bahwa, ketika basis data naik dan turun, kami tidak kehilangan data, ketika wadah basis data berhenti."

Gunakan Persistent Volume Claim (PVC) dari Kubernetes, yang merupakan alat manajemen jadwal dan penjadwalan Docker:

Volume Persisten

Keuntungan menggunakan Kubernetes untuk tujuan ini adalah:

• Anda dapat menggunakan penyimpanan apa pun seperti NFS atau penyimpanan lain dan bahkan ketika node sedang down, penyimpanan tidak perlu.
• Selain itu, data dalam volume tersebut dapat dikonfigurasi untuk disimpan bahkan setelah wadahnya sendiri dihancurkan - sehingga dapat diambil kembali, jika perlu, oleh wadah lain.