Bagaimana Anda membuat daemon dengan Python?

Pencarian di Google mengungkapkan cuplikan kode x2. Hasil pertama adalah resep kode ini yang memiliki banyak dokumentasi dan penjelasan, bersama dengan beberapa diskusi yang bermanfaat di bawahnya.

Namun, sampel kode lain , walaupun tidak mengandung begitu banyak dokumentasi, termasuk kode sampel untuk meneruskan perintah seperti mulai, berhenti dan mulai ulang. Ini juga membuat file PID yang berguna untuk memeriksa apakah daemon sudah berjalan dll.

Kedua sampel ini menjelaskan cara membuat daemon. Adakah hal tambahan yang perlu dipertimbangkan? Apakah satu sampel lebih baik daripada yang lain, dan mengapa?

Solusi saat ini

Implementasi referensi PEP 3143 (pustaka proses daemon standar) sekarang tersedia sebagai python-daemon .

Jawaban historis

Contoh kode Sander Marechal lebih unggul daripada yang asli, yang awalnya diposting pada tahun 2004. Saya pernah berkontribusi daemonizer untuk Pyro, tetapi mungkin akan menggunakan kode Sander jika saya harus melakukannya lagi.

Ada banyak hal yang perlu diperhatikan ketika menjadi proses daemon yang berperilaku baik :

• mencegah core dumps (banyak daemon dijalankan sebagai root, dan core dumps dapat berisi informasi sensitif)

• berperilaku benar di dalam chrootpenjara

• mengatur UID, GID, direktori kerja, umask, dan parameter proses lainnya secara tepat untuk use case

• melepaskan ditinggikan suid, sgidhak istimewa

• tutup semua deskriptor file terbuka, dengan pengecualian tergantung pada use case

• berperilaku benar jika mulai dalam konteks yang sudah terpisah, seperti init, inetd, dll

• mengatur penangan sinyal untuk perilaku daemon yang masuk akal, tetapi juga dengan penangan spesifik yang ditentukan oleh use case

• mengarahkan aliran standar stdin, stdout, stderrkarena proses daemon tidak lagi memiliki terminal pengendali

• menangani file PID sebagai kunci penasehat koperasi, yang merupakan keseluruhan kaleng cacing itu sendiri dengan banyak cara yang bertentangan tetapi valid untuk berperilaku

• memungkinkan pembersihan yang tepat ketika proses dihentikan

• sebenarnya menjadi proses daemon tanpa mengarah ke zombie

Beberapa di antaranya adalah standar , seperti yang dijelaskan dalam literatur Unix kanonik ( Pemrograman Lanjutan di Lingkungan UNIX , oleh almarhum W. Richard Stevens, Addison-Wesley, 1992). Lainnya, seperti aliran redirection dan penanganan file PID , adalah perilaku konvensional yang diharapkan sebagian besar pengguna daemon tetapi kurang standar.

Semua ini dicakup oleh spesifikasi “Perpustakaan proses daemon standar” PEP 3143 . The python-daemon implementasi referensi bekerja pada Python 2,7 atau lambat, dan Python 3.2 atau yang lebih baru.

Inilah daemon Python dasar 'Howdy World' yang saya mulai dengan, ketika saya sedang mengembangkan aplikasi daemon baru.

#!/usr/bin/python
import time
from daemon import runner

class App():
    def __init__(self):
        self.stdin_path = '/dev/null'
        self.stdout_path = '/dev/tty'
        self.stderr_path = '/dev/tty'
        self.pidfile_path =  '/tmp/foo.pid'
        self.pidfile_timeout = 5
    def run(self):
        while True:
            print("Howdy!  Gig'em!  Whoop!")
            time.sleep(10)

app = App()
daemon_runner = runner.DaemonRunner(app)
daemon_runner.do_action()

Perhatikan bahwa Anda membutuhkan python-daemonpustaka. Anda dapat menginstalnya dengan:

pip install python-daemon

Maka mulailah saja dengan ./howdy.py start, dan hentikan dengan ./howdy.py stop.

Perhatikan paket python-daemon yang memecahkan banyak masalah di belakang daemon di luar kotak.

Di antara fitur-fitur lain yang dimungkinkan untuk (dari deskripsi paket Debian):

• Lepaskan proses ke dalam grup prosesnya sendiri.
• Tetapkan lingkungan proses yang sesuai untuk berjalan di dalam chroot.
• Tinggalkan hak istimewa suid dan sgid.
• Tutup semua deskriptor file yang terbuka.
• Ubah direktori kerja, uid, gid, dan umask.
• Atur penangan sinyal yang sesuai.
• Buka deskriptor file baru untuk stdin, stdout, dan stderr.
• Kelola file kunci PID yang ditentukan.
• Daftarkan fungsi pembersihan untuk pemrosesan saat keluar.

Alternatif - buat program Python normal yang tidak di-daemonisasi, kemudian ubah secara eksternal menggunakan supervisord . Ini dapat menghemat banyak sakit kepala, dan * nix- dan bahasa-portabel.

Mungkin bukan jawaban langsung untuk pertanyaan, tetapi systemd dapat digunakan untuk menjalankan aplikasi Anda sebagai daemon. Berikut ini sebuah contoh:

[Unit]
Description=Python daemon
After=syslog.target
After=network.target

[Service]
Type=simple
User=<run as user>
Group=<run as group group>
ExecStart=/usr/bin/python <python script home>/script.py

# Give the script some time to startup
TimeoutSec=300

[Install]
WantedBy=multi-user.target

Saya lebih suka metode ini karena banyak pekerjaan yang dilakukan untuk Anda, dan kemudian skrip daemon Anda berperilaku serupa dengan seluruh sistem Anda.

-Orby

YapDi adalah modul python yang relatif baru yang muncul di Hacker News. Terlihat cukup berguna, dapat digunakan untuk mengubah skrip python menjadi mode daemon dari dalam skrip.

karena python-daemon belum mendukung python 3.x, dan dari apa yang bisa dibaca di milis, mungkin tidak akan pernah, saya telah menulis implementasi baru PEP 3143: pep3143daemon

pep3143daemon harus mendukung setidaknya python 2.6, 2.7 dan 3.x

Ini juga berisi kelas PidFile.

Perpustakaan hanya tergantung pada perpustakaan standar dan pada modul enam.

Ini dapat digunakan sebagai pengganti drop untuk python-daemon.

Ini dokumentasinya .

Fungsi ini akan mengubah aplikasi menjadi daemon:

import sys
import os

def daemonize():
    try:
        pid = os.fork()
        if pid > 0:
            # exit first parent
            sys.exit(0)
    except OSError as err:
        sys.stderr.write('_Fork #1 failed: {0}\n'.format(err))
        sys.exit(1)
    # decouple from parent environment
    os.chdir('/')
    os.setsid()
    os.umask(0)
    # do second fork
    try:
        pid = os.fork()
        if pid > 0:
            # exit from second parent
            sys.exit(0)
    except OSError as err:
        sys.stderr.write('_Fork #2 failed: {0}\n'.format(err))
        sys.exit(1)
    # redirect standard file descriptors
    sys.stdout.flush()
    sys.stderr.flush()
    si = open(os.devnull, 'r')
    so = open(os.devnull, 'w')
    se = open(os.devnull, 'w')
    os.dup2(si.fileno(), sys.stdin.fileno())
    os.dup2(so.fileno(), sys.stdout.fileno())
    os.dup2(se.fileno(), sys.stderr.fileno())

Saya khawatir modul daemon yang disebutkan oleh @Dustin tidak bekerja untuk saya. Sebagai gantinya saya menginstal python-daemon dan menggunakan kode berikut:

# filename myDaemon.py
import sys
import daemon
sys.path.append('/home/ubuntu/samplemodule') # till __init__.py
from samplemodule import moduleclass 

with daemon.DaemonContext():
    moduleclass.do_running() # I have do_running() function and whatever I was doing in __main__() in module.py I copied in it.

Berlari itu mudah

> python myDaemon.py

hanya untuk kelengkapan di sini adalah konten direktori samplemodule

>ls samplemodule
__init__.py __init__.pyc moduleclass.py

Konten moduleclass.py bisa

class moduleclass():
    ...

def do_running():
    m = moduleclass()
    # do whatever daemon is required to do.

Satu hal lagi yang perlu dipikirkan ketika melakukan daemonisasi dengan python:

Jika Anda menggunakan python logging dan Anda ingin terus menggunakannya setelah melakukan daemonisasi, pastikan untuk memanggil close()penangan (terutama penangan file).

Jika Anda tidak melakukan ini, pawang masih dapat berpikir bahwa ia memiliki file yang terbuka, dan pesan Anda akan hilang begitu saja - dengan kata lain pastikan logger mengetahui file-nya ditutup!

Ini mengasumsikan ketika Anda daemonise Anda menutup SEMUA deskriptor file terbuka tanpa pandang bulu - alih-alih Anda bisa mencoba menutup semua kecuali file log (tapi biasanya lebih mudah untuk menutup semua lalu buka kembali yang Anda inginkan).

Meskipun Anda mungkin lebih suka solusi Python murni yang disediakan oleh modul python-daemon, ada daemon(3)fungsi di libc- setidaknya, pada BSD dan Linux - yang akan melakukan hal yang benar.

Memanggilnya dari python itu mudah:

import ctypes

ctypes.CDLL(None).daemon(0, 0) # Read the man-page for the arguments' meanings

Satu-satunya hal yang tersisa untuk dilakukan adalah membuat (dan mengunci) file-PID. Tetapi Anda dapat menangani diri sendiri ...

Saya memodifikasi beberapa baris dalam contoh kode Sander Marechal (disebutkan oleh @JeffBauer dalam jawaban yang diterima ) untuk menambahkan quit()metode yang dijalankan sebelum daemon dihentikan. Ini terkadang sangat berguna.

Ini dia.

Catatan: Saya tidak menggunakan modul "python-daemon" karena dokumentasinya masih hilang (lihat juga banyak pertanyaan SO lainnya) dan agak tidak jelas (bagaimana memulai / menghentikan dengan benar daemon dari baris perintah dengan modul ini?)

Setelah beberapa tahun dan banyak upaya (saya mencoba semua jawaban yang diberikan di sini, tetapi semuanya memiliki kelemahan kecil pada akhirnya), sekarang saya menyadari bahwa ada cara yang lebih baik daripada ingin memulai, berhenti, restart daemon langsung dari Python : gunakan alat OS sebagai gantinya.

Misalnya, untuk Linux, alih-alih melakukan python myapp startdan python myapp stop, saya melakukan ini untuk memulai aplikasi:

screen -S myapp python myapp.py    
CTRL+A, D to detach

atau screen -dmS myapp python myapp.pyuntuk memulai dan melepaskannya dalam satu perintah .

Kemudian:

screen -r myapp

untuk melampirkan ke terminal ini lagi. Begitu sampai di terminal, dimungkinkan untuk menggunakan CTRL + C untuk menghentikannya.

Cara termudah untuk membuat daemon dengan Python adalah dengan menggunakan kerangka kerja berbasis peristiwa Twisted . Ini menangani semua hal yang diperlukan untuk daemonisasi untuk Anda. Ini menggunakan Pola Reaktor untuk menangani permintaan bersamaan.

80% dari waktu, ketika orang mengatakan "daemon", mereka hanya menginginkan server. Karena pertanyaannya benar-benar tidak jelas dalam hal ini, sulit untuk mengatakan apa kemungkinan domain jawaban itu. Karena server memadai, mulailah dari sana. Jika sebenarnya "daemon" benar-benar diperlukan (ini jarang terjadi), baca terus nohupsebagai cara untuk daemonisasi server.

Sampai saat daemon yang sebenarnya benar-benar diperlukan, cukup tulis server yang sederhana.

Lihat juga implementasi referensi WSGI .

Lihat juga Server HTTP Sederhana .

"Apakah ada hal tambahan yang perlu dipertimbangkan?" Ya. Sekitar sejuta hal. Protokol apa? Berapa banyak permintaan? Berapa lama untuk melayani setiap permintaan? Seberapa sering mereka akan tiba? Apakah Anda akan menggunakan proses khusus? Utas? Subproses? Menulis daemon adalah pekerjaan besar.