Pertanyaan yang diberi tag «airflow»

Masalah Apakah ada cara di Airflow untuk membuat alur kerja sehingga jumlah tugas B. * tidak diketahui hingga tugas A selesai? Saya telah melihat subdag tetapi sepertinya itu hanya dapat bekerja dengan serangkaian tugas statis yang harus ditentukan saat pembuatan Dag. Akankah pemicu belati bekerja? Dan jika demikian, bisakah Anda …

99 python  workflow  airflow 

setelah instalasi baru menggunakan pip install apache-airflow, setiap upaya untuk menjalankan aliran udara diakhiri dengan kesalahan impor python: Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/Users/\*/env/lib/python3.7/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, create_app) File "/Users/\*/env/lib/python3.7/site-packages/airflow/www/app.py", line 26, in <module> …

19 python  flask  airflow  werkzeug 

Instalasi dilakukan dengan benar. db dimulai dengan benar dan mencoba memulai server web menunjukkan kesalahan berikut. Saya menginstal ulang semuanya tetapi masih tidak berfungsi. Saya akan menghargai jika ada yang membantu saya. Output konsol: $:~/airflow# airflow webserver -p 8080 ____________ _____________ ____ |__( )_________ __/__ /________ __ ____ /| |_ …

16 airflow 

Tutup. Pertanyaan ini tidak dapat direproduksi atau disebabkan oleh kesalahan ketik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Stack Overflow. Ditutup 3 bulan lalu . Saya mendapatkan kesalahan di atas ketika saya mencoba initdb aliran udara dan initdb aliran udara File …

12 python  airflow 

Saya menggunakan https://github.com/helm/charts/tree/master/stable/airflow helm chart dan membangun puckle/docker-airflowgambar v1.10.8 dengan kubernet terinstal di atasnya dan menggunakan gambar itu di grafik helm, Tapi saya tetap mendapatkan File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File "/usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py", …

12 kubernetes  airflow  kubernetes-helm  airflow-scheduler 

Saya mencoba memindahkan file s3 dari bucket "non-deleting" (artinya saya tidak bisa menghapus file) ke GCS menggunakan aliran udara. Saya tidak dapat dijamin bahwa file baru akan ada di sana setiap hari, tetapi saya harus memeriksa file baru setiap hari. masalah saya adalah penciptaan dinamis dari subdags. Jika ada file, …

10 python  airflow  directed-acyclic-graphs 

Saya memiliki scenerio seperti di bawah ini: Trigger a Task 1dan Task 2hanya ketika data baru avialable untuk mereka dalam tabel sumber (Athena). Pemicu untuk Task1 dan Task2 harus terjadi ketika partisi data baru dalam sehari. Pemicu Task 3hanya pada penyelesaian Task 1danTask 2 Hanya memicu Task 4penyelesaianTask 3 Kode …

9 python  airflow  amazon-athena  directed-acyclic-graphs  airflow-scheduler